多模态数据融合并非总是带来性能提升。华中师范大学联合华中科技大学、广州中医药大学及其第一附属医院、北卡罗来纳大学教堂山分校的研究团队发现，在医学影像分割任务中，当MRI的T1、T2、FLAIR等模态采样质量差异较大时，低质量模态可能将重采样伪影带入融合网络，导致融合后的分割精度反而低于单一高质量模态。针对这一问题，团队提出CoReFuse-Med框架，相关论文已被ACM MM 2026接收。
研究团队在IH EPVS数据集上的实验显示，高分辨率T1单模态的DSC为0.703，而融合T1、T2和FLAIR三个模态后，DSC反而降至约0.695。论文将失效原因归结为浅层污染与深层模态偏置两个方面，并通过三组证据加以说明：其一，特征对比噪声比F-CNR显示，T1的F-CNR值为1.0283，约为FLAIR的0.2980的3.4倍，几何对齐的模态在浅层表征可靠性上存在显著差异；其二，在3D U-Net中，T1占据77.4％的梯度贡献，FLAIR仅占13.1％，但遮挡FLAIR会使DSC降低70.2％，与遮挡T1的影响相当，说明优化与推理之间存在不一致；其三，U型网络的跳跃连接会将重采样的结构伪影一并传入解码器，形成特征污染与贪婪模态选择问题。
CoReFuse-Med采用先净化再平衡的融合策略，由三个模块构成。LACE模块为每个MRI序列构建各向异性编码，通过局部DoubleConv与沿D、H、W三个方向的条带卷积分支分别提取细节与轴向上下文；IMSH模块利用无参数的3×3×3平均池化分离结构基底与高频残差，基底部分以竞争性Softmax权重选择可靠解剖结构，残差部分由共享Sigmoid门控过滤重采样伪影；MBCF模块则针对深层跳连特征，通过共享MLP生成通道权重、空间门控排除不可靠响应，并构造不依赖单一模态的公共查询执行对称交叉注意力，重新校准各模态贡献。
实验结果显示，在EPVS数据集上，CoReFuse-Med的DSC为0.7326、HD95为7.35，优于MedNeXt的0.7085和8.17；在BraTS数据集上，DSC为0.8528、HD95为4.43，同样优于MedNeXt的0.8314和7.59；在WMH数据集上，DSC为0.80、HD95为6.22、IAVD为0.171，参数量仅2.665M。消融实验表明，在EPVS上Baseline的DSC为0.7146，组合LACE、IMSH与MBCF后提升至0.7322，三个模块之间存在互补作用。
研究团队同时明确了方法边界：该工作主要针对空间对齐后由分辨率下降引发的质量问题，未覆盖模态全部缺失或强噪声场景，模型的作用是防止污染破坏高质量模态，而非凭空恢复低质量模态已丢失的信息。后续研究方向包括动态模态缺失与更多采集伪影场景下的融合鲁棒性。
该文观点仅代表作者本人，企服科学平台仅提供信息存储空间服务。
