天津大学张长青团队提出广义多模态融合技术，构建通用预测基座FAM

在CNCC 2026首日的Tutorial环节，天津大学人工智能学院英才教授、国家级青年人才张长青作了题为《广义多模态融合技术》的报告，介绍了团队围绕多模态表征、动态可信融合和通用预测基座开展的研究。相关工作指向一个核心问题：如何让多模态融合适应真实世界中模态缺失、噪声干扰与任务多样化的复杂性。

多模态融合的价值在于不同来源的信息相互补充，但模态数量增加并不意味着预测准确率必然提高。张长青介绍了联合表征与协同表征两种思路：前者尝试将不同模态整合到共同表征中，后者强调模态间的关联。以典型相关分析及其深度学习变体为例，相关方法会将不同模态映射到强相关空间以利用共性信息，但过度强调共享信息可能导致模态特有信息难以充分保留。在医学诊断中，病原学检测与CT影像从不同角度提供信息，相互补充却无法简单替代。团队尝试改变表征学习思路，不只提取共同特征，还通过重构不同模态的观测，学习能够容纳多种信息的潜在表征，并将这一思路与神经辐射场的立体结构恢复联系起来。该方向也与医疗、工业场景中的模态缺失问题相关，团队探索基于潜在表征的学习方法，希望利用现有可观测数据建模，而不必对每一种缺失情况都进行人工补全。

针对融合权重的动态性问题，张长青将不确定性估计引入多模态融合。在相关工作Trusted Multi-View Classification with Dynamic Evidential Fusion中，团队提出可信多视图分类方法TMC，利用变分狄利克雷分布刻画类别概率分布，并结合Dempster–Shafer证据理论融合不同视图提供的证据，以估计预测的不确定性。该方法不仅输出分类结果，还尝试回答当前判断获得多少证据支持、不同来源信息是否一致等问题。在晶体结构识别应用中，动态证据融合使分类准确率由约58％—59％提高至93.9％左右，系统还可根据不确定性是否达到设定阈值决定是否继续采集数据。

在此基础上，团队进一步提出通用多模态预测基座Fusion Anything Model（FAM）。相关论文Fusion Anything: A Generalized Multimodal Foundation Model探索一个更具普适性的问题：能否训练一个模型，使其不再局限于预先指定的模态组合和单一任务，而是利用上下文样例适应不同的多模态预测任务。传统多模态模型通常针对特定数据类型和任务设计，迁移到新场景需重新选择算法、整理数据并训练模型。FAM希望通过预训练学习可迁移的多模态关联模式，在新任务中利用给定上下文样例完成预测，而不必针对每个任务重新更新模型参数。该路径面临的主要困难在于获取足够多样的训练数据。

从保留模态特有信息，到基于证据质量进行动态可信决策，再到构建适应不同模态组合的通用基座，该系列研究为多模态技术在具身智能、自动驾驶、智慧医疗等场景中的落地提供了方法层面的参考，其实际效果仍需结合具体论文的实验设置进一步验证。