清华大学与智谱AI联合完成的一项研究披露了智谱内部多模态模型GLM-Omni的技术细节与实验结果。该论文由唐杰担任通讯作者，模型名称出现在论文中后，社交平台上有观点将其与GLM-5.5联系起来，但论文并未披露版本对应关系。研究核心在于考察统一多模态模型中，图像生成训练所获得的知识能否被语言推理路径调用。
实验数据显示出明显的模态鸿沟。在受控知识测试中，GLM-Omni的图像生成平均正确率为54.00％，纯文字问答正确率仅为14.57％；对比模型BAGEL分别为31.43％和8.86％，SenseNova-U1则为61.14％和20.00％。SenseNova-U1在号码任务中的视觉正确率达到88％，纯文字回答却为0％。在一项具体测试中，模型将指定号码正确画在球衣上的比例达到72％，但研究人员拿走图片、改用文字询问球衣号码时，正确率仅为2％。
为排除模型既有记忆的干扰，研究团队搭建了虚构世界MagicWorld，设计了颜色、数量、形状、空间排列、相对大小、数字和文字7类任务，每类50条知识共350条，筛选后保留8552组训练样本。训练文本经过检查，以排除答案泄漏和属性分布不均的影响。参与实验的三种模型采用不同架构：BAGEL将理解和生成放在相对独立的专家分支中，SenseNova-U1直接建模图像像素，GLM-Omni则从GLM-4.1V-Thinking预训练模型出发，接入基于X-Omni的离散图像Tokenizer。
研究进一步测试了两种对齐方式。Textual Alignment为部分实体补充文字问答示例，BAGEL平均文字正确率从8.86％升至15.43％，SenseNova-U1从20.00％升至28.00％，GLM-Omni反而从14.57％降至12.57％。图文交错对齐（Interleaved Image–Text Alignment）将图像生成与文字回答放入同一条训练序列，GLM-Omni平均文字正确率提升至26.86％，形状任务从12％升至64％，空间排列从0％升至40％。消融实验显示，屏蔽交错样本中的图像损失后，GLM-Omni平均文字正确率从26.86％跌至13.71％，表明图像重建的训练信号确实对语言调用产生了影响。
针对号码、书名等需要记忆具体字符序列的知识，研究团队采用Visual Chain-of-Thought方案，允许模型在推理过程中先生成目标图像，再从图像中识别属性并作答。GLM-Omni平均正确率从26.86％升至41.14％，BAGEL从17.14％升至20.57％，SenseNova-U1从28.57％升至34.86％。三种模型原先直接文字回答正确率为0％的数字任务，在使用Visual CoT后分别达到4％、36％等不同水平。
该研究揭示了统一多模态模型的一处结构性瓶颈：共享参数并不意味着图像理解与语言输出路径已经互通。对于企业级多模态应用而言，这一发现意味着模型在视觉任务上的表现不能直接等同于其语言侧的知识调用能力，多模态能力的评估与训练设计仍需针对具体任务路径分别考量。
该文观点仅代表作者本人，企服科学平台仅提供信息存储空间服务。
