10月31日至11月2日，字节跳动与腾讯的多模态生成业务接连出现核心人才变动。据Z Finance报道，字节Seed核心负责人周畅已离职创业，方向为Physical AI，并获得头部美元基金支持。11月2日，多家信源称腾讯混元首席研究科学家、多模态强化学习负责人庞天宇离职，在职时间不足9个月。两条消息在一周内先后出现，被业内视为大厂对多模态生成业务态度转变的信号。
2026年上半年，多模态生成曾是主要AI厂商的重点投入方向。腾讯大语言模型部与多模态模型部平级并存，后者独立管理图像、视频与3D生成业务；字节的多模态交互、世界模型、Seedream与Seedance等视觉生成业务，连同机器人团队统一向周畅汇报；阿里于4月发布基于原生多模态架构的世界模型。多模态生成在当时被视为AI企业资金的主要出口之一。
转折来自组织架构与资源分配的调整。7月24日，腾讯TEG发布内部通知，撤销大语言模型部与多模态模型部，成立基础模型部，由首席AI科学家姚顺雨兼任负责人，向TEG总裁卢山汇报。腾讯给出的理由是提升模型研发和协同效率、探索全模态模型的智能上限。这两个部门于2025年4月拆分设立，语言线负责文本推理，多模态线负责图像、视频与3D生成，各自独立运行。更早的3月20日，腾讯已撤销成立近十年的AI Lab，部分人员并入大语言模型部，计算机视觉、语音等能力归入混元体系。业内普遍认为，合并的真实原因在于大语言模型与多模态模型的训练标准不统一，技术难以互通，同时造成算力资源内耗。
字节在8月的组织调整中，将周畅起家的视觉语言模型VLM并入大模型LLM体系，成为LLM下属的数据子部门。一位Seed人士表示，周畅由此失去核心业务地盘。此前独立多模态部门的成立，与视觉语言模型的技术路径密切相关：通过视觉编码器将图片切块转为向量，再经投影层映射进语言模型词表空间，与文本拼接后输入模型。这一路径成本较低，视觉编码器可参考开源方案，语言模型为现成资源，中间层只需完成模态对齐。独立多模态部门基本围绕这一对齐层构建，涵盖视觉编码器、对齐数据、图文指令微调与评测等职能。随着大厂转向原生多模态，从预训练第一层起将图像、文本、音频、视频token混入同一主干，这一对齐层的必要性下降，部门存在的技术基础也随之改变。
成本结构是多模态生成面临的核心约束。图像理解需将图片切分为若干图像块，一张224×224的图按14×14切块为256个token，336×336则为576个，分辨率提升后单图token数可达上千；长视频的token量为帧数乘以每帧块数，呈数量级增长。Transformer的注意力开销随序列长度平方增长，视觉序列拉长后成本迅速上升。视觉理解与扩散式生成同时运行自回归和扩散的架构，token消耗更高。推理阶段的成本更为突出：文本模型可将数十个请求批处理在同一张GPU上，多模态生成模型需每几毫秒生成一次环境状态并实时流式输出，每个用户相当于独占一条GPU管道。OpenAI的Sora从App上线到宣布关停仅约半年，外媒称其每天算力成本达100万美元，用户数量下滑，成本显著高于收入。
评测体系的缺失进一步加剧了资源分配的不确定性。大语言模型可采用推理、代码、数学等相对统一的基准打分，版本之间可直接比较，团队KPI容易对齐。多模态生成则依赖人工评测，主观性强、难以大规模开展，也难以系统定位模型弱点。Seedance背后的数据评价团队规模达上千人，核心是通过堆叠人力降低主观性对模型性能评估的影响。MMMG基准的作者曾表示，多模态生成的可复现评测落后于模型本身的发展。当评价依赖美学、时序连贯与人类偏好时，模型团队很难用分数证明自身价值。
技术路线层面的分歧同样在影响投入决策。GLM-5.2到5.3、DeepSeek V4 Flash到Pro两组模型均未做视觉扩展，仅通过后训练即实现性能提升。K3的消融实验中，研究员表示多模态数据每增加一点，文本理解、Coding或数学能力可能随之变差。杨立昆提出的JEPA路线主张在抽象表征空间预测世界，全程不生成像素，理由是物理世界充满不可预测的随机细节，逐像素重建既浪费又不准确，这为“AGI不需要像素级生成”提供了技术论证。目前大厂的多模态路线分为两类：一是以理解为目标，让模型看懂图片和视频；二是将视觉理解与扩散式生成整合进同一架构。2025年GPT-4o发布后，谷歌、阿里、字节均尝试过第二条路线，但均未跑通。腾讯混元一位多模态研究员表示，多模态理解与生成尚未统一，理解通常与LLM团队在一起，生成相对独立。
在Agent等业务快速发展的背景下，大厂正将算力和预算向增长路径更清晰的业务倾斜。腾讯二季度财报电话会后，资金分配向WorkBuddy优先倾斜，其他新AI产品的优先级下调。多模态生成在当前叙事中更接近期权型业务：大厂投入有限资源，若AGI最终需要多模态生成则收益上不封顶，若不需要则及时收缩、收回投入。随着原生多模态整合推进与Agent业务扩张，多模态生成团队的独立性与资源规模预计将继续收缩，人才流动可能进一步加速。
该文观点仅代表作者本人，企服科学平台仅提供信息存储空间服务。
