11月5日，百度正式开源最新基座模型文心5.5 Flash Base（ERNIE 5.5 Flash Base）。该模型采用MoE架构，总参数量2800亿，每个Token激活140亿参数，使用33.5万亿个Token完成预训练，预训练上下文长度最高达128K，微调与推理阶段支持最长100万Token上下文。在知识、推理、数学、代码、多语言和长上下文等多个基准测试中，该模型取得同尺寸模型SOTA表现，超过DeepSeek-V4-Flash-Base、Hy3-preview-Base、MiMo-V2.5-Base等模型。
随着大模型应用从文本问答向长文档分析、多轮交互和智能体任务延伸，模型需要处理的信息量持续增加，计算和显存开销随之上升。在保证模型能力的同时提高资源利用效率，已成为大模型研发的重要课题。文心5.5 Flash Base围绕“效率”这一设计主线，在注意力机制、专家路由及训练机制等关键环节进行系统性优化。
在注意力机制方面，该模型提出Latent-Gated Sparse Attention，将混合稀疏注意力、低秩门控注意力与虚拟头注意力结合。模型通过组合HCA与MLA，让不同注意力层分别承担压缩历史信息和细粒度访问历史位置的任务；低秩门控注意力利用已有的低维表示计算信息门控，使门控投影权重参数减少75％；虚拟头注意力则用于提升模型表达力与训练质量，推理时融合进注意力算子，开销极小。上述设计降低了长上下文处理的资源开销，同时保留模型对关键信息的处理能力。
在专家路由方面，模型采用Multi-Router Latent MoE，由多个独立路由器共同参与专家选择，改善路由评分与专家实际效用之间的相关性。相比依赖单一路由器的传统方案，该设计旨在降低单一评分偏差对专家选择的影响，同时保持激活专家数量、专家计算量和通信量不变。在训练目标上，模型引入ECHO，无需额外增加MTP模块，而是复用主干最后一层，让主干自身学习预测后续token，从而提前规划序列走向，提升推理与代码能力。文心5.5 Flash仅采用单步ECHO预训练，复用的最后一层还可作为投机解码的草稿模型。
在模型架构之外，百度对分布式Muon优化器进行了优化，并推出面向大head dim的注意力算子FlashMask-4，改善大规模训练中的通信、显存利用与计算效率。
基座模型承载预训练阶段形成的通用能力，也是下游模型开发与应用创新的基础。与面向终端用户的应用模型不同，Base模型为开发者和企业提供进一步微调与定制的空间，可基于自身业务需求构建适应不同场景的专业模型与应用。开放基座模型能够为开发者提供更多技术选择，降低专业模型开发的训练成本与技术门槛。目前该模型已在Hugging Face平台开放下载。
该文观点仅代表作者本人，企服科学平台仅提供信息存储空间服务。
