DeepSeek近期发布V4.1 Flash模型,该版本在推理速度、内容准确性和原生多模态能力上均有提升。与上一代V4 Flash相比,V4.1 Flash最显著的变化在于采用了全新的非对称结构,这意味着V4在训练配方、优化技巧和工程适配上的积累在V4.1中大部分不再适用。对于一个拥有数百名员工的企业而言,重新构建模型结构的成本相当可观。
根据DeepSeek官方论文披露,V4.1 Flash的后训练遵循标准SFT、RL、在线蒸馏(OPD)范式,未做算法层面的改动。实质性变化集中在数据流水线:大规模自动合成Agent任务与环境,数据、任务和rollout渐进式扩增。在强化学习训练阶段,模型在6种不同的Agent框架中反复试错,数据量、任务种类和试错轮次持续放大。其中DSH是6个训练场中最重要的一个,V4.1 Flash还针对DSH的不同操作模式进行了定向训练。DSH从DeepSeek V4 Pro的伴生产品,转变为V4.1 Flash的核心训练环境。
为满足DSH的偏好,DeepSeek V4.1采用了全新的非对称结构Causal-Encoder-Decoder(CED)。论文显示,新结构让模型在prefill阶段每token仅需激活8B参数,decode阶段激活16B参数,从而改善输入密集型Agent工作负载的成本效率。V4.1 Flash的语言主干共40层,CED将前20层拆分为编码器、后20层拆分为解码器。编码器只负责读取,将输入压缩为摘要;解码器只负责写入,依据摘要生成回答。解码器的全局KV Cache直接从编码器的最终结果投影得出,记忆只产生一次。
这一结构调整的背景在于模型负载特征的变化。过去的模型结构为聊天场景设计,用户问一句、模型答一句,输入短、输出长。但在Agent时代,几十轮的中间状态持续挂在上下文中,输入动辄数十万token,远大于输出。2026年4月,密歇根大学、斯坦福大学等院校联合发布的论文《AI是怎么花你钱的?》指出,在agentic代码任务中,输入与输出的token比高达154:1。
V4.1 Flash同时采用了CSA2(Compressed Sparse Attention 2,第二代压缩稀疏注意力)。V4使用的是第一代CSA,第二代允许不同层之间共享KV和索引。CSA2将40层分为Full、Reindex和Reuse三类:Full负责完整记录,Reindex负责提炼重点并据此执行,Reuse直接复用Full的结果。除第一层使用Full外,其余层可根据需要选择Reindex或Reuse。由于浅层负责字面理解、深层负责逻辑推理,各层所需的上下文内容不同,全部使用Reuse会导致生成质量下降。最终,V4.1 Flash的全局KV Cache压缩至890字节/token,降低至V4 Flash的四分之一。
从行业视角看,模型厂商的竞争重心正在从单纯的性能与性价比,转向对入口的争夺。姚顺雨主导的Hy4 preview在这一方向上先行一步。其官方技术报告显示,该模型通过腾讯内部软件工程师、游戏开发者、金融分析师和安全专家围绕实际交付工作共建数据,并与CodeBuddy、WorkBuddy等产品共同设计。在163名内部专家参与的203个真实工程任务盲测中,Hy4 preview平均得分2.99,GLM-5.3为2.92,Kimi K3为2.94。2026年7月24日,腾讯撤销大语言模型部和多模态模型部,合并成立基础模型部,由姚顺雨统一负责,并将混元多模态的发展重点放在与Agent强相关的多模态理解上。
DSH与WorkBuddy本质上构成一种产品闭环,是整条训练流水线的一部分。相比之下,智谱的ZCode、AutoClaw、GLM Coding Plan以及月之暗面的Kimi Claw属于后挂式工具,模型先在合成环境中训练完成,再以产品形式提供给用户,工具本身难以反向影响模型训练。智谱目前将重心放在模型自进化方向。在8月31日的半年度业绩会上,唐杰首次明确表示GLM-6.0是一款Full Self-Training模型,与OpenAI的RSI(递归自我改进)思路相似,从预训练、中训练到后训练全流程由模型自行完成,人类仅负责设定目标和最终验收。GLM-5.3与5.2使用相同基座,但性能大幅提升,其端到端任务环境合成流水线已展示了自进化方法的部分能力。
DeepSeek此次对V4架构的推倒重来,反映出Agent负载正在从根本上改变模型结构的设计逻辑。当输入规模远超输出、多轮中间状态成为常态,传统decoder-only架构的成本效率瓶颈愈发明显。而训练环境与产品入口的深度耦合,正在成为头部厂商构建竞争壁垒的新路径。
该文观点仅代表作者本人,企服科学平台仅提供信息存储空间服务。