字节Seed在9月底发布的一项研究显示，DeepSeek-V4-Flash基础模型在代码补全任务中会随着输入前方无关注释长度的变化，在正确答案与错误答案之间周期性切换。该现象与DeepSeek V4采用的CSA（压缩稀疏注意力）和HCA（重度压缩注意力）两种交替注意力机制有关。研究人员将这种因信息在压缩窗口中位置变化而导致的性能波动称为“相位敏感性”。
为验证该现象，研究团队将实验扩展至128K上下文，让模型从1.6万条键值记录中检索指定信息。结果显示，DeepSeek-V4-Flash-Base表现最好的位置分组准确率达69.9％，最差仅29.7％，相差40.2个百分点，且波动周期与压缩步幅一致。进一步对照实验表明，去掉位置编码RoPE或改用均匀平均压缩门控后，周期性弱点依然存在；当压缩步幅分别设为4、6、8、12时，准确率波动周期随之改变，而全注意力对照模型未出现类似现象。研究将问题指向分块缓存压缩机制本身。
针对现役V4.1-Flash模型，通过DeepSeek官方API进行的实测显示，在64组固定采样测试中模型全部补全为正确答案，未出现论文中的答案翻转。但在64次概率测量中，正确答案虽始终占据预测概率首位，其概率值随填充长度变化而波动。例如在文档字符串测试组中，仅将前方填充从24个Token增至25个Token，P(8)即从83.33％升至92.29％。四类填充方式下，奇数长度下正确答案的平均预测概率均高于偶数长度，差距在3.6至5.8个百分点之间。此外，对8组输入的重复测量显示，相同输入下模型给出的概率最大相差约5.35个百分点。
从长上下文检索实验数据看，DeepSeek新版本在相位稳定性上已有明显改善。Seed论文显示，V4-Flash基础模型最好与最差相位的准确率差距为40.2个百分点，经后训练后缩小至19.1个百分点，9月发布的V4.1-Flash进一步降至6.1个百分点。V4.1并未放弃缓存压缩，反而将部分压缩路径步幅从4个Token缩小至2个Token，并采用新的Causal Encoder–Decoder架构，结合跨层缓存复用与低精度KV存储。据DeepSeek官方数据，V4.1的KV Cache显存需求降至上一代四分之一，持久化缓存存储需求降至八分之一。
字节Seed在长上下文效率方向亦有持续布局。2025年2月，Seed参与的FlexPrefill研究尝试根据输入内容动态选择注意力计算位置；今年9月，PISA研究提出通过分层检索降低稀疏注意力计算开销。值得注意的是，FlexPrefill作者之一Yiyuan Ma同时是此次发现DeepSeek周期性弱点论文的通讯作者。该研究提示，平均准确率指标可能掩盖稀疏注意力架构在特定输入位置上的局部性能波动，对长上下文模型的评估方法提出了新的考量维度。
该文观点仅代表作者本人，企服科学平台仅提供信息存储空间服务。
