字节发现DeepSeek时强时弱原因：输入位置每隔4个Token就变

字节Seed团队发现，DeepSeek-V4存在一种“神鬼二象性”：同一道题、同样的内容，仅在前面加入几个无关字符，模型答案就会在正确与错误之间反复横跳，且以4个Token为周期规律性变化。

研究人员最初用DeepSeek-V4官方推理代码中的FP8量化函数做补全测试。正确答案应为8，但模型有时会答成32。他们在代码前加入由等号组成的装饰性文档字符串，仅调整等号数量，代码、补全位置和答案均不变，模型却开始周期性摇摆：填充长度模4余0或1时倾向错误答案32，余2或3时倾向正确答案8。统计显示，错误位置上答案32平均概率达71.3%，正确答案8仅26.4%；正确位置上答案8平均概率升至91.5%，答案32降至7.2%。

在128K Token长上下文“大海捞针”测试中，团队构造约1.6万个键值对，仅调整目标信息相对压缩窗口边界的位置。结果DeepSeek-V4系列准确率呈明显周期性起伏：DeepSeek-V4-Flash-Base不同位置最大准确率差距达40.2个百分点，DeepSeek-V4-Pro-Base达34.8个百分点。后训练有所改善：Flash-0731差距缩至19.1个百分点，Pro-0813缩至14.8个百分点，V4.1-Flash-0910进一步降至6.1个百分点，但周期性差异仍存在。V4波动周期为4个Token，V4.1为2个Token，恰好对应两代模型各自的KV Cache压缩步长。

研究认为，问题可能出在DeepSeek-V4采用的分块KV Cache压缩。该技术将连续Token分窗并压缩缓存条目，以节省内存和计算成本。但同一信息在压缩窗口中的位置不同，压缩条件可能不同。论文将这种相对压缩窗口边界的位置称为Phase（相位），并把模型对不同相位信息检索能力的系统性差异命名为Phase Sensitivity（相位敏感性）。即使Key和Value落在同一压缩窗口内，不同位置检索准确率也能相差很大，说明问题涉及信息写入和读取压缩缓存的方式。

为验证，团队基于Qwen3-0.6B构造多种KV Cache压缩方案，并设全注意力模型为对照。结果所有分块压缩模型均出现与压缩步长对应的周期性变化，全注意力基线则没有。调整窗口大小和压缩步长后，周期主要随压缩步长变化：步长4、6、8分别对应约4、6、8个Token的周期。不使用RoPE位置编码或将可学习压缩权重换成简单平均，现象依然存在，说明并非某一位置编码或模块单独造成，分块压缩设计本身可能引入周期性检索弱点。

进一步干预注意力头发现，不同头对不同相位贡献不同，有些头更擅长某些位置，另一些头在其他位置作用更大，团队称之为Phase Specialization（相位专门化）。模型内部似乎形成分工，对压缩窗口不同位置产生偏好，这可能帮助检索，也可能使某些位置成为薄弱环节。理论模型分析显示，梯度流可能推动压缩模块形成稳定位置偏好，因此周期性并非随机噪声，而可能是模型学习压缩信息时自然形成的结果。

这类问题未必能从普通Benchmark直接看出，因为常规评测通常汇总平均分，某些位置表现差可能被掩盖。团队建议评估采用分块KV Cache压缩的模型时，除整体检索准确率外，还应将同一信息放到不同压缩相位分别测试。尽管存在位置性能偏差，长上下文推理的内存和计算成本仍使压缩具有现实价值，但节省缓存后，模型对不同位置信息可能不再一视同仁。后训练和架构迭代能明显缩小差距。