字节团队发现DeepSeek-V4长文本检索存在周期性盲区

DeepSeek 官方开源的推理代码中存在一个有规律的错误。字节跳动 Seed 团队在测试 DeepSeek-V4 时发现，让模型补全 FP8 推理内核中的一行代码，标准答案为 8，模型却常写成 32。研究人员未改动核心代码，仅在无关注释中逐个增加装饰性“=”符号，模型答案便在 8 和 32 之间周期性翻转，每隔 4 个 Token 重复一轮。

字节 Seed 联合普林斯顿、斯坦福及加州大学伯克利分校研究人员，对 DeepSeek-V4、V4.1 展开系统测试，在论文《周期性弱点：分块 KV 缓存压缩引发的相位敏感性》中揭示了 DeepSeek 压缩稀疏注意力架构的技术缺陷。在 128K 长上下文检索实验中，仅因目标信息所处 Token 位置不同，DeepSeek-V4-Flash 检索准确率落差高达 40.23 个百分点。DeepSeek 团队已在 V4 后训练版本和 V4.1 中明显改善，但未完全消除周期性性能差异。Seed 团队将这一现象称为“相位敏感性”。

论文一作是字节 Seed 实习生、普林斯顿大学计算机系博士生朱星宇，本科毕业于杜克大学，师从 Sanjeev Arora，此前有成果入选 ICML 2025 Spotlight，并获 ICLR 2026 RSI Workshop 最佳论文。论文共 65 页，正文 10 页，参考文献 3 页，附录 52 页，包含数十种模型变体的因果干预、注意力头消融及数学动力学证明。

问题源头指向 DeepSeek 在 KV Cache 上的块压缩稀疏注意力（CSA）。传统 Transformer 中，KV Cache 随文本拉长线性暴增。DeepSeek-V4 交替使用两种压缩注意力：CSA 采用长度 8、步长 4 的重叠滑动窗口，将 KV 数据量砍掉四分之三，再通过 Indexer 挑选关键块做稀疏计算；HCA 每 128 个 Token 合并成一条，全局读取不挑。该设计打破了 Transformer 的平移对称性。CSA 每前进 4 个 Token 打一次包，使每个 Token 多出隐式“相位”属性，即绝对位置除以步长 4 的余数。不同位置信息保留程度不同，同一条信息前后移动一两个 Token，检索结果可能截然不同。核心问题在于信息在物理层面未写入 KV Cache，模型只能基于局部统计概率拼凑，表现为“抽风”或胡言乱语。

V4 步长为 4，相位有 4 种。FP8 代码补全实验中，仅改变前置文档字符串长度，模型便在正确 8 和错误 32 之间周期性切换，64 次比较中 60 次符合周期规律；未采用分块 KV 压缩的 V3.1-Base 无此现象。128K“大海捞针”实验中，埋入 1.6 万组 Key-Value 记录，按 Token 位置对 8 取余分组，固定总长度、提问位置并匹配绝对位置均值和方差。DeepSeek-V4-Flash 基座最差位置组准确率仅 29.69%，最好位置组达 69.92%，相差 40.23 个百分点；后训练版 V4-Flash-0731 差距缩至 19.14 个百分点；V4-Pro 基座和后训练版分别存在 34.77 和 14.84 个百分点落差。相隔 4 个 Token 的位置组准确率相似，与 CSA 压缩步长吻合。

此前长文本榜单未测出该问题，因主流评测依赖综合平均分，目标信息随机散落，强势与弱势槽位互相抵消。Seed 基于 Qwen3-0.6B 从零训练的对照实验显示：全注意力平均准确率 61.1%，8 倍压缩注意力 59.4%，仅差 1.7 个百分点；但全注意力最差位置仍有 58.4%，压缩模型最差位置跌至 9.9%，落差达 71.1 个百分点。

DeepSeek 在 9 月 10 日发布的 V4.1-Flash 中已调整大步长压缩机制，论文 9 月 28 日才提交 arXiv。改进包括压缩步长从 4 降至 2、结合 Engram 模块。V4.1-Flash 最好与最差相位落差从 40% 收窄至 6.1 个百分点，但周期性未消失，退化为以 2 为周期：偶数位置准确率约 95%，奇数位置约 89%~90%。步长减半可缓解，但固定步长分块压缩的相位敏感性本质未消除。

该缺陷由字节 Seed 团队揪出，研究能深入注意力头内部，离不开 DeepSeek 开放权重的底气。