港科大CMU联手开源新模型：KV Cache砍掉99%，单卡吞吐飙6倍

谷歌一篇论文提到KV Cache至少能压缩6倍，曾引发美光等存储芯片巨头股价下跌。几个月后，岩山科技旗下岩芯矩阵联合港科大、CMU等高校发布并开源EdgeRock-4B，对KV Cache的处理更进一步：上下文从4K扩展到256K，KV Cache占用始终固定在72MiB，相比源模型减少99.1%。一张80GB显卡可同时跑512路长推理，输出吞吐达12124 tokens/s，是源模型的6.42倍；AIME 2024—2026平均一次通过率82.9%，而有界状态模型即便做到14B，最好也只有18.8%。模型权重和推理代码均已开源，支持文本和图像推理。

大模型推理越来越吃内存，KV Cache是主要开销。以Qwen3.5-4B为例，每个token新增32KiB KV Cache，推理到64K时一条序列就是2GiB，到256K就是8GiB。业界两类办法各有局限：MLA、KIVI、TurboQuant等只降低单个token成本，缓存仍随推理增长；循环模型、状态空间模型、滑动窗口模型内存固定，却往往留不住远处细节，推理能力下降。

EdgeRock的答案是：在固定内存里留住关键细节。测试设定为32K输入、32K输出，单张Hopper 80GB GPU。EdgeRock-4B开到512路并发，输出吞吐12124 tokens/s；源模型Qwen3.5-4B最快配置为批大小64，仅1889 tokens/s。EdgeRock批量运行时每条序列全部历史状态固定为97.76MiB，不随长度变化；若Qwen3.5-4B同时跑完512条序列，仅生成结束时的KV Cache就要约1TiB，相当于13张80GB显卡显存。EdgeRock单卡峰值61.26GiB，还包含模型权重。在4K到32K输入、输出两两组合的16种负载上，批大小从32加到512，加权解码吞吐从4128涨到12497 tokens/s，显存峰值未触及单卡上限。单条请求方面，128K输入后再生成128K token，EdgeRock速度稳定在233.7 tokens/s，Qwen3.5-4B则从169左右降至151.3。

成本方面，4K输入时EdgeRock只需Qwen3.5-4B 24.9%的GPU时间，32K输入时只需15.6%。四种输入长度平均，EdgeRock吞吐是Qwen3.5-4B的4.94倍、LFM2.5-2.6B的7.18倍，且上下文越长差距越大。固定内存还带来确定性：每条请求所需内存推理前即可算清，便于容量规划，端侧不会耗尽内存，智能体历史内存不随工具调用次数增长。

能力方面，EdgeRock-4B与16个有界状态模型对比，涵盖GDN、RWKV、Mamba等路线，其中三个为14B级别。AIME 2024—2026上EdgeRock-4B平均一次通过率82.9%，对照组最强的RWKV-7 G1j 13.3B仅18.8%，AHN-GDN Qwen2.5 14B为11.4%。29项文本基准中EdgeRock-4B在24项排名有界状态模型第一，等权均值比最强基线高23.8个百分点。与源模型相比，AIME平均一次通过率保持Qwen3.5-4B的96.3%，MATH-500达97.5%；29项文本基准有8项反超，包括MMLU-Pro、SuperGPQA、HumanEval和MBPP；六项视觉基准平均得分84.9%，保留源模型95.3%。

核心机制是记忆岩锚（RMA）：将推理所需关键信息固定在固定容量锚点库中。每条序列历史分三部分保存：循环状态抓大意，局部窗口覆盖最近1024个token，锚点库从更早历史中留住最有价值细节。写入器为每个token生成候选记录并评分，每累积256条候选与锚点库已有记录比较，只留得分最高的1024条，四个KV组各自独立进行。留下的锚点彼此独立、内容不变，即使来源已滑出局部窗口，后续推理仍可直接读取。局部窗口加锚点库把每条序列注意力KV固定在72MiB。架构上EdgeRock-4B基于Qwen3.5-4B改造，保留24个Gated DeltaNet层，将8个全注意力层换成1024窗口滑动窗口注意力，外加独立RMA模块，由源模型分阶段转换而来，无需从头预训练。实验显示，推理时关掉8个RMA模块，在256段16K至130K token长上下文、每段4个问题共1024题中，开启RMA答对964个，准确率94.1%；关掉仅答对4个，准确率0.4%。

EdgeRock由岩芯矩阵联合港科大、CMU等高校完成，模型已开源可商用，更多参数规模正在路上。团队认为该机制对需长时间运行的机器人有想象空间。论文地址：https://rockmatrix.ai/docu