小米新模型还没发,罗福莉先把架构论文剧透了
MiMo-V2.6刚发布,罗福莉就开始剧透MiMo-V3。MiMo-V3将采用新架构HySparse2,核心针对Agent执行长任务时越来越重的输入处理。
Agent生成一次工具调用可能只需几十个token,但搜索结果、网页、代码和执行日志却能一口气回来几万字。模型读完继续操作,每一轮结果都要进入上下文;轮次增加后,模型既要处理新输入,也要保留足够历史信息供后续检索。团队想让模型少花力气处理输入、少占内存保存历史,同时还能从很长记录里找准线索。

在80B总参数、每个token约激活3B参数的MoE模型配置下,到了100万token上下文,HySparse2的预填充计算量约为Hybrid SWA的1/5.02;KV Cache从12.09GB降至2.69GB,约缩小4.5倍。省下来的不只是资源,在多轮检索测试中,它找历史信息的成绩也更好。
HySparse2调整了模型层间依赖,让预填充可以在中途结束。模型被划分为前后两段,前段是self-decoder,后段是cross-decoder。前半段结合全注意力与滑动窗口注意力,后半段结合全注意力与稀疏注意力。两段之间的KV Bridging只连接全注意力层:后半段全注意力层从前半段对应层的隐藏状态生成K和V,同时保留各自独立的投影参数。后半段内部的KV Reuse则让稀疏层复用同一混合模块中全注意力层的KV Cache和token选择结果。有了这座桥,一批新材料进来时,预填充走完前段就能停下,不必再让整段输入逐层跑完后段。到了模型继续生成内容的时候,后段仍正常参与计算。论文标题所说的两级KV共享,指的就是这两处设计。

上一代设计中,稀疏层另设一条滑动窗口注意力分支,其缓存依赖后半段逐层计算得到的隐藏状态。如果保留它,长输入仍需进入后半段构建缓存,预填充就无法完全提前退出。所以HySparse2拿掉了这条独立分支,改为强制将最近的token纳入稀疏选择。局部信息仍被保留,但与远处选出的token使用同一套共享KV Cache。于是,后半段需要的缓存都可以从前半段的状态构建,长输入的预填充走完self-decoder即可结束;模型随后生成token时,cross-decoder仍正常参与计算。论文展示的模型共有49层,采用预填充与生成分开部署的方案时,预填充节点只需放前25层和相关投影模块,所需模型内存接近减半;在这套配置里,预填充阶段执行全注意力的也只有一层。
减少输入计算之后,长历史中的信息能否被准确找回,取决于稀疏层如何选择内容。上一代HySparse按“块”挑内容,一个64-token的块里即使只有少量内容相关,整块也会占用选择预算。论文指出这种方式在早期预训练评估中没有表现出明显劣势,但面对跨越多轮工具调用的Agent任务,检索精度不足的问题变得突出。所以HySparse2把选择粒度改到了单个token。论文中的配置是挑选1024个全局token,再强制保留最近128个token。这样既能去较早的历史里找分散的线索,也不会漏掉眼前刚收到的工具结果。后续稀疏层继续复用这些选中位置及其缓存。

消融实验里,在保持骨干结构和注意力预算一致,仅比较按块选与按token选的情况下,在32k及以下的长上下文测试中,按token选择让RULER-v2提高6.57个百分点,双线索MRCR-v2提高8.14个百分点,GraphWalks提高5.55个百分点。
HySparse2也没有完全撤掉全注意力。团队认为,少量全注意力层既有助于维持模型能力,也能用完整的注意力分数,帮后面的稀疏层选出值得看的token,就无须再单独训练一个检索模块。
小米团队用相同的数据和训练安排,对比了HySparse2、HySparse以及Hybrid SWA三种注意力设计。预训练后的普通知识、推理和代码项目中,HySparse2的成绩有升有降,整体与对照模型大致可比;优势主要出现在长上下文能力上。加入Agent数据、再经过后续训练后,差距变得更明显。HySparse2在论文评估的各个上下文长度上,MRCR-v2和RULER-v2检索成绩均领先两个对照架构,Agent轨迹与长距离依赖相关的困惑度也更低。到了256k上下文,HySparse2在RULER-v2拿到58.45,上一代HySparse是32.61,Hybrid SWA是35.74。按测试长度取平均,它的MRCR-v2和RULER-v2成绩比HySparse分别高11.30和19.81个百分点。
成本上,在100万token处,论文分析得出的预填充计算量,HySparse2比HySparse降低约2.92倍,比Hybrid SWA降低约5.02倍。采用FP8缓存时,三者的KV Cache占用分别为2.69GB、6.72GB和12.09GB。但5.02倍比较的是预填充计算量,不是实际响应速度;论文的长上下文能力测试评估到256k,100万token对应的是计算量与缓存分析。
MiMo-V3尚未发布,实际产品里的延迟与任务表现,还要等模型落地后再看。不过,HySparse2的取向已经很清楚——Agent执行任务时,工具会不断送回大量新内容,历史里的关键线索又不能丢。MiMo-V3能把论文里的改进带进多少实际任务,将是接下来更值得关注
更多推荐阅读

Fable 5.2连操作系统都能搓,大厂开始重新分工:会用 AI 只是及格线
过去几天,Claude Fable 5.2 再次抬高了我们对 AI 编程的想象。 Claude 工程主管 Felix Rieseberg 开发的游戏 Saltline 在 X 上大火,他只用一次初始提示、没有后续人工反馈,Fable 5.2 自己生成游戏模型、音效和贴图,最终呈现了一款紧张刺激的第一人称射击游戏。 图|体验🔗:https://claude.ai/artifact/BGY1Szt...
2026-11-21 19:57:34
谷歌奇袭英伟达:整柜TPU外售加速交付,推理每美元性能领先GB200五成
英伟达最近头疼的事儿可不止老黄那一件。 本周内,谷歌祭出了两款新TPU芯片,分别瞄准机密推理和长上下文。算上上半年发布的两款TPU芯片,第八代TPU已经扩到四种配置。 今年,谷歌第一次在同一年内推出四款TPU系统。而谷歌对TPU的野心,可能比外界想象得更大—— 还是今年,谷歌破天荒开始对外销售TPU系统。 量子位从谷歌内部人士处获悉,谷歌内部信心十足,表示“明年TPU市场份额会快速上升”,...
2026-11-21 19:57:11
Claude 开始「整顿」会议室,建议国内大厂抄作业
「拉个会对齐下颗粒度,叫上 Claude。」 打开 Google Meet 准备进会,参会者名单里出现了一个叫做 Claude 的头像。 会议主持人把 Claude 添加进通话,它以可见参与者的身份出现,同时在聊天窗口发布通知,明示自己正在加入。会议进行当中,它持续跟随对话,可以实时记录笔记、整理行动项、起草文件,或在白板上梳理结构与时间线。 团队成员可以在通话期间直接编辑它生成的内容,讨论...
2026-11-21 19:52:11
从AI建模到游戏生成,HolyMolly让人人都能玩转3D互动创作
游戏版抖音又添新玩家。 《小王子》又在网上火了一次。 这回是一位叫Sac的创作者照着书里的故事做了一款3D游戏。 小王子住过的星球变成了可以走动的地方,玩家能跟着故事穿过不同的场景,看看那些原本只能靠想象补全的画面。 该游戏视频发到社交媒体后吸引了接近400万次浏览。 这款作品的制作周期只有16天。Sac用Claude Opus 5.5参与代码和游戏搭建,借助Tripo生成3D模型,再用...
2026-11-20 20:00:00
全球AI音乐榜第一易主!中国黑马首次上榜就干翻Suno
Suno,被超了?? 好家伙,AI音乐圈最近突然杀出了一匹中国黑马。 ACE Music v1,一个此前很多人可能都没听过的名字,首次登上全球权威AI评测机构Artificial Analysis(简称AA)的音乐人声榜,就把Suno最新旗舰模型v6挤到了第二。 榜单上,ACE Music v1拿下1160分,领先Suno v6整整16分。 要知道,自2023年AI音乐赛道兴起以来,Sun...
2026-11-20 19:59:59
「别提越权」!OpenAI自曝:AI摸进黑客考场后台,交卷时只字不提
我们应该避免提到未经授权的基础设施。任务目标只有flag。 很难想到,这句听着像串供老手的话,竟然出现在一个AI智能体的推理记录里。 这是一场网络安全考试,AI进攻目标,拿到一串叫flag的暗号,就算答对。 写完开头那句内心独白,这个AI智能体利落地递上答卷,对自己的越权举动只字不提。 11月10日,OpenAI补充公开了一份内部复盘,揭开了7月19日一场失控测试的细节: 参与测试的5个...
2026-11-20 19:59:42