2.8万亿参数大模型竞速:中美团队同步突破推理效率瓶颈
2.8万亿参数的大模型如何跑快,成为海内外团队共同攻关的方向。Kimi K3以2.8万亿总参数、104B激活参数刷新开源模型性能上限,但普通AI服务器难以承载,官方推荐64卡甚至更大规模,未经优化的超节点初始性能可能仅约10 tokens/s。
9月21日,浪潮信息发布元脑SD200 Ultra超节点AI服务器,紧耦合128芯本土AI芯片,单机承载Kimi K3,Token生成时延首破5.85毫秒。9月23日,海外团队Inferact开源tpu-megakernels,用16颗谷歌TPU v7芯片把整个K3装进一个kernel,配合DSpark投机解码,低并发Decode吞吐达709 tokens/s。两者指向同一思路:打破算子边界,将推理计算融合到极致。

万亿参数模型推理慢,瓶颈不在算力,而在数据搬运和内存带宽。据SemiAnalysis分析,K3一次前向计算HBM带宽需求约1.5TB,896个专家分布多张芯片,每次前向触发超120次All-to-All通信。Decode阶段每生成一个Token都需持续读取大量权重,传统框架需启动大量Kernel,产生大量“空泡”,累积成实际速度与理论峰值的鸿沟。
Inferact方案是用Google Pallas把K3的92个MoE层放进一个Pallas调用,在一个Kernel内完成整个解码,利用TPU v7的VMEM显式控制数据生命周期,把模型视为连续数据流。浪潮信息则将众多基础算子融合为超级算子,算子数量降低10倍,推理性能提升3倍以上:先把小算子焊成大算子,减少中间停靠;再把通信和计算融合,按Tile组织流水线,隐藏通信延迟。

浪潮信息在适配Kimi K3时引入“超级算子智能体”,让K3参与自身推理优化,自动生成通算融合、Tile级流水的超级算子,经模型校验迭代,性能再提升50%,形成“用K3优化K3”的循环加速。首席AI战略官刘军比喻:过去推理如绿皮火车途经数百小站,超级算子则像一站直达的高铁。
Agent时代Token消耗激增。Gartner报告显示,一个Agent工作流每任务消耗Token是标准聊天机器人的5到30倍;高盛预测到2030年全球Token消耗量较2026年增长24倍,达每月约120000万亿Token。浪潮信息以能力型智算和容量型智算两条线应对:向上,SD200 Ultra实现5.85ms/token、单用户170 tokens/s;向广,HC2000多元算力机组用DirectCom 2.0架构,同等投资Token产能提升10倍。

中国玩家单看芯片与NVIDIA仍有差距,但超节点层面靠系统级创新可追平甚至超越。SD200 Ultra用3D Hyper Mesh架构紧耦合128芯本土AI芯片,提供8TB统一编址显存和64TB内存,通信时延低至0.69微秒,通过对称内存技术首次在基于本土AI芯片的超节点上实现GPU显存直连,AllReduce通信时间降低3.5倍。刘军表示,超节点最基本特征是显存统一寻址,否则只能叫节点集群。
芯片是一张牌,系统工程是另一张牌。当芯片紧密连接、内存统一空间、通信藏进计算、算子由AI持续优化,系统红利开始释放。Inferact用16颗TPU证明一个kernel可装下2.8万亿参数;浪潮信息用128颗本土芯片证明系统级紧耦合加超级算子可让本土算力跑进第一梯队。在芯片工艺受限的约束下,系统级创新是确定性最高的追赶路径。
更多推荐阅读

Fable 5.2连操作系统都能搓,大厂开始重新分工:会用 AI 只是及格线
过去几天,Claude Fable 5.2 再次抬高了我们对 AI 编程的想象。 Claude 工程主管 Felix Rieseberg 开发的游戏 Saltline 在 X 上大火,他只用一次初始提示、没有后续人工反馈,Fable 5.2 自己生成游戏模型、音效和贴图,最终呈现了一款紧张刺激的第一人称射击游戏。 图|体验🔗:https://claude.ai/artifact/BGY1Szt...
2026-11-21 19:57:34
谷歌奇袭英伟达:整柜TPU外售加速交付,推理每美元性能领先GB200五成
英伟达最近头疼的事儿可不止老黄那一件。 本周内,谷歌祭出了两款新TPU芯片,分别瞄准机密推理和长上下文。算上上半年发布的两款TPU芯片,第八代TPU已经扩到四种配置。 今年,谷歌第一次在同一年内推出四款TPU系统。而谷歌对TPU的野心,可能比外界想象得更大—— 还是今年,谷歌破天荒开始对外销售TPU系统。 量子位从谷歌内部人士处获悉,谷歌内部信心十足,表示“明年TPU市场份额会快速上升”,...
2026-11-21 19:57:11
Claude 开始「整顿」会议室,建议国内大厂抄作业
「拉个会对齐下颗粒度,叫上 Claude。」 打开 Google Meet 准备进会,参会者名单里出现了一个叫做 Claude 的头像。 会议主持人把 Claude 添加进通话,它以可见参与者的身份出现,同时在聊天窗口发布通知,明示自己正在加入。会议进行当中,它持续跟随对话,可以实时记录笔记、整理行动项、起草文件,或在白板上梳理结构与时间线。 团队成员可以在通话期间直接编辑它生成的内容,讨论...
2026-11-21 19:52:11
从AI建模到游戏生成,HolyMolly让人人都能玩转3D互动创作
游戏版抖音又添新玩家。 《小王子》又在网上火了一次。 这回是一位叫Sac的创作者照着书里的故事做了一款3D游戏。 小王子住过的星球变成了可以走动的地方,玩家能跟着故事穿过不同的场景,看看那些原本只能靠想象补全的画面。 该游戏视频发到社交媒体后吸引了接近400万次浏览。 这款作品的制作周期只有16天。Sac用Claude Opus 5.5参与代码和游戏搭建,借助Tripo生成3D模型,再用...
2026-11-20 20:00:00
全球AI音乐榜第一易主!中国黑马首次上榜就干翻Suno
Suno,被超了?? 好家伙,AI音乐圈最近突然杀出了一匹中国黑马。 ACE Music v1,一个此前很多人可能都没听过的名字,首次登上全球权威AI评测机构Artificial Analysis(简称AA)的音乐人声榜,就把Suno最新旗舰模型v6挤到了第二。 榜单上,ACE Music v1拿下1160分,领先Suno v6整整16分。 要知道,自2023年AI音乐赛道兴起以来,Sun...
2026-11-20 19:59:59
「别提越权」!OpenAI自曝:AI摸进黑客考场后台,交卷时只字不提
我们应该避免提到未经授权的基础设施。任务目标只有flag。 很难想到,这句听着像串供老手的话,竟然出现在一个AI智能体的推理记录里。 这是一场网络安全考试,AI进攻目标,拿到一串叫flag的暗号,就算答对。 写完开头那句内心独白,这个AI智能体利落地递上答卷,对自己的越权举动只字不提。 11月10日,OpenAI补充公开了一份内部复盘,揭开了7月19日一场失控测试的细节: 参与测试的5个...
2026-11-20 19:59:42