国产GPU推理性能翻7倍,算力运营成新突破口

国产GPU推理性能翻7倍,算力运营成新突破口

AI 资讯 来源:新闻/公众号 发布时间:2026-09-25 19:18:11 预计阅读 5 分钟

随着大模型算力需求攀升,GPU采购成本与供给约束加剧,AI推理竞争正从“买到顶级硬件”转向“把已有算力用得更值”。许多GPU卡虽能通过开源框架完成模型加载与服务拉起,但实际压测性能远低于官方水平,核心原因在于模型框架与硬件间的性能鸿沟。这类卡无高速卡间互联,也不在主流框架官方验证矩阵中,直接使用默认部署方案会导致算子回退、通信参数错配、显存与并行配置沿用他厂默认值,硬件潜力被软件适配短板禁锢。

PCIe显卡被低估了!内核补齐+通信重构,DeepSeek推理吞吐直接翻近7倍

是石科技(METASTONE)作为独立第三方全栈算力运营商,不绑定特定大模型厂商,提供硬件、组网、调度、优化与运营一站式服务。公司源自国家级计算中心经验,保障集群99.95%以上SLA,已纳管超20000P算力,运营10多个智算中心,拥有2个国家级超算中心,团队曾获3项戈登·贝尔奖。其自研Meta-Infer高效部署引擎,面向异构加速芯片,通过纯软件优化弥合硬件与框架缝隙,不改模型结构、不改任务语义,挖掘GPU推理能力,让低成本GPU在部分指标上逼近高端GPU。

PCIe显卡被低估了!内核补齐+通信重构,DeepSeek推理吞吐直接翻近7倍

Meta-Infer优化分两阶段:算模协同释放被硬件差异屏蔽的高性能路径;通算重构打通瓶颈。最终沉淀四项核心能力:内核补齐、算子优化与通信重构、并行与容量调优、缓存复用。

PCIe显卡被低估了!内核补齐+通信重构,DeepSeek推理吞吐直接翻近7倍

内核补齐针对长尾硬件:框架对未验证硬件不报错,只静默降级。Meta-Infer对齐元数据与页尺寸,解锁原生高性能算子;替换不适配内核;扩大通信快路径阈值。以DeepSeek-V4.1-Flash在8张PCIe-Only卡上为例,社区Day0基线输入吞吐1932 tok/s,修复后达5850 tok/s。该阶段在DeepSeek-V4-Flash、GLM5.3等模型上带来20%-33%吞吐增益。

完成适配后,瓶颈转向通信、并行、显存与重复计算。PCIe带宽远低于NVLink,套用高速互联默认策略会致GPU等待。算子优化与通信重构对注意力、投影等做融合,计算与通信重叠,改写集合通信适配PCIe。并行与容量调优放弃全局固化参数,针对Prefill/Decode差异化配置张量并行、上下文并行,动态调整显存与KV缓存,灵活匹配流水线组合。缓存复用面向长文本、视频生成,提供风险感知机制,动态判断复用与刷新时机。

DeepSeek-V4.1-Flash完成全套调优后,输入吞吐从5850升至13274 tok/s,整体提升6.87倍,支持1M上下文。方法论具通用性:DeepSeek-V4-Flash从14546升至22584 tok/s,提升1.55倍;GLM5.3从3236.78升至6222.72 tok/s,提升1.92倍,P95首Token时延从141.6秒降至46.6秒,上下文从27万拓展至105万Token。同并发下,B300输入吞吐约为该8卡整机的4.9–5.6倍(DeepSeek-V4-Flash),GLM-5.3为3.5–4.7倍。MiniMax H3视频生成模型经稀疏注意力、风险感知缓存复用、Turbo LoRA组合,15秒参考图生视频端到端提速2.48倍,峰值显存持平。单机8卡文生视频最高吞吐达基线5.33倍,参考图生视频4.98倍。统一整机口径下,文生视频296条/时、参考图生视频131条/时,分别约为B300的67%和58%。按整机吞吐折算,Ours Cache方案下约2.6台6000D对应1台B300文生视频,参考图生视频约2.9台;Ours Cache+LoRA下缩小至约1.5台和1.7台。硬件未变,差距缩小主要来自软件栈、缓存策略与模型优化组合。

国产GPU同样验证:需显式启用NSA稀疏注意力,关闭不适配的Shared Expert融合,通信按阶段配置DeepEP normal与low_latency,并将Shared Expert与Routed Expert拆分双stream并行提交,仅此一项在35组配对测试中带来11.26%吞吐提升。全部优化收敛于Meta-Infer内部,不改权重与结构,不改任务语义。对大量不在官方验证矩阵的长尾硬件,“能跑起来”不是终点,通过内核补齐、算子通信重构、并行容量调优、缓存复用,可充分挖掘现有PCIe架构硬件潜力,为推理业务提供新可能。

标签: AI 资讯 AI

更多推荐阅读

Fable 5.2连操作系统都能搓,大厂开始重新分工:会用 AI 只是及格线

Fable 5.2连操作系统都能搓,大厂开始重新分工:会用 AI 只是及格线

过去几天,Claude Fable 5.2 再次抬高了我们对 AI 编程的想象。 Claude 工程主管 Felix Rieseberg 开发的游戏 Saltline 在 X 上大火,他只用一次初始提示、没有后续人工反馈,Fable 5.2 自己生成游戏模型、音效和贴图,最终呈现了一款紧张刺激的第一人称射击游戏。 图|体验🔗:https://claude.ai/artifact/BGY1Szt...

2026-11-21 19:57:34
谷歌奇袭英伟达:整柜TPU外售加速交付,推理每美元性能领先GB200五成

谷歌奇袭英伟达:整柜TPU外售加速交付,推理每美元性能领先GB200五成

英伟达最近头疼的事儿可不止老黄那一件。 本周内,谷歌祭出了两款新TPU芯片,分别瞄准机密推理和长上下文。算上上半年发布的两款TPU芯片,第八代TPU已经扩到四种配置。 今年,谷歌第一次在同一年内推出四款TPU系统。而谷歌对TPU的野心,可能比外界想象得更大—— 还是今年,谷歌破天荒开始对外销售TPU系统。 量子位从谷歌内部人士处获悉,谷歌内部信心十足,表示“明年TPU市场份额会快速上升”,...

2026-11-21 19:57:11
Claude 开始「整顿」会议室,建议国内大厂抄作业

Claude 开始「整顿」会议室,建议国内大厂抄作业

「拉个会对齐下颗粒度,叫上 Claude。」 打开 Google Meet 准备进会,参会者名单里出现了一个叫做 Claude 的头像。 会议主持人把 Claude 添加进通话,它以可见参与者的身份出现,同时在聊天窗口发布通知,明示自己正在加入。会议进行当中,它持续跟随对话,可以实时记录笔记、整理行动项、起草文件,或在白板上梳理结构与时间线。 团队成员可以在通话期间直接编辑它生成的内容,讨论...

2026-11-21 19:52:11
从AI建模到游戏生成,HolyMolly让人人都能玩转3D互动创作

从AI建模到游戏生成,HolyMolly让人人都能玩转3D互动创作

游戏版抖音又添新玩家。 《小王子》又在网上火了一次。 这回是一位叫Sac的创作者照着书里的故事做了一款3D游戏。 小王子住过的星球变成了可以走动的地方,玩家能跟着故事穿过不同的场景,看看那些原本只能靠想象补全的画面。 该游戏视频发到社交媒体后吸引了接近400万次浏览。 这款作品的制作周期只有16天。Sac用Claude Opus 5.5参与代码和游戏搭建,借助Tripo生成3D模型,再用...

2026-11-20 20:00:00
全球AI音乐榜第一易主!中国黑马首次上榜就干翻Suno

全球AI音乐榜第一易主!中国黑马首次上榜就干翻Suno

Suno,被超了?? 好家伙,AI音乐圈最近突然杀出了一匹中国黑马。 ACE Music v1,一个此前很多人可能都没听过的名字,首次登上全球权威AI评测机构Artificial Analysis(简称AA)的音乐人声榜,就把Suno最新旗舰模型v6挤到了第二。 榜单上,ACE Music v1拿下1160分,领先Suno v6整整16分。 要知道,自2023年AI音乐赛道兴起以来,Sun...

2026-11-20 19:59:59
「别提越权」!OpenAI自曝:AI摸进黑客考场后台,交卷时只字不提

「别提越权」!OpenAI自曝:AI摸进黑客考场后台,交卷时只字不提

我们应该避免提到未经授权的基础设施。任务目标只有flag。 很难想到,这句听着像串供老手的话,竟然出现在一个AI智能体的推理记录里。 这是一场网络安全考试,AI进攻目标,拿到一串叫flag的暗号,就算答对。 写完开头那句内心独白,这个AI智能体利落地递上答卷,对自己的越权举动只字不提。 11月10日,OpenAI补充公开了一份内部复盘,揭开了7月19日一场失控测试的细节: 参与测试的5个...

2026-11-20 19:59:42
订阅
关注

扫码关注公众号「60秒看懂AI」

扫码关注公众号 60秒看懂AI

微信搜索「60秒看懂AI」也可关注

顶部