国产GPU推理性能翻7倍，算力运营成新突破口

随着大模型算力需求攀升，GPU采购成本与供给约束加剧，AI推理竞争正从“买到顶级硬件”转向“把已有算力用得更值”。许多GPU卡虽能通过开源框架完成模型加载与服务拉起，但实际压测性能远低于官方水平，核心原因在于模型框架与硬件间的性能鸿沟。这类卡无高速卡间互联，也不在主流框架官方验证矩阵中，直接使用默认部署方案会导致算子回退、通信参数错配、显存与并行配置沿用他厂默认值，硬件潜力被软件适配短板禁锢。

是石科技（METASTONE）作为独立第三方全栈算力运营商，不绑定特定大模型厂商，提供硬件、组网、调度、优化与运营一站式服务。公司源自国家级计算中心经验，保障集群99.95%以上SLA，已纳管超20000P算力，运营10多个智算中心，拥有2个国家级超算中心，团队曾获3项戈登·贝尔奖。其自研Meta-Infer高效部署引擎，面向异构加速芯片，通过纯软件优化弥合硬件与框架缝隙，不改模型结构、不改任务语义，挖掘GPU推理能力，让低成本GPU在部分指标上逼近高端GPU。

Meta-Infer优化分两阶段：算模协同释放被硬件差异屏蔽的高性能路径；通算重构打通瓶颈。最终沉淀四项核心能力：内核补齐、算子优化与通信重构、并行与容量调优、缓存复用。

内核补齐针对长尾硬件：框架对未验证硬件不报错，只静默降级。Meta-Infer对齐元数据与页尺寸，解锁原生高性能算子；替换不适配内核；扩大通信快路径阈值。以DeepSeek-V4.1-Flash在8张PCIe-Only卡上为例，社区Day0基线输入吞吐1932 tok/s，修复后达5850 tok/s。该阶段在DeepSeek-V4-Flash、GLM5.3等模型上带来20%-33%吞吐增益。

完成适配后，瓶颈转向通信、并行、显存与重复计算。PCIe带宽远低于NVLink，套用高速互联默认策略会致GPU等待。算子优化与通信重构对注意力、投影等做融合，计算与通信重叠，改写集合通信适配PCIe。并行与容量调优放弃全局固化参数，针对Prefill/Decode差异化配置张量并行、上下文并行，动态调整显存与KV缓存，灵活匹配流水线组合。缓存复用面向长文本、视频生成，提供风险感知机制，动态判断复用与刷新时机。

DeepSeek-V4.1-Flash完成全套调优后，输入吞吐从5850升至13274 tok/s，整体提升6.87倍，支持1M上下文。方法论具通用性：DeepSeek-V4-Flash从14546升至22584 tok/s，提升1.55倍；GLM5.3从3236.78升至6222.72 tok/s，提升1.92倍，P95首Token时延从141.6秒降至46.6秒，上下文从27万拓展至105万Token。同并发下，B300输入吞吐约为该8卡整机的4.9–5.6倍（DeepSeek-V4-Flash），GLM-5.3为3.5–4.7倍。MiniMax H3视频生成模型经稀疏注意力、风险感知缓存复用、Turbo LoRA组合，15秒参考图生视频端到端提速2.48倍，峰值显存持平。单机8卡文生视频最高吞吐达基线5.33倍，参考图生视频4.98倍。统一整机口径下，文生视频296条/时、参考图生视频131条/时，分别约为B300的67%和58%。按整机吞吐折算，Ours Cache方案下约2.6台6000D对应1台B300文生视频，参考图生视频约2.9台；Ours Cache+LoRA下缩小至约1.5台和1.7台。硬件未变，差距缩小主要来自软件栈、缓存策略与模型优化组合。

国产GPU同样验证：需显式启用NSA稀疏注意力，关闭不适配的Shared Expert融合，通信按阶段配置DeepEP normal与low_latency，并将Shared Expert与Routed Expert拆分双stream并行提交，仅此一项在35组配对测试中带来11.26%吞吐提升。全部优化收敛于Meta-Infer内部，不改权重与结构，不改任务语义。对大量不在官方验证矩阵的长尾硬件，“能跑起来”不是终点，通过内核补齐、算子通信重构、并行容量调优、缓存复用，可充分挖掘现有PCIe架构硬件潜力，为推理业务提供新可能。