4张B200跑出1000并发：DeepInfer实测

2026 年 10 月 20 日，DeepSeek 开源了支撑 V4.1 Flash 线上服务的推理框架 DeepInfer。官方数据显示，64 卡集群、每卡 256 条请求、全集群约 1.6 万并发、每条请求 128k 上下文、nextn=3 投机解码、按 75% 接受率折算，每用户约 103 token/s，每卡约 2.63 万 token/s，全集群约 168 万 token/s。但原方案要求每台机器都有 GPUDirect RDMA 网卡，Engram 表约 197 GB 按 rank 分片放在主机内存，每步前向由 GPU 经 RDMA 网卡读取，读本机分片也走网卡回环，没有 InfiniBand/RoCE 网卡或网卡未透传进实例的机器无法启动，大部分容器云和 GPU 虚拟机无法使用。

实测方案将门槛降到 4 张 B200、去掉 RDMA 依赖：4 卡 EP4，权重 510 GB，B200 每卡 183 GB 显存，放下权重后每卡剩约 90 GB 给 KV cache 和激活；专家按 EP4 切分，attention 按 DP4 切分。用兼容接口替换 Engram 的 RDMA 取数，表仍放主机内存，各 rank 分片拼进同一块共享内存，GPU 通过 PCIe 直接读，由环境变量开启，不开时走上游原路径。测试机为 4×B200 容器实例（NVLink 全互联，驱动 595，2 TB 内存），框架版本 commit774ce24，使用官方 benchmark.py、run_sweep.sh 和 eval/。

Decode 测试配置与官方一致：128k 上下文、nextn=3、逐档增加每卡并发。官方按草稿全部接受计步数再乘 τ=3.25，本文同时给出按真实负载接受率 τ=2.58 换算的结果。4 卡总并发 1,024 时总输出约 6.2 万 token/s，每用户约 61 token/s；限制 256 并发时每用户约 110 token/s。与官方 EP8 对比，每卡 64 并发时每用户约 139 对 198 token/s，约为 70%；每卡 256 并发时约 77 对 98。4 卡换来更低部署门槛，代价是单卡吞吐少约 25%。单请求延迟：4 卡、32k 上下文，关闭投机解码每步 7.6 ms（131.7 token/s）；开启 nextn=5 后每步 11.2 ms，按真实接受率每用户约 230–250 token/s；AIME 最后只剩一条长推理时实测单路约 304 token/s。

真实负载用官方脚本跑 GPQA Diamond（198 题）和 AIME 2026（30 题），温度 1.0、最大思考强度、每题 1 次采样，均正常结束无截断。GPQA 共生成 310 万 token，4 卡平均约 2,900 token/s，均值被最后只剩一两条长推理的十来分钟拉低；投机解码真实负载每步约出 2.6–2.8 个 token，比官方假设的 3.25 低约 20%。GPU 全程每 5 秒采一次利用率、功耗和频率，B200 功耗上限 1000 W，SM 频率稳定 1965 MHz 无降频。Prefill 基本打满算力，忙碌样本利用率 100%，功耗中位数 920–930 W；高并发 decode 每卡约 30–45 并发时利用率 93–99%、功耗约 800 W；只剩一两条请求时利用率仍显示 80–88%，但功耗仅约 490 W，该利用率只表示有内核运行，单条 decode 受访存和内核启动延迟限制。结论是要用足 4 张 B200 需足够并发：每卡 64 条（总 256）时每用户仍有 100 token/s 以上；加到每卡 256 条（总 1,024），总吞吐还能再涨一倍以上，单用户速度降到 60–77 token/s。

Prefill 用官方相同配置原样复现，实测比官方低 2–11%，batch 越大差得越多，原因是 Engram 取数改为同步 PCIe 读：65,536 token 时每步多花约 61 ms，而上游取数异步发出并与前面层计算重叠；扣除这部分开销后差距在 -1.3% 到 +2.2% 之间，最大 batch 一档差 4.4%。编译好的 DeepInfer、全部算子、Engram 本机取数补丁和测试脚本已打成镜像，权重不打进镜像，首次运行下载到挂载目录。

附录显示，V4.1 两张 Engram 表共 7.68 亿行、每行 256 B（FP8），合计约 197 GB，另有约 6 GB 缩放因子；上游在 NVIDIA 上默认按 rank 分片放主机内存，每次前向由 DeepEP 的 engram_fetch 内核在 GPU 上直接发起 NCCL GIN 读请求，经 RDMA 网卡取行进显存，只有 GIN 一条路径，