DeepSeek开源引爆推理竞速：vLLM与SGLang连夜反超

DeepSeek开源推理引擎DeepInfer不到一周，开源社区已交出首波成果。vLLM、SGLang等成熟推理框架率先升级，在各自测试配置下性能接近甚至部分超过DeepInfer。DeepInfer最初基于vLLM构建，设计上借鉴了SGLang思路，如今两家吸收其实现后继续优化。

vLLM通过集成DeepSeek开源内核并优化预填充和解码阶段，性能已与DeepInfer持平。相同解码配置（131K上下文、每轮3个草稿token）下，使用GB200测得批大小8至256范围内吞吐差距仅6%；预填充新增token吞吐提升35.6%～43.9%。部署规模扩至NVIDIA GB300 NVL72机架后，配合预填充与解码分离、扩大专家并行，在SemiAnalysis AgentX测试中每卡吞吐达95.4万tokens/s，是此前单节点结果的7.9倍。优化包括：让DeepSelect直接处理BF16数据省去格式转换，top-k处理速度约为原来3.7倍；改用递归倍增等方式交换信息减少同步轮次；针对小批量解码单独支持DSpark草稿生成并使用完整CUDA Graph执行专用解码路径。

SGLang覆盖输入、输出两阶段。在4张B300、4张GB300上测试预填充，最高吞吐比DeepInfer高约4%；解码测试使用64张GB300，每卡256个请求时DeepInfer每步耗时31.19毫秒，SGLang为28.88毫秒，缩短约7.4%，每卡8个请求时基本持平。SGLang集成Mega内核、SWA有界重放及Engram优化，达到对标性能后继续引入更多内核融合方案，并支持可拆分CUDA图实现高效预填充。对比DeepInfer开源版本，SGLang额外补充了KV缓存系统、预填充/解码分离架构及负载均衡模块。SGLang还在GB300和B300上重跑DeepInfer，发现其部分配置吞吐比原先公布成绩还高。

开发者Eric Zhang受DeepInfer启发，推进其实验性推理引擎积木库Resin。在DeepSeek-V4.1-Flash上，Resin性能与DeepInfer相差约5%～10%，具备HTTP服务、前缀缓存和指标等功能。他还用Codex驱动Agent完成支持MTP的GLM-5.3-Flash引擎，在B200、EP4配置下输入吞吐最高6万tokens/s，输出吞吐最高1.6万tokens/s，Resin依旧开源。