DeepSeek开源核心推理引擎DeepInfer，单集群日服务155万亿Token

DeepSeek全面开源自研推理框架DeepInfer，并同步开源生产级Token编解码组件deepseek-recipe。官方数据显示，DeepInfer支撑DeepSeek V4.1 Flash大规模推理，一个集群一天可服务155万亿Token。框架支持英伟达SM100 GPU和华为昇腾950 NPU。

线上统计显示，平均每个请求输入77K Token，首字平均400毫秒输出；生成阶段每秒输出230个Token，写代码时可冲到300个。平均96%的输入可直接命中缓存，无需重算。按谷价计算，平均每张卡每小时收入38美元。

DeepSeek将请求处理拆为Prefill和Decode两步，分到不同机器：Prefill用8卡机器，Decode用64至128卡超节点，带图片请求先交给独立图像编码服务。实践中两边卡数约1比1，最小部署单元建议64卡Prefill加64卡Decode。

deepseek-recipe统一转换OpenAI Chat Completions、Responses和Anthropic Messages三种API格式，并处理特殊Token标记对话结构。缓存方面，DeepSeek将算过的KV缓存存入3FS存储集群，容量约100PiB，全固态硬盘；Agent流量缓存留3天，聊天流量留7天。同一张卡跑Prefill，不算缓存命中每秒处理6万Token，算上缓存命中达150万，差25倍。缓存独立存放使任何Prefill机器都能读取，机器故障不影响缓存。

V4.1 Flash部分层采用滑动窗口注意力，每个Token只看最近128个Token，重算成本变为常数；同样方法用于另外20层，Prefill总计算量减少近一半。Decode阶段，自研DSpark按概率决定验证哪些猜测，相比固定验5个，线上吞吐提升6%。DeepInfer让CPU与GPU同时开工，线上Decode阶段每张卡每秒生成1.4万个Token。

V4.1 Flash是MoE模型，路由专家384个。Decode阶段专家摊到64张卡，每卡6个加1个热门专家副本共7个。离线测试中，64卡一组跑Decode，每卡每秒最多输出2.6万多个Token。热门专家副本每1000步统计负载、每10000步重新分配，线上最忙的卡只比平均高9%。Prefill按输入长度分4档动态调整机器，Decode按请求数和缓存长度调度，系统整体能跑到离线测试完全均衡状态的80%左右。跨机房部署技术上可行，每8张卡配约400Gbps互联带宽，但可能牺牲可靠性。

DeepInfer采用Apache 2.0协议，deepseek-recipe采用MIT协议。DeepInfer目前支持V4.1 Flash，最初基于vLLM搭建，参考了SGLang和TensorRT-LLM。开源版本目前提供离线推理，KV缓存管理和负载均衡因与内部基础设施绑定较深，代码暂未完整开源，设计细节已写入技术长文和部署问答。DeepSeek表示，分享内部部署经验主要为降低算力成本、减少能源消耗，让更广泛人群用得起智能。未来新模型推理代码和性能优化将在DeepInfer持续开源。