决策模型首个开源推理引擎来了，推理速度提升5.3倍

近期，大模型行业掀起开源自研推理引擎的浪潮。10月20日，DeepSeek开源生产环境实际使用的推理框架DeepInfer；10月22日，国内AI创业团队StartLux（原点星辉）开源自研推理引擎Prism。DeepInfer服务自家通用大模型云端大规模业务，Prism则聚焦“决策模型”，是首款专门面向决策模型打造并对外开源的推理引擎。

决策模型是快速走红的新赛道，不同于生成式大模型，其不需输出大段文本，读取材料后直接输出是/否、选项选择、风险等级打分等概率化结论。自今年9月Jev模型爆火后，微软、AWS、Cloudflare等相继入局。成立不足五个月的StartLux已取得不错成绩：10月16日推出新一代决策模型StartLux-Decision-v1.1，以69.1分登上Hugging Face Decision Index 0.3.2榜单首位，在173个公开可复现模型中排名第一。截至目前，其决策模型累计下载量超18万，API累计响应全球超300万次决策请求。

不过落地仍存瓶颈。此前StartLux-Decision-v1.1运行在基于vLLM 0.31的通用推理框架上，而vLLM等主流框架原生面向逐token生成场景，并不适配决策模型，模型能力难以充分释放。Prism按决策模型需求重写推理引擎，实测单张H200显卡上处理单个短问题比原方案快2.8倍，同一材料连问三个问题最快提速5.3倍。

Prism围绕“完成一次决策只执行必不可少计算”进行四大创新：一是收敛输出计算范围，以27B模型为例，输出层含12.7亿权重，通用引擎需对24.8万候选词完整打分，而决策任务仅用A-Z共26个字母，Prism将输出层计算范围压缩至原先0.01%；二是“森林式”计算，将批量任务构建为通用指令为树根、共用材料为树干、独立问题为树枝的结构，树根树干只算一次，多轮追问可复用结果；三是采用整数运算，矩阵运算全部使用int8精度、int32精度累加，解决结果漂移问题；四是混排调度，思考类任务提示词并入直接输出批次预处理，后续解码预编译为CUDA图，最多支持64条思考任务与直接输出任务分时占用显卡，简单请求最多等待1-2个解码步骤即可插队。

性能测试显示：单道短问题Prism耗时19毫秒，原方案53.1毫秒，提速2.8倍；同一材料连问三题仅需17.4毫秒，原方案92.9毫秒，提速5.3倍；开启思考模式提速1.7倍；8192 token长问题差距收窄至1.2倍；视频理解测试比vLLM快3.38倍。JevBench 231道题测试中，Prism单题平均延迟41毫秒排名第一，次快的decider编译版为66.8毫秒，SGLang为75.6毫秒，vLLM为112.7毫秒，llama.cpp为589毫秒；同为8位精度下，Prism延迟比次快框架低约40%。64路并发跑满显卡时优势收窄至17%到22%，但日常小型请求负载下Prism每秒处理100道请求，最优竞品为38道，领先2.6倍。多卡部署支持数据并行与张量并行及组合，四张H200数据并行合计每秒121个请求，约为单卡3.92倍；张量并行单题延迟从41毫秒降至29毫秒；双卡混合部署实现每秒86道请求、单题36毫秒，各部署方式输出与单卡逐位一致。精度方面，覆盖七个评测集、12351个决策样本的带思考测试中，Prism int8版本平均准确率92.94%，原引擎FP8版本为92.83%，BF16原版为92.97%，量化版与满血原版差距仅0.03个百分点。部署门槛方面，16.55GB压缩版本单块32GB显存RTX 5090即可运行，输出效果对标H200，该版本上Prism比llama.cpp快3.9倍。