是石科技发布TokenFleet调度框架，首Token延迟降32.4%

GPU集群里，请求排队和资源闲置可能同时发生。2026 CCF全国高性能计算学术大会期间，是石科技发布新品TokenFleet分布式调度框架，把优化重点放在请求路由、跨机房容量协同和混合负载治理上，尝试提高现有算力的有效产出。

如果把推理服务看作一座“国产Token优化工厂”，GPU是生产设备，推理实例是工位，业务请求则是一张张订单。TokenFleet负责把订单与产能匹配起来。同一批设备，接到的任务不同、分配方式不同，最终的等待时间与达标产出也会不同。

模型部署完成后，集群需同时应对多种业务：多个模型共享算力，不同租户有各自服务等级要求；短对话要及时响应，长文档处理需要更多计算与显存，离线批量任务又有完成期限；服务分布在多个机房时，还要考虑容量协同。简单分流可能让部分实例排长队，其他位置容量却未及时利用。长请求与批量任务相互挤压，会拖慢实时交互；超时、取消和重复计算，又会消耗资源却未形成合格交付。

TokenFleet在模型质量、服务要求与算力预算一致的条件下，通过提高有效Token产出，降低单位有效产出的成本。TokenPilot在同一模型池内选择实例，FleetMind面向跨机房容量协同，SLOMax负责混合负载的准入、队列治理与容量分配。

TokenPilot在选点时同时估算缓存复用收益与排队代价，结合输入规模、输出预算和可复用前缀估计工作量，再综合队列、在途Token、KV缓存压力与预测延迟，筛选并评分候选实例。是石科技提供的GLM5.3调优数据显示，在所测显卡集群与负载条件下，采用预测延迟路由后，P95首Token延迟降低32.4%，P50首Token延迟降低71.3%。

FleetMind关注实际可用的模型服务容量，汇聚各机房的模型可用性、实时容量与网络状态，先选择执行机房，再由该机房本地决策引擎选择具体推理实例。当热点机房开始排队，系统会评估其他机房是否有同版本模型的就绪端点、是否仍有服务余量，再判断能否承接允许跨地域执行的新请求。能否分流要先满足权限和数据地域约束；值不值得分流，还要综合比较回源时延、排队、计算、缓存与传输成本。容量协同有不同时间尺度：短周期调整新请求去向，长周期调整模型副本与预热位置，并结合容量预留、负载上限感知和自动回退，减少容量错配。

SLOMax结合输入长度、输出预算、任务类型与租户服务目标识别工作量，再按等级准入、分池排队并协调容量，保障交互容量，控制长短请求的并发与相互干扰。TokenFleet把达标产出作为优化目标。Goodput即达标输出吞吐，计算的是完整测试时段内，成功完成且满足约定服务要求的请求所产生的输出Token总量除以测试时长。系统将达标吞吐、失败、取消与重复执行情况反馈给调度策略，持续调整准入和容量比例。在是石科技给出的GLM5.3收益测算示例中，采用流控协同调度后，总输出吞吐增加约1.5%，达标输出吞吐提高约29.4%，达标比例从约67%升至约86%。

是石科技是一家独立第三方全栈算力运营商，不绑定任何特定大模型厂商，为客户提供涵盖硬件、组网、调度、优化与运营的一站式全栈算力交付服务。其算力集群运行SLA达到99.95%以上，目前已纳管超过20000P+的算力资源，运营10多个超智算中心，其中有2个国家级超算中心；团队成员曾荣获3项戈登·贝尔奖。此前发布的Meta-Infer高效推理引擎着力提升单个推理实例的执行效率，此次TokenFleet则把重点放在集群调度，通过请求分配、容量协同与混合负载治理，组织规模化服务。