小米1T大模型推理速度破千:每秒千Token,七秒交付应用

小米1T大模型推理速度破千:每秒千Token,七秒交付应用

AI 测评 来源:新闻/公众号 发布时间:2026-08-28 14:21:48 预计阅读 3 分钟

小米1T大模型推理速度破千:每秒千Token,七秒交付应用

小米日前发布MiMo-V2.5-Pro-UltraSpeed,这是MiMo-V2.5-Pro的高速版本,定位旗舰级大模型。该模型拥有1T总参数、支持1M上下文,单API推理速度达到1000+TPS,刷新了旗舰模型全球最快推理速度,而且不依赖专用硬件,用通用GPU即可实现。这一成绩直接打破了“快、强、通用GPU不可兼得”的不可能三角。

在实测中,速度优势体现得淋漓尽致。接入Claude Code生成一个500多行的HTML番茄钟应用,模型连同思考过程仅用7秒便完成交付;网页端输出平均速度超过1000+TPS,峰值更是飙到3300以上。在Hermes环境中,模型完成了带前后端和数据库的实时聊天室,功能全部正常。多Agent协同审阅电影大纲时,三个子代理并行工作,不到两分钟就交出报告,还能准确定位结构、人物、市场方面的关键问题。这样的吞吐量意味着,过去需要漫长等待的复杂任务,现在几乎可以做到“即问即答”,对于开发者来说,等待时间被压缩到了近乎直觉的范畴。

全链路协同,速度与智商兼得

这种极速体验并非靠砍参数或堆硬件换来的。小米通过模型层、引擎层、系统层的全链路协同设计实现提速,其中模型层采用Hybrid SWA架构,专门解决1M长上下文和参数带宽压力。作为对比,此前业界最快的旗舰模型大约是400B参数跑400TPS,而且是以削减参数为代价。小米在1T总参数的规模下跑出1000+TPS,相当于用更大的模型实现了更快的速度,把“速度”和“智商”同时攥在了手里。

通用GPU部署,降低使用门槛

更关键的是,如此高性能并不属于“特权硬件”。过去,要获得极致推理吞吐,往往需要专用加速卡或大规模集群;而小米的方案在通用GPU上就能跑通,这大幅降低了旗舰模型的高性能部署门槛。对开发者而言,1M上下文让模型可以轻松处理超长代码、完整文档和复杂对话历史,而1000+TPS的吞吐则让AI编程、实时交互、多智能体协作等场景变得格外流畅——七秒交付一个番茄钟应用,正是这种流畅度的直观写照。当推理速度不再拖后腿,开发者可以更大胆地把大模型嵌入到生产工具中,甚至催生出新的应用形态。

旗舰大模型的竞赛,过去更多聚焦在参数规模和上下文长度上。MiMo-V2.5-Pro-UltraSpeed用实测数据证明,推理速度也可以成为旗舰级的核心竞争力。当“快、强、通用GPU”不再是一道单选题,大模型落地到真实业务的路径正在变得更宽。小米此次在速度维度的突破,或将推动行业重新思考模型设计与部署的权衡,让更多实时AI应用加速到来。

标签: AI 测评 AI

更多推荐阅读

被称“最无聊机器人”的Dyna,靠叠衣服找到机器人Scaling Law

被称“最无聊机器人”的Dyna,靠叠衣服找到机器人Scaling Law

《纽约邮报》曾称Dyna Robotics为“全世界最无聊的机器人”,而公司创始人认为这是“对一家机器人公司最高的赞美”。Dyna-1主攻叠毛巾、叠衣服;新发布的Dyna-2让机器人Taku进入洗衣房,完成放脏衣服、操作洗衣机、取出送烘干机、折叠放架等流程。联合创始人Jason Ma表示,机器人真正开始工作本就应是“无聊”的,真实部署是衡量机器人的“唯一评估”;机器人不能落地,不是因为没有腿或手,...

2026-10-20 09:48:01
前剪映负责人做视频Agent获千万美元融资

前剪映负责人做视频Agent获千万美元融资

视频Agent赛道出现新玩家Pexo,与采用画布工作流的产品不同,Pexo将剪辑和视频整合在产品中,支持用自然语言对话创作视频。公司已获千万美元天使轮融资,此前于2025年10月获得数百万美元投资。创始人廖谦曾任生数科技产品副总裁、Vidu产品负责人,也曾在腾讯、字节跳动任职,从技术研发转向AI产品与商业化,先后从0到1搭建火山引擎智能创作云,并在剪映/CapCut发起海外AI内容平台Pippit...

2026-10-20 09:26:14
DeepSeek搜索卷起来后,前负责人创业做全网捞人

DeepSeek搜索卷起来后,前负责人创业做全网捞人

近日,DeepSeek开放了自研网页搜索接口,披露该引擎每天处理全球数亿次请求,已收录千亿级网页,正将搜索能力开放给更多开发者。 在搜索对象中,人物信息最为特殊,难点在于把零散线索拼到同一个人身上。Simplex AI创始人张博曾任DeepSeek-VL项目负责人,其团队推出的Lev8主要面向GTM,人物搜索是流程起点。用户用自然语言描述目标,系统即寻找符合条件的对象,结合公开资料判断匹配度,生...

2026-10-20 08:09:15
蚂蚁领投!清华系AI创企熵简科技完成C轮融资

蚂蚁领投!清华系AI创企熵简科技完成C轮融资

智东西10月19日消息,北京AI金融创企熵简科技宣布完成C轮融资,由蚂蚁集团领投,东方国信与乔贝资本跟投。融资后,蚂蚁集团将与熵简科技在AI金融智能体研发、AI金融垂域模型训练等领域展开深度合作。 熵简科技成立于2017年,主要依托大数据、云计算、人工智能等技术,打造全资产、全流程的端到端智能资产管理平台。公司名称源自热力学第二定律中度量系统混沌程度的“熵”,“熵简”寓意通过AI降低金融投研的复...

2026-10-20 09:26:26
Anthropic预言奇点已至:2030年美国GDP或飙至44万亿美元

Anthropic预言奇点已至:2030年美国GDP或飙至44万亿美元

在曼谷举行的国际货币基金组织佩尔·雅各布森讲座上,Anthropic联合创始人Jack Clark提出判断称“奇点已经到来”,即技术进步速度已甩开人类理解和跟进的能力。他预测,在奇点驱动下,到2030年美国GDP将升至44万亿美元。按常规推演,该数字为33.5万亿美元,奇点带来15.4%的额外GDP,平均每年约6%的GDP增长;到2030年前后,累积生产率提升与资本积累将把美国年化经济增长率推高至...

2026-10-20 08:36:21
港科大CMU联手开源新模型:KV Cache砍掉99%,单卡吞吐飙6倍

港科大CMU联手开源新模型:KV Cache砍掉99%,单卡吞吐飙6倍

谷歌一篇论文提到KV Cache至少能压缩6倍,曾引发美光等存储芯片巨头股价下跌。几个月后,岩山科技旗下岩芯矩阵联合港科大、CMU等高校发布并开源EdgeRock-4B,对KV Cache的处理更进一步:上下文从4K扩展到256K,KV Cache占用始终固定在72MiB,相比源模型减少99.1%。一张80GB显卡可同时跑512路长推理,输出吞吐达12124 tokens/s,是源模型的6.42倍...

2026-10-20 23:25:26
订阅
关注

扫码关注公众号「60秒看懂AI」

扫码关注公众号 60秒看懂AI

微信搜索「60秒看懂AI」也可关注

顶部