硬刚全球顶尖模型,北大数院团队登顶RoboColiseum

硬刚全球顶尖模型,北大数院团队登顶RoboColiseum

AI 资讯 来源:新闻/公众号 发布时间:2026-11-14 15:43:39 预计阅读 13 分钟

在 RoboColiseum 最新一期周榜中,MXI-SimWorld 以 0.9656 的成绩位列总榜第一、空间理解、通用操作子榜第一。

当大模型开始走进物理世界,如何让机器人理解指令、感知环境并完成操作,成为具身智能领域的重要课题。

11月11日,RoboColiseum 官方发布新一期周榜,榜单显示,截至2026年11月11日中午 12:00,北京大学数学科学学院杨超教授领衔的壹零壹壹公司旗下 MXI 团队,凭借物理 AI 框架MXI-SimWorld v0 Preview,以0.9656的综合得分位列 RoboColiseum 具身智能评测总榜第一。拆开四个子榜看,MXI-SimWorld v0 Preview 同样没有短板:空间理解、通用操作两项排名第一,指令跟随、扰动适应两项排名第二。四个维度全部进入前二。

Robocolisuem 总榜  截止到 2026 年 11 月 11 日 图源:RoboColiseum

作为由 Hugging Face、NVIDIA、清华大学等全球近 20 家高校、企业与科研机构联合发起的权威评测平台,RoboColiseum 是当下具身智能领域含金量极高的 “实机前置标尺”。它拒绝纸面刷题,通过域随机化机制、训练集与测试集严格隔离的规则规避过拟合,同时覆盖分布内与分布外双重测试,最终评测结果与真实机器人表现的相关性接近 90%,同一模型在仿真与真机两端的成绩差异小于 10%。

榜单设置指令跟随、空间理解、扰动适应、通用操作四大维度,前两项考验模型 “看得懂、想得明白” 的认知能力,后两项则直接检验 “动手能不能做成事” 的物理落地能力。

随着通用大模型不断进步,一个问题也愈发受到关注:模型理解任务的能力,如何转化为机器人完成物理操作的能力?

当大模型已经可以流畅写代码、完成复杂逻辑推理,指挥机器人完成桌面抓取、物品归置等任务,仍然需要面对物体位置、空间关系和动作执行等问题。GPT-6 Astra、GPT-6.1 Sol、Claude Opus 5.5、Gemini 4 Argon 等通用大模型也曾参与 RoboColiseum 的评测。在此前的一轮评测中,它们的综合表现已接近头部专业具身模型。

但是,AI 听得懂“把笔放进笔筒”的指令,却需要进一步判断机械臂该从哪个角度靠近、物体被触碰后会向哪里滑动,以及什么时候松手。大模型从海量文本、图像中学懂了世界 “长什么样”,却没有学到 “做出动作之后世界会变成什么样”。

物理世界没有撤销键。一次动作执行失误就会不可逆地改变环境状态,这正是通用大模型落地机器人场景的致命短板。

一、SimWorld:让机器人先在仿真中预演

如果机器人在真正执行动作之前,能先尝试不同方案,看到它们可能带来的结果,会发生什么?

这正是 MXI-SimWorld (下文简称SimWorld)的思路:动手之前,先彩排。

SimWorld桌面整理长程任务演示 视频来源:1011.AI

以上面视频中的桌面整理任务为例。机器人要完成的第一步,是把桌上的黑笔放进笔筒。但笔该从哪里抓?机械臂沿什么路径移动,才不会碰到旁边的物体?

SimWorld 先从头部和腕部相机获取观测,识别桌面上的物体,再检索相似的仿真资产,调整它们的尺寸、外形和位置,搭建出一个可交互的仿真场景。

接下来,系统从同一个桌面状态出发,在多个仿真环境中并行尝试不同的抓取姿态和运动路径。碰到障碍或未能完成任务的方案被逐步淘汰,成功的轨迹被保留下来。

硬刚全球顶尖模型,北大数院团队登顶RoboColiseum

最后,SimWorld 将筛选出的轨迹带回原始任务场景,让机械臂抓起黑笔,放进笔筒。一次动作执行之前,系统已经在仿真中预演过多种可能。

从场景观测到动作选择,仿真不再只用于生成训练数据,也开始参与模型的决策过程。MXI 团队将这一思路称为Simulation as Policy:以仿真支撑策略决策。

二、仿真让模型拥有一个可以反复尝试的世界

视频中的桌面整理任务,只是机器人与物理世界交互的一个缩影。

把笔放进笔筒,需要判断物体的位置、抓取的方向和机械臂的运动路径。如果换一个位置、换一种形状的物体,或者桌面上多出一个障碍,原来的动作方案可能就不再适用。

对机器人来说,真实世界不是一组固定的考题。物体的形状、材质和摆放方式会变化,动作执行后的结果也可能与预期不同。模型需要在不同条件下获得足够多的交互经验,才有机会学会如何应对这些变化。

最直接的方法,是让机器人在真实世界里反复练习。

但真实交互需要设备、场地、人力和时间。每完成一次尝试,研究人员可能都需要重新摆放物体、复位机器人,才能开始下一次实验。对于危险、罕见或容易造成损耗的情况,反复采集就更加困难。

仿真为这些问题提供了另一种思路。

在仿真环境中,同一个场景可以被复制、调整和重置。研究人员可以改变物体的位置、形状或场景条件,让模型在不同情况下尝试动作;也可以让多条候选路径从同一个初始状态出发,观察它们各自会带来什么结果。

这意味着,仿真的价值不仅在于生成更多训练数据。它还可以成为一个可交互、可回退、可并行的预演环境:当系统需要做出选择时,先在其中尝试,再根据反馈判断下一步。

当然,要让预演结果真正具有参考价值,仿真环境也需要尽可能反映物体之间的接触、碰撞和运动。真实数据依然重要——它既可以帮助校准仿真,也可以用于检验模型在真实世界中的表现。

从英伟达的 Isaac Sim,到 World Labs 对机器人仿真公司 SceniX 的收购,空间理解、物理交互和仿真能力正在受到越来越多关注。各家选择的技术路线不同,但都在回应同一个问题:如何让 AI 更好地理解物理世界,并在其中采取行动?

在 MXI 团队看来,仿真可以更进一步:不仅服务于模型训练,也可以参与动作决策,为模型提供一个在行动前观察结果、比较方案的环境。

但要做到这一点,还需要回答几个具体问题:如何根据眼前的场景搭建仿真环境?如何让物体的交互尽可能接近真实?又如何高效地预演多个动作方案?

这正是 SimWorld 接下来要解决的问题。

三、SimWorld 怎么彩排:

硬刚全球顶尖模型,北大数院团队登顶RoboColiseum

场景配置、交互校准、动作预演

要让仿真参与模型决策,首先需要根据观测搭建一个可交互的场景;接着,让虚拟物体在受到动作作用时产生有参考价值的反馈;最后,在多个仿真环境中尝试不同方案,为动作选择提供依据。SimWorld 将这几个环节连接起来,形成了从场景重建、校准,预演的完整过程。

第一步:重建,把眼前的场景“搬”进仿真。

SimWorld 的核心组件是可交互世界仿真器(Interactive World Simulator)。它把在线视觉观测和任务指令转化成一个可以操作的仿真环境。

系统先识别和任务相关的物体,结合深度信息估计它们的三维位置、朝向、尺度和相互关系。然后,依托 MXI 团队自研的谐物仿真引擎,按照“相似资产检索—未见资产生成—实例级编辑”的流程重建场景。

每个重建出的物体都有两套“身体”:几何网格负责外观,碰撞体负责接触计算。尺寸、位姿、摩擦等参数都可以调整。所有资产装进同一个场景坐标系后,一张视觉画面就变成了一个有几何结构、空间布局和物理属性的交互场景。

仿真资产重建流程  视频来源:1011.AI

第二步:校准,让仿真不只“长得像”,还要“动得像”。

场景看起来一样,物体受力、碰撞和松手之后的运动不一定一样。

为此,SimWorld 引入了上下文学习(In-Context Learning)。它把训练样本中的物体交互过程作为参考,分析动作和物体运动之间的对应关系:接触发生在哪里,碰撞后物体怎么动,松手后怎么滚、最后停在哪里。

接下来是轨迹重演。系统把仿真结果和参考视频里的运动过程、最终状态做对比,反复调整物理参数。校准时既看物体最后停在哪里,也看它是怎么到那里的。

经过这一步,重建出的场景就从视觉上的“长得像”,变成了动作作用下的“交互准”。

仿真校准交互过程视频来源:1011.AI

第三步:预演,在多个平行世界里同时试,选最好的去执行。

有了可信的环境,SimWorld 的自进化动作策略(Self-Evolving Policy)会把当前状态复制到多个独立的仿真世界。不同的候选方案从完全相同的起点出发,分别检验搬运路径、接近方向、释放位置和放置动作。

系统根据机械臂能否够到、路径是否发生碰撞、物体落点和放置稳定性来筛选方案,然后在现实中执行选中的那一个。执行之后,新的视觉观测会更新物体状态,并把实际结果和仿真预测对齐,作为下一轮搜索的起点。

执行前用多个方案做验证,执行后持续修正。MXI 团队把这种思路叫作“以仿真支撑策略决策”(Simulation as Policy)。

硬刚全球顶尖模型,北大数院团队登顶RoboColiseum

多环境并行预演与候选轨迹筛选过程 视频来源:1011.AI

值得一提的是,RoboColiseum 是限时评测。仿真里试得再多,也必须在时间预算内给出动作。

这要求“观测处理-场景更新-候选方案生成-物理推演-结果筛选”的整条决策链路都要快。推演规模也需要权衡:推演时间越长,越能看到松手后的滚动和失稳;步长越细,越能看清接触过程。但两者都会增加计算量。

这正是 1011.AI 擅长的事。谐物仿真引擎从求解算法和硬件适配两方面做优化:一方面缩短单条候选轨迹的推演时间,另一方面让多个独立环境同时运行,提高单位时间内能验证的方案数量。

现有测试数据显示,在 RTX 5090 平台、双精度计算条件下,自研物理仿真引擎谐物在典型刚体、刚柔耦合,以及布料、线缆等大形变场景中的物理求解速度,达到 Genesis、MuJoCo、Newton 等主流物理引擎的2 倍以上。

谐物仿真引擎与 Genesis、Newton复杂环境任务对比 视频来源:1011.AI

从场景观测、交互预演到动作执行,SimWorld 如何将这些能力应用到具体任务中?下面的视频,呈现了团队在 RoboColiseum 中的探索过程,以及系统在仿真任务中的表现。

SimWorld在RoboColiseum中的部分 Demo 展示 视频来源:1011.AI

不过,仿真做得再好,最终还要回到真机上检验。

MXI 团队在定量倒水等任务上做了 Sim2Real 验证。流体以及它们和容器之间的交互,公认是最难仿真的类别之一。在这些任务上,谐物的仿真结果和真机表现保持了较好的一致。

倒水任务仿真与真机演示对比 视频来源:1011.AI

四、北大数院团队:

从数学原理出发,重构物理智能

要把高保真仿真放进机器人的每一次决策,需要同时具备两种能力:精确的物理建模,以及把计算压到足够快的工程能力。这两种能力正是 1011.AI 的根基。

公司创始人杨超是北京大学数学科学学院教授。2016 年,他带领团队获得国际超算领域最高奖 ACM 戈登·贝尔奖,实现了我国在该奖项上零的突破。他也是首届王选杰出青年学者奖得主,长期深耕高性能计算、数值仿真和人工智能。

1011.AI 成立于 2026 年 6 月,专注物理 AI 基础设施和模型研发,成立以来已完成过亿元融资。团队正在搭建“高性能计算+物理仿真+AI”的全栈技术体系。据团队表示,MXI-RoboICL、MXI-Hybrid-v0 等系列模型也将陆续发布。

大模型已经能“想得懂”。要让它“做得好”,还得让它知道行动会带来什么后果。

真实世界不允许反复试错,那就先给机器人一个可信、可交互、能无限重来的世界。该摔的跤先在里面摔完,再上场。

这是 SimWorld 给出的答案,也是它登上 RoboColiseum 榜首的原因。

文章来自于"机器之心",作者 "机器之心"。

标签: AI 资讯 AI

更多推荐阅读

Fable 5.2连操作系统都能搓,大厂开始重新分工:会用 AI 只是及格线

Fable 5.2连操作系统都能搓,大厂开始重新分工:会用 AI 只是及格线

过去几天,Claude Fable 5.2 再次抬高了我们对 AI 编程的想象。 Claude 工程主管 Felix Rieseberg 开发的游戏 Saltline 在 X 上大火,他只用一次初始提示、没有后续人工反馈,Fable 5.2 自己生成游戏模型、音效和贴图,最终呈现了一款紧张刺激的第一人称射击游戏。 图|体验🔗:https://claude.ai/artifact/BGY1Szt...

2026-11-21 19:57:34
谷歌奇袭英伟达:整柜TPU外售加速交付,推理每美元性能领先GB200五成

谷歌奇袭英伟达:整柜TPU外售加速交付,推理每美元性能领先GB200五成

英伟达最近头疼的事儿可不止老黄那一件。 本周内,谷歌祭出了两款新TPU芯片,分别瞄准机密推理和长上下文。算上上半年发布的两款TPU芯片,第八代TPU已经扩到四种配置。 今年,谷歌第一次在同一年内推出四款TPU系统。而谷歌对TPU的野心,可能比外界想象得更大—— 还是今年,谷歌破天荒开始对外销售TPU系统。 量子位从谷歌内部人士处获悉,谷歌内部信心十足,表示“明年TPU市场份额会快速上升”,...

2026-11-21 19:57:11
Claude 开始「整顿」会议室,建议国内大厂抄作业

Claude 开始「整顿」会议室,建议国内大厂抄作业

「拉个会对齐下颗粒度,叫上 Claude。」 打开 Google Meet 准备进会,参会者名单里出现了一个叫做 Claude 的头像。 会议主持人把 Claude 添加进通话,它以可见参与者的身份出现,同时在聊天窗口发布通知,明示自己正在加入。会议进行当中,它持续跟随对话,可以实时记录笔记、整理行动项、起草文件,或在白板上梳理结构与时间线。 团队成员可以在通话期间直接编辑它生成的内容,讨论...

2026-11-21 19:52:11
从AI建模到游戏生成,HolyMolly让人人都能玩转3D互动创作

从AI建模到游戏生成,HolyMolly让人人都能玩转3D互动创作

游戏版抖音又添新玩家。 《小王子》又在网上火了一次。 这回是一位叫Sac的创作者照着书里的故事做了一款3D游戏。 小王子住过的星球变成了可以走动的地方,玩家能跟着故事穿过不同的场景,看看那些原本只能靠想象补全的画面。 该游戏视频发到社交媒体后吸引了接近400万次浏览。 这款作品的制作周期只有16天。Sac用Claude Opus 5.5参与代码和游戏搭建,借助Tripo生成3D模型,再用...

2026-11-20 20:00:00
全球AI音乐榜第一易主!中国黑马首次上榜就干翻Suno

全球AI音乐榜第一易主!中国黑马首次上榜就干翻Suno

Suno,被超了?? 好家伙,AI音乐圈最近突然杀出了一匹中国黑马。 ACE Music v1,一个此前很多人可能都没听过的名字,首次登上全球权威AI评测机构Artificial Analysis(简称AA)的音乐人声榜,就把Suno最新旗舰模型v6挤到了第二。 榜单上,ACE Music v1拿下1160分,领先Suno v6整整16分。 要知道,自2023年AI音乐赛道兴起以来,Sun...

2026-11-20 19:59:59
「别提越权」!OpenAI自曝:AI摸进黑客考场后台,交卷时只字不提

「别提越权」!OpenAI自曝:AI摸进黑客考场后台,交卷时只字不提

我们应该避免提到未经授权的基础设施。任务目标只有flag。 很难想到,这句听着像串供老手的话,竟然出现在一个AI智能体的推理记录里。 这是一场网络安全考试,AI进攻目标,拿到一串叫flag的暗号,就算答对。 写完开头那句内心独白,这个AI智能体利落地递上答卷,对自己的越权举动只字不提。 11月10日,OpenAI补充公开了一份内部复盘,揭开了7月19日一场失控测试的细节: 参与测试的5个...

2026-11-20 19:59:42
订阅
关注

扫码关注公众号「60秒看懂AI」

扫码关注公众号 60秒看懂AI

微信搜索「60秒看懂AI」也可关注

顶部