英伟达机器人开源撞上Fable 5.2发布!Jim Fan:不是寒冬是夏天
在奥斯汀举行的CoRL大会上,英伟达GEAR负责人朱玉可和Jim Fan发布新一代世界动作模型GR00T 2。官方demo显示,该模型可完成裁标签、安装显卡、擦火柴、切香蕉做早餐、收桌子、卖爆米花等任务,覆盖双手精细操作到全身移动的多种能力。朱玉可透露,GR00T 2的模型、数据、仿真环境和数据采集硬件将陆续开源,首批10万小时人类数据已开放。

GR00T 2可同时预测未来画面与机器人动作,训练时将“世界如何变化”和“机器人应如何行动”联合学习。Jim Fan将其定位为反应快、可本地运行、易通过示范教会、也易被推理模型引导的System 1物理技能模型。其核心是朱玉可提出的X-Adapt跨本体适配,目标是让人或手持设备示范过的技能直接迁移给未练过该任务的机器人,减少针对不同身体形态重新采集机器人示范数据的需求。

英伟达展示三条迁移路径:一是从人类示范迁移到机器人,研究人员佩戴动捕设备示范放置、润湿滤纸,双五指手Dexter在未采集该任务机器人遥操作示范的情况下,20次试验成功率达65%;二是从手持夹爪迁移到机械臂,用UMI夹爪示范组装玩具自卸卡车后,技能迁移到YAM机械臂,尽管夹爪形态不同,YAM仍能端到端完成最长约四分钟任务,成功率60%,该路径还用于传送带分拣与抛掷、操作板拆解等;三是从可穿戴外骨骼迁移到机器人灵巧手,研究人员戴DexUMI手部外骨骼示范制作香蕉酸奶、舀麦片,微调后机器人可接手完成早餐任务,同样无需额外采集机器人遥操作示范。

跨本体迁移并非完全不需要机器人数据。人类动捕和UMI路径中,目标机器人仍提供与具体任务无关的数据,让模型熟悉自身身体结构、运动方式和控制空间,新任务示范则可来自更易采集的人类操作。GR00T 2还展示了少量机器人示范提升精度的能力:Dexter-50评测中,零样本平均成功率40%,每项任务一次示范后提高到71%,五次示范后达95%;五次示范合计不足三分钟,随后只需在单张RTX5090上约30分钟LoRA微调即可适配任务。英伟达还开放WAM API,推理模型可拆解任务、检查进度,再将具体物理技能交给GR00T 2执行,使其成为上层智能体调用的物理执行模块。
数据方面,GR00T 2预训练混合三类数据:402730小时人类第一视角视频、10184小时手持UMI演示覆盖2897项任务、23500小时机器人遥操作数据。团队用不含人类视频、1%、10%和全部人类视频的数据训练模型,在72项Dexter任务上评估,结果显示随着人类视频增加,真实机器人平均任务进度从50%提高到70%。模型接收语言指令、多视角相机画面和机器人状态,通过同一扩散Transformer联合预测未来视频与动作序列。
英伟达还将数据采集、处理、训练、仿真验证和实际部署接成完整工具链:采集端有UMI、DexUMI等设备;数据端包括Human-1M与Flora,前者首批10万小时子集已公开,后者支持数据整理、标注和自动评估;仿真端SimFoundry可从真实场景重建任务环境;执行端由ASPIRE、Turbo、SONIC等分工完成,Turbo在G1机载Jetson Thor上单次预测耗时124毫秒,SONIC在另一块Jetson Orin上以50Hz进行全身控制。Jim Fan在演讲中称:“Astra没有打碎我们的梦想,它打破的是我们的围墙。”“这不是寒冬,这是机器人的夏天。”
更多推荐阅读

Fable 5.2连操作系统都能搓,大厂开始重新分工:会用 AI 只是及格线
过去几天,Claude Fable 5.2 再次抬高了我们对 AI 编程的想象。 Claude 工程主管 Felix Rieseberg 开发的游戏 Saltline 在 X 上大火,他只用一次初始提示、没有后续人工反馈,Fable 5.2 自己生成游戏模型、音效和贴图,最终呈现了一款紧张刺激的第一人称射击游戏。 图|体验🔗:https://claude.ai/artifact/BGY1Szt...
2026-11-21 19:57:34
谷歌奇袭英伟达:整柜TPU外售加速交付,推理每美元性能领先GB200五成
英伟达最近头疼的事儿可不止老黄那一件。 本周内,谷歌祭出了两款新TPU芯片,分别瞄准机密推理和长上下文。算上上半年发布的两款TPU芯片,第八代TPU已经扩到四种配置。 今年,谷歌第一次在同一年内推出四款TPU系统。而谷歌对TPU的野心,可能比外界想象得更大—— 还是今年,谷歌破天荒开始对外销售TPU系统。 量子位从谷歌内部人士处获悉,谷歌内部信心十足,表示“明年TPU市场份额会快速上升”,...
2026-11-21 19:57:11
Claude 开始「整顿」会议室,建议国内大厂抄作业
「拉个会对齐下颗粒度,叫上 Claude。」 打开 Google Meet 准备进会,参会者名单里出现了一个叫做 Claude 的头像。 会议主持人把 Claude 添加进通话,它以可见参与者的身份出现,同时在聊天窗口发布通知,明示自己正在加入。会议进行当中,它持续跟随对话,可以实时记录笔记、整理行动项、起草文件,或在白板上梳理结构与时间线。 团队成员可以在通话期间直接编辑它生成的内容,讨论...
2026-11-21 19:52:11
从AI建模到游戏生成,HolyMolly让人人都能玩转3D互动创作
游戏版抖音又添新玩家。 《小王子》又在网上火了一次。 这回是一位叫Sac的创作者照着书里的故事做了一款3D游戏。 小王子住过的星球变成了可以走动的地方,玩家能跟着故事穿过不同的场景,看看那些原本只能靠想象补全的画面。 该游戏视频发到社交媒体后吸引了接近400万次浏览。 这款作品的制作周期只有16天。Sac用Claude Opus 5.5参与代码和游戏搭建,借助Tripo生成3D模型,再用...
2026-11-20 20:00:00
全球AI音乐榜第一易主!中国黑马首次上榜就干翻Suno
Suno,被超了?? 好家伙,AI音乐圈最近突然杀出了一匹中国黑马。 ACE Music v1,一个此前很多人可能都没听过的名字,首次登上全球权威AI评测机构Artificial Analysis(简称AA)的音乐人声榜,就把Suno最新旗舰模型v6挤到了第二。 榜单上,ACE Music v1拿下1160分,领先Suno v6整整16分。 要知道,自2023年AI音乐赛道兴起以来,Sun...
2026-11-20 19:59:59
「别提越权」!OpenAI自曝:AI摸进黑客考场后台,交卷时只字不提
我们应该避免提到未经授权的基础设施。任务目标只有flag。 很难想到,这句听着像串供老手的话,竟然出现在一个AI智能体的推理记录里。 这是一场网络安全考试,AI进攻目标,拿到一串叫flag的暗号,就算答对。 写完开头那句内心独白,这个AI智能体利落地递上答卷,对自己的越权举动只字不提。 11月10日,OpenAI补充公开了一份内部复盘,揭开了7月19日一场失控测试的细节: 参与测试的5个...
2026-11-20 19:59:42