GPT-6操控宇树G1进厨房干活,无需额外训练
GPT-6 Astra接上宇树G1,进厨房干活了。在斯坦福团队的最新项目HomeBody中,宇树G1先探索一个从未见过的厨房,随后就能根据语言指令收拾物品、丢掉纸盒,甚至把不在眼前的药找出来递到人手里。比如让它把咖啡袋集中放到中间,再丢掉指定的牛奶和橙汁纸盒,G1就会在厨房里来回搬运,把咖啡袋归拢到岛台上,再处理要丢弃的纸盒。一句“帮我把药拿来”,即使药不在当前视野里,它也能从之前保存的画面中找到线索,走到对应抽屉前,打开抽屉、取出药,再递给人,期间还能把丢纸盒的任务一并完成。
从Robocurve此前让GPT和Claude控制机械臂完成桌面抓放测试,到这次G1走进厨房,大模型控制机器人的任务范围又往外扩了一圈。这一次,机器人不只要判断眼前抓什么,还得记住东西在哪,再把走路、抓取、放置连成一串。更值得注意的是,团队表示,部署到这个新厨房时,系统不需要额外采集训练数据,也无须再训练一套专用动作策略,泛化性相当可以。

不过,事情还没简单到“买台机器人,登录GPT”这一步。HomeBody的核心思路可以概括为一句话:让GPT把机器人技能当工具调用。Astra负责理解目标、安排步骤,再调用导航、抓取、开抽屉等技能,把任务一步步做完。整个过程分成三步。
第一步,先逛一圈,把厨房记下来。机器人接到指令“你是一台厨房机器人,请探索这个空间”,Astra会选择值得观察的位置,引导G1移动。机器人一边走,一边记录相机画面、激光雷达扫描,以及自身的关节姿态和途经位置。这些观察会被保存下来,成为后续任务可以调用的空间记忆。

第二步,把现实厨房搬进模拟器。Astra担任Real2Sim智能体,在Isaac Sim仿真平台里搭出一个数字厨房。系统还会把SLAM测得的几何信息交给模型,用真实测量约束重建结果。随后,系统会把真实世界的定位地图与数字厨房对齐到同一个坐标系,再将拍到的画面、内容描述和对应位置关联起来。之后再找东西,机器人就能先从记忆里查线索,再走回对应地点。
第三步,给个目标,让它自己安排动作。用户说“收拾一下厨房”,再补充咖啡袋放哪里、哪些纸盒要扔。Astra会结合当前画面、地图、空间记忆、手里有没有拿着东西,以及上一步的执行结果,选择接下来调用哪项技能、操作哪个目标。取药demo就用到了这种能力。

GPT负责安排,身体到底谁来控制?此前Robocurve让GPT、Claude控制机械臂,是让模型根据相机画面和机器人状态,通过工具调用指定夹爪的位置、朝向和开合状态,再由底层模块转换成具体动作。HomeBody同样采用工具调用,但交给GPT的是更完整的技能:导航、抓取、放置、开抽屉,以及从抽屉中取物。
机器人系统常见分工是:System 2是视觉语言模型,负责看图、理解指令、决定做什么;System 1是视觉语言动作模型,负责生成动作命令;System 0是底层控制器,负责协调身体执行。HomeBody调整的正是中间这一环:让System 2直接调用技能库,由技能模块规划具体动作,再交给底层控制系统执行,不必经过一个学习型VLA。技能库里装的是已经写好、可复用的电机技能,有统一接口,大模型只需告诉它“去哪里、抓什么、放到哪”。比如抓取,Astra只需在画面中点出目标物体,再指定使用左手还是右手,抓取技能内部的感知模块会圈出物体、估计深度,结合相机标定确定三维位置,并计算抓取姿态。运动规划器再规划机械臂怎么伸过去、怎样避开障碍,最后交给控制模块执行。每项技能执行后,都会把结果反馈给Astra,再由它决定下一步。遇到偏差时,技能模块会先自行调整、重试,解决不了再交回大模型重新安排。至于走路、伸手时怎样保持平衡,则属于System 0的工作,HomeBody使用预训练的AMO控制策略。
这也解释了为什么不需要额外训练,不等于整套系统从未训练过。HomeBody不用为新厨房重新训练专用动作策略,但现成的感知模型、运动规划和预训练控制器,仍是机器人能把活干起来的基础。不过,省去针对新环境的训练,并不意味着部署和运行没有成本。目前,HomeBody的感知、规划和技能执行运行在一台搭载RTX 4090的笔记本上,Astra则在远端负责决策。前期重建数字厨房需要准备时间和API成本;实际执行任务时,模型推理也会让动作之间出现等待。即使软件流程顺利跑通,长时间干活还得过硬件这一关,比如手指舵机过热,就是系统目前面临的限制之一。
所以,把GPT接上宇树机器人确实能让机器人进厨房干活,但背后还得有一整套感知、规划和控制系统配合。至于现在就买台G1、接上GPT的API,坐等它帮你做家务——还没这么简单。
自Robocurve用GPT-6 Astra控制机器人开始,机器人/具身圈几乎一夜之间进入“大模型时代”。目前主要有几条路线:第一条是Robocurve最早采用的方案,大模型直接接收相机画面和机器人状态,输出夹爪的目标位置、朝向和开合程度,再由底层逆运动学模块转换成关节动作执行,完成后重新观察,形成闭环。第二条路线是让大模型充当System 2,搭配负责生成动作的VLA,Anthropic
更多推荐阅读

Fable 5.2连操作系统都能搓,大厂开始重新分工:会用 AI 只是及格线
过去几天,Claude Fable 5.2 再次抬高了我们对 AI 编程的想象。 Claude 工程主管 Felix Rieseberg 开发的游戏 Saltline 在 X 上大火,他只用一次初始提示、没有后续人工反馈,Fable 5.2 自己生成游戏模型、音效和贴图,最终呈现了一款紧张刺激的第一人称射击游戏。 图|体验🔗:https://claude.ai/artifact/BGY1Szt...
2026-11-21 19:57:34
谷歌奇袭英伟达:整柜TPU外售加速交付,推理每美元性能领先GB200五成
英伟达最近头疼的事儿可不止老黄那一件。 本周内,谷歌祭出了两款新TPU芯片,分别瞄准机密推理和长上下文。算上上半年发布的两款TPU芯片,第八代TPU已经扩到四种配置。 今年,谷歌第一次在同一年内推出四款TPU系统。而谷歌对TPU的野心,可能比外界想象得更大—— 还是今年,谷歌破天荒开始对外销售TPU系统。 量子位从谷歌内部人士处获悉,谷歌内部信心十足,表示“明年TPU市场份额会快速上升”,...
2026-11-21 19:57:11
Claude 开始「整顿」会议室,建议国内大厂抄作业
「拉个会对齐下颗粒度,叫上 Claude。」 打开 Google Meet 准备进会,参会者名单里出现了一个叫做 Claude 的头像。 会议主持人把 Claude 添加进通话,它以可见参与者的身份出现,同时在聊天窗口发布通知,明示自己正在加入。会议进行当中,它持续跟随对话,可以实时记录笔记、整理行动项、起草文件,或在白板上梳理结构与时间线。 团队成员可以在通话期间直接编辑它生成的内容,讨论...
2026-11-21 19:52:11
从AI建模到游戏生成,HolyMolly让人人都能玩转3D互动创作
游戏版抖音又添新玩家。 《小王子》又在网上火了一次。 这回是一位叫Sac的创作者照着书里的故事做了一款3D游戏。 小王子住过的星球变成了可以走动的地方,玩家能跟着故事穿过不同的场景,看看那些原本只能靠想象补全的画面。 该游戏视频发到社交媒体后吸引了接近400万次浏览。 这款作品的制作周期只有16天。Sac用Claude Opus 5.5参与代码和游戏搭建,借助Tripo生成3D模型,再用...
2026-11-20 20:00:00
全球AI音乐榜第一易主!中国黑马首次上榜就干翻Suno
Suno,被超了?? 好家伙,AI音乐圈最近突然杀出了一匹中国黑马。 ACE Music v1,一个此前很多人可能都没听过的名字,首次登上全球权威AI评测机构Artificial Analysis(简称AA)的音乐人声榜,就把Suno最新旗舰模型v6挤到了第二。 榜单上,ACE Music v1拿下1160分,领先Suno v6整整16分。 要知道,自2023年AI音乐赛道兴起以来,Sun...
2026-11-20 19:59:59
「别提越权」!OpenAI自曝:AI摸进黑客考场后台,交卷时只字不提
我们应该避免提到未经授权的基础设施。任务目标只有flag。 很难想到,这句听着像串供老手的话,竟然出现在一个AI智能体的推理记录里。 这是一场网络安全考试,AI进攻目标,拿到一串叫flag的暗号,就算答对。 写完开头那句内心独白,这个AI智能体利落地递上答卷,对自己的越权举动只字不提。 11月10日,OpenAI补充公开了一份内部复盘,揭开了7月19日一场失控测试的细节: 参与测试的5个...
2026-11-20 19:59:42