Fable 5.2 徒手玩魔方?有了大模型,硅谷大厂还缺什么数据

Fable 5.2 徒手玩魔方?有了大模型,硅谷大厂还缺什么数据

AI 资讯 来源:新闻/公众号 发布时间:2026-11-13 17:22:36 预计阅读 6 分钟

继 OpenAI 之后,Anthropic 也进入机器人操作领域。Anthropic 发布新模型 Claude Fable 5.2,除编程、推理升级外,还能玩魔方、拧瓶盖、操控机器人画画。此前 OpenAI 的 Astra 已在机器人操作任务上展示过类似能力。过去这类能力依赖具身智能公司训练专用模型,如今通用基础模型开始进入该领域,引发机器人公司专用模型是否会被基础模型取代的讨论。

无论控制机器人的是通用大模型、VLA 还是世界模型,都绕不开物理经验来源问题。针对 Astra 的研究表明,OpenAI 训练中可能使用了专门机器人数据,GPT-6.1 Sol 和 Gemini Argon 也接受过类似训练。这意味着通用模型在机器人任务上的表现未必是智能凭空涌现,更可能是数据托底。随着模型能力提升,具身智能发展越来越依赖数据基础设施,尤其是涉及真实物理接触的信息,这是机器人学习精细操作的关键,触觉数据因此受到关注。Meta FAIR 推出的 Digit 360 触觉传感器和 SparAsh 触觉模型就在尝试让机器理解更丰富的接触信息。

Fable 5.2 徒手玩魔方?有了大模型,硅谷大厂还缺什么数据

国内简智专注于数据基础设施建设,从第一视角头戴设备到数据手套,致力于将人在真实世界中的操作完整、准确地转化为模型可学习的数据。近日推出数据手套 Dex 2.0 和第一视角头戴设备 DAS Ego 2.0,围绕第一视角视觉、腕部近场视觉、手部运动与触觉构建多层次 Human Data 采集体系。其思路是:一次真实操作中看、动、摸同时发生,缺任何一路,模型学到的都不完整。

简智技术路线中,第一视角视觉记录环境与人体运动,腕部相机补充被遮挡的手部操作细节,外骨骼与触觉传感器直接测量关节运动和物理接触,共同构成多模态 Human Data。腕部相机让采集系统更接近手指与物体交互位置。近距离视觉与高精度触觉准确对应时,可建立图像、关节运动与接触状态之间的联系,为模型学习精细操作提供更完整监督。简智希望让高精度运动与触觉数据成为 Ground Truth,帮助视觉模型建立图像与真实物理接触的联系,不仅让触觉补足视觉,还要让视觉从触觉中学习。

Fable 5.2 徒手玩魔方?有了大模型,硅谷大厂还缺什么数据

DAS 2.0 方案将第一视角视觉、腕部近场视觉、手部关节运动与触觉结合,不同设备可独立使用或灵活组合。Dex 2.0 采用约 60g 侧置外骨骼和约 3mm 微型仿生关节,机械结构布置在手指侧面,减少动作干扰并直接记录关节运动,配合全掌覆盖的半柔性压阻式电子皮肤同步获取压力信息。相比磁场测量间接重建手部姿态的方案,直接关节测量有助于降低外部磁场及金属环境对姿态估计的影响。DAS Ego 2.0 升级集中在更准确追踪指尖细节和更完整记录全身运动:六摄像头系统将水平视野扩展至 340°,指尖追踪精度提升至 4mm,兼顾局部手指运动与转身、弯腰、伸展等全身协调。

当 Ego、Dex 与 Wrist Camera 协同工作,再结合 DFM 对全身运动数据的处理,简智希望将环境视觉、局部操作、关节运动与触觉信息在统一数据体系中对齐,使数据能完整描述一次操作从观察、接触到动作调整的物理交互过程。

Fable 5.2 徒手玩魔方?有了大模型,硅谷大厂还缺什么数据

随着硅谷大厂进入具身智能领域,机器人需掌握更复杂精细的操作,模型不仅要学动作轨迹,还要学人如何观察、判断、接触物体并根据反馈调整动作。这对数据采集提出新要求:人类数据需足够丰富且准确。仅靠第一视角摄像头难以避免手部与物体遮挡;增加近距离相机可补充接触位置、多指协同等细节,但仍无法直接测量接触力;数据手套能提供精确关节运动和触觉信息,却意味着更复杂设备与采集成本。

简智的答案是让不同模态协同工作,构建三种采集方案:Ego 单独采集,通过第一视角视觉记录环境、人体运动及人与物体关系;Ego + Wrist Camera,增加腕部相机补充手指与物体接触、分离及多指配合等精细操作细节;Ego + Dex,结合第一视角视觉与数据手套,记录原生关节运动和全掌触觉,获得视觉、动作与物理接触相互对应的高精度多模态数据。三种方案不仅对应不同采集成本,还能形成数据协同。Ego + Dex 采集的高精度运动与触觉数据可作为 Ground Truth,为视觉模型提供物理交互监督,使模型有机会在仅输入视觉数据时推断难以直接观察的触觉信息。为实现协同,简智对相机模组及通信控制进行内部重构,通过无线硬件同步实现标称 1ms 级头手时间对齐,避免视觉、关节运动与触觉信息错位。

Dex 2.0 是一款集成手部运动捕捉与全掌触觉感知的数据手套,DAS Ego 2.0 是一套第一视角头戴式多模态采集设备,分别从手部精细运动和全身视觉记录入手,更完整还原人类真实操作过程。Dex 2.0 旨在不干扰自然操作的前提下准确记录手部运动。传统数据手套常在手背、指尖布置传感器或机械结构,影响打字、贴面拾取和掌内旋转等精细操作;依赖柔性传感器或视觉关键点的方案需通过形变或图像间接推算关节角度,易受遮挡影响。Dex 2.0 采用侧置仿生外骨骼,将主要结构移至手指侧面,使机械关节更

标签: AI 资讯 AI

更多推荐阅读

Fable 5.2连操作系统都能搓,大厂开始重新分工:会用 AI 只是及格线

Fable 5.2连操作系统都能搓,大厂开始重新分工:会用 AI 只是及格线

过去几天,Claude Fable 5.2 再次抬高了我们对 AI 编程的想象。 Claude 工程主管 Felix Rieseberg 开发的游戏 Saltline 在 X 上大火,他只用一次初始提示、没有后续人工反馈,Fable 5.2 自己生成游戏模型、音效和贴图,最终呈现了一款紧张刺激的第一人称射击游戏。 图|体验🔗:https://claude.ai/artifact/BGY1Szt...

2026-11-21 19:57:34
谷歌奇袭英伟达:整柜TPU外售加速交付,推理每美元性能领先GB200五成

谷歌奇袭英伟达:整柜TPU外售加速交付,推理每美元性能领先GB200五成

英伟达最近头疼的事儿可不止老黄那一件。 本周内,谷歌祭出了两款新TPU芯片,分别瞄准机密推理和长上下文。算上上半年发布的两款TPU芯片,第八代TPU已经扩到四种配置。 今年,谷歌第一次在同一年内推出四款TPU系统。而谷歌对TPU的野心,可能比外界想象得更大—— 还是今年,谷歌破天荒开始对外销售TPU系统。 量子位从谷歌内部人士处获悉,谷歌内部信心十足,表示“明年TPU市场份额会快速上升”,...

2026-11-21 19:57:11
Claude 开始「整顿」会议室,建议国内大厂抄作业

Claude 开始「整顿」会议室,建议国内大厂抄作业

「拉个会对齐下颗粒度,叫上 Claude。」 打开 Google Meet 准备进会,参会者名单里出现了一个叫做 Claude 的头像。 会议主持人把 Claude 添加进通话,它以可见参与者的身份出现,同时在聊天窗口发布通知,明示自己正在加入。会议进行当中,它持续跟随对话,可以实时记录笔记、整理行动项、起草文件,或在白板上梳理结构与时间线。 团队成员可以在通话期间直接编辑它生成的内容,讨论...

2026-11-21 19:52:11
从AI建模到游戏生成,HolyMolly让人人都能玩转3D互动创作

从AI建模到游戏生成,HolyMolly让人人都能玩转3D互动创作

游戏版抖音又添新玩家。 《小王子》又在网上火了一次。 这回是一位叫Sac的创作者照着书里的故事做了一款3D游戏。 小王子住过的星球变成了可以走动的地方,玩家能跟着故事穿过不同的场景,看看那些原本只能靠想象补全的画面。 该游戏视频发到社交媒体后吸引了接近400万次浏览。 这款作品的制作周期只有16天。Sac用Claude Opus 5.5参与代码和游戏搭建,借助Tripo生成3D模型,再用...

2026-11-20 20:00:00
全球AI音乐榜第一易主!中国黑马首次上榜就干翻Suno

全球AI音乐榜第一易主!中国黑马首次上榜就干翻Suno

Suno,被超了?? 好家伙,AI音乐圈最近突然杀出了一匹中国黑马。 ACE Music v1,一个此前很多人可能都没听过的名字,首次登上全球权威AI评测机构Artificial Analysis(简称AA)的音乐人声榜,就把Suno最新旗舰模型v6挤到了第二。 榜单上,ACE Music v1拿下1160分,领先Suno v6整整16分。 要知道,自2023年AI音乐赛道兴起以来,Sun...

2026-11-20 19:59:59
「别提越权」!OpenAI自曝:AI摸进黑客考场后台,交卷时只字不提

「别提越权」!OpenAI自曝:AI摸进黑客考场后台,交卷时只字不提

我们应该避免提到未经授权的基础设施。任务目标只有flag。 很难想到,这句听着像串供老手的话,竟然出现在一个AI智能体的推理记录里。 这是一场网络安全考试,AI进攻目标,拿到一串叫flag的暗号,就算答对。 写完开头那句内心独白,这个AI智能体利落地递上答卷,对自己的越权举动只字不提。 11月10日,OpenAI补充公开了一份内部复盘,揭开了7月19日一场失控测试的细节: 参与测试的5个...

2026-11-20 19:59:42
订阅
关注

扫码关注公众号「60秒看懂AI」

扫码关注公众号 60秒看懂AI

微信搜索「60秒看懂AI」也可关注

顶部