机器人光会看不够，NVIDIA研究让AI学会听声辨物

机器人进入真实世界，需要处理的信息远不止视觉。倒水时，声音可帮助判断杯子是否快满；物体碰撞时，不同材质声音不同；人在不同房间说话，空间回声也不一样。但这些多模态感知，以及切苹果、叠杯子等双手灵巧操作，在机器人训练阶段面临极高的数据采集壁垒。

在ECCV 2026“Visual Perception and Reasoning in the Interactable World”Workshop上，NVIDIA Research科学家、UC Berkeley研究者李柏依分享了两项工作。她博士毕业于康奈尔大学，师从Serge Belongie与Kilian Q. Weinberger，后在UC Berkeley与Jitendra Malik、Trevor Darrell开展研究，目前聚焦具身智能中的高效多模态、泛化建模和交互智能系统。

面对难以直接采集的数据，她尝试两条路径：模拟器里没有的声音可以“生成”；昂贵的机器人操作数据可从人类视频获得。

第一条路径是MultiGen。传统物理模拟器能模拟逼真倒水过程，却没有同步声音。团队利用现实视频和音频训练生成模型，为仿真视频补上对应声音。思路概括为：“Don’t just simulate physics – generate perception”。

第二条路径是DexImit。与其采集昂贵的双手机器人示范，团队利用人类操作视频，恢复手与物体交互，再转化为机器人可学习的双手操作数据。

一个补上仿真世界缺失的感知，一个把人类操作转化为机器人可学习的示范。背后思路一致：机器人训练不仅要把物理世界模拟得更真实，还要把难以直接获得的感知和交互信息，变成机器人可以学习的数据。

以下为演讲分享，AI科技评论根据内容进行不改原意编辑：

Efficient Multimodal Intelligence for Embodied Agents in Interactive Worlds

机器人为什么需要“听见”世界？

现在多模态已不只是图像和语言，还包括3D几何、声音、嗅觉和触觉等。这些模态可帮助模型泛化和推理，也可用于机器人、医疗等真实场景。今天我主要分享两个与机器人有关的工作。

先从声音开始。假设水管往瓶子里倒水，需要判断何时溢出。没有声音，只看水流很难判断瓶内情况。加入声音呢？日常生活中我们一直利用声音理解周围：烤肉时通过声音判断状态；玻璃碎了、门开了、可乐开了、水烧开了，也能通过声音知道。声音还能提供空间信息，小房间、大房间说话声音不同；也可帮助判断物体材质和状态，如洗碗时不同材质杯子、瓶子、盒子声音不同，摇薯片罐判断里面是否还有东西。

机器人能否也利用声音？我们希望训练机器人策略，同时利用视觉、物理信息和声音，更准确执行任务。但真实世界这类数据很难采集。物理模拟器已能生成逼真视觉效果，如倒水，但问题是没有与画面对应的声音。要训练同时利用视觉、物理信息和声音的策略，就需要包含这些信息且彼此对应的多模态数据，现有模拟器无法提供音频。

MultiGen：不只模拟物理，还要“生成感知”

我们重新看已有数据。现实世界有大量同时包含视频和声音的数据，如YouTube视频，我们将其收集为In-the-Wild Data。目标是训练Audio Generative Model：给模型一段视频，生成与内容对应且时间对齐的声音。我们选择diffusion model，训练时输入视频，让模型学习生成对应音频。训练完成后，模型对不同视频内容有较好泛化能力。把物理模拟器生成的视频输入模型，生成对应声音。这样模拟器负责视觉信息和机器人物理轨迹，生成模型补上音频，得到Simulated Multimodal Dataset。有了数据，就可训练同时利用视觉和声音的Multimodal Robot Policy，再部署到真实环境。

我们测试了不同容器和液体。把液体倒入不规则容器，机器人需判断何时停止；换成可乐后声音和音高变化，机器人仍能完成倒水。还测试环境变化：倒水过程中关灯，视觉受干扰，机器人仍能继续；加入背景噪声，嘈杂环境中策略仍能识别倒水声音。我们比较两种策略：只用视觉，和同时用视觉与声音。不透明容器中，因无法直接看到内部液体状态，只用视觉误差较大；加入声音后误差明显下降。透明容器中，即使视觉已能提供更多信息，加入声音后性能仍提升。更直接对比实验：两组设置相同，一组只用视觉，一组同时用视觉和声音。倒水过程中关灯，等机器人判断应停止后再开灯。只用视觉时，水已溢出杯子。机器人在感知上非常脆弱，一旦视觉受干扰，整个系统容易失效。声音可发挥重要作用，帮助系统更鲁棒。这也是我们想表达的：“Don’t just simulate physics – generate perception.”

DexImit：机器人数据还能从哪里来？

刚才讲的是生成音频信号。接下来看另一类与真实世界有关的交互信息：人和机器人怎样与物体交互。这项工作关注Bimanual Dexterous Manipulation，即双手灵巧操作。它对通用机器人非常重要，很多真实任务需要两只手和灵巧操作，如抓取、倒水、使用工具及长时序操作。但真实机器人上的双手灵巧操作数据采集既昂贵又耗人力。与此同时，人类操作视频几乎无限，可来自日常演示，也可来自视频生成模型，且本身包含人类操作物体的知识。能否直接从人类视频生成机器人灵巧操作数据？这就是DexImit的出发点，全称Learning Bimanual Dexterous Manipulation from Monocular Human Videos。我们希望从人类视频出发，在仿真中生成模仿这些操作的机器人双手数据。

从一段人类视频，到真实机器人

整个pipeline有四个阶段。第一步恢复人手和物体运动。从单目人类视频开始，进行深度估计、手