港大用538小时“脏”数据训练机器人，真机1小时学会拆快递

香港大学 MMLab 团队提出 EgoWild2Dex，直接利用 538.9 小时未经刻意编排的真实人类第一视角操作数据训练机器人。在每个下游任务使用不到 1 小时真机数据的情况下，机器人能够连续完成拆快递、使用热熔胶枪固定手办、制作冷饮等复杂双臂灵巧长时序任务，平均成功率达到 96.7%。该研究论文已在 arXiv 公开，数据集、模型与代码计划后续开放。

机器人学习长期面临真实机器人数据昂贵的问题，而人类日常操作本身就是现成的操作经验。此前不少第一视角数据集仍在相对受控环境中采集，与机器人实际部署场景存在差距。EgoWild2Dex 选择直接进入家庭、工厂、药房、医院、超市、包裹站等真实环境，记录人类原本就在做的事情。数据显示，EgoWild 中每秒累计头部旋转角度平均达 15.93°，每帧图像平均包含 34.78 个不同物体实例。这些数据保留了真实世界的复杂性，而非标注错误或质量差。

利用人类数据训练机器人首先面临视角差异。人类第一视角相机通常安装在头部，画面动态变化强，而机器人相机视角更稳定。为此，团队提出轻量级、可微的几何变换模块 GeoFormer，学习人类第一视角与机器人视角之间的几何关系并对画面进行动态变换，降低两种数据间的视觉差异。相比依赖精确相机标定、三维重投影和图像修复的传统流程，GeoFormer 对精确标定依赖更低，处理速度提升 21.9 倍，视觉对齐效果也更好。

视角对齐后，还需解决动作差异。EgoWild2Dex 利用动作重定向和逆运动学，将自然环境下采集的人类第一视角数据、机器人视角下采集的手套演示数据以及真实机器人演示数据，映射到统一的机器人原生动作空间。训练采用渐进式人机联合训练范式，分三步：先用大规模人类数据预训练，学习通用视觉与操作先验；再加入与下游任务相关的数据和少量真实机器人数据进行人机协同训练；最后用少量真机示范和恢复轨迹精调，每个下游任务使用的真机数据不到 1 小时。

团队同步推出大规模真实人类第一视角数据集 EgoWild，包含 538.9 小时操作数据，覆盖约 17.9 万个操作片段、12.6 万条独立任务描述和 1282 个物体类别，保留相机运动、复杂背景、长尾物体分布和自然操作流程，并提供全身人体姿态、手部关节等细粒度标注，将操作行为划分为原子动作、动作指令和技能指令三个层级。

真机实验中，团队测试了三个复杂长时序双臂操作任务：“使用美工刀划开胶带并开箱”“使用热熔胶枪固定摆件”以及“使用铲子铲冰并制作冰饮”，模型实现 96.7% 的平均任务成功率，并展现出应对外界扰动、恢复任务执行的能力。在开箱拆快递任务中，面对训练时未见过的物体，零样本泛化平均成功率为 33.3%。研究还将框架从松灵 Piper 机械臂迁移到 Tianji Marvin Pro，展示了方法迁移到不同机器人本体的可行性。

EgoWild2Dex 最值得关注的是对机器人数据来源的拓展：除昂贵的真机演示外，未经刻意编排的人类日常操作也可成为机器人训练的数据来源。从第一视角人类视频到可稳定执行的机器人策略，中间仍涉及视角、本体、动力学等多重差异，但若这类数据能被更有效利用，机器人可利用的数据规模有望大幅扩展。