LeCun世界模型新作H-JEPA开源，成功率73%

LeCun的世界模型初创公司AMI（Advanced Machine Intelligence）低调发布新论文H-JEPA，联合纽约大学、巴黎INRIA和布朗大学，推出面向视觉规划的分层世界模型。

H-JEPA将多个JEPA逐层堆叠，让各层在自己的表征空间中预测不同时间跨度后的状态。规划时，高层先制定粗略计划，再将预测的中间状态作为子目标交给低层，低层接力逐步细化，最终生成可执行动作。通过这种分工，世界模型既能规划长远目标，也能处理眼前动作。

在Visual AntMaze仿真迷宫任务中，三层H-JEPA成功率达73%，单层模型为18%。在多项仿真任务中，分层模型还以更少规划计算量取得更好表现。团队同步公开代码和预训练模型权重，延续LeCun强调的开源路线。

LeCun早在2022年担任Meta首席AI科学家时就提出分层JEPA构想：让模型在不同抽象层级和时间尺度上预测，再通过分层规划把复杂目标落实为动作。他以从纽约大学办公室前往巴黎为例说明：规划整趟行程时关注目的地、航班和时间安排；确定行程后安排离开办公室、下楼、打车去机场；真正走出办公室时，关注的是地面、楼梯和下一步落脚点。不同规划层级覆盖不同时间跨度，也需要不同信息。对机器人而言，高层需理解任务目标、环境关系和未来方向，低层需掌握具体动作和身体控制细节。

H-JEPA每层配置三个组件：状态编码器提取当前环境表征，最低层直接读取图像，更高层基于下层表征进一步抽象；动作编码器描述动作带来的变化，低层表示具体动作，高层将连续动作压缩成更粗粒度变化；预测器结合当前状态和动作预测未来状态，不同层级覆盖不同时间跨度，相邻高层一步对应低层两步预测。各层通过端到端训练共同学习，高层预测的中间状态成为低层子目标，低层将预测状态转换到高层表征空间与子目标比较，再调整动作。

为解决表征坍塌问题，H-JEPA沿用LeCun团队在LeJEPA中提出的SIGReg，约束表征分布，避免不同状态被压缩到同一向量。今年LeWorldModel已将该方法用于世界模型训练，H-JEPA以其为最底层，向上增加更多JEPA，形成共同训练、由上至下规划的结构。实验中，迷宫任务里高层逐渐弱化腿部姿态，但仍保留机器人位置信息。分层也有适用条件：Push-T任务中两层模型表现较好，增加到三层、四层后成绩反而下降，论文认为可能是较短任务轨迹限制了高层可用训练数据。

H-JEPA延续了JEPA的基本主张：在表征空间中完成预测。JEPA全称“联合嵌入预测架构”。LLM通常通过预测下一个token学习生成内容；视觉JEPA则先把图像、视频编码成内部表征，再预测目标部分的表征，无需逐个生成图像像素。在H-JEPA这类世界模型中，模型还会结合动作预测未来状态表征，规划器据此比较不同动作后果，寻找通向目标的方案。

LeCun一直认为，理解世界、预测行动后果和规划是走向人类级智能必须具备的能力。今年9月，他在ECCV演讲幻灯片中再次出现那句建议：如果你对人类级AI感兴趣，就不要研究LLM。他随后补充，基于LLM的AI工具非常有用，但单靠LLM本身无法走到人类级智能。

这套研究主张也成为AMI的创业方向。今年3月，AMI宣布完成10.3亿美元融资，投前估值35亿美元。公司由LeCun担任董事长，Alexandre LeBrun任CEO，谢赛宁任首席科学家，Pascale Fung负责研究与创新，Michael Rabbat负责世界模型，Rabbat也是H-JEPA论文作者之一。不过，目前官网主要展示技术方向、团队和招聘信息，尚未看到面向公众的产品入口。

另一边，同样押注世界模型的World Labs已迎来新转折。9月28日，AMD宣布与李飞飞创办的World Labs签订约82亿美元全股票收购协议。一边走向与芯片公司结合，另一边继续沿自己的研究路线推进。