西湖大学新模型用代码驱动视频世界演化

西湖大学通用人工智能实验室（AGI Lab）近日发布了一项名为Code World Model的视频生成新框架，试图用代码“接管”视频中世界的演化过程。该项目由南洋理工大学博士生、西湖大学访问学生陈奕文担任第一作者，指导老师为西湖大学AGI Lab负责人张驰助理教授。研究团队直指当前视频生成模型的核心缺陷：它们虽能生成逼真画面，但建模对象仍是“下一帧观察”，难以保存世界规则、角色关系及屏幕外的因果链。例如，当玩家刺杀城市统治者并离开后，城市秩序、贸易等本应持续变化，而系统需要理解期间发生的事件及其后果——这正是Code World Model试图解决的“世界如何演化”与“世界如何被看见”分离的问题。

代码与视觉的分工

Code World Model的核心思路是将任务拆分为两部分：Coding Agent负责低频但复杂的推理，如理解事件、规划后果；代码则负责高频重复的执行，如更新位置、数值、碰撞等。视频模型则负责将演化后的状态转化为高保真视觉观察。代码作为Agent的可执行延伸，可被组合、调用或修改，形成持续的Agent–Code闭环。完整世界状态被分为可执行状态（程序、规则、事件历史）与视觉状态（外观、运动信息），两者耦合更新。

为了将状态准确交给视频模型，团队提出了Proxy——一种由世界状态确定性编译的粗粒度视觉条件，仅保留实体位置、轨迹、遮挡等最小状态，不追求低配成片。结构化文本负责身份与动作语义，Proxy负责逐帧时空约束，所有控制信号可追溯至白盒系统。Proxy的分辨率设为目标视频的四分之一，视觉token约为十六分之一，推理负担有限。

训练与验证

训练数据需严格对齐Proxy与RGB视频。游戏GTA V天然适合该任务，团队同步记录画面与状态数据，可反复编译不同粒度的Proxy。真实视频方面，论文在KITTI-360数据集上进行了概念验证，通过几何辅助离线编译Proxy。当前原型基于MiniMax-H3 Ref2VA，使用157段共约5.6小时的游戏视频，采样出9,420个五秒片段，其中RGB为124帧1344×768，Proxy为336×192。训练采用rank-128 LoRA，约5.96亿参数，在8张H800上训练了3个epoch。推理时使用GPT-5.6 Sol作为Coding Agent，GPT Image 2生成外观锚点。

效果与展望

定性结果显示，小规模适配后视频模型能跟随Proxy指定的位置、轨迹与相机运动。项目页提供了与动作、相机条件模型的对比，主要考察控制效果。长时生成采用124帧窗口，重叠34帧，Proxy贯穿时间轴，确保风格变化时实体轨迹与空间关系持续稳定。

这一框架将视频生成从“像素模仿”推向“规则驱动”，为开放世界模拟提供了新思路。尽管目前仍处于原型阶段，但代码与视觉的分离或将成为未来视频模型的重要方向。