单卡RTX 5090就能跑，AI实时生成游戏60帧流畅运行

只需一张消费级显卡，AI实时生成的可交互游戏就能以60 FPS流畅运行。昆仑万维发布Matrix-Game 4.0，全球第一款消费级显卡实时运行的视频大模型游戏，并同步开源模型权重和可修改、扩展的游戏代码。

基于Wan2.2 5B，在单张RTX 5090上以480p分辨率实现60 FPS运行，按键到画面响应端到端延迟低于150ms，1步去噪下稳态生成速度达83 FPS，显存峰值约18.5 GiB。对比英伟达StreamRender-H3，后者需8张GB200 GPU，单步耗时218ms，交互延迟约500ms。

过去以Genie系列为代表的交互式世界模型走“全托管”路线，一个视频模型同时承担世界建模、状态记忆和画面生成，但世界状态仅隐式存在于像素中，物体离开视野后无人“记得”，误差累积导致场景几分钟内丧失真实感。Matrix-Game 4.0将状态维护、实时交互、开发生态整合，为视频模型套上外部“harness”，由三模块分工：

游戏引擎充当“裁判”，维护血量、重力、碰撞、任务进度等规则，每帧输出结构草图，明确相机和物体位置及碰撞事件。引擎本身也可由AI编写，Matrix-Game 4.0中的游戏由Coding Agent通过代码构建，GPT-6参与编写。修改玩法只需让Coding Agent改代码，底层视频模型无须重新训练。

Coding Agent充当“编剧”，将玩家创意转化为可运行游戏：为场景赋予视觉风格，作为文本条件指导视频模型渲染；支持自然语言即兴创作，调整地形、物件、NPC行为和新玩法。

视频生成模型充当“画师”，实时生成美术资产和光影、烟雾、液体等效果。外观细节可自由发挥并保持一致性，新物体需经智能体识别和引擎检查，血量、背包等核心数据无权修改。

技术链路上，团队基于UE5构建结构画面-精细画面跨域对齐数据集，覆盖超大城市、开放沙漠、复杂城堡、高动态空战四类场景，将复杂场景抽象为保留空间拓扑和刚体位姿的结构表征，与影视级画面逐帧像素级对齐，并捕获物体实例ID、可见性状态和因果交互事件。动态Caption机制将场景物体ID与语义描述关联，运行时填入提示词模板，使语义条件随游戏世界同步更新。模型基于Wan2.2 5B改造为V2V模式，结构画面与待生成视频按通道拼接，配合动态prompt、空间记忆参考图和第一帧，先SFT训练双向模型，再以Causal Forcing++方式训练为自回归少步生成模型，每次rollout去噪1至2步，生成四帧块。