告别代码:Runway让界面像视频一样实时生成

告别代码:Runway让界面像视频一样实时生成

AI 资讯 来源:新闻/公众号 发布时间:2026-09-01 20:32:12 预计阅读 4 分钟

Runway 今日发布新研究 Solaris,将其定义为“界面世界模型”(Interface World Model)。其核心设想是:操作系统中的 App 和网站不再预先编写,而是在用户使用过程中实时生成,界面像视频一样逐帧产生。用户点击、拖拽或输入时,模型根据当前状态继续生成下一帧,按钮、物体及场景变化无需开发者提前写入代码。这意味着,眼前画面本身即可成为软件。

从视频生成到界面生成

Solaris 建立在 Runway 视频生成模型 Gen-4.5 之上,沿用 GWM-1 世界模型技术路线。其关键改造包括:将生成过程变为逐帧自回归,使当前帧仅依赖已出现内容;将多步去噪过程蒸馏至少数几步;并让加速后的模型用自身输出继续训练,以减少长时间运行的画面漂移。Runway 称,该方法使 Solaris 达到实时交互生成速度,同时维持 Gen-4.5 的视觉质量,目标是在 720p 下保持长时间交互质量。

语言模型理解意图,世界模型负责渲染

系统架构分为两部分:语言模型负责推理,理解用户意图并判断场景应发生局部变化还是切换状态,生成指导提示;世界模型负责渲染,将变化画出来并持续生成后续画面。用户只需提供初始状态(如品牌场景),模型即实时持续生成画面,交互被纳入后续生成过程,场景原地响应,全程无预定义页面或固定模板。

实验数据:Solaris 明显优于代码方案

Runway 设计实验验证该路线。第一组测试选取 30 个不同复杂度界面,让多模态模型根据截图重建,采用 SSIM 和 DINOv3 特征评估。结果显示,随复杂度增加,经由代码重建界面的信息损失愈发明显,自然图像受影响最大。第二组实验中,Solaris 与 Claude Opus 5 生成的代码界面从同一图片开始,接受相同交互要求,由 250 名参与者进行近 7500 次两两比较。在“遵循交互指令”上,Solaris 获 61% 偏好,代码方案为 24%;在“行为自然度”上,Solaris 为 71%,代码方案为 21%。

训练更聪明的 AI 代理

Solaris 的另一重要用途是训练 Computer Use Agent。传统 Agent 在固定网站训练易过拟合具体布局,换网站后操作经验失效。Solaris 可生成持续变化、甚至从未存在过的界面,使同一任务对应大量不同布局和交互路径,迫使 Agent 理解功能而非记忆位置,从而提升泛化能力。这延续了 Runway 用世界模型模拟可交互环境的路线,此前 GWM-1 已用于可探索环境和机器人,Solaris 将这一能力推进至电脑界面。

从“写代码”到“生成画面”,Solaris 重新定义了软件的生产方式。当界面本身成为动态生成的结果,开发者或许将不再需要为每个按钮编写逻辑,而 AI 代理也将学会在无限变化的界面中理解功能。Runway 的这一探索,可能预示着人机交互的下一个范式。

标签: AI 资讯 AI

更多推荐阅读

被称“最无聊机器人”的Dyna,靠叠衣服找到机器人Scaling Law

被称“最无聊机器人”的Dyna,靠叠衣服找到机器人Scaling Law

《纽约邮报》曾称Dyna Robotics为“全世界最无聊的机器人”,而公司创始人认为这是“对一家机器人公司最高的赞美”。Dyna-1主攻叠毛巾、叠衣服;新发布的Dyna-2让机器人Taku进入洗衣房,完成放脏衣服、操作洗衣机、取出送烘干机、折叠放架等流程。联合创始人Jason Ma表示,机器人真正开始工作本就应是“无聊”的,真实部署是衡量机器人的“唯一评估”;机器人不能落地,不是因为没有腿或手,...

2026-10-20 09:48:01
前剪映负责人做视频Agent获千万美元融资

前剪映负责人做视频Agent获千万美元融资

视频Agent赛道出现新玩家Pexo,与采用画布工作流的产品不同,Pexo将剪辑和视频整合在产品中,支持用自然语言对话创作视频。公司已获千万美元天使轮融资,此前于2025年10月获得数百万美元投资。创始人廖谦曾任生数科技产品副总裁、Vidu产品负责人,也曾在腾讯、字节跳动任职,从技术研发转向AI产品与商业化,先后从0到1搭建火山引擎智能创作云,并在剪映/CapCut发起海外AI内容平台Pippit...

2026-10-20 09:26:14
DeepSeek搜索卷起来后,前负责人创业做全网捞人

DeepSeek搜索卷起来后,前负责人创业做全网捞人

近日,DeepSeek开放了自研网页搜索接口,披露该引擎每天处理全球数亿次请求,已收录千亿级网页,正将搜索能力开放给更多开发者。 在搜索对象中,人物信息最为特殊,难点在于把零散线索拼到同一个人身上。Simplex AI创始人张博曾任DeepSeek-VL项目负责人,其团队推出的Lev8主要面向GTM,人物搜索是流程起点。用户用自然语言描述目标,系统即寻找符合条件的对象,结合公开资料判断匹配度,生...

2026-10-20 08:09:15
蚂蚁领投!清华系AI创企熵简科技完成C轮融资

蚂蚁领投!清华系AI创企熵简科技完成C轮融资

智东西10月19日消息,北京AI金融创企熵简科技宣布完成C轮融资,由蚂蚁集团领投,东方国信与乔贝资本跟投。融资后,蚂蚁集团将与熵简科技在AI金融智能体研发、AI金融垂域模型训练等领域展开深度合作。 熵简科技成立于2017年,主要依托大数据、云计算、人工智能等技术,打造全资产、全流程的端到端智能资产管理平台。公司名称源自热力学第二定律中度量系统混沌程度的“熵”,“熵简”寓意通过AI降低金融投研的复...

2026-10-20 09:26:26
Anthropic预言奇点已至:2030年美国GDP或飙至44万亿美元

Anthropic预言奇点已至:2030年美国GDP或飙至44万亿美元

在曼谷举行的国际货币基金组织佩尔·雅各布森讲座上,Anthropic联合创始人Jack Clark提出判断称“奇点已经到来”,即技术进步速度已甩开人类理解和跟进的能力。他预测,在奇点驱动下,到2030年美国GDP将升至44万亿美元。按常规推演,该数字为33.5万亿美元,奇点带来15.4%的额外GDP,平均每年约6%的GDP增长;到2030年前后,累积生产率提升与资本积累将把美国年化经济增长率推高至...

2026-10-20 08:36:21
港科大CMU联手开源新模型:KV Cache砍掉99%,单卡吞吐飙6倍

港科大CMU联手开源新模型:KV Cache砍掉99%,单卡吞吐飙6倍

谷歌一篇论文提到KV Cache至少能压缩6倍,曾引发美光等存储芯片巨头股价下跌。几个月后,岩山科技旗下岩芯矩阵联合港科大、CMU等高校发布并开源EdgeRock-4B,对KV Cache的处理更进一步:上下文从4K扩展到256K,KV Cache占用始终固定在72MiB,相比源模型减少99.1%。一张80GB显卡可同时跑512路长推理,输出吞吐达12124 tokens/s,是源模型的6.42倍...

2026-10-20 23:25:26
订阅
关注

扫码关注公众号「60秒看懂AI」

扫码关注公众号 60秒看懂AI

微信搜索「60秒看懂AI」也可关注

顶部