对话式视频编辑来了:谷歌Gemini Omni让AI懂物理

AI 测评 来源:新闻/公众号 发布时间:2026-08-28 17:46:50 预计阅读 3 分钟

谷歌在I/O大会上正式发布Gemini Omni,被业界称为视频界的"Nano Banana"时刻。DeepMind的Hassabis表示,这是迈向万能生成模型的第一步,也意味着AI正从预测文本转向模拟现实。Omni将推理与生成能力合二为一,可以生成逼真的视频、图像和交互式模拟,还能表现出对动能、重力等物理规律的直觉,把复杂概念直接可视化。用户可以与模型对话,用自然语言下达编辑指令,甚至克隆自己的数字分身。

产品负责人强调,Gemini Omni并非Veo的简单升级,而是从地基重新写过的模型。它的训练目标被确立为"多模态进、多模态出"——图像、音频、视频、文本共同参与学习,互相作为上下文。这种架构上的变化,使得模型能够以统一的内部表征处理不同模态的信息,而不是为每种任务分别设计网络。正因如此,评估Omni需要同时跑视频生成、视频编辑、图像生成、文本对齐、音频同步五条管线。这些能力之间存在此消彼长的权衡,团队必须在各个维度之间小心取舍,才能找到符合实际需求的最佳平衡点。

多模态联合训练带来了意想不到的涌现能力。Omni没有被显式训练过风格迁移,却能把一段视频自动转成蜡笔画风格;没有被专门教过"续写情节",却能在走廊怪物出场的场景中自然延续画面。这些能力不是工程师预先设计出来的,而是模型在大量多模态数据中自己"长"出来的。各模态互相印证、互相增强,让Omni的整体表现超越了单一模态模型。可以说,Omni已经不只是"执行指令的模型",而是在对世界的运行规律进行观察和模拟——这正是多模态架构带来的独特价值。

在应用层面,Gemini Omni支持对话式视频编辑,用户只需一句话就能修改视频内容;数字分身功能则允许用户克隆自身形象与声音,并植入任意场景。以创意内容生产为例,过去完成这类操作需要专业的剪辑软件和漫长的学习过程,如今通过对话即可完成,门槛被大幅降低。但强大的能力也伴随着滥用风险。谷歌为此推出了Avatar Flow安全机制:用户必须一次性注册多角度面孔和录音,通过完整验证后才能生成数字分身,不能通过随意上传一张图片来绕过身份确认。这套机制要求用户先完成一次标准化的生物信息采集,包括不同角度的面部图像和一段清晰的录音,这些信息将用于生成专属的数字化形象,让冒用他人面孔变得困难。同时,所有由Omni生成的视频都将强制嵌入SynthID和C2PA双层水印。即便视频被转载、裁剪或二次编辑,检测工具仍能识别出AI生成的痕迹,为溯源和问责提供了技术保障。

Hassabis评价说,这是走向AGI(通用人工智能)的一步。从更宏观的视角看,Gemini Omni的发布标志着AI竞争的重点已经发生转移:不再只是文本生成,而是对整个世界的生成、编辑与模拟。AI正从"预测下一个词"的模型,进化为能够理解物理规律、参与动态内容创作的世界模拟器。这一转向,或许才是Gemini Omni真正值得关注的里程碑。

标签: AI 测评 AI

更多推荐阅读

被称“最无聊机器人”的Dyna,靠叠衣服找到机器人Scaling Law

被称“最无聊机器人”的Dyna,靠叠衣服找到机器人Scaling Law

《纽约邮报》曾称Dyna Robotics为“全世界最无聊的机器人”,而公司创始人认为这是“对一家机器人公司最高的赞美”。Dyna-1主攻叠毛巾、叠衣服;新发布的Dyna-2让机器人Taku进入洗衣房,完成放脏衣服、操作洗衣机、取出送烘干机、折叠放架等流程。联合创始人Jason Ma表示,机器人真正开始工作本就应是“无聊”的,真实部署是衡量机器人的“唯一评估”;机器人不能落地,不是因为没有腿或手,...

2026-10-20 09:48:01
前剪映负责人做视频Agent获千万美元融资

前剪映负责人做视频Agent获千万美元融资

视频Agent赛道出现新玩家Pexo,与采用画布工作流的产品不同,Pexo将剪辑和视频整合在产品中,支持用自然语言对话创作视频。公司已获千万美元天使轮融资,此前于2025年10月获得数百万美元投资。创始人廖谦曾任生数科技产品副总裁、Vidu产品负责人,也曾在腾讯、字节跳动任职,从技术研发转向AI产品与商业化,先后从0到1搭建火山引擎智能创作云,并在剪映/CapCut发起海外AI内容平台Pippit...

2026-10-20 09:26:14
DeepSeek搜索卷起来后,前负责人创业做全网捞人

DeepSeek搜索卷起来后,前负责人创业做全网捞人

近日,DeepSeek开放了自研网页搜索接口,披露该引擎每天处理全球数亿次请求,已收录千亿级网页,正将搜索能力开放给更多开发者。 在搜索对象中,人物信息最为特殊,难点在于把零散线索拼到同一个人身上。Simplex AI创始人张博曾任DeepSeek-VL项目负责人,其团队推出的Lev8主要面向GTM,人物搜索是流程起点。用户用自然语言描述目标,系统即寻找符合条件的对象,结合公开资料判断匹配度,生...

2026-10-20 08:09:15
蚂蚁领投!清华系AI创企熵简科技完成C轮融资

蚂蚁领投!清华系AI创企熵简科技完成C轮融资

智东西10月19日消息,北京AI金融创企熵简科技宣布完成C轮融资,由蚂蚁集团领投,东方国信与乔贝资本跟投。融资后,蚂蚁集团将与熵简科技在AI金融智能体研发、AI金融垂域模型训练等领域展开深度合作。 熵简科技成立于2017年,主要依托大数据、云计算、人工智能等技术,打造全资产、全流程的端到端智能资产管理平台。公司名称源自热力学第二定律中度量系统混沌程度的“熵”,“熵简”寓意通过AI降低金融投研的复...

2026-10-20 09:26:26
Anthropic预言奇点已至:2030年美国GDP或飙至44万亿美元

Anthropic预言奇点已至:2030年美国GDP或飙至44万亿美元

在曼谷举行的国际货币基金组织佩尔·雅各布森讲座上,Anthropic联合创始人Jack Clark提出判断称“奇点已经到来”,即技术进步速度已甩开人类理解和跟进的能力。他预测,在奇点驱动下,到2030年美国GDP将升至44万亿美元。按常规推演,该数字为33.5万亿美元,奇点带来15.4%的额外GDP,平均每年约6%的GDP增长;到2030年前后,累积生产率提升与资本积累将把美国年化经济增长率推高至...

2026-10-20 08:36:21
港科大CMU联手开源新模型:KV Cache砍掉99%,单卡吞吐飙6倍

港科大CMU联手开源新模型:KV Cache砍掉99%,单卡吞吐飙6倍

谷歌一篇论文提到KV Cache至少能压缩6倍,曾引发美光等存储芯片巨头股价下跌。几个月后,岩山科技旗下岩芯矩阵联合港科大、CMU等高校发布并开源EdgeRock-4B,对KV Cache的处理更进一步:上下文从4K扩展到256K,KV Cache占用始终固定在72MiB,相比源模型减少99.1%。一张80GB显卡可同时跑512路长推理,输出吞吐达12124 tokens/s,是源模型的6.42倍...

2026-10-20 23:25:26
订阅
关注

扫码关注公众号「60秒看懂AI」

扫码关注公众号 60秒看懂AI

微信搜索「60秒看懂AI」也可关注

顶部