蚂蚁清华开源9B模型Realtime-Venus:AI边聊边办事

蚂蚁清华开源9B模型Realtime-Venus:AI边聊边办事

AI 资讯 来源:新闻/公众号 发布时间:2026-09-27 14:51:38 预计阅读 6 分钟

AI实时交互存在一个常见难点:查资料、跑任务需要时间,用户却常在此期间继续追问或补充信息。如何边处理任务边听懂并回应用户新需求,是对AI助手的一大考验。近期,TML-Interaction-Small、SeedRealtime及Qwen-Omni-Realtime相继推出闭源方案。蚂蚁AI安全实验室与清华大学人机交互实验室联合发布Realtime-Venus,通过开放模型权重与代码,将全双工交互与后台任务委托能力开放给开发者,支持自主部署、定制与扩展。

系统包含Omni和Audio两款能边听边说的全双工交互模型,参数量均为9B。遇到需要外部能力的任务,模型可委托后台处理,再将结果带回对话,用户在此期间仍可插话、追问或补充需求。Realtime-Venus将主动感知和对话控制交给前端模型,通过配套Harness连接后台服务,让任务执行与对话同时进行。Omni还可借助外部记忆检索历史视听信息。

一套Harness打通前后台:蚂蚁清华开源9B模型Realtime-Venus,让AI办事对话异步并行

主动交互方面,模型持续接收画面和声音,在关键事件发生前保持倾听,并根据新事件判断是否开口。用户只需交代任务,不必反复追问。Realtime-Venus采用主动全双工交互,让模型说话时继续接收输入,结合语义判断何时续说、何时让出话语权。团队用Full-Duplex-Bench v1.5评估,在用户附和、用户转而对他人说话、背景出现人声三类应继续回应的场景中,Realtime-Venus-Audio续说率分别为97%、88%和86%,均高于Gemini 3.1 Live和GPT-4o。面对用户真正打断,Audio响应率为75%,与闭源模型仍有差距。

后台执行任务时,前端模型可通过Delegate机制,用自然语言描述任务并委托后台处理,等待结果期间仍能与用户对话。Realtime-Venus-Harness负责连接前端模型与后台服务,处理任务上下文、后台执行和结果交付。委托发起时,Harness保存当时可用的对话与视听证据并绑定到任务上,用户之后可继续补充需求,已发出任务保留发起时上下文。任务交给已注册的后台能力执行,包括多模态感知、通用推理或自定义技能。结果返回后,Harness整理成适合口头表达的回复送回原会话,前端模型结合当前交互状态选择播报时机。系统还记录排队、执行中、已完成、交付中和已送达等任务状态。

一套Harness打通前后台:蚂蚁清华开源9B模型Realtime-Venus,让AI办事对话异步并行

针对长视频中早先画面移出上下文窗口的问题,Realtime-Venus-Omni配备长视频记忆模块,无需额外训练或更新参数。系统根据视觉变化等信号筛选历史画面,保留与视频时间线对齐的音频,收到问题后结合语义相关性与画面新颖度检索证据,取回相关画面及邻近音频,与近期视听内容一起重新组织上下文。引入记忆模块后,Omni在LVOmniBench的60至90分钟视频子集上准确率从41.18%升至47.06%,增加5.88个百分点;在LongVideoBench的40至60分钟子集上从57.14%升至61.90%,增加4.76个百分点。

视频理解方面,Realtime-Venus-Omni在八项视频基准中的六项取得最高分,其中StreamingBench为70.2%,OVO-Bench为64.7%,Daily-Omni为81.3%。音频理解方面,Realtime-Venus-Audio在MMAU和MMAU-Pro上得分分别为78.0%和63.2%,均为参评模型最高水平。语音问答方面,Llama Questions得分为83.8%,Speech CMMLU得分为67.8%,均领先;VoiceBench AlpacaEval得分为4.81,并列最高。工具使用方面,在Full-Duplex-Bench v3中,Omni与Audio的工具选择F1分别为86.0%和82.0%,分列第二、第四,Omni仅次于GPT-Realtime。两款模型完整任务成功率Pass@1分别为43.0%和42.0%,参数准确性和多步执行仍有提升空间。两款模型均基于MiniCPM-o 4.5构建,分别独立训练,后训练语料总量超过280万条,涵盖九类数据源。

一套Harness打通前后台:蚂蚁清华开源9B模型Realtime-Venus,让AI办事对话异步并行

清华大学计算机系长聘教授、人机交互实验室负责人史元春表示:“人机交互的终极目标,是让机器像人一样自然地理解和回应我们。Realtime-Venus让AI助手在‘想’的时候还能‘听’,在‘做’的时候还能‘说’——这朝着人机共生迈出了一步。但自然的交互不止于听和说,还包括理解上下文、预判需求、在合适的时机交付结果。从‘能交互’到‘会交互’,我们还有很长的路要走。”

现有评测也给出后续改进方向:模型对用户真正打断的响应仍需改善,工具调用要提高参数准确性和多步执行成功率。进入更长时间连续交互后,如何保留有用信息、在任务失败后恢复,还需更多验证。团队接下来将继续探索更细粒度的流式交互和更长上下文窗口,并研究复杂任务的执行与恢复。开源之后,开发者可接入自己的业务工具,在实际使用中检验对话节奏和任务完成情况。

标签: AI 资讯 AI

更多推荐阅读

Fable 5.2连操作系统都能搓,大厂开始重新分工:会用 AI 只是及格线

Fable 5.2连操作系统都能搓,大厂开始重新分工:会用 AI 只是及格线

过去几天,Claude Fable 5.2 再次抬高了我们对 AI 编程的想象。 Claude 工程主管 Felix Rieseberg 开发的游戏 Saltline 在 X 上大火,他只用一次初始提示、没有后续人工反馈,Fable 5.2 自己生成游戏模型、音效和贴图,最终呈现了一款紧张刺激的第一人称射击游戏。 图|体验🔗:https://claude.ai/artifact/BGY1Szt...

2026-11-21 19:57:34
谷歌奇袭英伟达:整柜TPU外售加速交付,推理每美元性能领先GB200五成

谷歌奇袭英伟达:整柜TPU外售加速交付,推理每美元性能领先GB200五成

英伟达最近头疼的事儿可不止老黄那一件。 本周内,谷歌祭出了两款新TPU芯片,分别瞄准机密推理和长上下文。算上上半年发布的两款TPU芯片,第八代TPU已经扩到四种配置。 今年,谷歌第一次在同一年内推出四款TPU系统。而谷歌对TPU的野心,可能比外界想象得更大—— 还是今年,谷歌破天荒开始对外销售TPU系统。 量子位从谷歌内部人士处获悉,谷歌内部信心十足,表示“明年TPU市场份额会快速上升”,...

2026-11-21 19:57:11
Claude 开始「整顿」会议室,建议国内大厂抄作业

Claude 开始「整顿」会议室,建议国内大厂抄作业

「拉个会对齐下颗粒度,叫上 Claude。」 打开 Google Meet 准备进会,参会者名单里出现了一个叫做 Claude 的头像。 会议主持人把 Claude 添加进通话,它以可见参与者的身份出现,同时在聊天窗口发布通知,明示自己正在加入。会议进行当中,它持续跟随对话,可以实时记录笔记、整理行动项、起草文件,或在白板上梳理结构与时间线。 团队成员可以在通话期间直接编辑它生成的内容,讨论...

2026-11-21 19:52:11
从AI建模到游戏生成,HolyMolly让人人都能玩转3D互动创作

从AI建模到游戏生成,HolyMolly让人人都能玩转3D互动创作

游戏版抖音又添新玩家。 《小王子》又在网上火了一次。 这回是一位叫Sac的创作者照着书里的故事做了一款3D游戏。 小王子住过的星球变成了可以走动的地方,玩家能跟着故事穿过不同的场景,看看那些原本只能靠想象补全的画面。 该游戏视频发到社交媒体后吸引了接近400万次浏览。 这款作品的制作周期只有16天。Sac用Claude Opus 5.5参与代码和游戏搭建,借助Tripo生成3D模型,再用...

2026-11-20 20:00:00
全球AI音乐榜第一易主!中国黑马首次上榜就干翻Suno

全球AI音乐榜第一易主!中国黑马首次上榜就干翻Suno

Suno,被超了?? 好家伙,AI音乐圈最近突然杀出了一匹中国黑马。 ACE Music v1,一个此前很多人可能都没听过的名字,首次登上全球权威AI评测机构Artificial Analysis(简称AA)的音乐人声榜,就把Suno最新旗舰模型v6挤到了第二。 榜单上,ACE Music v1拿下1160分,领先Suno v6整整16分。 要知道,自2023年AI音乐赛道兴起以来,Sun...

2026-11-20 19:59:59
「别提越权」!OpenAI自曝:AI摸进黑客考场后台,交卷时只字不提

「别提越权」!OpenAI自曝:AI摸进黑客考场后台,交卷时只字不提

我们应该避免提到未经授权的基础设施。任务目标只有flag。 很难想到,这句听着像串供老手的话,竟然出现在一个AI智能体的推理记录里。 这是一场网络安全考试,AI进攻目标,拿到一串叫flag的暗号,就算答对。 写完开头那句内心独白,这个AI智能体利落地递上答卷,对自己的越权举动只字不提。 11月10日,OpenAI补充公开了一份内部复盘,揭开了7月19日一场失控测试的细节: 参与测试的5个...

2026-11-20 19:59:42
订阅
关注

扫码关注公众号「60秒看懂AI」

扫码关注公众号 60秒看懂AI

微信搜索「60秒看懂AI」也可关注

顶部