蚂蚁清华开源9B模型Realtime-Venus：AI边聊边办事

AI实时交互存在一个常见难点：查资料、跑任务需要时间，用户却常在此期间继续追问或补充信息。如何边处理任务边听懂并回应用户新需求，是对AI助手的一大考验。近期，TML-Interaction-Small、SeedRealtime及Qwen-Omni-Realtime相继推出闭源方案。蚂蚁AI安全实验室与清华大学人机交互实验室联合发布Realtime-Venus，通过开放模型权重与代码，将全双工交互与后台任务委托能力开放给开发者，支持自主部署、定制与扩展。

系统包含Omni和Audio两款能边听边说的全双工交互模型，参数量均为9B。遇到需要外部能力的任务，模型可委托后台处理，再将结果带回对话，用户在此期间仍可插话、追问或补充需求。Realtime-Venus将主动感知和对话控制交给前端模型，通过配套Harness连接后台服务，让任务执行与对话同时进行。Omni还可借助外部记忆检索历史视听信息。

主动交互方面，模型持续接收画面和声音，在关键事件发生前保持倾听，并根据新事件判断是否开口。用户只需交代任务，不必反复追问。Realtime-Venus采用主动全双工交互，让模型说话时继续接收输入，结合语义判断何时续说、何时让出话语权。团队用Full-Duplex-Bench v1.5评估，在用户附和、用户转而对他人说话、背景出现人声三类应继续回应的场景中，Realtime-Venus-Audio续说率分别为97%、88%和86%，均高于Gemini 3.1 Live和GPT-4o。面对用户真正打断，Audio响应率为75%，与闭源模型仍有差距。

后台执行任务时，前端模型可通过Delegate机制，用自然语言描述任务并委托后台处理，等待结果期间仍能与用户对话。Realtime-Venus-Harness负责连接前端模型与后台服务，处理任务上下文、后台执行和结果交付。委托发起时，Harness保存当时可用的对话与视听证据并绑定到任务上，用户之后可继续补充需求，已发出任务保留发起时上下文。任务交给已注册的后台能力执行，包括多模态感知、通用推理或自定义技能。结果返回后，Harness整理成适合口头表达的回复送回原会话，前端模型结合当前交互状态选择播报时机。系统还记录排队、执行中、已完成、交付中和已送达等任务状态。

针对长视频中早先画面移出上下文窗口的问题，Realtime-Venus-Omni配备长视频记忆模块，无需额外训练或更新参数。系统根据视觉变化等信号筛选历史画面，保留与视频时间线对齐的音频，收到问题后结合语义相关性与画面新颖度检索证据，取回相关画面及邻近音频，与近期视听内容一起重新组织上下文。引入记忆模块后，Omni在LVOmniBench的60至90分钟视频子集上准确率从41.18%升至47.06%，增加5.88个百分点；在LongVideoBench的40至60分钟子集上从57.14%升至61.90%，增加4.76个百分点。

视频理解方面，Realtime-Venus-Omni在八项视频基准中的六项取得最高分，其中StreamingBench为70.2%，OVO-Bench为64.7%，Daily-Omni为81.3%。音频理解方面，Realtime-Venus-Audio在MMAU和MMAU-Pro上得分分别为78.0%和63.2%，均为参评模型最高水平。语音问答方面，Llama Questions得分为83.8%，Speech CMMLU得分为67.8%，均领先；VoiceBench AlpacaEval得分为4.81，并列最高。工具使用方面，在Full-Duplex-Bench v3中，Omni与Audio的工具选择F1分别为86.0%和82.0%，分列第二、第四，Omni仅次于GPT-Realtime。两款模型完整任务成功率Pass@1分别为43.0%和42.0%，参数准确性和多步执行仍有提升空间。两款模型均基于MiniCPM-o 4.5构建，分别独立训练，后训练语料总量超过280万条，涵盖九类数据源。

清华大学计算机系长聘教授、人机交互实验室负责人史元春表示：“人机交互的终极目标，是让机器像人一样自然地理解和回应我们。Realtime-Venus让AI助手在‘想’的时候还能‘听’，在‘做’的时候还能‘说’——这朝着人机共生迈出了一步。但自然的交互不止于听和说，还包括理解上下文、预判需求、在合适的时机交付结果。从‘能交互’到‘会交互’，我们还有很长的路要走。”

现有评测也给出后续改进方向：模型对用户真正打断的响应仍需改善，工具调用要提高参数准确性和多步执行成功率。进入更长时间连续交互后，如何保留有用信息、在任务失败后恢复，还需更多验证。团队接下来将继续探索更细粒度的流式交互和更长上下文窗口，并研究复杂任务的执行与恢复。开源之后，开发者可接入自己的业务工具，在实际使用中检验对话节奏和任务完成情况。