Agent记忆突破:看懂3小时长视频,关键事件一个不落

Agent记忆突破:看懂3小时长视频,关键事件一个不落

AI 资讯 来源:新闻/公众号 发布时间:2026-11-04 08:38:32 预计阅读 3 分钟

openJiuwen AgentMemory正式上线多模态记忆能力OmniMem-Lens。现有Agent处理超长视频时,通行做法是按固定时间窗口切分记忆,导致证据碎片化和证据被稀释,召回精度下降、幻觉频出。问题根源在于Agent“按秒”记视频,而人“按事件”理解视频;且多数视频事件分割方案只依赖单一模态,画面静止或无台词时容易失灵。

让Agent首次拥有“视听双流记忆”:openJiuwen Agent-Memory看懂长视频,关键事件一个不落

OmniMem-Lens通过视觉和听觉两条轨迹理解视频事件,实现“按事件存、按事件取”。视觉流在画面切换时标记变化,听觉流通过ASR转录分辨话题转换,双证据交叉对焦,在真实事件边界切分。系统建立三层记忆结构:L1大纲、L2索引、L0原始视频帧,检索时按需取用;L1与L2完全文本化与向量化,可无缝接入主流向量数据库,已有RAG/Agent技术栈几乎零改造即可使用。记忆整理在离线完成,在线问答直接查记忆,仅在需要视觉细节验证时调取L0层视频帧,实现秒级响应。

让Agent首次拥有“视听双流记忆”:openJiuwen Agent-Memory看懂长视频,关键事件一个不落

实测选取三个主流长视频问答评测集,将OmniMem-Lens配合Qwen3-VL-8B与直接使用Qwen3-VL-8B对比:记忆召回精度在Video-MME-L上提升8%,LVbench上提升6.4%,EgoLife-QA上提升45.7%;在线问答时延在LVbench上由34.5秒降至1.72秒,降低约97%。案例显示,固定盲切会切断因果关系、把静止画面中的多个议题打包成一条记忆,而OmniMem-Lens通过视听双流对焦保留完整事件边界,视觉失灵时听觉顶上,听觉失灵时视觉顶上,提升回答准确率。

让Agent首次拥有“视听双流记忆”:openJiuwen Agent-Memory看懂长视频,关键事件一个不落

WorkSwarm即将支持对接openJiuwen AgentMemory。OmniMem-Lens已在openJiuwen AgentMemory 0.2.0版本正式上线。

标签: AI 资讯 AI

更多推荐阅读

英伟达机器人神话被算力底座卡死 腾讯云:没Infra就是浮沙筑高墙

英伟达机器人神话被算力底座卡死 腾讯云:没Infra就是浮沙筑高墙

GTC柏林大会上,英伟达宣布扩展Isaac机器人开发平台,黄仁勋称机器人的“ChatGPT时刻”越来越近。但机器人真正上岗仍面临训练中断、数据未处理完、多机同步拥堵等问题,算力未必一直在有效干活。 10月29日至30日,2026腾讯全球数字生态大会在深圳开幕。腾讯云副总裁李力表示,“没有Infra的AI,就是浮沙之上筑高墙”。他认为AI最终要回归云上成熟的计算、存储、网络体系。腾讯云发布全新品牌...

2026-11-04 09:44:04
200万人围观6台机器人便利店熬夜PK,4台成功转正

200万人围观6台机器人便利店熬夜PK,4台成功转正

过去24小时,全网超200万人在线围观6台智元精灵G2在真实便利店“打工”。11月2日起,6台搭载智元具身Agent框架Genie Master的精灵G2以“便利店试用期员工”身份,开启连续24小时“转正考核”,全程无滤镜、无剪辑直播。最终4台成功“转正”。 6台机器人累计完成1730项任务,包括接待顾客683次、商品取送369件、咖啡制作147次、早餐服务126次、补货巡检277次及桌面清洁1...

2026-11-04 08:55:37
腾讯Buddy One打通办公套件,AI积分跨产品通用

腾讯Buddy One打通办公套件,AI积分跨产品通用

腾讯举办2026腾讯全球数字生态大会,Agent和WorkBuddy贯穿全程。大会宣布推出Buddy One AI协同体系,将WorkBuddy、腾讯会议、ima、腾讯文档、腾讯网盘串联,统一账号、积分池和数据,打通上下文记忆,支持AI跨产品检索资料,无需反复复制粘贴。 用户可通过官网“加入Buddy One”按钮或WorkBuddy客户端(v5.9+版本)设置-个人主页关联账号。绑定Buddy...

2026-11-04 09:37:21
上亿Token训Agent记忆,效果竟不如传统RAG

上亿Token训Agent记忆,效果竟不如传统RAG

UIUC、清华、人大等机构研究者在《Memory Tax: Dissecting the Net Value of Agent Memory》中发现,Agent记忆系统花费上亿Token做事实提取、用户画像、分层管理、知识图谱等加工后,在相当一部分情况下回答准确率甚至低于直接用RAG检索聊天记录,出现负向优化。 研究者在LongMemEval-s、PersonaMem-v2和MINT-Eval基...

2026-11-04 08:05:16
腾讯内测“腾讯网盘”:不只是存文件,要做AI的记忆底座

腾讯内测“腾讯网盘”:不只是存文件,要做AI的记忆底座

腾讯已开启“腾讯网盘”内测,部分功能仍在迭代完善,并计划推出App版本。产品聚焦文件存储、数据管理与AI应用,面向个人和团队提供数字资产管理体验。与传统网盘不同,腾讯网盘不再局限于文件存储备份,而是将自身定义为多Agent的统一记忆底座,目标是打通各类AI应用与办公工具,统一归集、整理并承载全部上下文,让多个Agent基于同一份资料协同工作,从文件仓库转向AI时代的资料记忆中台。 实测个人版发现...

2026-11-04 09:39:53
庄明浩年终复盘:AI带来的10个Aha Moments,RSI来了

庄明浩年终复盘:AI带来的10个Aha Moments,RSI来了

2026年Q1,OpenClaw的崛起成为最受关注的行业事件。OpenClaw于2025年12月正式发布,春节前后在国内产生重大影响,1月底所有大厂迅速跟进,腾讯楼下甚至出现排队安装、抢购Mac mini的景象。当时OpenClaw虽处于较新且不完善的状态,但从业者已充分意识到Agent(或今年更热的词Harness)对模型改进和普通用户的促进作用,行业形成“潘多拉魔盒被打开”的共识。回顾来看,2...

2026-11-04 09:03:00
订阅
关注

扫码关注公众号「60秒看懂AI」

扫码关注公众号 60秒看懂AI

微信搜索「60秒看懂AI」也可关注

顶部