上亿Token训Agent记忆，效果竟不如传统RAG

UIUC、清华、人大等机构研究者在《Memory Tax: Dissecting the Net Value of Agent Memory》中发现，Agent记忆系统花费上亿Token做事实提取、用户画像、分层管理、知识图谱等加工后，在相当一部分情况下回答准确率甚至低于直接用RAG检索聊天记录，出现负向优化。

研究者在LongMemEval-s、PersonaMem-v2和MINT-Eval基准上测试了扁平存储、分层生命周期、图结构和训练策略四类共11种开源记忆系统，以检索原始历史的RAG为对照。在LongMemEval-s上使用GPT-5.6 Luna、选取100组语料的测试中，11个记忆系统里只有A-Mem和SimpleMem超过单轮RAG，领先幅度均为2个百分点；而两轮RAG准确率达90%，超过全部受测记忆系统。换成Qwen3.6-27B后，两轮RAG仍以81.4%的准确率领先。

两轮RAG的优势来自完整检索配置：按会话边界切分片段并保留会话时间；稠密向量与BM25并行召回后去重合并；用Qwen3-Reranker-0.6B重排后交给回答模型；并让模型判断第一轮证据是否足够，不够时再检索一次。消融显示，仅结合BM25与稠密向量再做一轮重排，即可将准确率从72.6%提升到77.6%。

记忆系统出现负优化的原因有二。其一是加工时细节丢失：抽取500条原始对话轮次检查，OpenViking完整保留信息比例为39.4%，另有38.0%的轮次找不到对应记忆单元；SimpleMem和Memory-R2完整保留比例分别为65.6%和72.6%。例如具体金额被概括掉、到货时间与启用时间被混淆、用户要求遗忘的内容仍被改写保留。其二是信息虽在但检索不到：MAGMA完整保留93.6%的原始信息，常规问答准确率却只有68.2%；跳过检索直接把正确证据交给模型，准确率升至84.4%，接近直接提供原始证据的84.6%。问题可能出在记忆粒度，切得太小或太大都会影响检索。

研究者在第6节做了改动：检索记忆的同时也检索原始历史，将两边候选合并、联合重排后再交给模型回答。三组结果准确率均提高，原本答对、引入记忆后反而答错的问题也减少了，SimpleMem准确率从73.6%升至82.8%，提升9.2个百分点。