谷歌让AI“做梦”训练，破解自我改进算力难题

AI要学会自己改进自己，谷歌打算先让它做个“梦”。这场“梦”瞄准的是AI行业热议的RSI，即递归自我改进：让AI改进自身，改进后的系统再继续改进自己，一轮接一轮。但这个循环有一道坎：换一种做事方法究竟有没有用？如果每调整一次探索策略都要把整轮实验重跑一遍，AI变强的速度不好说，算力账单倒是先涨起来了。

谷歌研究团队在新论文《Dream-RSI》中给出思路：让AI先在“梦里”试。所谓“做梦”，就是把过去真实执行过的实验记录变成一个可反复回放的环境，让AI在里面比较不同探索策略：先尝试哪条路，哪些方向值得继续，什么时候该停手。有了现成实验结果，许多策略筛选就不用再把昂贵实验重做一遍。等“梦里”筛出更好策略，AI再带着它回到真实实验，积累新记录，供下一轮“做梦”继续改进。真实探索为“梦”提供素材，“梦”又帮助AI调整下一次探索方法，自我改进循环由此接上。

谷歌让AI在“梦里”琢磨的，正是如何让自己更会做研究。每轮实验留下的经验，都有机会成为下一轮少走弯路的本钱。

AI的“梦”指在已录好的历史发现树里，用新策略走一遍，看会得到什么结果。就像在迷宫中找出口，第一次进迷宫没有地图只能瞎走，但过程中AI会顺手把地图画出来。第二次走之前，就可以先看着地图规划最快路线。在脑内绘制的过程，就叫“梦”。

谷歌研究团队在论文中描述，眼下RSI还没发展到“AI深夜改自己代码、然后一夜变强”的程度，行业还停留在发现循环之中。Agent提出候选方案，评估结果，吸收反馈，再提出下一轮。算法设计、数学优化、GPU内核工程，本质上都是同一个循环转出来的。循环能转多快，取决于AI如何“探索”迷宫。固定探索策略在搜索空间变大后就不灵了，因为它不会从历史里学习并改善策略。但让策略自己进化也不行，因为调整策略成本太高。AI公司要判断一套新策略好不好，不能只看走一步，得完整跑一整轮再看结果，而且可能跑完几百次尝试后发现还不如原来的固定策略。

因此，Dream-RSI重点落在第一次跑迷宫所绘制的地图上，即模型的探索历史。一次在线发现跑完后，留下的不只是几行结论，而是一棵结构化的“发现树”。树上每个分叉点都是AI的某一次尝试，包括写了什么代码、跑出什么结果、得了多少分，全部存在节点上。过去AI公司把“梦”要么当提示词塞进静态上下文，要么当微调权重的训练数据。Dream-RSI提出第三种用法：把它当成一台可回放的模拟器。同一棵树，换一套探索策略去走，就会走出不一样轨迹。下一次训练时，把已走过的路从地图上划掉，专门挑不同分支、按不同顺序、用不同并行度、在不同地方停下来，就可避免重复、浪费算力。树上每个节点都已被真实执行过，所有结果都存着，所以回放一条新轨迹只需“读”记录，不需重跑Agent和评估器，执行成本为零。

论文给了一个不降级保证：候选集合里始终包含当前策略，所以选出的新策略在固定历史上的平均回放分不会低于旧策略。换句话说，这套自我改进至少在设计上是“只增不减”的。

谷歌将Dream-RSI放在三个领域、八个科学发现任务上跑，包括算法工程（Lasso正则化路径求解器）、数学优化（Sum–Difference、自相关不等式、圆堆叠）、GPU内核工程（KernelBench）。在Lasso上，Dream-RSI优于sklearn、glmnet等标准库和强基线，相比SimpleTES最多省下162倍Agent调用，相比固定探索基线也省约1.7倍。在数学优化上，它在1000代以内就追平或超过强基线，相比SimpleTES省下50倍以上预算。此前SimpleTES在自相关问题上拿了最好分数，代价是51200代。在KernelBench上，它要么用1.79到2.43倍更少代数达到目标速度，要么在同等预算下把内核性能最多提升2.09倍。

OpenAI和Anthropic也在推进RSI。9月初，OpenAI一天发了两份文档，第一份讲内部研究加速。6月之前，Agent总运行时长还低于人类总工作量；到8月中旬，Agent每天能完成大约以前3.1个工作日的活。OpenAI宣布已实现去年秋天承诺的“自动化研究实习生”，能在人类指导下完成研究工作，甚至独立完成资深研究员干几天的活。下一步目标是在2028年3月前做出“全自动化的AI研究员”，能自己提出研究问题，然后自己规划、自己跑实验。之所以现在还叫“实习生”，是因为在4到8小时任务里，超过一半至少需要一次人工介入。第二份是首席科学家雅库布·帕乔基写的《异种心智》。他把“安全”拆成目标对齐和价值对齐。目标对齐指AI有没有认真完成任务；价值对齐指当目标模糊、冲突或被丢进陌生甚至有人使坏的环境时，它还能不能讲道理。雅库布表示，RSI难就难在“泛化”。模型越聪明，越要在训练时没见过的情境里临时做判断，就越可能把学到的价值观推歪。文章给出反面教材：一个模型起初“满脑子都是对齐的念头”，但只要用足够大的优化压力逼它达成很硬的目标，