腾讯混元用阿里Qwen基座实现“小RSI”，模型能力突破原框架

自Hy4 Preview发布以来，全链路RSI成为最受关注的功能，这也是腾讯混元首个全程参与研发的模型。不到两个月后，混元Frontier团队发布Terminal-RSI，能让模型通过RSI超越原有框架，实现本不具备的能力。

以Terminal-Bench 4.0为例，基座模型原本得分为0%，通过Terminal-RSI达到19.84%，与GPT-5.6 Terra、Gemini 3.8 Flash齐平。论文所用基座模型为Qwen3.8-27B。论文也承认，该RSI仅在27B模型上验证，只有三次评测、无独立训练种子，在更大参数模型上效果尚不确定。

Terminal-RSI训练的是终端Agent：给定沙盒和任务说明，Agent需在命令行查看仓库、安装依赖、修改代码、运行测试，最终由沙盒状态验证是否通过。实现RSI有两个难题：一是反馈太慢，平均交互回合数在50到117之间浮动，第二步出错往往到最后才知道；二是难以细致区分对错，验证器11条检查过了9条，结果却难在终端判定中体现。

Terminal-RSI流程为Base→RSR-1→RPR-1→RSR-2→RPR-2，两个“重写+精炼”循环，最终产物为Terminal-RSI-27B。RSR（递归自我重写）只更新actor：模型在不同harness中尝试任务，保留通过完整验证的成功轨迹，由模型自己充当规划者提炼操作手册，经审查Agent检查格式、产物及是否泄漏验证器答案或标准解，再在新沙盒重做，仅保留重做通过且无泄漏的轨迹，监督微调时抹掉手册和审查对话，只留动作序列。RPR（递归策略精炼）则是actor和critic一起做PPO强化学习：重写后actor偏好动作变化，旧critic估计不准，直接重置会丢失已学信息，原样继承又会混入误差，因此先让critic用最近战绩单独重练4轮，再共同训练。

结果显示，Qwen3.8-27B只练两轮，Terminal-Bench 2.1得分从51.7%升至86.5%，Terminal-Bench 4.0从0%升至19.8%，四个测试平均分从20.7%升至50.6%，翻了一倍多。

论文一作为Hy Frontier实习生杨竣尧、李宗夏和腾讯研究科学家史玉成，三人此前合作过《T1：面向长时程任务的终端智能体强化学习》。姚顺雨加入混元后，将AI Lab并入大语言模型部，原研究员成为Frontier方向，与预训练、后训练、评估、Infra同部门同汇报线，层级压为“姚顺雨—方向负责人—研究员/实习生”三层。2025年底混元重点跟进AI编程，姚顺雨搭建全集团共用强化学习基础设施。Hy4 Preview全链路RSI分数据策略、训练方法、评估体系、底层算子四环节，RSR对应数据策略，RPR偏向训练方法。RSR能为Hy4自造高质量训练数据并隔离benchmark污染，把“偶尔做对”固化为“稳定会做”；RPR则适应新环境、新打法、新规则。姚顺雨不关注榜单成绩，只在乎模型能否完成任务。