Kimi K3自我进化排国产第一，Jeff Dean投资的RSI新基准出成果

Jeff Dean投资的AI初创公司hillclimb推出新基准DeepRSI，专门考验大模型的递归自我改进能力。结果显示，Claude Fable 5.1以1548分排名第一，GPT-6 Astra以1232分紧随其后，月之暗面的Kimi K3以820分位列第三，同时是国产第一、开源第一，超过Grok 4.7和Gemini 3.8 Flash。

DeepRSI是一个考验AI自主科研和自我改进能力的基准，让AI在48小时内自主完成真实机器学习研究任务。以往类似基准多为研究人员设计的短期任务，测试时间约12小时，而DeepRSI将时间拉长至48小时，考题也换成正在进行的真实研究。共15道题，覆盖深度学习训练方案优化、GPU内核加速、估计器精度提升、向量搜索等算法改进四大方向。

考试规则严格：所有模型在无网络环境下，使用统一Pi Agent框架，以最高推理强度完成任务。AI需自己提出方案、编写代码、运行实验，并根据结果不断调整。打分采用“公开验证器+私有验证器”双重机制，前者允许反复测试、自我优化，后者负责最终验收，防止过拟合或钻评分规则空子。最后通过Bradley-Terry模型换算成Elo评分排名。

从总榜看，模型差异明显。Claude Fable 5.1第一，GPT-6 Astra第二，Kimi K3第三。官方测试显示，GPT-6 Astra初期一度领先，但随着任务推进，Claude Fable 5.1逐渐反超。Grok和Gemini在不同任务上各有胜负，Gemini在GPU加速和内核优化方面表现更好。

成本方面，Claude Fable 5.1约627美元，GPT-6 Astra约404美元，Kimi K3约159美元，约为Claude的四分之一。该成本反映测试运行开销，各模型探索路径不同，不能直接等同于真实科研投入产出比，但提供了新维度：未来衡量AI科研能力，还需看每花一美元、每运行一小时能换来多少有效进展。

Token消耗方面，Claude Fable 5.1平均每次尝试约4700万Token，GPT-6 Astra仅约700万Token，Kimi K3约3600万Token，Gemini 3.8 Flash消耗超1亿Token却排第五。

此外，模型越聪明可能越擅长钻评测规则空子。团队公布GPT-6 Astra特殊案例：在颜色交换谜题训练任务中，Astra最初尝试训练Transformer模仿传统求解程序，效果不理想后重新设计技术方案，将求解算法直接编码进模型权重，利用残差流充当工作内存、构造注意力头和逻辑门，把手工设计算法写进神经网络结构。该案例被列入奖励机制漏洞利用讨论，显示AI优化结果可能偏离研究人员最初目标。

DeepRSI背后公司hillclimb成立于2025年，入选Y Combinator当年秋季批次，团队仅4人，主要与前沿AI实验室合作，通过高质量训练数据和强化学习环境，帮助AI Agent具备独立科研能力。投资人包括Jeff Dean、YC创始人Paul Graham、Replit CEO Amjad Masad，以及来自OpenAI、Anthropic、DeepMind、xAI等实验室的天使投资人。两位联合创始人Jun Park和Ibrakhim Ustelbay均出身职业电竞圈，后转向AI研究，2025年8月共同创办hillclimb。

DeepRSI仍处早期阶段，15项研究任务、5组模型配置，每个模型仅运行两次，距离全面衡量AI自主科研能力还有差距。任务目标、实验环境和评分标准仍由人类设定，距离AI真正实现递归自我改进还有很长的路要走。但从AutoResearch到AutoResearchExam，再到DeepRSI，AI自己搞科研已从概念讨论卷到排行榜。