AI狂发722篇论文，田渊栋：我5年内会失业

前些时日，OpenAI 在 GitHub 上放出 722 篇数学论文手稿，归为 372 个结果“家族”，横跨 17 个数学领域，全部出自一个尚未发布、没有公开名字的内部模型，性能远胜 GPT-6 Astra。数学界对成果质量和披露方式仍有争议，但 AI 产出研究成果的速度已开始以“百篇”为单位计算。

几乎同时，深度学习老兵田渊栋在 The Information Bottleneck 播客中表示：“做完这个项目，拿到一些挺有意思的结果之后，我突然意识到：哇，我的工作大概五年内就会被取代。”他在 Meta FAIR 待了近十年，做过围棋 AI、强化学习、神经网络可解释性，也是 Coconut 论文作者之一。如今他是 Recursive Superintelligence 联合创始人。今年 5 月，该公司结束隐身，宣布以 46.5 亿美元估值完成超 6.5 亿美元融资，由 GV 和 Greycroft 领投，英伟达和 AMD 参投。田渊栋解释创业原因：“与其被动地丢掉工作，不如主动去开一家朝这个方向走的公司。”但他也泼冷水：“如果你让模型自己想点子，它会给你一些非常平庸的想法。”

田渊栋 2008 年赴美，在 CMU 机器人研究所读博，研究计算机视觉非凸优化。2012 年 AlexNet 出现后，他意识到卷积网络的层级化处理与自己的分层优化思路相通，但当时 CMU 多数人认为 AlexNet 只是侥幸。2013 年毕业后他先去 Google 自动驾驶团队，后跳槽 FAIR，称这是“当时做过的最好的选择之一”。

在 FAIR，他启动围棋 AI 项目。2015 年团队做出 DarkForest，靠卷积网络在网上击败顶尖业余棋手。2016 年 AlphaGo 击败职业棋手。他复盘认为 AlphaGo 有两点自己没有：价值网络，以及他本人此前几乎无强化学习背景。2018 年团队复现 AlphaZero，得到 OpenGo，在与韩国棋院正式对局中，只用一块 V100 GPU 就让四位职业棋手一盘未胜。

谈到强化学习，他认为分布式强化学习、Q-learning 等被低估，也看好无梯度优化。2018、2019 年前后，他尝试将强化学习用于真实问题，结论是：“真正重要的不是算法，而是动作空间和状态空间的设计。”团队据此提出潜空间蒙特卡洛树搜索。

关于 Coconut，即让模型在连续潜空间推理，田渊栋说想法源于自我观察：“我思考的时候从来不用语言。”团队发现潜在表示可以是多种想法的叠加态，在图遍历等问题上有优势。前沿模型未采用连续思维链，原因有二：人类思考多以语言记录，潜空间缺数据；潜在表示高度个人化，大模型学习效率低。

他认为梯度下降可能陷入“元层面的局部最优”，这正是可解释性研究的意义。大模型时代，研究者可能被迫在元层面思考，工程能力地位抬升。他在 Meta 最后一篇论文研究 grokking 现象，把 GPT-5 当合作者，效率提升约 6 到 10 倍。他坦言现在是一次相变，“如果我什么都不做，以后可能就无关紧要了”。

不过，他不认为人类可以退场：“我不觉得现在的模型能在没有任何人类干预的情况下给出很好的结果。”