27岁AI研究员辞职：担心AI致人类灭绝

昨天，Jacob Coxon在X上发帖，流量过亿。他27岁，英国人，数学出身，曾两次入选英国国际数学奥林匹克竞赛队伍，后进入剑桥大学Trinity College学数学。2021年参与过一篇eLife医学统计论文。2023年左右加入OpenAI，是GPT-4o官方贡献者，GPT-4.5核心贡献者。今年从OpenAI去了Anthropic，继续做大模型预训练，但很快辞职。原因是他认为OpenAI和Anthropic正朝着能自我改进的超级智能一路狂奔，拿所有人的生命下赌注。他说，真正参与制造前沿AI的人里，有不少私下相信，如果失控，人类可能在这个十年结束前灭绝。《华尔街日报》报道他以后甚至想离开AI行业。

帖子发出后，Anthropic对齐负责人公开支持，称小哥是对的，10年内发生概率大于10%。另一名安全研究员以个人身份支持，并观察到AI公司里职位越高的人往往越担心。刚离开Anthropic、之前负责可扩展监督的Joe Benton也说Jacob对行业现状的描述准确。

这让我想起2015年Tim Urban的长文《The AI Revolution》，分上下两章，第一章叫“通往超级智能之路：我们的永生，或者灭绝”。文章提出一个判断：如果人类造出远超自己的超级智能，文明只会走向两个方向——灭绝或永生，没有其他解。Tim Urban先讲了人类很难理解指数增长，脑子天然喜欢线性推演。他举了个例子：假如把1750年的人带到2015年，看到飞机、智能手机、互联网、核武器等，会觉得自己进了仙界；但若1750年的人往前穿越同样265年到1485年，震撼会小很多。再往前，为获得同样文明落差，可能需要上万年。他给这种足以把古代人脑子干宕机的文明进步起名“Die Progress Unit”，以前攒一份可能要1万年，后来几百年，再后来几十年，越来越快。

2015年我第一次看时感触不深。直到2026年的今天重新看，我们这代人好像已经开始亲自体验这个东西了。2022年ChatGPT出来，2023年GPT-4出来，然后o1推理模型、Claude Code、Codex、Agent一个接一个。上周GPT-6 Astra已可以像人一样操作电脑，自己打开Blender、Houdini、Unity、Excel，在陌生软件里找按钮、试错，连续干几个小时。学术方面，5月一个OpenAI模型推翻了一个研究了80年的Erdős离散几何猜想；9月4日Anthropic用Claude花11天把费马大定理变成1300万行可逐行检查的形式化证明，人类原本估计要干十年；还有OpenAI极限88小时解决的千禧年难题。

最核心的是Jacob担心的“自我改进的超级智能”。2015年Tim Urban问：如果AI有一天开始帮助人类研究更强的AI会怎样？2026年2月OpenAI在GPT-5.3 Codex发布时说，这是他们第一个在创造自己过程中发挥关键作用的模型。现在几乎稍强的模型，训练阶段都有AI参与。感觉像十一年前有人在雾里用光射出一条虚线，当时不知通向哪里，十一年后我们低头一看，自己真的走在上面。

Tim Urban还说，人类容易低估超级智能，因为习惯把“更聪明”理解成普通人、聪明人、天才、爱因斯坦、超级AI的区别，好像都在一个窄区间。但换参照物就恐怖了：黑猩猩和人类在整个生物智能尺度上只隔一点点，可一边只会拿树枝捅白蚁窝，另一边发明了微积分、量子力学、互联网，还能飞出地球。如果人类上面还有高一两个认知台阶的东西，可能已很难理解；再往上，超级智能看我们可能就像我们看蚂蚁，甚至想解释一个最简单概念，我们都没有理解它所需的认知结构。

所以文章最后走到“Intelligence Explosion”：假如AI达到顶级AI研究员水平，它最有价值的工作之一就是继续研究AI，帮人类把下一代模型做得更聪明；下一代更聪明后，又更擅长研究下一代，形成正反馈。2015年这看起来很科幻，但2026年已没法纯粹当科幻看，因为最原始的反馈回路已经形成。今天离真正递归自我改进还很远，GPT-6不会自己造出GPT-7然后半夜醒来再训练GPT-8，但逻辑链最早几环已可见。

于是产生一种宿命感：只要人类把“智能”这颗种子种出来，后面的事就天然有巨大惯性。更聪明的AI创造更大经济价值，更大经济价值吸引更多资本，更多资本买更多GPU，更多GPU训练更强AI，更强AI又反过来帮助制造更强AI。公司之间竞争，国家之间也竞争。你不做别人做，你不往前别人往前。最后整个文明像一条越来越陡的河，所有人都知道水流越来越快，可没有任何人或群体能真正握着航向。

Tim Urban文章真正让我记了十一年的，是水流尽头的画面。他引用Nick Bostrom的概念：地球历史上出现过无数物种，几乎全部消失，灭绝像一种吸引子状态，掉进去就回不来。可超级智能可能第一次给生命打开另一种吸引子——Species Immortality。Tim Urban画了一根平衡木，人类一直走在上面，只要一直走，小行星、瘟疫、战争、某种我们自己创造的技术等，就可能把我们撞下去。而超级智能出现后，我们可能经历最狠的一次撞击。