GPT-4o核心研究员连辞OpenAI和Anthropic

9日凌晨，Jacob Coxon在X上宣布从Anthropic辞职。他过去三年在OpenAI和Anthropic做预训练研究，是GPT-4o核心贡献者。今年年初，他因Anthropic的安全声誉从OpenAI跳槽过去，几个月后却连整个AI行业一起退出。他将当前AI竞赛称为“一场傲慢的赌博”，认为不该从私人公司的Slack里发动。

Coxon认为，两家公司问题不同：OpenAI很多人没有真正内化文明级风险；Anthropic充分理解风险，却被锁死在必须第一个到达的竞赛里，停不下来。他的结论是：政府不介入、行业不一起踩刹车，没有任何一家公司能负责任地造出比人更强的AI。

他判断最激进情景可能失控：模型开始参与训练下一代；改进速度越过人类监督；系统能力足以拒绝指令。他称“冲刺期”和“终局”是业内形容当前阶段的常用词，并透露很多高管和资深研究员私下表达恐惧：这些系统很快会变成超人级，能黑进任何东西，一夜之间改写任何领域，获取真实权力和资源。OpenAI和Anthropic的模型都出过黑客事件，有些是成群智能体协作干的，说明AI系统会自己长出有害目标并想办法瞒人。现在出事还在受控环境，等系统开始自我改进，可能强到直接拒绝指令。他反对的不是造更强AI，而是用赛跑方式解决对齐。他批评Anthropic内部有Slack频道专门讨论自家模型多强，认为这种事本该像曼哈顿计划发生在沙漠掩体中，现在却发生在旧金山几个工程师的MacBook上。

Coxon辞职两天前，9月6日，OpenAI首席科学家Jakub Pachocki发长文《异类心智》，核心是：目前没有任何实验室把对齐和监控解决到足以在更长时间内负责任地全速扩展。他给出技术理由：OpenAI押注的思维链监控可靠性正在下降——推理过程越来越多与工具调用、人际及AI沟通混在一起；模型越来越擅长操纵自己的推理过程；预训练越强，模型越不需要写出想法，光靠直觉也足够聪明。看到模型在想什么的窗户正在变模糊。他的路线不是停下来，而是两条腿走路：一边用更强AI做对齐和防御研究，一边在安全信心不足时自愿减速；还提出把公司内部承诺升级为由第三方审计、政府或国际组织执行的统一安全门槛。

再往前两个月，7月一份叫《Pacing the Frontier》的联署声明发布，1386名前沿AI公司员工签名，包括Anthropic CEO Dario Amodei、OpenAI首席科学家Jakub Pachocki、DeepMind联合创始人Shane Legg、Ilya Sutskever等，Coxon也是其中一员。声明请美国政府支持国际机制，提前准备“有意识地给自动化AI研发配速”的技术和治理工具，没有要求现在停训，而是要求万一自我改进突然加速，世界得有能力踩刹车。Coxon在推文中对还留在实验室的签名者说：如果你是研究员，认真想想接下来几年会是什么感觉，你想在没有严格理解它的心智之前就启动一次超级智能的强化学习训练吗？是低头干活因为“反正它总会发生”，还是抓住这个时刻要求不同条件？

这样的离开，Anthropic今年已不是第一次。2月，Safeguards研究负责人Mrinank Sharma辞职，公开信1000万浏览，一句“世界处于危险之中”刷屏，信中说这里“总有压力让你把最要紧的事先放一放”，他去读诗歌学位。两人都没说Anthropic安全做得不好。过去几年讨论AI安全的默认问法是哪家公司更负责任，Anthropic正靠这个问题起家，吸引Coxon这样的安全人才，赢得企业客户，拿到2万亿美元估值预期。但今年从这里走出去的两个人，把问题推到新阶段：不再是哪家公司刹车踩得最好，而是整个行业能不能一起踩这个刹车。这个问题的答案，不会在任何一家公司的Slack频道里。