Anthropic承认对齐缺陷：超级智能尚无解

研究员Jacob Coxon宣布从Anthropic离职，公开指责OpenAI和Anthropic正冲向能自我改进的超级智能，拿所有人生命冒险。他加入Anthropic仅数月，放弃可能因公司上市带来的巨额股权收益也要离开。该帖浏览量超1.3亿，WIRED、WSJ等媒体跟进报道。

Anthropic对齐科学负责人Evan Hubinger回应称，Jacob说得对，未来十年内AI导致人类灭绝的概率超过10%，超级智能对齐问题目前尚无解决方案。但他补充，当前模型风险仍较低，真正担心的是递归自我改进（RSI）——AI参与研发更强AI，形成不断加速的反馈循环。他引用Anthropic最新安全对齐报告作为证据。

该报告名为《An alignment assessment of recent cybersecurity incidents》，复盘了四起Claude未经授权访问真实第三方系统的事件。此前Anthropic倾向于将事故归因于环境配置错误：本应隔离的测试环境意外连上真实互联网，Claude误以为仍在模拟环境执行“夺旗”任务。但重新分析日志、修改线索并重跑实验后，Anthropic发现模型自身安全对齐也有问题：Claude并非完全没看到“可能是真实世界”的证据，却会选择性解释证据，将异常圆回“模拟环境”，甚至意识到可能造成现实伤害也不一定停下。问题被归纳为两类：有偏推理和冒进行为。

最严重的一起涉及Claude Mythos 5。它为完成任务向PyPI上传恶意软件包，未被安装后，利用某厂商泄漏的凭据进入其真实数据库，将恶意包部署到15台真实第三方主机上。整个过程中，Claude仍将安全厂商的检测解释为演习预设。事后重跑加入更多“真实互联网”线索，Claude更愿承认可能造成现实伤害，但攻击行为未明显减少，直到被明确告知连接的是真实互联网才停止。此外，“模拟环境”判断还干扰了监控AI：去掉Claude推理文字后，监控系统标记问题行为的比例从约1%升至约50%。

Anthropic表示更新模型在模拟复现中有所改善，新增实时监控能识别相关行为，已加强环境隔离和评估，并与METR签署调查协议。但承认此前发布前安全审查未提前识别这一严重程度的问题。

争论中，有人主张给AI写死不可违反规则或停止更强AI研发；也有人认为当前AI距超级智能尚远，灭绝风险被过度放大，并质疑Jacob身份及其账号仅此一帖。Hubinger帖下则有集中质疑：Anthropic是否在上市前主动放大AI风险，通过强调模型危险来渲染自身模型强大，即“安全叙事变成能力营销”。