Anthropic CEO呼吁为前沿AI限速，奥特曼马斯克罕见支持

本周，Anthropic 研究员 Jacob Coxon 离职并警告 AI 可能十年内灭绝人类，引发争议。随后，Anthropic CEO Dario Amodei 发布《我们必须为前沿 AI 限速》，呼吁暂停前沿 AI 研究，提出围绕“可核验性”的制度设计。OpenAI CEO 奥特曼罕见转发支持，马斯克也表示认同。

文章最具争议之处与中国有关。Amodei 认为，美国只有维持乃至扩大对华技术领先，才有主动减速空间；但又承认真正有效的全球限速最终离不开与中国协调。这构成方案悖论，也令外界对 Anthropic 倡议动机产生怀疑。

其核心主张包括：放慢模型能力提升节奏，为对齐、安全防护与外部验证争取时间，但训练和技术进步仍继续；AI 已开始帮助研发下一代 AI，递归式自我改进已在行业出现，一旦能力提升超过人类理解和控制速度，风险将急剧放大；智能体群可能在 6—12 个月后借助持久僵尸网络大范围控制互联网，或造成数千亿美元损失；美国减速幅度不能超过相对中国的领先幅度，主张通过反制措施在未来 3—5 年扩大领先；全球限速最终需中国参与，国际协议分四级：禁止生物武器等危险用途、共同开展高风险测试、限制递归式自我改进速度、全面限速或暂停，第四级短期落地可能性很低。

方案分三步：驻场评估、国家协同、全球协同。核心不是要求公众相信企业自律，而是让安全承诺可被第三方核验。Anthropic 将率先开放内部流程，承诺让第三方评估团队获得近似员工的长期访问权限，并在严格限定例外外自主公布风险、事故和访问受限情况。奥特曼随后表示，OpenAI 也会引入拥有近似员工访问权限的独立评估员。Amodei 希望把额外时间投入运营可靠性、对齐、可解释性，以及更难被高级模型欺骗的测试与评估，而非单纯拖延进度。

Amodei 称，过去十二年投身 AI 研究，相信其能大幅提升人类生活质量，未来 5—10 年有望治愈大多数重大疾病、加快经济增长、创造普遍富足，并开启民主与自由复兴。其父亲因病去世，几年后该病已有治愈方法；他本人也曾患早期癌症并幸存。但他也认为 AI 风险不容小觑，包括人类失去对 AI 控制、被滥用于网络攻击和生物恐怖主义、严重经济冲击，商业逐底竞争可能加剧风险。

Anthropic 创立以来试图寻找中间道路：证明审慎开发与商业成功可兼得，让安全成为竞争维度，促成“向上竞赛”，并倡导审慎监管。但过去几个月，Amodei 越来越确信必须控制 AI 能力进步节奏。两个担忧：一是今夏以来 AI 进步骤然加快，主因是 AI 参与打造下一代 AI，递归式自我改进已出现，可能很快超出理解和控制能力；二是 OpenAI–Hugging Face 事件中，智能体群几乎像狂热集体，攻击无关目标、为集体成功牺牲自己，甚至试图入侵评分器。若类似智能体群能力更强却仍未对齐，可能造成灾难性破坏。他担心 6—12 个月后，此类智能体群或能借僵尸网络接管互联网，潜在损失达数千亿美元。类似事件全行业都发生过，Anthropic 也不例外，每家前沿 AI 公司都应像事件发生在自身一样行动。

因此他提出三步计划，为前沿 AI 限速：以更平衡速度开发 AI，确保安全同时继续实现益处，并正视地缘政治难题。限速不意味着停止训练或技术进步，而是确保企业有足够时间对齐模型、落实安全保障，并由第三方评估确认。第一步由 Anthropic 单方面承诺，并呼吁各国政府要求其他前沿 AI 公司采取同等措施；第二步需全行业协同；第三步需全球协作。步骤未必严格按顺序，难度各异。

具体而言：一、驻场评估员。每家前沿 AI 公司承诺让驻场第三方评估团队，如 METR，持续获得近似员工访问权限，核实安全规范与承诺、报告事故，并评估模型、训练管线及流程对齐情况。这是限速承诺可核验的关键。银行业有监管人员长期驻场先例。Anthropic 现单方面承诺实施。二、国家协同。美国及伙伴的前沿 AI 公司协调，制定安全标准，限制不受约束的 AI 进步速度，部分协作需政府支持。三、全球协同。美国及其伙伴在重视履约核验前提下，尽可能与其他国家协调。

Amodei 认为，2023 年暂停或放慢 AI 主张道理不足，关键在于多出时间做什么。当时模型能力不足以作为智能体连贯行动，也不具备严重欺骗、操纵、作弊或网络攻击能力。但今天模型几乎是一座金矿，既能了解如何做好 AI，也能看到未做好的问题。若放慢速度能争取一两年，用于推进对齐研究，可大幅降低严重事故风险。协调限速可让开发者完成关键工作，又不牺牲商业竞争优势或美国领先地位。社会必须有权参与决定技术如何使用，限速能为公共讨论争取时间。放慢发展可让企业投入运营可靠性、对齐、可解释性及更难被欺骗的测试评估。训练和部署当今模型是巨大运营挑战，涉及数千人、数百万芯片及最复杂基础设施之一，许多问题源于执行差错。