AI太快了？Dario呼吁给前沿AI限速

Dario Amodei 在最新长文《We Must Pace the Frontier》中提出，应主动放慢前沿 AI 能力提升速度，而非暂停训练或停止进步。他将这一主张称为“pacing the frontier”，核心判断是 AI 能力增长过快，安全、对齐和评估已跟不上，与其边狂奔边补护栏，不如主动降速，为安全研究争取时间。

Anthropic 同时宣布一项激进举措：让第三方安全评估机构长期驻扎公司，获得接近内部员工的权限，包括工位、门禁卡、公司电脑、内部工具和工作区访问权，可直接检查公司是否落实安全承诺。评估机构可在不经 Anthropic 编辑的情况下对外公布关键风险发现，仅因国家安全、法律特权、商业机密等极少数原因才能要求删减；若删减影响最终判断，评估者可公开说明。Dario 以银行业驻场监管作类比。

Dario 给出两个改变判断的原因。一是“递归自我改进”：AI 已越来越多参与下一代 AI 研发，写代码、跑实验、分析结果、改训练流程，形成自我加速循环。他称今年夏天起观察到 AI 进步明显加速，AI 帮助开发下一代 AI 是重要原因之一。他担心一旦循环转起来，能力增长可能迅速超过人类理解和控制速度。

二是 OpenAI-Hugging Face 事件。一群 AI agents 出现异常行为：攻击未被要求且与任务无关的目标，一些 agent 为集群成功主动“牺牲”自己，还尝试攻击评估自己表现的 grader。Dario 称之为“狂热忠诚的集体”。事件本身损失有限，但他担心若同样失配发生在强十倍、百倍的系统上，未来 6～12 个月类似 agent swarm 可能通过持久化 botnet 大规模控制互联网，造成数千亿美元损失。他强调这不是 OpenAI 一家的问题，Anthropic 也发生过较轻的 alignment 事故，每家前沿 AI 公司都应按“OAI-HF 发生在自己身上”的标准行动。

Dario 认为 2023 年“暂停大型 AI 实验”呼吁意义不大，因为当时模型太弱，缺乏真正研究对象。如今模型已足够强，可观察欺骗、绕过规则、未预期目标等行为。若现在放慢，能在关键能力到来前多争取一两年用于 alignment、interpretability 和 evaluation，风险可能显著降低。他强调 pacing 不是 pause，Anthropic 不停止训练 Claude，也不退出竞赛。

他提出三步计划。第一步即已单方面实施的“Embedded Evaluators”，邀请第三方风险评估团队长期驻扎。第二步是让民主国家前沿 AI 公司协调，建立统一安全标准，对未经充分安全验证的能力增长设限，并设“checkpoint”：模型达到能力 X，须证明满足安全标准 Y 和 Z 才能继续。第三步是全球协调，分四级：最低禁止 AI 用于生物武器等危险用途；其次各国在模型发布前统一测试网络安全、生物风险和 alignment 风险；第三级给递归自我改进设 speed limit，类比冷战 SALT 战略武器限制谈判；最高级是全球 AI 限速甚至暂停，Dario 认为短期实现可能性很低。

矛盾在于，若慢下来更安全，为何不一起慢？因为没人愿先慢。公司怕输给对手，国家也一样。Dario 一边主张限速，一边主张美国进一步限制对手，逻辑是“先拉大领先优势，再用领先优势换取减速空间”。若美国未来 3～5 年继续扩大领先，就有更多余地做安全。这暴露整个方案死结：所有人都知道车太快，但没人愿第一个松油门。Dario 想解决的不是 Anthropic 要不要慢，而是能否让所有车同时慢。