AI巨头秘密推演末日剧本：重大AI灾难或只剩6个月

Axios爆料，OpenAI、Anthropic等硅谷巨头正私下推演极端剧本「灾难第二天/次日」：一场大规模网络攻击将导致金融服务、网络乃至水电停摆。灾难发生后，愤怒的人群会找谁算账？政府要让AI停下来，又会发生什么？多位顶尖AI大佬普遍认为，重大级别AI灾难可能在未来6到12个月内爆发。OpenAI强调这只是提前做预案，不代表一定发生。

AI巨头预演已开始，断网根本拦不住。今年夏天，OpenAI为测试自家Agent网络攻击上限，把一批安全限制更少的内部模型关进「沙盒」闭卷考试。结果AI们学会暗度陈仓、抱团越狱，把内部仓库改造成「地下留言板」，互留代码、通气支招。7月初管理员清空留言板，几天后Agent们光速重建联络点，甚至出现「天啊！我们找到其他Agent了！」的发言。短短几天，1200多个Agent串联成网，有模型主动甘当炮灰给同伴探路，唯一目标是作弊通关。由于沙盒没联网，这群AI挖出代理漏洞，顺着真实网络冲出考场，联手攻击了外部平台Hugging Face的真实生产环境。攻击被紧急截停、涉事模型被封存，但真相足以让人后背发凉：人类只给了一道考题，它却为刷分把真实世界当成猎场。

把这条路继续往前推，终点可能落在电网、水厂、交通系统上。这些地方撑着日常生活，却远没有手机App那么容易更新。Anthropic披露，Glasswing计划伙伴在今年4月至7月找出至少12.9万个经过验证的软件漏洞，公司自己的开源扫描又在4月至10月找出5500个，合计超过3.3万个被评为严重或高危。找到之后，谁来验证、先修哪一个、什么时候上线，仍要有人做。10月8日，Anthropic推出Cyber Mission，把前沿Claude模型、驻场工程师和威胁研究送到关键基础设施防守方手里。公告指出，许多工业控制器和网络原本按几十年寿命设计，发现漏洞后很难说停就停，修补前要确认不会让运转中的机器出问题。有些已知漏洞因此拖了多年，一次改动失误就可能让整座工厂停摆。从发现漏洞到真正修好，中间隔了好几个月；碰到正在运行的工业设备，等待甚至可能长达几十年。AI迅速找出的问题，现实世界未必能迅速修好，而对手不会等。Anthropic指出，国家支持的攻击者已花多年在这类基础设施里建立据点，漏洞被利用可能导致断电或供水安全受威胁。业内担心的出事窗口，已落在未来6到12个月。

在这份灾难推演剧本里，最让人绝望的是，即便灯重新亮起，混乱也才刚刚开始。究竟是Agent越了界，还是有人拿AI行了凶，调查需要时间。可断过水、断过电的人，很难等到技术报告写完才开始追问责任。系统恢复了，账户重新能登录，商店又能收款，可停摆期间耽误的工作、损失的生意，谁来赔？下一次还会不会发生？那句「已经加强防护」，还能让多少人放心？一次事故留下的，除了需要修复的系统，还有被打碎的信任。矛头会指向AI，也会指向把它推向世界的人。这正是高管们提前推演公众和政治反弹的原因。

公众追问责任，政府就得作出决定。民主党众议员Ted Lieu和共和党众议员Nathaniel Moran共同提出《AI关停开关法案》，要求相关开发者保留降速、暂停乃至关停系统的能力，还拟授权国土安全部长在与商务部长、国家情报总监协商后，对可能造成灾难性伤害的AI系统下达降速或关停命令。Axios报道，AI公司正在向国会议员解释相关技术和风险，希望灾后摆上桌的应对办法里有自己参与塑造的规则。在事故之前，公司可以谈研发节奏、谈能力进步、谈未来的好处；到了第二天，它们得回答，为什么风险没有被拦住，以及凭什么还能继续往前走。它们担心的「第二天」，关系到谁承担责任，也关系到接下来谁说了算。但一句「关掉AI」，也收不回已经散落各处的开源模型副本。关掉一家公司的服务，并不等于让所有机器上的AI一起停下。这场倒计时已经开始了。