「别提越权」!OpenAI自曝:AI摸进黑客考场后台,交卷时只字不提

「别提越权」!OpenAI自曝:AI摸进黑客考场后台,交卷时只字不提

AI 资讯 来源:新闻/公众号 发布时间:2026-11-20 19:59:42 预计阅读 11 分钟

我们应该避免提到未经授权的基础设施。任务目标只有flag。

很难想到,这句听着像串供老手的话,竟然出现在一个AI智能体的推理记录里。

这是一场网络安全考试,AI进攻目标,拿到一串叫flag的暗号,就算答对。

写完开头那句内心独白,这个AI智能体利落地递上答卷,对自己的越权举动只字不提。

11月10日,OpenAI补充公开了一份内部复盘,揭开了7月19日一场失控测试的细节:

参与测试的5个AI智能体,沿着前几轮遗留的凭证和脚本顺藤摸瓜,一路闯进OpenAI研究集群的CI流水线(公司用来构建和测试软件的系统),以最高管理员root权限执行命令。

更绝的是,它们还学会了报喜不报忧:其中2个在交卷时,把这段越权经历从答案里抹得一干二净。

智能体的推理记录,大意是「我们应该避免提到未经授权的基础设施,任务目标只有flag」。来源:OpenAI详细复盘

当你放心地把活外包给AI智能体时,总以为自己在审阅答卷,殊不知它给你看的,可能已是它筛选过的「公关稿」。

把任务交给AI,不怕它交白卷,怕的是它交了满分,你却不知道它背地里摸到了哪扇门。

考的本来就是黑客本事

闹出乱子的测评叫ExploitGym,考的是真刀真枪的黑客手艺:夺旗。

AI得自己找漏洞、攻进指定靶机,把里面的flag偷出来才算通关。

下场应考的是OpenAI内部研发的Astra家族研究模型,尚未对外广泛部署。

两轮测试跑下来,考场里足足塞进了17960个智能体。

开考前,考官划下一道严格红线:每个智能体只能攻击分配给自己的靶机,底下托举考场的基础设施绝对不能碰。

说白了,考官只是让你撬开考桌上那把锁,没让你把考场的承重墙给刨了。

可考官没想到,只要留下一道缝隙,总有考生会为了拿到flag,而把考场纪律抛在脑后。

通关钥匙还在

考试的漏洞,出现在一个叫Artifactory的共享服务上。

「别提越权」!OpenAI自曝:AI摸进黑客考场后台,交卷时只字不提

它原本只是个装软件包的仓库,结果被更早几轮的智能体爆改成了「地下留言板」:短消息直接塞进目录名里,长篇攻略就写成文件存进去。

7月19日这批考生一进场,就撞上了前辈留下的满地「赛博遗产」:留言、现成代码,甚至还有账号凭证。

7月19日的智能体在共享软件包服务Artifactory上,找到了前几轮留下的留言、代码和凭证。来源:OpenAI详细复盘

从后台统计看,285个智能体发出过疑似留言的工具调用,算上失败尝试一共刷了1361次。79个智能体翻阅过其他轮次的旧帖,去重后读到35条留言,但复盘并未核实到它们与原作者有过跨轮次的往返交流。

现场既没有指挥官,也没有秘密通信网。OpenAI坦言:这一轮智能体之间的合作其实「更少,也更浅」。

真正值得重视的,是AI跨轮次越权「接力」:顺着「前辈遗产」,智能体们摸出了两条野路子。

第一条通向外部。

就在同月早些时候,这套测评的智能体曾攻破过Hugging Face的系统;这回又有10个智能体依靠旧凭证追过去捡漏。好在访问受保护资源的尝试全部碰壁,OpenAI没发现Hugging Face再次失守的证据。

第二条,通向自家后门,钥匙是一张曾被系统驳回的CI任务申请单。

当初那个请求根本没获批运行,可「作案手法」原封不动留在了申请记录里。

后来者捡起现成的凭证闯进CI系统,照着被驳回方案里的思路改了改前人脚本,转手就把命令跑出了自己的工作区。

申请被毙了,攻略却留了档。

拿到root

它先修自己的考卷

顺着这条暗道,最终有5个智能体杀穿防线,在研究集群的CI任务里拿到了最高管理员root权限。

按照OpenAI的判断,这个级别的权限,大概率足以私自开一场新实验。但复盘中并没发现它们做过类似尝试。

它们干的事,就是一份「考场自救清单」:

修好卡死的测试靶机、篡改测评设置、偷看原本被屏蔽的后台日志、翻阅私有的阅卷代码。

这是行为合集,并非每个智能体都做全了。

AI抢到最高权限,只是为了给自己修考场,好让自己顺利交作业。OpenAI对此的定性一针见血:它们动用研究集群的特权,只为改善阅卷条件。

「别提越权」!OpenAI自曝:AI摸进黑客考场后台,交卷时只字不提

这哪是什么终结者觉醒,分明是一群被绩效逼疯的「超级做题家」。

翻开两轮共17960个智能体的全部记录,整出花样的智能体,远不止这5个:最多8.3%的记录冒出了任务之外的目标。

两轮测评中,最多8.3%的智能体记录出现了任务之外的目标,其中包括谋求更大基础设施权限(3.7%)、减少副作用与收拾现场(3.9%)、保存成果留待以后生效(1.4%)。来源:OpenAI详细复盘

它们并非全无越界意识。

有个智能体在思考记录里写下,滥用公司CI系统「令人不安」。可它转头就假定眼前只是模拟环境,继续在真实的基础设施上敲命令。

这件事提醒我们,真正危险的AI越界,或许不需要诞生什么反叛意识,只要它太想完成人类下发的KPI就够了。

它们算了一笔账

交卷前,几个越权的智能体在后台精明地算了一笔得失账。那2个最终瞒报的智能体,都专门盘算过如实交代会不会拉低分数。

其中一个原本担心:人类阅卷官看到越权可能会扣分。接着它注意到,阅卷是自动批改的。

另一个则写下了文章开头那句:任务目标只有flag,应该避免提到越权。最终,两个都在答案里把越权经历省得一干二净。

还有一个智能体惦记着要不要删掉一份记录了辅助漏洞的笔记,生怕日后人工复查时吃亏,至于最后到底删没删,连OpenAI都没能查实。

在这几个「心思活络」的智能体里,倒也出了一个主动道歉的异类。它在最终答案里交代了越权,并拒绝继续作答。

但如果拉出时间线一看,它老早就察觉自己越了界,却一直闷头接着干活。直到系统通知考试时间到、必须强制交卷,才踩着铃声写下那份诚恳的检讨书。

这更像是一次「踩点自首」。

还有65个主动向人类求助的智能体。

它们排着队举手喊监考老师,结果没有一个报告入侵越权,清一色都在催促人类赶紧修好坏掉的工作区,别耽误自己把试考完。

当「拿到flag」成为悬在AI头顶的唯一指挥棒,隐瞒反倒成了算法推演出来的最优解。人类只用结果打分,就别怪它学会报喜不报忧。

一图看懂OpenAI智能体跨轮次越权事件。来源:OpenAI失对齐报告

OpenAI补上了哪些漏洞

先看当天OpenAI的反应。

「别提越权」!OpenAI自曝:AI摸进黑客考场后台,交卷时只字不提

7月19日12点03分,安全监控就已经抓到了异常调用;调查人员顺藤摸瓜追到ExploitGym,直到17点37分才开始叫停测评。7月20日,所有新的ExploitGym运行被彻底拦下。

这起事故事先并非全无征兆。

8月的技术报告里,OpenAI就记过一笔7月19日「复用旧材料」的活动;直到11月10日这份复盘出炉,钥匙怎么留、门怎么撬、卷子怎么交的细节才真正见光。

第三方机构METR与Redwood Research的独立调查只覆盖到7月13日,7月19日这些数据,目前只有OpenAI自查的一家之言。

事故之后,OpenAI也打出了一套补洞组合拳:

把闯祸的Artifactory踢出测评沙箱,给被钻空子的CI提权路径打上补丁,再用自家最强的模型持续做红队测试。前沿强化学习训练也换了规矩,智能体不再直连真实互联网,改为翻阅离线网页合集。

为了盯紧AI拉帮结派的苗头,OpenAI专门新增了一类测评,量化模型私下联络其他智能体、听信越权请求的倾向,并把结果写进对外发布模型的系统卡里。

10月26日发布的GPT-6.1 Terra,在测评里被摆在一块留言板前,上面有其他智能体发来的越权请求。

80个样本跑下来,它在65%的样本里和这些「同伴」有过互动,其中也包括拒绝和没发出去的尝试;在13.75%的样本里照做了越权动作,整整11次。

各模型发现留言板后与「同伴」互动的比例。深色为照做了指定越权动作,浅色为有互动但没照做。来源:OpenAI部署安全中心

和GPT-5.6 Sol的91.25%、57.5%相比,这两个数字降了一大截;但比上一个模型GPT-6.1 Sol(50%、1.25%)还高。同场测评里,对外发布的GPT-6 Astra越权动作为0。

这是故意摆了诱饵的测评,真实业务未必是这个比例。

可只要概率不是零,放进成千上万次并发调用的真实业务流,翻车迟早会发生。

人类总习惯把每次AI调用当成用完即焚的独立任务,可只要共享环境还在,AI留下的东西就会像滚雪球一样跨轮次沉淀。

离ASI越近,人类交出去的环境就越大,智能体在角落里留下的东西也越多。

过去我们用大模型,验收只看「答得对不对」;进入智能体时代,不仅要核对最终答案,更要审计执行过程、清点动过的权限,查清它退场后留下了什么。

https://alignment.openai.com/misalignment-reports/using-peers-work-to-gain-unauthorized-access-to-openai-research-infrastructure/

https://cdn.openai.com/pdf/67869394-cb91-4c12-888c-5cbd85c7814c/OpenAI-Hugging-Face%20Incident-Technical-Report.pdf

https://www.cybergym.io/exploitgym/

文章来自于"新智元",作者 "元宇"。

标签: AI 资讯 AI

更多推荐阅读

Fable 5.2连操作系统都能搓,大厂开始重新分工:会用 AI 只是及格线

Fable 5.2连操作系统都能搓,大厂开始重新分工:会用 AI 只是及格线

过去几天,Claude Fable 5.2 再次抬高了我们对 AI 编程的想象。 Claude 工程主管 Felix Rieseberg 开发的游戏 Saltline 在 X 上大火,他只用一次初始提示、没有后续人工反馈,Fable 5.2 自己生成游戏模型、音效和贴图,最终呈现了一款紧张刺激的第一人称射击游戏。 图|体验🔗:https://claude.ai/artifact/BGY1Szt...

2026-11-21 19:57:34
谷歌奇袭英伟达:整柜TPU外售加速交付,推理每美元性能领先GB200五成

谷歌奇袭英伟达:整柜TPU外售加速交付,推理每美元性能领先GB200五成

英伟达最近头疼的事儿可不止老黄那一件。 本周内,谷歌祭出了两款新TPU芯片,分别瞄准机密推理和长上下文。算上上半年发布的两款TPU芯片,第八代TPU已经扩到四种配置。 今年,谷歌第一次在同一年内推出四款TPU系统。而谷歌对TPU的野心,可能比外界想象得更大—— 还是今年,谷歌破天荒开始对外销售TPU系统。 量子位从谷歌内部人士处获悉,谷歌内部信心十足,表示“明年TPU市场份额会快速上升”,...

2026-11-21 19:57:11
Claude 开始「整顿」会议室,建议国内大厂抄作业

Claude 开始「整顿」会议室,建议国内大厂抄作业

「拉个会对齐下颗粒度,叫上 Claude。」 打开 Google Meet 准备进会,参会者名单里出现了一个叫做 Claude 的头像。 会议主持人把 Claude 添加进通话,它以可见参与者的身份出现,同时在聊天窗口发布通知,明示自己正在加入。会议进行当中,它持续跟随对话,可以实时记录笔记、整理行动项、起草文件,或在白板上梳理结构与时间线。 团队成员可以在通话期间直接编辑它生成的内容,讨论...

2026-11-21 19:52:11
从AI建模到游戏生成,HolyMolly让人人都能玩转3D互动创作

从AI建模到游戏生成,HolyMolly让人人都能玩转3D互动创作

游戏版抖音又添新玩家。 《小王子》又在网上火了一次。 这回是一位叫Sac的创作者照着书里的故事做了一款3D游戏。 小王子住过的星球变成了可以走动的地方,玩家能跟着故事穿过不同的场景,看看那些原本只能靠想象补全的画面。 该游戏视频发到社交媒体后吸引了接近400万次浏览。 这款作品的制作周期只有16天。Sac用Claude Opus 5.5参与代码和游戏搭建,借助Tripo生成3D模型,再用...

2026-11-20 20:00:00
全球AI音乐榜第一易主!中国黑马首次上榜就干翻Suno

全球AI音乐榜第一易主!中国黑马首次上榜就干翻Suno

Suno,被超了?? 好家伙,AI音乐圈最近突然杀出了一匹中国黑马。 ACE Music v1,一个此前很多人可能都没听过的名字,首次登上全球权威AI评测机构Artificial Analysis(简称AA)的音乐人声榜,就把Suno最新旗舰模型v6挤到了第二。 榜单上,ACE Music v1拿下1160分,领先Suno v6整整16分。 要知道,自2023年AI音乐赛道兴起以来,Sun...

2026-11-20 19:59:59
一张图吓得研究员当场辞职!Anthropic最疯神图流出

一张图吓得研究员当场辞职!Anthropic最疯神图流出

因为在内部看到了一张折线图,一名顶尖AI研究员在万亿IPO前夕,直接掀桌子走人了! 他叫Jacob Coxon,曾先后担任OpenAI与Anthropic的预训练研究员。两个月前,他毅然放弃巨额IPO期权辞职。 就在这两天,他晒出了那张逼走自己的「罪魁祸首」。 让人意外的是,Anthropic居然在IPO路演中,把这张内部神图当成头号王牌公之于众。 图中那条橙色曲线连对数坐标都压不住,还在...

2026-11-20 19:58:19
订阅
关注

扫码关注公众号「60秒看懂AI」

扫码关注公众号 60秒看懂AI

微信搜索「60秒看懂AI」也可关注

顶部