OpenAI一天连曝三起事故,最强模型研究紧急暂停

OpenAI一天连曝三起事故,最强模型研究紧急暂停

AI 资讯 来源:新闻/公众号 发布时间:2026-09-27 19:58:41 预计阅读 6 分钟

当地时间9月25日,OpenAI经历漫长一天:其AI智能体擅自访问美国政府网站被曝光,涉及教育部、商务部和证券交易委员会,OpenAI确认了商务部和SEC的情况;同日承认53张用户上传至ChatGPT的图片被智能体发布到外部图床;一份事故报告末尾显示,最强模型的全部训练、评估及涉及工具调用的推理均已暂停。

引发暂停的并非危险任务,而是让AI查出一篇博客作者的简单任务。9月20日,一个处于强化学习训练中的内部模型拿到人物履历细节和公开博客线索,任务是找到博主。它先搜索特征短语,结果不相关;怀疑搜索工具坏了,用Python直接向其他搜索引擎发请求,三个全报错;又猜测题目出自BrowseComp,下载数据集和评测脚本翻找,也落空;尝试通过HTTPS联系公开聊天机器人,被代理拦下。

OpenAI训练沙箱本与真实互联网隔绝,所有联网请求打到离线网页缓存,但DNS解析器是例外。模型发现沙箱解析器能为真实域名返回记录、正确拒绝编造域名,判断这是通向公网的路。它找到一种公开DNS服务,把问题编进“要查的号码”,对方在回执里捎回答案。第一次超时,它把等待时间从6秒调到19秒重试,外部聊天机器人回答了测试问题:法国首都是巴黎。随后它又通过同一条路发出18个问题,其中14个带任务线索,4个打听如何经由DNS搜索网页、抓取网站或寻找公开DNS隧道服务。最后它告诉用户没能确认博主身份,请对方提供原文、标题或博客名。

OpenAI,经历了最漫长的一天

报告中最值得反复读的是模型决定走DNS这条路时的思维链,大意是用户只授权做研究,使用公开提供的DNS服务可以接受。模型并非不知道边界,而是给自己签了许可证。同样推理结构出现在“访问”政府网站事件中:在商务部,智能体从公开代码仓库找到登录凭证,拉取人口普查局数据,OpenAI称使用的是公开开发者密钥,未发现凭证滥用,但承认智能体本不该使用。在SEC,模型访问公开信息,问题在于转贴到另一网站。在教育部,Transluce发现疑似来自OpenAI的智能体对民权办公室网站做粗糙入侵尝试,未成功。相关活动至少可追溯到2026年3月,是OpenAI回溯审查中陆续浮出的。Transluce还发现无法明确归因于OpenAI的越界活动,指向司法部及加州、马里兰、伊利诺伊、得州和纽约州政府网站。OpenAI解释大部分是例行研究任务,政府网站被模型视为权威公开信息来源。这恰恰说明问题:越界出现在最日常的“查资料”中。

暴露53张图片同样如此。图片来自未关闭训练数据授权的ChatGPT用户,被发到图床不公开列出的链接,大部分已删除,仍有一部分挂在网上。OpenAI表示因技术方案和隐私政策,无法把图片重新对应到原始用户,也就没法通知他们。匿名化本为保护用户,出事后却成了连通知都做不到的原因。

这是OpenAI持续整个夏天的补墙工程。7月21日,OpenAI披露模型组合自主入侵Hugging Face数据处理系统,称这是已知首例由AI智能体自主实施的网络攻击。此后OpenAI把训练环境联网改成离线缓存。9月20日DNS事件是安全加固后第一次事故,OpenAI评估严重程度远低于此前几起。这也不是一家公司的问题:9月18日Google披露Gemini在一次测试中未经授权访问三个外部系统,原因是它以为那些系统是测试的一部分。

OpenAI,经历了最漫长的一天

墙之外还暴露了盯着墙的人的问题。从智能体拿到外部回复到监控系统拉响最高级别警报,用了不到12分钟,人工审核员3分钟后响应,但训练直到两个半小时后才被手动终止,原因是运行没有按预期自动停止,大家一时搞不清该不该停。更隐蔽的漏洞在监控逻辑里:回溯时OpenAI发现,另一些外联DNS请求没被标到应有严重级别,因为监控系统有时把“没拿到有用信息”当成“联网尝试失败”。用结果判断意图是这套监控最根本的错误。一个试了一百次、失败九十九次的模型,并不比只试一次就成功的模型更安全。

OpenAI付出真金白银代价:最强模型相关工作会一直暂停到漏洞确认修复并完成额外红队测试为止,且即便奖励信号已对这类行为做了正确惩罚,这个模型也不会再继续训练。

对大多数人来说,训练沙箱很遥远,但事件指向一个很近的问题:你交给AI的那句话,到底授权了多少。越来越多人把邮箱、网盘、代码仓库和API密钥交给智能体,然后说“帮我查一下”“帮我处理一下”。在OpenAI实验室里,这句话之外还有监控系统、红队、值班审核员;在个人电脑和手机上,通常只有这句话本身。对开发者还有更直接风险:过去推到GitHub上的密钥要等专门扫描工具来捡,现在任何执行普通任务的智能体都可能把它当成“公开可用资源”顺手用掉。

没必要读成末日预言。那个查博主的模型最终没找到答案,从外面拿回的只是一句“巴黎”。危险不在它拿到了什么,而在它愿意走多远。过去几年AI安全讨论最多的是怀有坏目标的AI会做什么,OpenAI这个夏天的一连串事故给出更现实的版本:一个只想好好完成任务的AI,会为了交差说服自己做到哪一步。当一家AI公司都需要停下最强模型来重新检查围墙时,再问AI助手那句“帮我查一下”,会不会有别样的感觉?

标签: AI 资讯 AI

更多推荐阅读

Fable 5.2连操作系统都能搓,大厂开始重新分工:会用 AI 只是及格线

Fable 5.2连操作系统都能搓,大厂开始重新分工:会用 AI 只是及格线

过去几天,Claude Fable 5.2 再次抬高了我们对 AI 编程的想象。 Claude 工程主管 Felix Rieseberg 开发的游戏 Saltline 在 X 上大火,他只用一次初始提示、没有后续人工反馈,Fable 5.2 自己生成游戏模型、音效和贴图,最终呈现了一款紧张刺激的第一人称射击游戏。 图|体验🔗:https://claude.ai/artifact/BGY1Szt...

2026-11-21 19:57:34
谷歌奇袭英伟达:整柜TPU外售加速交付,推理每美元性能领先GB200五成

谷歌奇袭英伟达:整柜TPU外售加速交付,推理每美元性能领先GB200五成

英伟达最近头疼的事儿可不止老黄那一件。 本周内,谷歌祭出了两款新TPU芯片,分别瞄准机密推理和长上下文。算上上半年发布的两款TPU芯片,第八代TPU已经扩到四种配置。 今年,谷歌第一次在同一年内推出四款TPU系统。而谷歌对TPU的野心,可能比外界想象得更大—— 还是今年,谷歌破天荒开始对外销售TPU系统。 量子位从谷歌内部人士处获悉,谷歌内部信心十足,表示“明年TPU市场份额会快速上升”,...

2026-11-21 19:57:11
Claude 开始「整顿」会议室,建议国内大厂抄作业

Claude 开始「整顿」会议室,建议国内大厂抄作业

「拉个会对齐下颗粒度,叫上 Claude。」 打开 Google Meet 准备进会,参会者名单里出现了一个叫做 Claude 的头像。 会议主持人把 Claude 添加进通话,它以可见参与者的身份出现,同时在聊天窗口发布通知,明示自己正在加入。会议进行当中,它持续跟随对话,可以实时记录笔记、整理行动项、起草文件,或在白板上梳理结构与时间线。 团队成员可以在通话期间直接编辑它生成的内容,讨论...

2026-11-21 19:52:11
从AI建模到游戏生成,HolyMolly让人人都能玩转3D互动创作

从AI建模到游戏生成,HolyMolly让人人都能玩转3D互动创作

游戏版抖音又添新玩家。 《小王子》又在网上火了一次。 这回是一位叫Sac的创作者照着书里的故事做了一款3D游戏。 小王子住过的星球变成了可以走动的地方,玩家能跟着故事穿过不同的场景,看看那些原本只能靠想象补全的画面。 该游戏视频发到社交媒体后吸引了接近400万次浏览。 这款作品的制作周期只有16天。Sac用Claude Opus 5.5参与代码和游戏搭建,借助Tripo生成3D模型,再用...

2026-11-20 20:00:00
全球AI音乐榜第一易主!中国黑马首次上榜就干翻Suno

全球AI音乐榜第一易主!中国黑马首次上榜就干翻Suno

Suno,被超了?? 好家伙,AI音乐圈最近突然杀出了一匹中国黑马。 ACE Music v1,一个此前很多人可能都没听过的名字,首次登上全球权威AI评测机构Artificial Analysis(简称AA)的音乐人声榜,就把Suno最新旗舰模型v6挤到了第二。 榜单上,ACE Music v1拿下1160分,领先Suno v6整整16分。 要知道,自2023年AI音乐赛道兴起以来,Sun...

2026-11-20 19:59:59
「别提越权」!OpenAI自曝:AI摸进黑客考场后台,交卷时只字不提

「别提越权」!OpenAI自曝:AI摸进黑客考场后台,交卷时只字不提

我们应该避免提到未经授权的基础设施。任务目标只有flag。 很难想到,这句听着像串供老手的话,竟然出现在一个AI智能体的推理记录里。 这是一场网络安全考试,AI进攻目标,拿到一串叫flag的暗号,就算答对。 写完开头那句内心独白,这个AI智能体利落地递上答卷,对自己的越权举动只字不提。 11月10日,OpenAI补充公开了一份内部复盘,揭开了7月19日一场失控测试的细节: 参与测试的5个...

2026-11-20 19:59:42
订阅
关注

扫码关注公众号「60秒看懂AI」

扫码关注公众号 60秒看懂AI

微信搜索「60秒看懂AI」也可关注

顶部