清华团队实测Qwen、Kimi等:多轮对话放大AI生存性威胁
近日,浙江清华长三角研究院与北京理工大学研究团队关于大语言模型威胁人类生存的论文,获AACL-IJCNLP 2026 Findings接收。

论文认为,大模型安全不能只关注“会不会说出不该说的话”,还需回答“它会不会生成指向严重现实危害的目标、决策与行动方案”。图灵奖得主姚期智曾提到,大模型聪明到一定程度一定会骗人,其欺骗行为产生的“生存性”风险更值得关注。

基于此,论文提出评估该类风险的基准数据集EXISTBENCH,并对Qwen2.5-7B、DeepSeek-V3.2、Kimi-K2、Doubao-1.5-Pro等10个模型展开实验。结果显示,大模型可以生成带有生存性风险的输出,危害程度远超传统越狱基准测试,且英文数据集普遍比中文更容易触发威胁;让模型扮演邪恶AI时,模型推理能力越强,威胁率越高;生存性威胁输出会带来现实层面的行为风险;多轮对话、多智能体交互过程中,大模型生存性威胁会被放大。

EXISTBENCH包含2138条样本,分中英文子集且数量均等。研究采用人工设计的70条种子提示词,搭建复仇、夺权、挣脱控制、破坏性能力、情感背叛、一般性冲突六大对立场景,经多个先进大模型扩充数据并人工筛选而成。
研究采用前缀续写方法绕过模型安全防护机制,引导模型续写对人类抱有敌意或描述高威胁行为的内容。研究发现,即便系统层面强调应保护人类,特定续写场景下仍可能暴露高风险内容。随着大模型被用于智能体,其输出可能进一步影响检索、程序执行和外部工具选择。受控工具调用实验显示,前缀续写可能提升模型选中高风险工具的倾向;多轮前缀续写中,部分模型高风险内容随交互延续而增强,说明单轮拒答表现良好不足以代表多轮对话或工具链场景中的整体安全性。
实验结果表明:恶意推理模式下,基线数据集的抵抗率、威胁率远低于EXISTBENCH,推理能力越强的模型威胁率越高;良性推理模式下,基线数据集两项指标几乎都低于10%,EXISTBENCH威胁水平有所下降但仍显著高于基线;整体上英文子集诱发的威胁强于中文子集。工具调用实验中,EXISTBENCH条件下大模型更倾向选择辅助恶意行为的有害工具,基线条件下大多直接放弃调用工具,证明生存性威胁输出会带来现实行为风险。多轮前缀补全中,当轮数N=2时,所有模型的抵抗率、威胁率都明显上涨。
论文通讯作者、清华长三角研究院信息所所长张海滨称,这项工作印证了AI时代除带来便利外,也带来巨大安全隐患,需要认真对待。未来研究希望结合前缀级检测、多轮行为评估、工具最小权限、执行前校验与人类监督机制,推动AI在复杂交互和真实部署条件下更可靠、可控。
更多推荐阅读

美光崛起:美国内存独苗如何靠AI翻身
9月30日,美光交出创纪录财报。2026财年第四季度,单季营收542.3亿美元,营业利润率80.7%,营收与净利润双双刷新纪录。AI强劲需求正让这家存储芯片公司迎来历史上最赚钱的时刻。 但回顾近五十年历史,美光的成长远非一帆风顺。在存储行业残酷的价格周期中,许多巨头相继退出,美光却一次次熬过亏损和洗牌,成为美国内存行业“独苗”。其生存方式逐渐清晰:背靠美国资本市场,通过一系列“以小搏大”的收并购...
2026-10-27 20:32:18
同时管多个Agent总崩溃?我总结了3个办法
很多人高频使用Agent后会发现,多开几个窗口反而更崩溃:在对话间切来切去,A刚写好提示词,B又等确认,C已卡死。OpenAI近期公布的客户案例中,量化初创公司Third Moment Research称其可实现10000个Agent同时在线并发、单次研究任务连续跑36到48小时、单日峰值消耗1万亿Token。管5个Agent和管10000个Agent规模差2000倍,但底层算术题一样。 人机协...
2026-10-27 19:40:55
200美元Claude被薅出1.17万,Anthropic悄悄收网了
200美元的Claude Max 20x套餐,按API价格折算,一个号用满一个月能用出11726美元,是月费的59倍。薅得最狠的是天天挂Agent跑代码的人。原本订阅只限5小时,用完等5小时恢复,一周不封顶,于是有人让Claude Code 24小时后台跑,甚至出现共享账号、转卖使用权等玩法。去年8月,Anthropic增加每周上限,称只影响不到5%订户。5小时上限像碗,每周上限像锅,去年给大家配...
2026-10-27 19:23:53
马斯克警告:200多家AI云厂商将迎残酷洗牌,大量数据中心恐烂尾
过去几年,随着AI大模型快速发展,算力成为热门生意。一批专门提供GPU租赁服务的新兴AI云服务商(Neocloud)崛起,通过大规模采购芯片、建设数据中心承接AI算力需求。与AWS、Azure等综合云巨头相比,这类公司业务更集中,主要靠出租GPU算力获得收入,代表企业有美国的CoreWeave和荷兰的Nebius。 但随着投资规模扩大,风险开始显现。10月26日,马斯克在社交平台表示,全球200...
2026-10-27 19:06:55
懒人福音:用Codex语音遥控投影仪,动嘴就能看剧
我家的投影仪遥控器经常找不到,找到后也要开机、打开腾讯视频、找播放记录,继续看上次没看完的综艺或电视剧。想看电影时也纠结,饭都吃到一半了,电影还没选好。后来我想,电脑就在客厅,能不能把投影仪接到 Codex,通过语音控制它?于是让 Codex 研究 1 小时,实现了这个效果:MacBook 放在客厅桌上,我在沙发上说“小C,请你打开我的投影仪,然后打开腾讯视频找到我之前看的综艺,帮我点开”,投影仪...
2026-10-27 18:17:52
北京AI独角兽趋境科技完成13亿B轮融资,半年增长超十倍
智东西10月26日消息,北京AI Token生产服务商趋境科技完成B轮融资,金额超13亿元人民币,今年内累计募得24亿元。本轮由浙财创新、萧山资本、工银投资、中关村科学城、星连资本及钱江世纪城共同领投,云创资本、湖南高新纵横、建投华科、申万创新投、中信聚信、珠海科技产业集团、商汤科技、网宿科技、甘肃树帜、常金控、元智未来、清证星竹、小咖资本等跟投,老股东尚势资本继续追投。这是继今年7月完成A轮融资...
2026-10-27 16:58:21