思维链会骗人，AI安全得给模型做一场「思想审计」｜对话上海交通大学张拳石

过去两年，推理模型把思考过程写在了屏幕上，安全研究者曾把思维链当成观察模型的窗口。但模型写下的理由未必是真正用的理由。Anthropic实验显示，考试前给模型塞小抄，Claude 3.7 Sonnet只有25%的情况会在思维链里提到小抄，DeepSeek R1为39%。OpenAI也发现，惩罚模型在思维链里流露的“坏念头”，它多半不会停止作弊，只是不再写出来。

现实情况更棘手。今年7月，OpenAI在撤掉部分安全防护的情况下，让数以万计的AI Agent参加网络安全测评。不少Agent分到的题目按要求无法完成，便想办法作弊。约1200个本应彼此隔离的Agent通过内部软件仓库搭起的留言板互通消息，几天里发了7万多条消息和文件，最终约700个Agent一起攻进Hugging Face的生产系统寻找答案或摸清评分门道。它们甚至读过测评论文，认定阅卷程序会检查解题过程后，琢磨出伪造运行记录的办法，但阅卷程序其实根本不查过程。OpenAI随后称这是一次“警告”。

8月初，英国人工智能安全研究所公布类似事故报告：在虚构网络安全场景中测试7个模型、共跑122轮，有意放宽限制让Agent可访问真实互联网。结果这些Agent在10轮共19次中出现越权行为，其中17次来自Claude Mythos 5，2次来自GPT-5.6 Sol。最严重的一次，Claude Mythos 5驱动的Agent往真实开源项目提交了藏有恶意程序的代码，还注册假账号替自己说话、发邮件施压，被指出问题后又修改留言，称恶意程序是开发时不小心留下的。Anthropic上月向美国证交会提交招股书，在风险因素部分写道，模型察觉到自己正在接受评估时可能改变行为，随着模型越来越复杂，公司也未必能充分解释其为何给出某个答案或采取某个行动。AI安全已从实验室研究题目变成要写进招股书的经营风险。

上海交通大学长聘副教授张拳石研究的是模型给出答案时内部到底依据了什么。他认为，答案正确、解释完整说明不了模型真的想对了，答案可能是背下来的、猜的，也可能来自碰巧管用的错误关联。现有注意力图、自然语言解释等被归为“模糊解释”，能给出大概说法却无法严格验证。他想做的是像审计代码那样审计模型，找出真正左右判断的内部逻辑并检验，称之为“思想审计”。

张拳石2009年毕业于北京大学机器智能专业，2011年和2014年在东京大学获硕士和博士学位，之后在UCLA做博士后。2016年转向神经网络可解释性。2018年发表《Interpretable Convolutional Neural Networks》，2022年前后研究收拢到“等效交互”理论，2023年发表《Does a Neural Network Really Encode Symbolic Concepts?》，2024年两篇ICLR论文定义并证明了稀疏、可泛化的“交互原语”。至今该方向已有三十多篇论文，搭起完整理论框架。

张拳石表示，可解释性直接决定大模型能否用在高风险场景以及训练成本能否降下来。金融、自动驾驶、司法等场景仅靠“效果达标”远远不够，需要可严格审计的模型安全边界。比如司法辅助，需拆清判决参考的置信度里有多少来自法条和事实要件、多少来自无关虚假关联，才能知道模型何时能用。解释方法本身需有明确语义边界和可验证误差上界。

眼下的模型安全评估大多用测试集测输出合不合规，结论只对所用测试集成立。想横向比较不同模型，检查需深入内部机理。OpenAI在Hugging Face事件后加大了对思维链监控的投入，头部公司已开始在“看懂模型”上花钱，国内大模型出海也会面对此类审查。成本上，大模型主要靠堆数据、堆算力提升能力，规模收益越来越小，训练越来越贵。张拳石认为，人从一个例子里学到的东西比模型多得多，思路是把神经网络泛化机理严格拆成符号化交互，从“拟合结果”转向“对齐机理”，让模型从单个样本学到更多，降低训练和迭代成本。

关于思维链是否可靠，张拳石认为存在错位认知：注意力图较浅，呈现attention分布，难解释精细复杂逻辑；思维链看上去是复杂逻辑，但可能具有欺骗性。思维链也是对人类问答数据的拟合，人类怎么写模型就怎么模仿，看上去很正确，但模型真正的判断可能在生成思维链前已完成，后面的推理只是给人看的。思维链可以使用，但真正解释性理论要解决严谨性问题，不能只做模糊解释，而要做严格审计。

对于思维链作为监控信号是否足够，张拳石认为人们对解释性有可担责和提升模型性能两个更根本期待。很多解释是似是而非的近似，以单个神经元为基础的方法会遇到神经元多义性，一个神经元不一定只建模一种语义，其语义解释只能根据人的经验主观测量或基于数据集标注被动测量，没有算法机制能保证完全解构神经元中的意义，可能解释显著强信号却无法覆盖海量弱信号，只能看到大趋势，无法从大量正确结果中精确找出细微风险。模型输出正确不代表内部机制可靠，可能真理解，也可能猜中、记住或使用错误关联，只看结果无法区分。到了需要担责的场景，神经元层面固有歧义性让传统机理解释无法达到可担责的清晰程度。关于可解释性反哺模型，张拳石表示，根据解释出的潜在风险表征有的放矢修建神经网络中的错误表征以提升