AI可解释性重大突破：90%神经元仅负责单一功能

OpenAI 可解释团队创建人 Nick Cammarata 本周五发表超长文章，震动 AI 圈。他认为，利用现代智能体工具，万亿参数大模型也几乎可读，神经网络“黑箱”的看法被证明是误解，预期的障碍大多不存在，可解释性将被解决，且可能很快实现。这或许可称为可解释性的“苦涩教训”：简单的事情在荒谬规模下就能奏效。

过去几年，可解释性领域有一个令人沮丧的前提：神经网络是一团死结。当神经元不够用，模型会把无关概念折叠进同一神经元，即 superposition 假说，被视为整个安全研究路线的基础。研究者因此需训练第二个模型（如稀疏自编码器）来拆解表征。

但 Nick 认为这个地基看错了。经典案例 InceptionV1 中同一神经元既识别猫脸又识别汽车前脸，过去被解释为“叠加”。重新检查后，他发现猫脸和汽车前脸共享 V 形特征，该神经元还与 V 形火焰、狐狸脸相关，圆形则推向负向。也就是说，“猫和汽车”是人类分类，网络找到的是跨类别的形状规律。神经元未必像名词贴标签，也可能像动词区分模式。

另一些多用途神经元也未必源于随意混装。Nick 提出“递归泛化”：神经元从一个模式出发，逐渐长出相关分支。识别“iy”的神经元可扩展到“diy”，再到“do it yourself”；地质神经元会分枝到名为 Cesium 的 JavaScript 库。这不是高维藏匿信息，而是在语义相邻领地生长。他认为 superposition 是最激进、最难证伪的解释，应是最后假设。

工具也会制造误解。一个被标为“多义逗号神经元”的单元，实际与科罗拉多州有关，响应当地区号、俚语，增强它会让模型倾向规划徒步旅行。逗号只是模型汇总前文语境的位置。

2023 年 OpenAI 自动可解释性项目用最宽松标准只找到约 1.7% 可解释神经元；如今对 Qwen3-32B 初步审查，作者估计约 90% 神经元正、负“极”各有一项主要工作，约 7% 有两项，约 2%—4% 尚未理解。稠密模型和 MoE 模型结论相近，在 Kimi K3 上得到同样结果，并做出已知首个万亿参数模型的归因图：捡到钱包问题中，钱包、现金、证件连通失物招领与诚实，最后输出“归还”。重审 GPT-2 XL，约 70% 神经元也大致是“一回事”。

另一主线是智能体改变研究规模。AI 可检查神经元样本、提出解释、追踪连接、设计实验找反例，研究者还让智能体检查了十万张归因图。为避免 AI 编故事，一种测试是：第一个智能体研究并写下解释，第二个只看解释生成预计能强烈激活的新样本，再交给网络测量，有些样本激活强度超过从百亿 token 语料中找到的所有例子。团队也生成反例，并通过移除、增强神经元等干预，检查解释能否预测行为。解释由此成为可被实验推翻的假说。

Cammarata 还提出，理解更多网络有时会让剩余部分更容易理解，像填字游戏一样，相邻答案越多，空格约束越强。较大模型神经元可能分工更细，反而更易辨认。这让他想到可解释性自己的“苦涩教训”：简单观察、假设与检验，在足够大规模上，也许比精巧拆解方法更有效。

这仍不是“可解释性已解决”的宣言。注意力机制、完整模型审计，以及如何把理解转化为可靠安全改进，都有大量工作待做。但它提供了一个值得认真检验的方向：如果神经网络内部已有可追踪组织，未来突破可能来自一座由 AI 科学家参与运转的实验室，持续观察模型、提出问题并逐个验证答案。