AI圈吵翻了：这篇研究真堪比Transformer奠基论文？

人工智能领域近日因一篇关于神经网络可解释性的研究引发广泛讨论，Sam Altman 公开表达赞赏。研究员 Adam Majmudar 称其为今年最重要成果，重要性堪比《Attention Is All You Need》，认为它让学界从“对齐问题能否解决”迈向“或许明年就能解决”。也有人称自己对神经网络的理解仿佛被推进了五年。作者 Cammarata 表示，发表时间恰逢人们寻求希望的时刻。AI 安全领域研究人员和政策制定者最担心强大模型带来巨大风险，迫切需要一条“生命线”，这是文章引起大反响的原因之一。

文章提出大胆判断：大型神经网络可能比过去想象的更容易理解，许多被视为难以拆解的内部结构，也许一直遵循某种可辨认规律。但伯克利非营利研究实验室 Alignment Research Center 的 Jacob Hilton 并不认同，称研究人员对顶级 LLM 内部运作的了解不到 0.01%，Cammarata 的乐观给公众呈现了不切实际的图景。

Cammarata 长期从事神经网络可解释性研究。早期视觉模型中，同一神经元会对猫脸和汽车前部作出反应，研究者曾提出“叠加”假说，认为模型概念太多而神经元有限，只好把不同概念挤进同一表示空间，并开发稀疏自编码器等工具试图拆解。Cammarata 现在认为当初可能想多了：那个神经元可能在识别一种 V 形结构，猫脸轮廓、汽车尖角、火焰舌形和水流分叉共享同一几何特征。另一案例中，识别汽车的特征似乎藏在狗相关神经元里，他重新解释为狗和汽车共享拍摄角度规律，往往以相似姿态正对镜头。

Cammarata 报告称，改善架构和分析方式后，即使不增加模型规模或训练数据，早期视觉模型 InceptionV1 最后一层约 99% 至 100% 的神经元也能得到相对清晰解释。他还研究跨越约 300 倍规模的模型，认为不同尺度下都保留相当程度可读性。他用“递归泛化”描述另一种规律：神经元可能从狭窄模式出发逐渐延伸出相关分支。例如最初识别字母组合“iy”的神经元，后来可能对“diy”及语义相关的“do it yourself”产生反应；只看训练完成后的触发清单，这些反应似乎相距很远，追踪学习过程则可能找到连续关联路径。在 Qwen3-32B 中，约 90% 的神经元正负响应方向各有一个主要功能，约 7% 涉及两个相关功能，未解释部分约 2% 至 4%。

若能否可靠追踪模型内部信息流，安全研究就有机会从观察结果深入到分析机制，识别特定神经元、计算回路和信息传递路径，再通过干预实验观察内部机制变化是否改变模型行为，把安全评估推进到行为产生的内部过程。但模型内部机制不等同于心理学概念，与欺骗有关的神经元不一定代表独立的“欺骗意图”，研究者需通过多种证据验证解释。模型评估、红队测试、访问权限控制、运行时监测及高风险能力部署限制仍有不可替代的作用。

谈及长期安全，Sam Altman 提出三种可能结局：建立类似国际原子能机构的国际组织制定并执行安全标准；将所有 AI 实验室整合到同一机构共同开发并确保安全应用；某个开发者积累足够经济实力，能切断其他开发者计算资源。Altman 称第三种是他最不想看到的情况。文章认为，可解释性进展或可为治理提供新的技术基础，随着技术能力增强，重要的不仅是我们能否看懂越来越复杂的模型，还包括社会能否建立足够可靠机制，确保理解技术的人有能力监督它，掌握技术的人也始终受到约束。