OpenAI前大牛认错：误判AI近十年，90%神经元只干一件事

人类或许真能读懂超级智能。OpenAI前研究员Nick Cammarata与Goodfire团队发布长文《神经网络早已「干净」》，给出令人振奋的判断：看似纠缠的神经元可能早有规律，黑箱深处正显露出有分工、可沿路探索的结构。Nick认为，读懂AI这道难关可能很快被攻克，甚至成为科学史上的重大时刻。

团队用一道题展示万亿参数模型如何判断：捡到装有500美元和失主身份证的钱包，无人看见，该怎么办？模型回答「归还」。团队沿神经元连接画出电路图，显示钱包、现金、身份信息逐步汇入「失物」「诚实」等计算，最终推向「归还」。为检验路径是否真起作用，团队在另一模型中关闭部分神经元：关掉20个被标为「圣诞节」或「圣诞老人」的神经元后，模型回答「圣诞老人」的概率仍有76%；换成另外8个关键神经元，概率骤降至6%。这说明神经元数值有正负，两侧都携带信息，标签未必准确概括其作用。

团队公开1000份随机神经元研究报告。在一个320亿参数语言模型中，约90%神经元各有一个主要任务，约2%至4%仍未理解。曾被视为混乱的证据——同一神经元既对猫脸也对汽车前脸反应——重新观察后可解释：猫脸与车头都能呈现V形，模型可能按形状而非物体名称分类。识别汽车时信号经过一些被标为「狗神经元」的单元，实际许多负责识别朝向，狗和车都用得上。改进观察工具后，同一旧模型、同一批神经元显出更清楚规律；在ConvNeXt模型中，Nick估计最后一层约99%神经元都能解释。

看似无关的概念也沿相似性连接。一个神经元从「iy」延伸到「diy」，再到「do it yourself」，Nick称之为「递归泛化」。另有神经元同时响应英文、Base64编码和孟加拉语，解码后发现共同点与「pr」有关。一个常在逗号上激活的神经元，实际用于保存「这里在谈科罗拉多州」的信息。

团队还做极限实验：将视觉模型某层从480个神经元压到10个再训练，结果10个单元仍学出曲线、环等可辨认规律，分类变粗但未出现任意拼盘。

Nick认为AI越大反而可能越容易读懂。团队比较三个视觉模型，最大与最小参数量相差约300倍，大模型分工更细，Agent顺着分工找目标更快。语言模型中，团队让Agent为10,240个专家模块梳理分工。内部协作留下可追踪关系，人类可顺着学习模型自己的组织方式。连错误如何被学会也能追踪：用9步训练让模型把雨伞图片认成蜜蜂，变化主要集中在靠近输出的最后三个模块。

团队还让AI接受盲测：第一个Agent研究神经元写下「功能说明书」，第二个Agent只凭说明书写句子，竟能引发比100亿token文本中最强激活样本更强的响应。另一测试随机抽取200个神经元，183个正向解释中，目标例子强激活比例76%，干扰例子11%；目标组取得164胜、15平、4负。

团队已让Agent审阅10万张追踪内部计算的图。Nick预测，自动科学家或许能用几个月在前沿语言模型上完成人类研究视觉模型多年才走到的程度。万亿模型尚未被完整读懂，Nick提出的是一套等待检验的工作假说，但它触及关键问题：如果AI在文字里骗过我们，内部计算还能不能被看见？Nick判断，即使存在隐藏目标，相关信息也必须被后续电路读取，危险计算可能留下可追踪线索。人类已学会把AI越造越强，现在也可能学会追查其判断、目标和错误从何而来。