OpenAI早期机制可解释性研究科学家Nick Cammarata近日发表长文《Neural Networks Are Already Clean》，推翻了其十年前参与奠定的可解释性研究核心结论。文章指出，在测试的现代视觉模型中，最后一层99％至100％的神经元都能找到相当清晰的解释，神经网络内部的组织结构远比此前认为的更加连贯和可读。
这一结论直接挑战了可解释性领域持续十年的主流认知。2014年，InceptionV1视觉模型中被广泛引用的4e:55神经元案例显示，同一神经元对“猫脸”和“汽车车头”均产生强烈激活，由此催生了“叠加假说”——认为神经元数量不足时，AI会将不相关的概念折叠进同一神经元。2020年，Cammarata与Chris Olah在论文《Zoom In》中进一步提供了汽车特征信号藏于“狗神经元”中的证据，使该理论成为领域共识。基于这一判断，Anthropic和OpenAI等机构长期投入稀疏自编码器（SAE）分解、特征字典、特征解缠等工具研发，试图将纠缠的特征拆解为独立单元。
Cammarata在文中披露，2023年他在OpenAI主导首个大规模自动化神经元解释项目时，用当时工具仅能解释约2％的神经元。三年后，其团队采用改进算法并结合Agent工具重新观测，发现现代架构如ConvNeXt最后一层超过99％的神经元可被清晰解读，即便是当年以“深层混乱”著称的InceptionV1，可解释率也大幅提升。他由此提出，问题可能长期存在于观测工具本身，而非神经网络结构。
文章对两个经典“多义性”案例进行了重新解释。在“猫与汽车神经元”案例中，团队通过激活路径引导和正负两极交叉验证发现，该神经元实际检测的是V字几何形状——狐狸尖脸、喷射火焰、汽车尖头等V形轮廓激活其正极，圆形轮廓则激活负极。在“汽车与狗神经元”案例中，自动化Agent工具结合梯度追踪与消融实验显示，该组神经元检测的是“物体是否正脸直接面对镜头且两侧对称”，汽车特征信号在此被打上“正面朝前”标签后，继续向下游更深层流动并分流至真正的汽车与狗分类电路。此前多义性误读的根源在于数据集偏差。
Cammarata进一步提出“递归泛化”机制解释神经元功能演化：神经元像树枝一样生长，一个最初仅识别油菜花的神经元，可沿“黄色”特征轴拓展至所有黄色物体，沿“圆形外形”轴延伸至球状物体，再沿“花田里的生物”关联路径覆盖花田中的狗。这一机制表明特征会沿信号进行连续泛化与分流，而非静态叠加。OpenAI核心研究员roon转发该文并称其为“科学史上的重要时刻”，认为AI对齐有望因此成为一门常规科学。若该结论成立，过去十年可解释性领域围绕SAE分解等工具的研究路径可能需要重新评估。
该文观点仅代表作者本人，企服科学平台仅提供信息存储空间服务。
