MIT CSAIL 近期公布的一项研究显示，通过让 GPT-6 Astra 直接检查并修改 Qwen3.5-0.8B 的内部权重，可以在不经过梯度下降、不调整训练数据的情况下修复模型推理缺陷。实验中 Qwen 在 MATH-500 上出现长达 3 万多 Token 的重复推理循环，Astra 仅改动约 0.016％ 的权重，就将该基准成绩从 7.9％ 提升至 48.1％，接近原来的 6 倍。
这项研究的核心并非参数效率数字本身，而在于把机制可解释性的输出从「解释」推进到「可执行的编辑指令」。研究团队将这一能力称为 Weight-Space Programming（权重空间编程）：当神经网络中的参数能够被还原为具体计算过程，大模型就有机会像修改代码一样直接改写模型内部功能，从而在传统微调路径之外形成一条模型维护与能力放大的新通道。
在验证 Astra 能否「读懂权重」的实验中，研究者训练了 4 个架构完全相同的游戏网络，每个包含 17253 个参数，分别学习 Breakout、Pong、Pac-Man 和 Freeway。在仅提供权重、不告知游戏名称且不允许运行网络的前提下，Astra 识别出了全部 4 款游戏，依据是训练留在参数中的结构痕迹，例如 Breakout 球拍沿屏幕底部移动，对应输入层权重集中在网格下沿。
针对更复杂的大语言模型结构，研究者训练了 3 个约 720 万参数的字符级 Transformer，分别学习 Python、罗马字日语和英语，并移除输入 Embedding 和输出层，仅保留中间 4 个 Transformer Block。Astra 通过分析 Attention Head 中 QK 电路与 OV 电路的信息传递路径，在 Python 模型中定位到 3 个 copying head，在另外两个模型中各找到 1 个，并据此判断出训练语言，判断结果随后通过实际运行网络得到的功能测量验证。
研究团队进一步将问题反转，让 Astra 在无训练数据、无 Loss、无梯度的条件下直接生成网络权重。在 Breakout 任务中，Astra 根据游戏规则将计算分配给不同网络层，生成的网络平均得分达到 517.4，而 PPO 训练 1 亿步和 5 亿步后的成绩分别为 15.8 和 25.3。在约 148 万参数的 9×9 围棋任务中，Astra 借助 Python 构造权重矩阵，用 336 行代码生成的网络在无前向测试时已能击败两个较小的 PPO 对手，允许 50 次前向测试后超过训练 2000 万局的同规模 PPO 网络。
研究同时暴露了该方法的边界。在 Gemma 实验中，Astra 仅凭静态权重无法判断哪套模型更容易迎合错误答案，需增加少量 Attention 激活信息才能完成定位；固定深度网络也只能传播有限距离的信息，复杂长程关系仍难以处理。这表明静态参数可提供结构线索，但复杂行为有时仍需实际输入辅助定位。尽管如此，该研究已验证了在部分网络中识别并改写功能计算路径的可行性，为 AI 系统之间的自动化维护与能力调整提供了新的技术方向。
该文观点仅代表作者本人，企服科学平台仅提供信息存储空间服务。
