麻省理工学院计算机科学与人工智能实验室（MIT CSAIL）的研究人员提出了一种名为“权重空间编程”（Weight-Space Programming）的新方法，让大语言模型直接读取并修改另一个神经网络的权重参数，而非依赖传统的梯度下降训练流程。实验显示，OpenAI的GPT-6 Astra仅调整阿里云通义千问Qwen3.5-0.8B约0.016％的权重，即将该模型在MATH-500数学基准测试中的成绩从7.9％提升至48.1％，约为原来的6.1倍。
该研究由Rikiya Takehi、Jayden Teoh、Alex Zhang和Omar Khattab共同完成，Takehi于当地时间11月2日在博客上发布了相关成果。研究的核心思路是让大语言模型直接读取、理解和修改另一个神经网络的权重，从而绕过常规训练中调整模型参数的流程。在具体实验中，GPT-6 Astra并非随机调整少量参数，而是首先定位Qwen3.5-0.8B的推理循环问题。研究人员发现，该模型在回答数学问题时容易反复生成相同内容，导致大量回答耗尽32768个Token的长度限制，在最初的96次测试回答中，有85次触及这一上限。
研究团队为GPT-6 Astra提供了一个可读取和修改模型权重的Python环境，并允许其使用GSM8K和MATH训练集中的练习题进行有限次数的前向推理。Astra随后定位到第15层和第19层MLP（多层感知机）中写入的一种重复方向，通过修改这两层的部分权重，削弱了导致推理循环的信号。最终，Astra共修改131072个权重，占Qwen3.5-0.8B约8亿个参数的0.016％。在允许进行50轮前向推理的实验中，模型在MATH-500上的成绩从7.9％提升至48.1％，在GSM8K上从13.8％提升至67.1％。
除数学能力外，修改后的模型在指令遵循方面也有明显改善。在衡量模型指令遵循表现的IFEval测试中，成绩从21.0％提升至62.3％，约为原来的3倍。与此同时，数学测试中因生成长度达到上限而未能完成回答的比例，从原来的93％降至33.1％。研究团队同时指出，这项实验并非完全没有计算过程：GPT-6 Astra使用了Python环境分析和修改权重，也进行了最多50轮前向推理，只是没有使用梯度下降、反向传播或传统训练循环来更新参数。
研究人员还使用Gemma 3 270M进行了对照实验。由于该模型原本很少出现推理循环，Astra无法通过类似的局部权重修改显著提升其数学能力，MATH-500成绩最多仅从6.8％提升至7.7％。研究团队据此指出，权重空间编程可以消除模型已有能力发挥过程中遇到的障碍，但不一定能够凭空创造模型原本不具备的能力。这一结论为理解该方法的适用边界提供了重要参照。
该研究还包含其他实验，例如让GPT-6 Astra仅通过读取神经网络权重识别模型训练过的游戏、判断小型语言模型的训练语言，以及直接编写能够运行游戏的神经网络。研究人员认为，这种方法有望为神经网络可解释性研究和模型优化提供新的思路。在当前大模型训练成本高企、微调依赖大量标注数据的背景下，权重空间编程展示了一种以极少量参数干预换取显著能力提升的路径，但其能否从实验室走向规模化工程应用，仍取决于方法在不同模型架构和任务类型上的泛化表现。
该文观点仅代表作者本人，企服科学平台仅提供信息存储空间服务。
