腾讯混元Frontier团队近日发布Terminal-RSI研究成果，提出一种通过递归自我重写与递归策略精炼两阶段循环，使模型在原有能力框架之外获得新任务执行能力的方法。该研究以阿里Qwen3.8-27B为基座模型，在Terminal-Bench系列终端实操基准测试中实现了显著性能提升。
根据论文披露的数据，Qwen3.8-27B在Terminal-Bench 2.1上的得分从51.7％提升至86.5％；在更严格的Terminal-Bench 4.0版本上，该基座模型原本不具备完成测试的能力，得分为0％，经Terminal-RSI训练后达到19.84％，与GPT-5.6 Terra、Gemini 3.8 Flash齐平。四个测试集的平均分从20.7％升至50.6％，提升超过一倍。整个训练仅进行两轮循环。
Terminal-RSI针对的是终端Agent的训练难题。此类Agent需要在沙盒环境中像工程师一样查看仓库、安装依赖、修改代码并运行测试，最终由验证器判定任务是否通过。论文指出，实现递归自我改进面临两个核心障碍：一是反馈周期过长，训练过程中平均交互回合数在50至117之间浮动，模型往往在第二步出错却要到流程末端才能获知结果；二是验证信号难以细粒度区分对错，验证器中11条检查通过9条的结果，无法在终端判定中被有效体现。
Terminal-RSI的流程为Base到RSR-1、RPR-1、RSR-2、RPR-2的两轮循环。第一步RSR即递归自我重写，仅更新执行任务的actor策略。模型在不同harness中尝试任务，保留通过完整验证的成功轨迹，再由模型自身充当规划者将成功过程提炼为操作手册，经审查Agent检查格式、产物及是否存在验证器答案泄漏后，模型在新沙盒中依据手册重做，仅保留重做仍通过验证且无泄漏的轨迹用于监督微调，手册与审查对话在微调阶段被移除，只保留动作序列。
第二步RPR即递归策略精炼，actor与critic共同参与基于PPO的强化学习。论文指出，重写后actor的偏好动作发生变化，其遇到的历史分布也随之改变，原有critic的估值不再准确。直接重置critic会丢失已学到的局面判断能力，原样继承则会将旧估计误差带入优势值。RPR的做法是让critic先基于近期战绩单独重新训练4轮，理解新的策略与规则后，再与actor联合训练。
该论文的三位第一作者分别为腾讯混元Frontier团队的两位实习生杨竣尧、李宗夏，以及位于西雅图的腾讯研究科学家史玉成。三人此前曾合作发表《T1：面向长时程任务的终端智能体强化学习》，该论文被视为Terminal-RSI的前序工作，聚焦如何通过强化学习将大模型训练为可在Linux终端中实际执行任务的智能体。
论文同时说明了研究的局限性：这套RSI方法仅在27B参数规模的模型上验证，未在更大参数量的模型上测试，且仅进行了三次评测，没有独立训练种子。该方法在混元Hy4等大参数量模型上能否复现递归自我改进效果，目前尚无结论。
从组织层面看，腾讯混元的研究体系经历了持续调整。AI Lab于2016年成立，首任负责人张潼于两年后离任，此后负责人先后为张正友、蒋杰。混元项目2023年立项时，项目组从广告部门调配了2000张GPU，一半用于预训练、一半用于后训练。2025年中，团队转向以榜单为导向的工作模式。姚顺雨加入后，提出构建Foundation、产品与Frontier均衡的三角形组织，并将AI Lab并入大语言模型部，原研究员转为Frontier方向，与预训练、后训练、评估、Infra处于同一部门、同一条汇报线。Terminal-RSI即为该架构调整后Frontier团队产出的研究成果之一。
对行业而言，Terminal-RSI提供了一条在有限算力和较小参数模型上扩展Agent能力的路径，其以第三方开源模型为基座的验证方式，也为递归自我改进方法的可复现性提供了参考。但该方法在更大规模模型上的有效性仍待验证，这将是判断其能否进入生产级模型训练流程的关键。
该文观点仅代表作者本人，企服科学平台仅提供信息存储空间服务。
