阿里千问于10月12日正式发布QwenGyre，这是一款面向长程智能体任务的在线强化学习框架。该框架针对智能体在执行复杂工作时面临的训练效率问题，通过弹性调度与轨迹处理机制，将超长程任务转化为有效的训练来源。
随着智能体承担的任务复杂度不断提升，单次执行往往持续数小时，模型与环境之间需要进行数百轮相互依赖的交互，累计处理百万级token。这类超长程任务为强化学习训练带来了显著挑战：训练过程需要等待完整轨迹生成，而GPU资源在等待期间处于闲置状态，导致整体训练效率受限。
QwenGyre的核心设计思路是将GPU划分为若干计算单元，实现训练与推理的流水线并行。当一批任务结束后，空出的计算单元立即转入训练环节，仍在执行的任务不受干扰，其进度、状态以及已计算的缓存均被完整保留并迁移，无需从头开始。新空出的单元直接加入本轮训练，计算速度较快的单元承担更多训练负载，最终由核心单元汇总结果，完成一次参数更新。这一机制使得GPU资源在推理与训练之间实现动态流转，减少了传统串行模式下的资源等待时间。
在轨迹处理方面，QwenGyre采用Token-in Token-out方式记录每段输出生成时的真实上下文，按共享前缀组织成轨迹树结构，仅将选中的路径展开为训练样本。这一设计降低了训练样本的冗余度，同时保留了生成过程中的上下文信息。此外，对于超时但部分完成的任务，框架通过Partial Scoring机制提供反馈信号，使得未完整执行的轨迹也能贡献训练价值。
官方公布的实验数据显示，在NL2RepoBench在线强化学习实验中，以每次rollout约70万token的任务开展训练，经过48步训练后，模型通过率从52.5％提升至58.5％。在相同GPU预算下，QwenGyre相对Async实现1.78倍的端到端加速，训练分数与Async、Colocate方案接近。在Qwen3.6-122B模型上的跨任务验证中，NL2RepoBench、DeepSWE、TerminalBench三类任务均获得端到端提速。
当前，智能体能力已成为大模型厂商竞争的重要方向。从代码生成到终端操作，智能体需要处理的任务链条不断延长，对训练框架的吞吐能力和资源利用率提出了更高要求。QwenGyre试图解决的正是超长程任务训练中推理与训练串行导致的效率瓶颈问题，其弹性调度思路为强化学习训练框架的设计提供了一种新的参考路径。
随着智能体应用场景从短程交互向长程复杂任务扩展，训练框架能否高效利用算力资源、能否从部分完成的轨迹中提取有效学习信号，将直接影响模型迭代速度。QwenGyre在NL2RepoBench等基准上的初步验证结果，表明该框架在保持训练效果的同时具备一定的效率优势，但其在更大规模模型和更广泛任务类型上的表现仍有待进一步观察。
该文观点仅代表作者本人，企服科学平台仅提供信息存储空间服务。
