智东西（公众号：zhidxcom）

编译 | 黄菲

编辑 | 江宇

智东西 10 月 19 日消息，10 月 15 日，由腾讯首席 AI 科学家、腾讯基础模型部负责人姚顺雨带领的腾讯混元前沿团队（Tencent Hy Frontier）联合新加坡国立大学、美国马里兰大学、佐治亚大学和印第安纳大学的研究人员，以阿里巴巴通义千问团队开源的 Qwen3.8-27B 为基座，提出一种面向终端智能体（Terminal Agent）的递归训练方法 Terminal-RSI。

该研究旨在让终端智能体从过往的成功经验中学习，持续提升复杂任务的执行能力。为此，该研究团队提出 Terminal-RSI，让 Agent 提炼成功操作的经验，再通过强化学习优化执行策略，在多轮训练中持续改进任务执行能力。

为检验这一方法的效果，该研究团队以 Qwen3.8-27B 为基座模型，依次经过 Base、RSR-1、RPR-1、RSR-2 和 RPR-2 五个阶段的训练，得到 Terminal-RSI-27B，并在六项基准测试中评估其终端任务执行能力。

评估结果显示，Terminal-RSI-27B 在 Terminal-Bench 2.1 上取得 86.52% 的成绩；在四个 Terminal-Bench 基准套件上的平均得分从初始模型的 20.68% 提升至 50.58%，提高 29.90 个百分点。

▲六个基准测试集在五个阶段上的评估结果，图源：arXiv

一、递归重写与策略精炼交替进行，让 AI 反复改进操作能力

这项研究的核心是 Terminal-RSI 框架，训练过程可拆分为两种交替进行的机制，包括 " 递归自我重写 "（Recursive Self-Rewrite，RSR）和 " 递归策略精炼 "（Recursive Policy-Refine，RPR）。

RSR 主要负责从成功经验中提炼可复用的操作步骤。

该研究团队先筛选已经通过验证的任务执行轨迹，再将其中的操作过程整理为可供模型学习的步骤说明，并在新的执行环境中重新测试。只有通过验证和相关筛查的轨迹，才会进入后续训练。

RPR 则通过强化学习继续优化模型。

该研究团队保留上一阶段的价值评估网络参数，并在进入新一轮策略训练前重新校准该网络，使其适应更新后的模型行为与奖励标准。价值评估网络用于估计当前状态后续可能获得的回报，为模型判断哪些操作更有价值提供参考。

整体来看，Terminal-RSI 采用两种机制交替迭代的训练框架，共形成 5 个阶段：Base、RSR-1、RPR-1、RSR-2 和 RPR-2。

训练首先进入 RSR 阶段，更新策略网络（Actor），同时保持价值网络（Critic）的权重不变；随后进入递归策略精炼 RPR 阶段，通过强化学习进一步优化策略，并更新价值网络。

完成一轮训练后，改进后的策略进入下一轮迭代，形成持续优化的递归训练流程。

▲递归循环通过监督式迁移传递价值网络权重框架图，图源：arXiv

为进一步解释 Terminal-RSI 如何通过递归训练提升 Agent 的任务执行能力，该研究团队展示了单步递归的内部迭代流程。

该流程围绕递归自我重写（RSR）与递归策略精炼（RPR）展开，分为左右两条分支，分别对应经验提炼与策略优化两个环节。

左侧分支负责发现成功轨迹，并对操作轨迹进行重写和验证，对应递归自我重写（RSR）阶段。

右侧分支则负责调整奖励机制、处理回合边界的信用分配，并对价值网络（Critic）进行校准。

▲重写与策略精炼更新不同参数，图源：arXiv

论文特别提出，价值网络校准并不是在每个近端策略优化（Proximal Policy Optimization，PPO）小批次训练前重复进行，而是在策略与价值网络联合训练开始前，先进行四轮仅更新价值网络的训练，为后续联合优化做好准备。

该研究还对比了两种训练路径。

一种为先通过 RSR 获得经过验证的操作轨迹，再进入 RPR 阶段。

另一种为跳过 RSR，直接采用 PPO 进行强化学习。在论文展示的训练步数对比中，RSR-first 的表现整体更高。

例如，在 Terminal-Bench 2.1 上，RSR-first 的成功率从 70.10% 升至 77.53%，而直接采用 PPO 的方案得分为 48.31%。

▲两种初始化方式结果对比，图源：arXiv

该研究认为，RSR 能够为后续强化学习提供经过验证的示范轨迹，帮助模型更快提升任务执行能力。

不过，这项对比并未完全控制额外的轨迹发现与重写所带来的监督成本，因此不能据此认定两种方案在相同计算成本下存在同等幅度的性能差距。

此外，该研究团队还设计了回合边界跳过观测的广义优势估计方法（Turn-Boundary Skip-Observation Generalized Advantage Estimation，TB-GAE），用于减少冗长环境日志对训练信号的干扰。

对于需要多轮命令行操作的任务，模型生成的文本可能很长，但长篇幅的环境反馈并不意味着模型作出了同等数量的新决策。

该方法尝试按照实际交互回合处理奖励衰减，避免模型因为仅日志更长，而对最终任务反馈赋予不合理的训练权重。

二、四项终端基准测试成绩提升，长时程任务仍未完全攻克

该研究团队使用了六个基准测试集评估模型，分别为 Terminal-Bench 2.1、Terminal-Bench 3.0、Terminal-Bench 4.0、Terminal-Bench Hard、长时程终端任务基准测试（Long-Horizon-Terminal-Bench，LHTB）和 SWR100。

这六项测试主要考察 Agent 能否在可执行环境中检查代码仓库、修复依赖、修改文件并最终通过验证。

其中，前 4 项主要评估终端任务的完成情况，LHTB 侧重考察需要多轮操作、涉及复杂依赖链的长时程任务，SWR100 则用于测试模型根据公开输入输出示例重建可执行工作流的能力。

四项 Terminal-Bench 基准的平均成功率曲线：从基座模型的 20.68% 起步，经 RSR-1 的 34.25%、RPR-1 的 44.50%、RSR-2 的 48.75%，最终在 RPR-2 阶段达到 50.58%，翻了一倍多。

▲四个基准测试集在五个阶段上的评估结果，图源：arXiv

在四项测试中，Terminal-RSI-27B 的成绩分别为 19.84%、86.52%、16.95% 和 79.00%。其中，Terminal-Bench 4.0 的成绩从基础模型阶段的 0% 提升至 19.84%，Terminal-Bench Hard 则从 31.00% 提升至 79.00%。

四项基准测试的等权平均成功率则从基础模型阶段的 20.68% 升至最终阶段的 50.58%，较基础模型提高 29.90 个百分点，较第一轮自我重写后的 34.25% 提高到 16.33 个百分点。

但递归训练带来的收益会随任务类型而变化，不同测试的表现并不完全一致。

Terminal-Bench 2.1 的成功率在 RSR-2 阶段已经达到 86.52%，最终阶段维持这一水平；Terminal-Bench 3.0 则从 RSR-2 阶段的 15.00% 升至 16.95%。

在共有 46 项任务的长时程执行 LHTB 测试集中，严格完成任务的平均数量仅从 0 项增至 5 项，模型的过程奖励从基础阶段的 0.21 升至 0.37。

按照该研究采用的严格标准，只有完整通过最终验证的任务才算成功。

这一结果说明，模型即使能够有一个阶段性的通过率，但不一定能够将这些进展转化为完整的任务解决方案。

▲长时程终端基准（LHTB）指标持续提升，科学工作流重构基准（SWR100）进入平台期，图源：arXiv

在训练数据之外的科学工作流重建测试 SWR100 任务中，模型成功率从基础阶段的 3.00% 升至 6.00%。在这项任务中，模型需要根据公开的输入输出示例重建可执行程序，并通过隐藏的语义、结构及防投机检查。

不过，该项成绩在 RPR-1 阶段达到 6.00% 后便未继续增长，即后续训练并未在这一测试中带来额外提升。

为探究这种不一致的表现是否也体现在不同难度的任务中，该研究团队进一步根据结构性指标，将 468 个基准测试任务划分为简单、中等、困难和极难四档。

模型在不同难度任务上的提升并不同步，极难任务的表现也未随训练阶段推进而持续改善。

训练后，简单任务的成功率从 31.78% 升至 72.88%，中等任务从 23.58% 升至 58.96%，困难任务从 14.91% 升至 49.12%。

相比之下，极难任务的成功率呈波动变化，曾在递归策略精炼第一阶段达到 10.98%，随后在递归自我重写第二阶段降至 6.10%，最终回升至 10.98%。

▲分层评估结果体现模型能力提升并不均衡，图源：arXiv

三、奖励机制调整可减少失败轨迹得分，研究仍有验证边界

除了训练流程，该研究团队还调整了奖励机制，以区分局部进展和真正完成任务之间的差异。

第一种机制是家族密集奖励（Family Dense Reward，FDR），通过校准不同任务类别的检查规模，衡量模型完成了多少有效检查项。

第二种机制是成功优先奖励（Success-Prioritized Reward，SPR），在保留部分进展奖励的同时，提高完整通过最终验证的任务在奖励体系中的优先级。

该研究团队比较了两种奖励方案在 46 个任务家族中的分布情况。

结果显示，采用 SPR 后，家族层面的平均奖励标准差从 0.34 升至 0.47，轨迹层面则从 0.50 升至 0.59，尽管 SPR 减少了失败轨迹获得奖励的情况，但整体奖励分布并未因此变得更加集中。

在结果标签不变的同一批 4352 条轨迹上，原有 FDR 机制下失败轨迹获得的奖励占总奖励的 50.09%。

采用 SPR 后，这一比例降至 28.72%，获得至少 1 分奖励的失败轨迹数量从 158 条降至 0 条。

▲奖励分配在不同任务家族与训练阶段存在差异，图源：arXiv

4352 条接受审计的轨迹中，在原有 FDR 机制下，失败轨迹获得的奖励占总奖励的 50.09%；采用 SPR 后，这一比例降至 28.72%。原获得至少 1 分奖励的失败轨迹数量则从 158 条降至 0 条。

该研究团队明确提出，离线重新评分能够检验奖励机制如何分配分数，却无法单独证明这一调整对实际训练结果的影响。

除基准测试分数外，该研究团队还通过两个具体任务检验模型的执行效果，分别是嵌入漂移监测案例和 Rust-C 求值器案例。

在嵌入漂移监测任务中，基座模型通过 81.82% 的检查项，RSR-1 阶段升至 96.97%，从 RPR-1 阶段起，模型通过率达到 100%。最终模型修复了 6 个模块，并在两次独立评测中均通过全部 11 项断言。

嵌入漂移监测案例要求模型修复一个统计漂移监测程序，并通过 11 项断言，涉及距离语义、参考数据隔离、无偏最大均值差异（MMD）计算和告警迟滞等要求。

▲展开嵌入漂移案例，图源：arXiv

在 Rust-C 求值器任务中，基座模型和 RSR-1 阶段的通过率均为 50%，RPR-1 阶段升至 75%，RSR-2 阶段及最终模型则达到 100%。

Rust-C 求值器案例要求模型构建可执行封装器，并在模糊测试中确保其输出与隐藏参考实现逐字符一致。

基座模型和 RSR-1 阶段均因整数除法结果的输出格式不一致而失败，例如输出 "23" 而非 "23.0"

最终模型在两次评测中均通过了封装器测试和隐藏模糊测试两道关卡。

▲展开 Rust-C 求值器案例，图源：arXiv

最后，该研究团队也在论文中提出了这项研究的局限性。

首先，递归训练过程中，模型初始化方式、奖励机制和学习率等设置同时发生变化，尚不能明确判断最终成绩提升分别来自哪一项机制。

其次，每个阶段的基准测试进行了 3 次独立评估，但该研究团队承认，这不能替代使用多个独立训练随机种子开展实验，也不足以证明模型在统计意义上显著优于其他方法。

此外，基准测试只能验证其检查规则所覆盖的要求。即使模型通过了现有测试，也不能据此认定其在所有真实软件开发环境中都能可靠完成任务。

结语：提升终端 Agent 表现，递归训练能走多远？

Terminal-RSI 展示了一条结合成功轨迹重写、强化学习和奖励校准的训练路径。

实验结果显示，该方法能够提升模型在多项终端任务基准测试中的表现，并在长流程任务中取得一定进展。

但论文称，目前结果只在单个 27B 参数规模的模型上验证，没有更大规模的对照实验，三次独立评测取平均值也不足以断言统计意义上的领先。