大模型可以不再依赖人类调教，真正 " 自学成才 " 啦？

新研究仅通过RLVR（可验证奖励的强化学习），成功让模型自主进化出通用的探索、验证与记忆能力，让模型学会 " 自学 "！

当前主流的 LLM Agent 依然高度依赖于提示词工程、复杂的系统编排、甚至静态规则表，这使得它们在面对复杂任务时难以实现真正的智能行为演化。

而来自招商局狮子山人工智能实验室的研究团队认为，RLVR 范式是智能体（Agent）通往更高通用性和自主性的重要突破口。

于是，他们从两个关键层面出发构建了端到端 Agent 训练 pipeline ——L0 系统：

智能体架构层面

提出了结构化智能体框架—— NB-Agent，在经典 " 代码即行动 "（Code-as-Action）架构基础上进行扩展，使智能体能够操作记忆 / 上下文，从而获得类人类的记忆存储、信息总结与自我反思能力。

学习范式层面

探索了一个核心问题：是否可以仅通过 RLVR 范式，引导智能体从零开始，学会如何规划、搜索、验证与记忆，最终解决复杂的多轮推理任务？

L0 系统的框架、模型及训练集已全部开源，详细可见文末链接。

结构化智能体框架：Notebook Agent（NB-Agent）

△NB-Agent 的 "Think-Code-Observe" 循环

受到 " 代码即行动 " 的启发，NB-Agent 选择使用代码作为通用的动作空间，并且遵循 " 读取 - 求值 - 输出 " 循环（Read-Eval-Print-Loop，REPL）的方式来和 Jupyter Kernel 交互。

每一步都是 "Think-Code-Observe"：

Think：模型生成推理逻辑；

Code：将推理转化为 Python 代码；

Observe：执行代码并观察输出结果，反馈进入下一轮思考。

在这个过程中，长文本处理是智能体驱动模型（Agentic model）面临的核心挑战。

为此，研究团队提出一个创新方案：将模型的上下文窗口（context）与一个 Python 运行时的变量进行双向绑定。

这赋予了智能体主动管理自身记忆的能力，不再被动受限于上下文长度。

具体来说，研究团队提供了一个 Notepad Python 类作为结构化的外部记忆模块。智能体可以通过代码指令，将关键信息、推理步骤或中间结果写入 Notepad。

这些信息会持久存在，并映射到上下文中一个稳定区域，确保在长程任务中不被遗忘。

同时，REPL 的交互模式，使智能体能像程序员一样，将复杂信息存入变量、随时取用，从而彻底突破上下文的枷锁。

训练流程：端到端强化学习

△L0 的 multi-turn 训练过程

L0 采用端到端强化学习进行智能体训练：

重新定义动作粒度

一个动作不再是一个 token，而是一个完整的 " 思考 + 代码段 "；

提出 Agentic Policy Gradient 算法

适应序列级动作定义，将策略梯度从单 token 级扩展到完整动作序列级；

构建多维度自动奖励函数

包括最终答案正确性、代码执行情况、输出结构规范性等；

分布式训练架构

采用轻量级沙箱隔离（Bubblewrap），支持高并发、低部署门槛的大规模 RL 训练。

测试：L0 显著提升了模型在多个基准测试上的性能

在多个经典的开放领域问答数据集对 L0 系统进行测试，见证了智能体的惊人进化。

以 Qwen2.5-7B 这个基础模型为例：

在L0-Scaffold（仅有架构，未经过 RL 训练）下，它就像一个刚拿到 Notebook 的新手，在 HotpotQA 上得分22%。

经过L0-RL（强化学习训练）后，它学会了如何高效搜索、验证信息、剔除冗余步骤，最终在同一任务上得分飙升至41%（提升 84%）。

在 SimpleQA 数据集上，L0-RL 带来的提升更加显著：EM（精确匹配）得分从30%暴涨到80%（提升 166%）。

L0 在与其他工作的比较中也获得了具有竞争力的性能，在平均表现上明显优于 Search-R1 和 ZeroSearch。

这表明 L0 框架为强化学习提供了更丰富和更具表现力的环境：其他方法训练智能体学习何时调用单个工具（例如搜索引擎），而 L0 框架训练智能体成为一个程序化的问题解决者，学习如何在结构化环境中组合动作、管理状态和进行推理。

这意味着什么？

在真实搜索之外，模型自己 " 学会 " 的搜索、规划和记忆行为，比直接调用 API 的规则式 Agent 更稳定、更泛化、也更强大！

它不再是生硬地调用工具，而是真正理解了怎么利用代码和这个世界交互，展现了通往更高级通用智能的清晰路径。

论文：https://github.com/cmriat/l0/tree/main/papers/l0.pdf

NB-Agent 框架、训练 pipeline 和所有训练 recipe：https://github.com/cmriat/l0

模型 checkpoint：https://huggingface.co/cmriat/models

20K 训练数据集：https://huggingface.co/cmriat/datasets

用 checkpoint 执行深度搜索任务的示例：https://github.com/cmriat/l0/blob/main/examples/nb_agent/deep_searcher_case.md

一键三连「点赞」「转发」「小心心」

欢迎在评论区留下你的想法！

—  完  —

点亮星标

科技前沿进展每日见