大模型 Agent 正在从简单问答，快速走向搜索、代码生成、网页操作和多轮工具调用。

但随着任务复杂度提升，一个长期存在的效率瓶颈也越来越突出：Agent 往往需要生成很长的动作序列，才能完成一次完整任务。

过去的优化大多集中在模型架构、推理系统、上下文压缩或生成策略上，希望让 Agent 的 " 每一步 " 更快。

然而，只要完成任务所需的决策步骤没有减少，整体推理成本仍会随着任务链条不断增长。

据此，MetaGPT团队提出了一种不同的思路：与其只优化每一步，不如直接重新定义 Agent 的 " 动作单位 "。

他们提出Latent Action Reparameterization（LAR，潜在动作重参数化），将 Agent 轨迹中反复出现、结构稳定的多步文本动作压缩为一个可学习的 " 潜在动作 "。

换句话说，Agent 不再事事以 token 级动作进行决策，而是可以直接在更高层次上选择一段完整行为，从而缩短有效决策链条、降低推理成本。

该论文目前已被NeurIPS 2026接收。

研究背景：Agent 的瓶颈，不只有 " 生成速度 "

当前主流 LLM Agent 通常以循环方式工作：模型读取环境反馈，生成下一步文字动作，再调用工具或与环境交互，然后继续生成后续动作。

问题在于，这种机制天然以 token 为非常细粒度的决策单位。

例如，一个搜索 Agent 可能反复生成固定的思考模板、工具调用格式、系统约束和结构化语句。虽然这些内容在文本上占据大量 token，但真正决定任务结果的，往往只是其中少数查询词、参数、实体或最终答案。

因此，即便单 token 推理已经通过 FlashAttention、KV Cache、量化或者并行系统得到显著加速，Agent 仍可能需要执行很长的 " 决策链 "。

研究团队由此提出一个核心观点：

Agent 推理效率不仅由模型有多快决定，也取决于 " 动作是如何表示的 "。

如果能把一段语义稳定、反复出现的动作序列看作一个整体，那么 Agent 实际需要做出的决策次数就可以显著减少。

这也正是 LAR 的出发点。

核心技术：从动作空间重新设计 Agent

把一串动作，变成一个 " 潜在动作 "

LAR 的核心思想并不复杂。

一条完整的 Agent 轨迹中，往往同时包含思考与规划、工具调用格式、具体参数以及与环境交互等不同类型的内容。

而 LAR 会从大量 Agent 轨迹中寻找那些高频、低熵、行为稳定的片段，并把它们重新编码为新的 latent action token。

换句话说，过去 Agent 需要一步一步 " 说完 " 的固定动作，现在可以通过一个新的动作符号直接表达。

这种改变直接缩短了 Agent 的有效动作视野（effective action horizon），也就是完成一次任务所需要经历的实际生成决策数：原本需要多个生成步骤完成的行为，现在可以被重参数化为更高层次的动作单元。

但这里有一个非常关键的问题：并不是所有内容都适合被重参数化。

对于那些低熵、结构稳定、具有较强跨上下文一致性的动作模式，其行为语义通常较为固定，因此可以安全抽象；而具体查询、实体、数值和任务参数等高熵、强上下文依赖的信息，则直接决定 Agent 与外部环境的交互结果。如果将这类内容也重参数化为固定动作，就可能破坏原有的行为语义和可执行性。

因此，LAR 并不是追求 " 压得越多越好 "，而是在结构抽象与语义保真之间寻找一个可执行的抽象边界：尽可能重参数化冗余的结构性动作，同时保留真正决定任务行为的关键信息。这一设计让 " 抽象 " 与 " 可执行性 " 同时成立。

下图展示了 LAR 的整体思路：将原始、细粒度的动作轨迹重参数化为更紧凑的潜在动作轨迹，在保留关键显式信息的同时减少有效决策步骤。

△LAR 的整体框架。系统将可复用、行为稳定的动作片段重参数化为潜在动作，在保持可执行性的同时缩短有效动作视野。从 Agent 轨迹中自动学出动作词表

与人工设计宏指令不同，LAR 的潜在动作直接从已有 Agent 轨迹中学习。

整个流程可以概括为四步：

首先，从轨迹中提取重复出现的文本片段，并根据出现频率和 next-token entropy 进行筛选。低熵意味着某个片段之后的行为相对稳定，因此更可能对应可复用的动作结构。

随后，将筛选出的片段加入新的潜在动作词表，每一个片段对应一个新的 vocabulary symbol。

接下来，训练数据同时保留原始轨迹和压缩后的轨迹：原始版本作为 teacher，重参数化后的版本作为 student 输入。

最后通过 trajectory-level distillation，让模型在只看到重参数化轨迹的情况下，仍能恢复原模型在未重参数化内容上的预测分布。这样一来，latent action 就必须 " 接住 " 被替换片段原本携带的语义，才能让后续预测保持一致，因此逐步学成原始动作片段的功能性替代。

值得注意的是，LAR 并不需要重新训练整个模型。实验中只训练 LoRA 参数以及新增的 latent action embedding，可训练参数约占模型总参数的 0.1%，其余预训练权重全部冻结。

而在推理阶段，这些潜在动作与普通 token 一样经过 embedding lookup 和 Transformer forward，不需要额外展开或后处理，因此几乎不会引入新的推理开销。

实验结果：更少的决策，同时保持任务能力

更少的动作 token，同时保持甚至提升效果

研究团队在Qwen 系列和 Llama 系列等不同模型上进行了验证，并覆盖多步推理、代码生成、网页交互等多类典型 Agent 场景。

对比涵盖了传统 Agent 基线，以及从生成控制、上下文压缩等不同层面提升推理效率的代表性方法。

整体结果表明，LAR 在不同模型和不同任务上都取得了稳定的 " 性能—效率 " 收益：在多数设置下，模型能够在减少动作 token 的同时保持甚至提升任务表现，部分场景中的动作 token 降幅达到20%～27%。

更重要的是，这种收益并不局限于某一种任务。无论是多步推理、结构化代码生成，还是网页交互，LAR 都能够在不同程度上缩短有效决策链，同时保持较强的任务完成能力。

这意味着 LAR 并不是简单 " 少生成一些文字 "，而是在尽量保留关键语义的同时，减少不必要的低层决策步骤。

下表展示了 LAR 在不同模型和多类 Agent 任务上的主实验结果，用于对比任务表现与动作 token 的变化。

系统层面也能获得真实收益

动作空间的重参数化最终是否有价值，还要看它能否真正转化为系统层面的推理收益。

实验结果显示，LAR 在不同任务和模型设置下，不仅能够提升 token throughput，还能在部分场景中降低峰值显存占用，并改善整体推理效率。

这说明，潜在动作并不只是改变了文本表示形式。随着有效动作视野缩短，更短的轨迹也会相应减少 prefill、KV Cache 以及后续推理过程中的计算与存储开销，从而把动作空间层面的抽象进一步转化为实际的系统收益。

下表进一步展示了 LAR 在系统层面的效率表现，包括 token throughput、GPU 利用率和峰值显存等指标。

潜在动作能不能迁移到没见过的任务？

如果 latent action 只是记住某个数据集中的表面模式，那么它的实际价值会非常有限。

因此，团队进一步测试了 held-out benchmark generalization：只利用已有任务学习 latent action，不做额外训练，直接迁移到未见过的新任务。

实验结果表明，LAR 在新的任务分布上依然能够保持较强的迁移能力，在多项设置下达到或超过对应基线。

这说明模型学到的并不只是某个 benchmark 特有的字符串模式，而是更具复用性的动作结构与行为模式。换句话说，latent action 更接近一种可迁移的高层动作表示，而不是对训练数据中固定片段的简单记忆。

下表展示了 LAR 在未参与训练的新任务上的迁移结果，用于验证潜在动作是否学习到了可复用的高层行为结构。

不是压得越狠越好：团队找到了 " 抽象边界 "

LAR 还有一个很有意思的发现：Agent 的动作空间存在明显的抽象边界。

研究团队逐步增加重参数化比例后发现，性能变化大致可以分成三个阶段：

第一阶段，随着低熵结构被压缩，模型效率和任务表现可以同时提升；

第二阶段，性能达到峰值，此时大部分可以安全抽象的稳定结构已经被压缩；

第三阶段，如果继续压缩具体查询、实体、数字和任务参数等高熵信息，模型性能会突然下降。

这种下降不是缓慢发生，而可能是明显的 " 崩塌 "。

原因也很直观：当潜在动作开始覆盖真正决定环境行为的参数后，一个 latent action 就无法继续代表稳定、唯一的动作语义，原本与环境之间的行为等价性也会随之失效。

所以 LAR 的目标并不是最大化 token compression，而是找到尽可能大的、同时保持可执行性的动作抽象范围。

下图展示了随着重参数化程度增加，Agent 性能所呈现出的 " 提升—峰值—下降 " 趋势。

△LAR 的渐进式动作抽象实验。在不同任务和模型设置下，随着重参数化程度增加，性能均呈现出 " 提升—峰值—下降 " 的趋势，说明 Agent 动作空间存在明显的可执行抽象边界。可扩展性：从更大模型到工业级 Agent

为了验证 LAR 是否只在特定模型和实验环境中有效，团队进一步从两个方向测试了它的可扩展性。

一方面，LAR 被扩展到更大规模的模型后（8B → 32B），依然能够保持稳定的性能收益，说明动作重参数化并不依赖于某个特定参数规模，而具有较好的模型尺度泛化能力。

另一方面，团队还将 LAR 应用到 OpenClaw 这类工业级 Agent runtime 中。在不修改原有工具接口、交互循环和运行逻辑的情况下，LAR 依然能够通过重参数化其中稳定、冗余的结构性内容获得收益。

这意味着 LAR 更像是一层相对独立的 Agent 优化机制：它既可以向更大模型扩展，也可以嵌入现有 Agent 系统，与模型架构优化、推理引擎和系统级加速共同作用。

换句话说，过去大家主要在研究 " 怎样让模型每一次 forward 更快 "，而 LAR 提出了另一个方向：

能否让 Agent 从一开始就少做一些不必要的低层决策？

总结

随着 LLM Agent 开始承担越来越长链条的任务，推理效率正在从单纯的模型问题，变成一个完整的决策系统问题。

MetaGPT 团队提出的 LAR 从动作表示这一层重新审视 Agent 推理：将可复用的结构性行为重参数化为潜在动作，让模型直接在更高层次的动作空间中进行规划和执行。

实验表明，这种方法能够在不同模型规模和多类 Agent 任务中缩短有效决策链，并在保持甚至提升任务表现的同时，带来实际的吞吐和显存收益。

更重要的是，这项工作揭示了 Agent 动作抽象中的一个关键原则：真正有效的压缩并不是把所有内容都隐藏起来，而是区分哪些结构可以抽象，哪些信息必须显式保留。

未来，动作空间学习还可以进一步与 Agent memory、规划、强化学习以及推理系统优化结合。相比只追求更快的 token generation，从 " 决策单位 " 本身重新设计 Agent，可能成为提升长链任务、高频工具调用和大规模 Agent 部署效率的一条重要路径。

论文名称：Latent Action Reparameterization for Efficient Agent Inference

论文作者团队：成员来自 DeepWisdom（MetaGPT）、耶鲁大学、蒙特利尔大学、悉尼大学、复旦大学、伊利诺伊大学厄巴纳 - 香槟分校、Amazon Science、香港科技大学（广州）及斯坦福大学。

论文：https://arxiv.org/pdf/2605.18597

代码：https://github.com/EZ-hwh/LAR

一键三连「点赞」「转发」「小心心」

欢迎在评论区留下你的想法！

—  完  —

【学术投稿】请在工作日发送邮件至：ai@qbitai.com，标题注明【投稿】，并告诉我们：你是谁，从哪来，投稿内容附上项目 / 主页链接，以及联系方式。

  我们会 ( 尽量 ) 及时回复你 : )

点亮星标

科技前沿进展每日见