都说苹果 AI 慢半拍，没想到新研究直接在 Transformer 头上动土。（doge）

「Mamba+ 工具」，在 Agent 场景更能打！

在最新论文《To Infinity and Beyond》中，研究团队发现：

在长任务、多交互的 Agent 式任务中，基于 SSM 架构（状态空间模型）的模型，比如 Mamba，在效率与泛化能力上，展现出超越 Transformer 的潜力。

Mamba 一作表示：

超越 Transformer，怎么说？

Transformer 的长篇累牍问题

先说说 Transformer 的 " 富贵病 "。

Transformer 确实很聪明，靠自注意力机制能够同时关注输入序列中所有词语之间的关联，比如阅读文章时可以快速建立首尾关键信息的联系。

但这种能力的实现需要较高的计算成本，随着输入序列长度的增加，其计算量会呈平方级增长。

例如，输入 1000 个词时，需要处理 1000 × 1000=100 万次词对关系；

要是处理有上万个词的长文档，计算量会达到亿级，这对普通 GPU 来说是不小的负担。

而这种计算成本过高的问题还会引发连锁反应：

首先是处理延迟显著增加。在长序列任务中，模型的响应速度会大幅下降；

其次，在 Agent 类任务中表现不佳。Agent 任务通常需要动态决策与迭代优化的能力，而 Transformer 在每一步操作中都需重新计算全局注意力，这就会导致整体效率偏低，难以满足此类任务对实时性和灵活性的需求。

相比之下，Mamba 则采用了更为轻量化的设计思路。

「Mamba+ 工具」更高效

作为状态空间模型（SSM）的一种，Mamba不依赖全局注意力机制，而是通过持续更新的内部状态来理解输入信息。

有点像人写流水账，只记最近进展，不翻旧账。

这种机制带来了三项显著优势：

计算量随序列长度呈线性增长

例如处理 1000 个词仅需对应数量级的计算，远低于 Transformer 的消耗；

支持流式处理

能够边接收输入边进行计算，无需等待完整序列加载完毕；

内存占用保持稳定

不会随序列长度增加而显著上升，在效率方面表现突出。

不过，Mamba 也有个明显局限：内部状态的存储容量有限，在处理超长序列任务时，早期信息容易被后续输入覆盖，导致模型对前文关键信息的保留能力较弱。

针对这一问题，苹果团队提出了新方案——通过引入外部工具扩展模型的信息处理能力。

比如算数学题时用指针工具记数字、存进位；修代码时用文件查看工具反复读代码、用运行工具测报错……

这些工具可以在任务执行过程中提供辅助，相当给模型提供了可动态调用的外部存储和交互接口。

这样做的结果就是，引入工具后 Mamba 的性能得到显著提升：

在多位数加法任务中，配备指针工具的 Mamba 展现出良好的泛化能力，经过 5 位数加法训练后，能够稳定处理 1000 位数的计算，准确率接近 100%，而 Transformer 在处理 20 位数时已出现明显误差；

在代码调试任务中，让 Mamba 模拟交互式调试流程（查看文件、局部修改、执行验证的迭代方式），面对复杂度高于训练集的代码库，其正确率显著高于 Transformer；

在逻辑推理及汉诺塔等需要分步规划的任务中，结合工具的 Mamba 能够应对更复杂的问题场景，Transformer 则要么算得慢，要么直接卡壳……

可以看出，Transformer 聪明但慢，做事情讲究从头到尾一步到位，遇上需要反复调整的 Agent 式任务，就显得又贵又笨重；

Mamba 反应快但记性差，但装上外置大脑后补足记忆短板后，效率嘎嘎提升。

这么一看，「Mamba+ 工具」的组合可能真要在 Agent 场景下抢 Transformer 的风头了。

论文地址：https://arxiv.org/pdf/2510.14826

参考链接：https://x.com/_albertgu/status/1980287154883358864

一键三连「点赞」「转发」「小心心」

欢迎在评论区留下你的想法！

—  完  —

  年度科技风向标「2025 人工智能年度榜单」评选报名火热进行中！我们正在寻找 AI+ 时代领航者  点击了解详情

❤️‍   企业、产品、人物 3 大维度，共设立了 5 类奖项，欢迎企业报名参与   

一键关注 点亮星标

科技前沿进展每日见