DeepTech深科技 11小时前
天大教授创业,以可学习记忆为底座,他要推动AI迈向经验时代
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_keji1.html

 

大模型正在变得越来越聪明,但它们仍然很容易"忘事"。

对于一个只需要完成单轮问答的模型,这或许不是大问题。但当 AI 开始以智能体(Agent)的形式持续工作,任务从几分钟延长到几小时、几个月甚至更久,一个越来越现实的问题开始出现:如果智能体无法记住过去发生过什么、哪些尝试失败过、用户习惯怎样工作,它又如何真正从经验中学习?

这也是过去一年,Memory 开始从产品功能逐渐成为独立技术方向的原因之一。

但什么才算真正的 Memory,行业仍在寻找答案。聊天记录不是 Memory,把更多内容塞进上下文窗口也不等于 Memory;即便用 RAG(检索增强生成)将历史信息重新翻找出来,在 MemoraX AI 创始人、天津大学教授郝建业看来,也只是解决了信息的存储与相似性召回。真正困难的是:什么值得记住,什么应该遗忘,什么时候更新,又应该在什么时候重新调用?

对这些困境解法的探寻,串联起了郝建业过去十余年研究经历的技术脉络。

从香港中文大学博士阶段开始研究强化学习,到后来作为麻省理工学院-新加坡科技设计大学联合博士后研究员,将深度强化学习和多智能体强化学习应用于游戏 AI、智能推荐,再到加入华为作为决策智能方向首席专家,探索自动驾驶、网络优化和芯片设计等工业场景,郝建业的目光始终聚焦在一点:智能体如何在与环境持续交互的过程中利用过去的经验,不断提升未来的决策能力。

大模型和 Agent 的出现改变了模型架构、任务环境以及经验所承载的信息,却并未改变这一最核心的本质。

只不过,当 Agent 面对的不再是相对明确的状态、动作和奖励,而是自然语言、代码、用户偏好、任务历史乃至跨越数月的项目经验时,要想"利用过去",首先必须解决"如何记住过去"。

今年 4 月,郝建业作为创始人成立了 MemoraX AI(忆纪元科技),他把自己今天所做的 Memory,看作过去强化学习研究的一种延续。他和团队努力的方向,是将记忆变成一个可训练的学习问题。

如果说大模型解决的是"AI 能做什么",那么在郝建业看来,Memory 想解决的,或许是另一个问题:未来交付的不再只是一个能力固定的模型,而是一个能够在长期使用中积累经验、形成记忆,并持续适应用户的 Agent。

在与 DeepTech 的对话中,他谈到了自己从智能体学习走向智能体记忆的原因,分析了为何百万乃至千万 Token 的上下文依然无法取代 Memory,以及一个更根本的问题:当 AI 开始拥有越来越长的历史,究竟应该由谁决定它记住什么、又忘掉什么?

以下是我们的对话:

从强化学习到 Memory,问题其实没有变

DeepTech:你从博士阶段研究多智能体系统,到深度强化学习、游戏 AI、自动驾驶,再到大模型 Agent,表面上看应用一直在变化。但底层是不是始终围绕着同一个问题:智能体如何利用过去的交互经验,让下一次决策变得更好?

郝建业:可以这样理解。从博士阶段开始,我就在做强化学习,主要是在博弈或多智能体的场景下研究强化学习智能体。从深度学习时代到大模型时代,本质的学习范式上其实并没有变化。核心还是在解决同一个问题:智能体在特定环境下持续交互,如何根据过往的经验,通过持续学习提升自己的决策能力和水平。本质是一样的,但背后的技术一直在不断演进。

在深度强化学习时代之前,业界主要基于传统的 tabular-based RL(表格型强化学习)方法去研究单智能体和多智能体的决策优化问题。受限于状态空间规模,应用场景相对有限。

2015 年之后,以 AlphaGo 为代表的深度强化学习技术逐渐兴起,由于深度神经网络带来的强大表征与泛化能力,大家开始能够解决更加复杂的决策场景下的优化问题。在这一阶段,我们与网易、阿里、腾讯等头部企业展开深度合作,在游戏 AI、智能推荐等互联网核心业务中完成了大量深度强化学习与多智能体强化学习的工业级落地。2019 年,我加入华为,进一步将深度强化学习技术推向更广泛的物理工业领域,实现了在自动驾驶、网络优化、芯片设计等关键场景中的规模化应用。

第三个阶段始于 2023 年大模型技术的爆发。大模型不仅带来了更强的泛化能力,也使得更加复杂的优化问题变得可解。当前备受关注的 Agentic RL 后训练技术,其底层核心仍然是上一代的深度强化学习——模型架构和应用场景在演进,但优化的算法原理与框架逻辑一脉相承。不同的是,大模型本身卓越的泛化能力,为强化学习技术打开了更大的价值空间。

DeepTech:从多智能体强化学习到今天的 Agent Memory,两代技术看起来差异很大。在你看来,今天的 Agent Memory 与强化学习里已经存在的经验回放(Experience Replay)和情景记忆(Episodic Memory),本质上有什么不同?

郝建业:先来解释一下经验回放的核心机制。在强化学习中,智能体与环境的每一次交互都会产生一条经验,本质上是一个四元组——当前状态、所执行的动作、获得的奖励,以及交互后的下一状态。

经验回放的作用,就是把这些离散的交互片段以结构化的方式存储下来,再通过采样和优化算法对其进行反复利用,从而让策略在迭代中不断逼近更优解。说到底,它解决的是同一个核心问题:如何高效地组织和复用历史交互数据,来驱动策略的持续优化。

今天我们面临的关键变化是智能体所处的任务和环境,远比深度强化学习早期研究时要复杂得多。过去的状态信息大多是结构化的数值或特征向量;而现在,状态空间里可能包含自然语言对话、用户画像、复杂的多层级任务状态,甚至是跨任务的历史上下文。经验承载的信息维度更加多元、语义更加丰富。

但如果我们把目光拉回本质,研究的核心问题从来没有变:如何让一个具备记忆能力的智能体,学会从海量的历史信息中高效地抽象出有价值经验,并用它来指导未来的决策,使其越做越好。

DeepTech:如果要划一条清晰的边界,你认为什么情况只能叫历史记录、上下文或者 RAG?到了什么程度你才愿意把它称为真正的 Memory?

郝建业:判断一个系统是否具备真正的 Memory,核心要看两点:一是能否对原始信息做智能化的加工处理,二是能否在后续实现智能化的调度与复用。

可以做个对比。上下文(Context)的作用,本质上是把当前原始信息平铺直叙地呈现给模型,模型只能被动接收;RAG 则是通过相似度检索从外部知识库中召回相关内容,模型同样只是被动获取。两者都没有解决一个关键问题:信息进入系统之后,如何被主动理解、筛选和升华。

真正的 Memory 至少要具备三个核心特征。

第一,主动筛选与提取。系统需要具备判断能力,能从海量原始信息中识别出哪些值得长期记住、哪些应当忽略或遗忘,而不是机械地全盘接收。

第二,动态管理与更新。在任务执行的全过程中,记忆不是静态的仓库,而是需要随着新信息的涌入和旧信息的失效进行持续的整合、修正与迭代。

第三,智能化调用与经验复用。在恰当的时机,系统能够主动唤起相关记忆,并将原始信息进一步提炼、抽象为可迁移的有效经验,指导未来的决策与行动。

大模型为什么还需要一层独立 Memory

DeepTech:现在,Claude Code、Codex 已经能够读取大量代码,模型上下文窗口也越来越长。但为什么更大的 Context Window,最终仍然不能解决长期记忆的问题?

郝建业:现在基础模型大家都会宣称可以支持非常长的上下文,比如目前最先进的基础模型可以支撑百万 Token 左右的上下文长度。但它仍然绕不开几个关键问题。

首先是 Transformer 架构本身的机理导致的注意力衰减问题。一旦信息量超过数万 Token,就会出现明显的利用效率下降。而且,随着上下文越来越长,还会出现成本爆炸的问题。

更关键的是,上下文窗口装载的信息和 Memory 所承载的信息,本质上属性不同。上下文只是当前时刻对过去历史状态的一个快照,但它没办法告诉模型:过去到底发生了什么,哪些是失败的经验,之前的决策是基于什么背景信息做出来的。这些经验性的信息,仅靠不断扩展上下文窗口,很难实现长期、稳定且高效的沉淀和利用。

所以我们做记忆,就是想在当前最先进的基础模型能力上,把过去的历史决策、技术演进和踩过的坑沉淀下来,然后在用户需要的时候能够精准调用。

DeepTech:如果未来模型拥有百万甚至千万 Token 的有效上下文,Memory 还会是一层独立的基础设施吗?

郝建业:百万、千万 Token 的上下文看似庞大,但在实际的任务如 Coding 任务中,很容易超过上下文限制。因为一个复杂的 Coding 任务中间会有大量工具调用,会返回海量的中间状态信息,所以看起来很大的上下文窗口,在实际应用场景下的容量非常小。

DeepTech:Memory 最核心的问题似乎不是存储,而是选择到底由哪部分来决定什么值得记住,哪些该遗忘?

郝建业:对,正是这样。我们最核心的技术,是通过训练一个记忆模型,让它学会如何对用户的数据做自适应的、智能化的全生命周期管理:哪些需要写入、哪些需要更新、哪些需要召回,整个全生命周期的记忆过程管理。我们相当于把这件事变成了一个可训练的学习问题。

DeepTech:具体来说,Memory Model 的奖励信号是什么?

郝建业:以 Coding 为例,我们通过端到端的 Coding 任务反馈信号,来对记忆模型进行训练和优化。这里的反馈信号大概可以分为两大类。

第一类是来自用户体验维度的反馈。用户能够感知使用与不使用记忆带来的体验差异,其中部分体验很难直接量化。所以我们做了大量内部用户测试,让用户标记我们召回的记忆好不好,这些标签数据就作为一种人工奖励信号来训练模型。

第二类是端到端的任务性能信号。和用强化学习训练 Coding Agent 类似,我们看使用记忆之后能不能帮助用户更高效地完成当前任务,比如代码正确性、执行成功率、执行效率的提升等。这些可量化的数据是另一类指引信号,用于端到端优化我们的记忆模型。

DeepTech:OpenAI、Anthropic 等模型公司完全有可能增强自己的长期记忆能力。为什么这件事需要一家独立的 Memory 公司来做?如果未来头部产品都原生加入 Memory,MemoraX 的独特的价值体现在哪里?

郝建业:在我们看来,记忆应该是一个独立的基础设施层,而非基础模型的附属能力。

不可否认,头部模型公司也在布局记忆能力,市面上一些基础模型产品已经具备了初级的记忆功能,但实现路径大多停留在文件存储和规则化管理的层面,本质上仍是以模型为中心向外延伸。

而我们选择了一条不同的路:从第三方视角建立一个中立、统一的记忆基础设施层。之所以必须独立的原因在于,基础模型公司做记忆,天然会绑定自家的模型生态。但现实中的 Agent 公司极少会锁定在某一家基础模型上——它们往往会根据任务特性,在不同场景下调用不同类型的模型来适配完成。

这意味着,记忆承载的是用户和 Agent 产品最核心的数据资产,它必须摆脱对单一模型供应商的绑定。作为第三方中立的记忆基础设施,这种不可替代性恰恰是我们最大的价值所在。

历史上有太多相似的先例:Apple 做了 iCloud,Dropbox 依然拥有独立且庞大的用户群;Google 做了 Google Drive,Box 照样在企业市场占据重要一席。基础模型与记忆模型之间,同样遵循这一逻辑:平台级的集成能力不等于专业化的独立价值。

所以,我们最核心的产品定位非常清晰——为用户提供跨平台、跨模型的统一记忆能力。

DeepTech:在技术路径上,MemoraX 强调的"内生型"记忆,和目前主流的"外挂型"记忆有哪些具体区别?

郝建业:我们所说的"内生型"记忆,核心是以数据驱动的可学习模型,自主完成信息的写入、更新与召回。相比之下,"外挂型"方案仍然依赖预设规则、检索流程或人工编排的工作流来管理记忆,本质上是用工程手段模拟记忆行为,而非让记忆能力本身进化。

从技术进展来看,我们在这条路线上的推进速度非常快。在最新一轮的公开榜单评测和内部测试中,内生型方案在多项核心指标上已经展现出显著的性能优势。

更关键的区别在于扩展性。因为我们走的是数据驱动路线——通过训练模型来提升记忆能力,这条路天然具备持续 Scaling 的属性。用户在使用产品时产生的每一次交互数据,都会回流到训练 pipeline 中,帮助记忆模型不断迭代、自我进化。这是一个正向飞轮。

这和市面上主流的规则或 Workflow 驱动方案有本质区别。规则式记忆只能在设计者预设的边界内生效,遇到未覆盖的场景就失效,泛化能力天然受限;更重要的是,它的上限取决于人工规则的数量和复杂度,不存在 Scaling 的可能——加再多规则,也堆不出真正的智能。

MemoraX Code 真正难在哪里

DeepTech:从目前公布的产品逻辑看,MemoraX Code 需要处理至少几类不同的信息。这些不同类型的 Memory,在存储、更新和召回策略上有什么本质差异?

郝建业:我们定义了几类不同的记忆存储类型。第一是对代码仓的记忆进行处理,也就是在最开始的时候,我们会对用户的代码仓做一个类似扫描的操作,然后抽取当前代码仓的静态信息,这样可以帮助我们快速对用户当前的工作状态有更好的理解。

第二是对用户的长期项目经验做专门的记忆存储,主要是为了解决用户在开发过程中,跨会话、跨设备,甚至是跨工具的长期开发过程中所积累的一些比较通用的项目开发规则和经验,这些记忆能够在未来的开发过程中帮助用户更好地提升开发效率。

第三是开发者的偏好,这也是大家在使用各种 Coding 工具时经常面临的一个痛点问题——工具经常会遗忘用户的开发偏好。我们专门对这种记忆进行存储和精准召回。

最后,我们还从历史任务中进一步提炼出 Procedure Memory,它主要针对过往的开发历史轨迹,通过学习的方式将其总结生成出一些可复用的 skill 或技能,然后在用户后续开发新任务时能够自适应复用,从而帮助提升用户后续的开发效率。

图丨记忆系统方案架构图

DeepTech:本地代码仓记忆和云端长期记忆分别解决什么问题?

郝建业:本地记忆帮助 Agent 快速理解"这个项目现在是什么样";长期记忆则帮助它理解"这个项目过去发生过什么,以及用户习惯怎样工作"。

DeepTech:现在不少 Agent Memory 产品,本质上可以概括成:LLM + 向量数据库 + 检索 + 摘要。但 MemoraX 强调的是"可学习的 Memory"。和现有这些典型方案相比,你认为真正的技术分水岭在哪里?

郝建业:我们最核心的目标是通过训练可学习的记忆模型,实现用户开发全周期的数据管理。首先是系统层面的挑战,这不是某个单一环节的问题,而是从数据构造和生产,到训练环境的完整构建,都需要围绕"记忆"这一核心能力进行重新设计。

第二个挑战是训练层面的:如何设计高质量的奖励函数,并实现对记忆系统的端到端训练。记忆模型的流程链路很长——从写入、更新到最终召回,涉及多个相互耦合的阶段。要对这样一个复杂系统进行端到端优化,背后需要一整套 Agentic RL 训练基础设施的支撑,包括高效的分布式并行训练框架、稳定的大规模实验管线,以及能够在长链路中有效传递梯度的算法设计。

DeepTech:Memory 最危险的问题可能不是忘记,而是记错。假设 Agent 曾经记住"这个项目不能修改数据库模式。"三个月后架构已经升级,但这条旧 Memory 仍然被高权重召回,它可能比没有 Memory 更糟糕。你们如何处理错误记忆、过期记忆和相互冲突的记忆?

郝建业:我们在两个方面进行了处理。第一,记忆模型会定期以类似梦境回放(dream replay)的机制,对用户过往存储的记忆进行周期性更新,从而尽可能降低前后冲突或错误。

第二,实际召回时,难免会出现不相关甚至错误的信息。我们认为这个问题需要分场景来看。对于 Coding 这类场景,我们更倾向于少召回信息,而不要错误召回,因为这两者给用户带来的成本完全不同。如果漏掉一个相关记忆,用户与未使用记忆时差别不大,无非是多探索、多消耗一些 Token,最终仍能完成。

但如果错误召回一个记忆,就可能误导用户,把整个执行方向带偏,这可能是致命性的,甚至导致任务失败。所以在设计上,我们会优先保证召回的正确性(precision first),而不是尽可能召回更多信息,这样才能尽可能保证用户体验。

DeepTech:普通的记忆可能是存一下之前写过的代码或操作日志,MemoraX Code 产品中的 Procedure Memory 比这更进一步的地方体现在哪里?

郝建业:Procedure Memory 的功能是会从用户大量的交互数据中自动的提炼出来流程性的工程经验,以技能的方式来指导后续类似场景工作。这是一种更广范围的能力沉淀,很多技能是跨越几十个会话和任务逐渐精炼而成的,这种模式是常规记录事实的记忆完全无法达到的能力。

普通历史记录保存的是整个过程。Procedure Memory 则试图从中进一步回答:这段过程里,究竟什么值得下一次直接复用?这也是我们理解的"Memory 从记录历史走向从历史中学习"。

DeepTech:Procedure Memory 在跨代码仓、跨任务类型、跨模型之后,还能保持多大的迁移能力?

郝建业:首先,我们抽取的 skill 有一定的适用范围,所以我们会在抽取的 Procedure Memory 中加上一些对应的标签。

其次,我们在训练过程中也会尽量让它保证泛化性,所以我们在离线训练模型的时候,也尽可能涵盖不同的任务场景,同时也涵盖不同的 Coding Agent,包括它们背后使用的基模,因为不同基模在执行任务时产生的轨迹,在复杂度和风格上也会有所差异。

总体来说,我们在训练 Procedure Memory 模型时,尽可能保证训练数据的轨迹能够多元化、跨任务、跨模型、跨工具,来保证我们提取的 skill 能够实现尽可能的泛化。

DeepTech:Procedure Memory 对复杂任务的实际提升有多大?

郝建业:我们选择了一类难度很高的任务——从 0 到 1 开发一个高并发交易系统,并将该任务下使用 MemoraX 的 Procedure Memory 和 Codex 官方的 Memory 解决方案进行了对比。这个任务很复杂,开发时间需要 Agent 连续工作 3 个小时左右。

在同样是 3 个小时的条件下,对比结果显示,使用 MemoraX Memory 最终所开发系统的质量实现了质的提升,综合得分从 11.71 提升到 70.30,关键检查项从 2/13 提升到 10/13。

同一个 Coding Agent 在拥有过去沉淀的工程经验之后,不只是更快想起了一些历史信息,而是整个任务的完成度都发生了明显变化。过去已经验证过的工程经验,开始真正成为解决新问题的一部分。

DeepTech:加入 Memory 会不会增加用户的成本?

郝建业:这里需要澄清的是,加入 Memory 并不意味着要把大量历史内容全部塞进模型。相反,我们能够显著降低用户的成本,API 调用成本从约 31.48 美元下降到 24.37 美元,降低了约 22.6%。

当然,除了高难度开发任务之外,我们在大量标准化的 Coding 任务上进行了广泛测试,包括在最新的 Agent Memory 领域很火爆的榜单 AML(Agent Memory Leaderboard)上取得了第一名的成绩。

Benchmark 之外,如何证明 AI 真的拥有长期记忆?

DeepTech:MemoraX 目前在 AML 的 Coding Track 上取得 62 分、位列第一。但标准 Benchmark 毕竟是在有限任务和有限时间范围内评估 Memory,而现实开发可能持续几个月甚至几年。今天的 Benchmark,究竟能在多大程度上证明一个 Memory 系统具有真正的长期学习能力?

郝建业:一方面,我们在内部训练记忆模型时,会尽可能从真实的 GitHub 代码仓中搜集或构造相应的训练数据及训练环境,尽量保证训练阶段的环境能够贴近用户的真实使用情况。

另一方面,这些 Benchmark,包括我们提到的最新的 Coding Benchmark,同样是从真实的代码仓中构造而来,因此我认为它们的评价指标具有较可靠的参考价值。此外,这些 Benchmark 中包含大量私有测试集,这些数据在我们模型训练时是未曾见过的,所以我认为这在一定程度上能够反映出我们模型的泛化能力。

另外,我们也并非针对榜单进行优化,我们发布的模型以及刚刚推出的 Memory Coding 产品一直在持续进行内测和公测,已经有大量真实的、不同类型的 Coding 用户在使用我们的产品。我们也会从这些真实的用户数据中持续迭代和优化我们的模型,进一步提升模型的泛化能力。

DeepTech:从你们的内部测试中,我看到两个很值得讨论的数字:85.5% 的记忆触发行为与用户判断一致;81.2% 的记忆内容获得正向反馈。对于 Coding 这样错误代价较高的场景,Memory 系统真正应该优化的是更高的召回率,还是尽可能低的误触发率?

郝建业:我们的确需要在两者之间做一个平衡,但我认为这两个指标同样重要。如果召回率过低,一些真正有价值的记忆可能无法被召回,会影响后续执行效率;如果误触发率过高,大量不相关甚至错误的信息进入上下文,同样会干扰 Agent 的判断。

因为我们采用"可学习"的方式来做这个事情,所以这两个指标对我们而言都是要去平衡和联合优化的指标。但对于 Coding 这类错误代价较高的场景,我们会更谨慎地控制错误召回。

目前内测阶段我们也发现,我们的记忆系统仍然能够快速通过用户反馈和数据飞轮进行持续迭代,从而不断提升记忆模型。因此,我们后续也会持续进行优化,同时推进这两个指标的改进。

DeepTech:是不是可以这样去理解:真正成熟的长期智能,可能最重要的能力不是"永远不忘",而是知道应该"忘掉什么"?

郝建业:是的,我认为记住什么很重要,而学会适当遗忘哪些也同样重要,这也恰恰说明了这个问题的复杂性。我们不能仅靠规则或人类先验知识来做记忆管理,或设计"怎么记、怎么忘"的解决方案。

所以,我们其实并没有显式地引入专家经验,而是从当前端到端任务的完成情况以及用户的反馈两个维度出发设计奖励信号,然后通过端到端优化的方式,让模型自己去学会"怎么记、怎么忘"。

当 AI 拥有长期记忆,它会变成什么

DeepTech:MemoraX 对自己的定位是一家 Coding Agent Memory 公司吗?

郝建业:从公司成立的第一天起,我们的定位就非常明确:构建记忆模型的基础设施层。

商业化路径上,我们率先推出的是面向 Coding 场景的产品。这不是随机的选择——Coding 是当下记忆能力价值最清晰、用户痛点最痛、付费意愿也最强的落地场景之一。开发者与 AI 结对编程的过程中,代码库的结构、项目的演进历史、个人的编码偏好,都是需要长期记忆支撑的高价值信息。

但记忆模型的边界远不止于 Coding。往更广阔的方向看,个人助手需要记住用户的生活习惯与偏好,知识管理类助手需要维护持续积累的知识图谱,交互式与娱乐类产品需要维系角色人设与剧情连续性——各行各业对强大且个性化的记忆能力都有刚性需求。

基于这一判断,我们正在两个维度上同时推进:一是横向拓展,探索不同类型的产品形态来验证记忆能力的通用性;二是纵向深耕,着手研发下一代交互式产品的原型,让记忆成为驱动全新用户体验的核心引擎。

DeepTech:公司成立以来融资速度其实非常快,从 4 月的种子轮,5 月的种子+轮,再到 8 月的种子++轮,三轮融资金额数亿元。在你看来,投资人看重公司和技术发展的因素有哪些?

郝建业:主要两方面原因:一是对记忆赛道本身的判断,记忆正在成为 AI 基础设施中最后一块关键拼图,业内越来越多人形成共识,很多人都说今年是记忆的元年;二是对团队的信任。投资人看中的不仅是我们在记忆模型上的技术积累,更是我们对这条技术路径的坚持——从数据驱动的内生型记忆架构,到端到端的 Agentic RL 训练体系,每一步都是在构建真正的技术壁垒。大家相信,我们有能力把记忆模型做成具备核心竞争力的独立产品。

DeepTech:你在 ICLR 2023 的一项工作中研究过多智能体系统的 Scaling 问题:随着 Agent 数量增加,状态空间会指数增长。今天做 Memory 似乎出现了另一个有些类似的问题——随着一个 Agent 运行时间越来越长,它拥有的历史信息也会不断增长。你觉得这两个问题之间存在可类比之处吗?

郝建业:如果我们把问题抽象到最底层,多智能体系统与记忆模型其实面对的是同一个根本挑战。

简单来说,当系统的某个维度持续扩张时,核心问题是如何在不依赖暴力枚举的前提下,优雅地缓解维度灾难。在多智能体领域,这个维度是空间——Agent 数量的增长会导致组合状态空间呈指数级爆炸。

我们当时的解法,是利用多智能体状态中的置换不变性(permutation invariance)和置换等变性(permutation equivariance),即 Agent 之间的顺序和身份不应当影响系统对群体状态的理解,从而将原本天文数字级的组合空间压缩到可处理的规模。

记忆方向面临的则是同一问题的另一个侧面:时间维度上的信息爆炸。随着交互轮次累积,历史信息的规模同样会呈指数级增长。因此,我们沿用了同样的设计思想——用可学习的方式训练一个记忆模型,让它自主学会在时间维度上进行信息的筛选、压缩与调度,以取代传统基于规则的硬性裁剪方案。

所以,两者最本质的设计哲学是相通的。我们始终希望从第一性原理出发,用结构化的、可学习的策略与机制,去直面并解决记忆管理中的维度爆炸问题。

DeepTech:从你的观察来看,这一年来外界对 Memory 赛道的态度发生了怎样的转变?

郝建业:如果回看一年前,Memory 这个赛道还处在相当早期的混沌状态。它的价值边界在哪里、应该以什么技术路径实现、在 AI 栈中处于什么位置——这些关键问题,无论学术界还是工业界,都还没有形成清晰判断。

但短短一年之后,情况发生了显著变化。两个层面的共识正在快速形成。

第一,Memory 必须作为独立模块存在,而不是被塞进上下文或外挂检索的缝隙里。随着 Agent 复杂度的提升,越来越多人意识到,记忆是一个需要专门设计和系统优化的能力层,它决定了 Agent 能否从"单次会话工具"进化为"长期协作伙伴"。

第二,技术路线必须是可学习的,而非依赖传统数据库或启发式规则的硬编码方案。规则式记忆的上限肉眼可见,可学习路线虽然工程门槛更高,但它是唯一具备 Scaling 潜力、能够随数据和场景持续进化的路径。

DeepTech:你觉得记忆模型这项技术,未来可能会对 AI 技术的发展带来什么样的改变或影响?

郝建业:我觉得未来记忆有可能会影响 AI 的商业模式。现在大家卖的是一个具有固定能力的基础模型,按照周期去发布不同能力的版本,但未来会慢慢变成另一种形态:交付的是能够让智能体持续成长、持续提升的能力。

用户购买的将不再只是一个能力固定的模型,而是一个能够在长期使用中积累经验、形成记忆,并持续适应用户的智能体。我觉得这可能是一个本质上的变化:AI 将从一个静态的 API 产品,变成一个能够持续成长的动态生命体。

运营/排版:何晨龙

注:封面/首图由 AI 辅助生成

宙世代

宙世代

ZAKER旗下Web3.0元宇宙平台

一起剪

一起剪

ZAKER旗下免费视频剪辑工具

相关标签

ai 创始人 麻省理工学院 自动驾驶 香港中文大学
相关文章
评论
没有更多评论了
取消

登录后才可以发布评论哦

打开小程序可以发布评论哦

12 我来说两句…
打开 ZAKER 参与讨论