上周,宇树科技创始人王兴兴在 2026 世界机器人大会上表示,目前具身智能最大的瓶颈是泛化能力不够。为此,公司正着力推进物理 AI 机器人模型研发,加速补齐具身 " 大脑 " 短板。
事实上,以世界模型为核心的物理 AI,已被业界视为 AI" 下一个必争之地 "。从 "AI 教母 " 李飞飞到图灵奖得主杨立昆,从谷歌到英伟达,大咖、巨头纷纷入局。然而,究竟该如何构建世界模型?通向 AGI 的所有瓶颈都能靠世界模型解决吗?答案远非想象中那么简单。
图片来源视觉中国
一只玻璃杯从桌上跌落,会发生什么?如果你问 ChatGPT,它会给出详细解释:重力如何让杯子沿抛物线轨迹下落,撞击产生的应力若超过材料承受极限,杯子就可能碎裂……可我 3 岁的女儿才不管这些细节,她只会说:" 杯子摔碎啦,水洒得到处都是!"
当我们探讨人工智能的未来时,这种人机差异值得深思。如今驱动聊天机器人的大语言模型,本质上只是海量文本训练出来的 " 下一个词预测器 "。没有哪个大语言模型真的碰落过桌上的杯子,或是向墙上扔过意大利面,抑或骑着滑板车冲进池塘。这些缺失的现实经验,可能从根本上限制了 AI 的能力。
因此,一些研究者认为,要将 AI 提升到新高度,关键不在于更大规模的语言模型,而是世界模型——一种通过观察来学习,从而能够模拟现实世界中行动后果的系统。
世界模型已迅速成为 AI 研究的新热点。它在自主机器人上的应用前景吸引了产业界和商界的大量关注。更令人着迷的是,它还提供了一条通往通用人工智能(AGI)的可能路径,即让机器具备人类级的推理能力,并能跨任务灵活运用。
不过," 世界模型 " 这个词被滥用成了一个万能筐。美国新墨西哥州圣菲研究所的梅兰妮 · 米切尔说:" 只要 AI 系统做不好什么,大家就说‘噢,那得靠世界模型来解决’。" 但这些系统到底该建模什么尚不清楚,对物理世界的内部表征是否足以支撑真正的通用智能,更是一个悬而未决的问题。
3 岁的孩子虽然说不清道理,但凭直觉就知道杯子跌落后会怎样。这种智能,机器还远未企及。
大语言模型读不懂物理世界
要理解 AI 领域的世界模型,需回溯其在认知科学中的思想源头。1943 年,心理学家肯尼斯 · 克雷克提出了 " 心智模型 " 的概念,认为大脑会构建一个关于外部现实的 " 小尺度模型 ",用以在脑中模拟和预测事件,从而在未来情境到来时作出更全面、更安全、更及时的反应。
此后数十年,这个想法不断演进,其中最著名的是预测加工理论。该理论认为认知的核心是大脑不断生成对外部世界的预测,并根据感官反馈进行测试和修正,以实现预测误差最小化。
美国麻省理工学院的认知科学家兼人工智能研究员乔什 · 特南鲍姆表示:" 核心观点是这种智能会在脑海中构建一个世界模型,让我们能够模拟结果以避免代价高昂的错误。"
人类的大脑拥有一种 " 世界模型 ",使我们能够预测接下来会发生什么
世界模型引起 AI 研究者的兴趣,并不奇怪。大语言模型确实展现出了惊人的能力,也常常给人一种 " 它们像人类一样理解事物 " 的印象。但语言终究只是对现实的描述,而非现实本身。缺乏直接经验意味着,即使最强大的语言模型,在理解物理世界方面也会暴露出局限。
米切尔说,当大语言模型被问到涉及空间概念或其它物理世界中的事情时,它们往往表现不佳。在 2024 年的一项研究中,研究者用美国纽约出租车行程的导航数据库对语言模型进行训练,发现该系统虽能够提供两点之间的合理路线,但在被要求采取非标准绕行路线时,表现就一塌糊涂。
这是因为大语言模型仅掌握对行程的文字描述,缺乏人类那种能想象不同情境下会发生什么的 " 心智地图 "。导航只是其中一个例子,大语言模型在任何一个需要模拟物理世界的场景中,比如平稳地把碗放进洗碗机或叠好一件衣服,都会表现出类似的短板。特南鲍姆说:" 它们本就不是为此而设计,所以人们对世界模型等替代方案寄予厚望。"
什么才算真正的世界模型?
在世界模型研究领域,最具影响力的倡导者当属纽约大学计算机科学家、Meta 前首席 AI 科学家杨立昆(Yann LeCun)。他在 2022 年的一篇论文中首次提出,要构建真正智能的系统——能够推理、规划并在现实世界中有效行动,就必须引入世界模型。
今年 1 月,杨立昆在达沃斯人工智能论坛上重申了这一观点:" 我无法想象,缺少预测自身行动后果的系统,我们如何能做得出真正的 AI 智能体。" 在他看来,关键在于这个系统能通过观察来学习世界的运行规律。
去年 12 月,杨立昆离开 Meta,创立 AMI Labs,并筹集超过 10 亿美元用于构建世界模型系统。比他更早一年,有 "AI 教母 " 之称的美国斯坦福大学教授李飞飞创立 World Labs,获得 2.3 亿美元投资,专注开发具备 " 空间智能 " 的 AI。此外,谷歌 DeepMind 等知名 AI 公司也在以不同形式全力押注世界模型。
大量资金涌入,主要源于业界对世界模型在机器人领域蕴藏巨大潜力的期待。不过当前仍处于早期阶段,现有原型的应用范围还很有限。World Labs 开发的 Marble 系统,可根据文本提示生成连贯的 3D 场景;DeepMind 的 Genie 3 则能创造逼真的交互式虚拟环境,例如 " 黄昏时分的雪山 ",用户可在其中自由移动数分钟,甚至触发下雨等动态事件。
两家公司都将这些系统称为 " 世界模型 "。但仔细审视会发现,Marble 本质上是一个 3D 场景生成器,而 Genie 3 更像一款可交互的游戏模拟器,更侧重于生成或模拟环境。
Google DeepMind 的 Genie 3 创建了用户可以通过基于文本的提示来探索的世界
什么才算真正的世界模型?它应内嵌于智能体之中,使智能体在行动前能够预测决策后果、设想未来情境并制定计划。2025 年 9 月,DeepMind 发布的 Dreamer 4 系统正在朝这一方向努力。该系统主要基于《我的世界》游戏数据,学习构建自身所处环境的内在预测模型,并利用这些数据训练智能体反复 " 构想 " 各种可能的行动结果,从而持续优化自身行为策略。
"Dreamer 4 与 Genie 3 最大的不同在于,它是一个智能体,而不仅仅是一个世界的模型。"DeepMind Dreamer 4 团队负责人丹尼贾尔 · 哈夫纳说,它会在想象中进行试错和规划,并通过反复迭代来自我改进。
Dreamer 4 自行摸索出了在《我的世界》中收集钻石的方法。这项任务涉及数千种不同动作,包括采集资源、制作工具、在地形中穿行,而系统从未被教过如何玩这款游戏。哈夫纳说:" 它必须自己理解环境并具备泛化能力,因为每一轮新游戏都起始于一个随机生成的世界。"
这才是那种有望让自主机器人学会叠衣服、把碗放进洗碗机的 " 世界模型 " 雏形。哈夫纳认为,它将彻底改变机器人技术。现在," 方法已经有了,缺的只是落地执行,就像语言模型那样,我们需要数据、算力、规模化和细节打磨 "。
如何让机器学会空间推理?
Dreamer 4 证明了具备内部世界模型的智能体确实能推理和规划,但它留下了一个更深层的问题:这些系统到底该学习关于世界的哪些内容,以及该学到多细?
当前许多策略是尽可能高保真地重建世界,在给定行动的前提下生成预测。但杨立昆认为这个方向不对,至少不是最佳选择。因为人类在大脑中模拟世界时,并不会模拟到很精细的程度,更不会逐像素地想象。当我们想象一只玻璃杯从桌上掉落摔碎时,我们不会去预测每一块碎片、每一滴水的具体位置。在他看来,人脑运行的是高度压缩的模型,只捕捉那些最关键的方面。
基于这一思路,杨立昆提出了一种不同的架构,称之为 " 联合嵌入预测架构 "(JEPA)。该架构不直接重建像素,而是在抽象表征空间中根据已知部分预测未知部分。美国布朗大学研究员兰德尔 · 巴莱斯特里耶罗曾与杨立昆合作开发基于 JEPA 的世界模型。他说:"JEPA 会把无关紧要的细节过滤掉,只关注对智能体有用的部分。"
这种方法所需的训练数据更少,杨立昆和他的投资者似乎押注这条路可以更快落地。目前最具体的公开技术演示是 Meta 在 2025 年 6 月发布的 V-JEPA 2 系统。它基于视频输入进行训练,通过遮蔽视频片段中的特定区域,例如在多个连续帧中遮挡一个移动的球体,然后反复预测被遮挡内容的抽象表征而非像素,从而构建出关于球体运动方式的紧凑内部模型。简单来说,该系统无需详细重建物理世界,即可对其因果结构进行建模。
巴莱斯特里耶罗认为:" 没有抽象化,AI 将永远困在狭窄的任务里。" 当然,这并不意味 JEPA 一定优于生成式世界模型。V-JEPA 2 尚未明确证明,其抽象表征足以让智能体在开放环境中进行真正的推理和规划。" 最大的问题是,我们怎么知道这种抽象确实有用,究竟要捕捉什么信息,以及如何编码这些关于世界且对后续规划有用的丰富信息。" 巴莱斯特里耶罗说。
不过,哈夫纳并不认为对现实的表征越压缩就越好。他说:" 我们的最终目标是学习强有力的表征,Dreamer 4 目前以像素作为训练数据,在抽象空间中进行预测,这种方法已被证明极为稳健。"
距离人类智能还有多远?
目前所有在研的世界模型,无论通过高保真重建还是抽象表征来学习和预测,最终是否足以通向通用人工智能,尚无定论。
当然," 通用人工智能 " 本身是个含义宽泛的词。关于世界模型能否成为通往通用人工智能的可行路径,各方看法也不尽相同。DeepMind 在发布 Genie 3 时宣称,世界模型是 " 一块关键的垫脚石 ",因为它能在丰富多样的模拟环境中无限训练 AI 智能体。哈夫纳也说:" 如果系统能够表征支配世界运行的规则,那它就在接近通用人工智能。因为那就是理解,是智能的关键组成部分。"
一些科技投资者表示,世界模型将是通往通用人工智能的有效途径
杨立昆则相对审慎。他将世界模型视为更大系统中的重要组件,而非全部。那么目前这些世界模型到底离人类智能还有多远?搞清楚这个问题能帮我们看清当前研究还缺什么。
哈夫纳认为,眼下最紧迫的缺口是 " 时间抽象 " ——不仅要有能力推断近期会发生什么,还要能预判事态如何随着时间推移持续演变。" 你不能用亚秒级、逐帧的方式模拟一切,因为人类根本就不是这样推理的。" 他说,这是还没有攻克的领域之一。
在特南鲍姆看来,人类的世界模型远不止是一个 " 预测引擎 "。人类的推理还依赖因果抽象、假设驱动推断等多种复杂机制。很多人误认为智能是一元的,即大脑里只有一个世界模型。实际上,人类会根据不同的情境、任务和目标,同时运行多个不同的模型。正是这些能力的叠加,让我们得以在不同场景中灵活地重组知识。" 仅扩大世界模型的规模,能复现那种丰富性吗?我想恐怕不能。" 特南鲍姆说。
米切尔也表达了类似的担忧:" 能够对世界的某些方面进行压缩且可模拟地表征,当然非常重要。世界模型这个概念大概率也会带来有用的改进,但智能还有很多其它同样关键的维度。"
她认为,当前 AI 系统另一大局限是缺失对自身认知状态的觉察,即自己知道什么、不知道什么,以及存在多大程度的不确定性。" 这能靠世界模型解决吗?也许可以," 她说," 但我有点担心,‘世界模型’这个说法会被当作一个筐,用来装下当前技术与通用人工智能之间的所有差距。"
总之,目前所构想的世界模型,对实现人类级别的机器智能来说是必要的,但未必充分。它们大概率会在机器人领域带来突破性进展,甚至可能在科学模拟中发挥作用,但能否真正复现人类认知中世界模型的运作方式,实现更广泛的人类级智能,还远未可知。
说到底,要复制 3 岁孩子的大脑在建模和预测物理世界方面的能力,绝非一件可以小觑的任务。
延伸阅读:世界模型有什么用?
世界模型未必会带来下一个 "ChatGPT 时刻 ",让数百万人突然发现一个可以在日常生活中使用的强大工具。其潜力并不在于更优秀的聊天机器人,也不在于消费者短期内能察觉到的任何具体应用,而是新一代人工智能系统。这些系统最先落地的场景大概会是在工厂和仓库中工作的自主机器人,之后才可能慢慢走进家庭。
原因很简单:让机器人在现实中反复试错可能很危险,从海量训练数据中学习应对各种情况,可能成本高昂。由 AI 世界模型驱动的机器人可以在 " 想象 " 中预演无数种场景的后果,再选出最安全、最有效的行动方案。谷歌 DeepMind 公司从事世界模型研究的丹尼贾尔 · 哈夫纳表示,机器人技术有潜力改变一切。
除了机器人,世界模型还被寄望于加速科学探索,尤其是在材料科学和药物研发领域。这些领域的核心挑战在于,从海量的候选分子或原子排列中找到最优解。世界模型通过学习底层物理原理,可在实验室尚未进行任何制备或测试之前,就模拟出无数种可能性,比如某个分子会如何与蛋白质结合,或者哪种假想化合物最能高效捕获二氧化碳。
美国布朗大学的兰德尔 · 巴莱斯特里耶罗表示,关键是它在 " 想象空间 " 中规划。一旦拥有这种抽象的预测工具,例如在开发药物时,就可以设想 " 如果添加某种化学物质或进行某种操作会怎样 ",不必在现实中动手就能预测结果。这让一切变得更便宜、更快捷。


登录后才可以发布评论哦
打开小程序可以发布评论哦