今天的 AI 已经很会" 输出 "了。

语言模型预测下一个 token，于是可以回答问题、写文章、写代码。

图像和视频模型预测下一帧，于是可以生成越来越逼真的视觉内容。

具身模型预测下一步动作，于是机器人开始能够完成抓取、放置、整理等任务。

但这些能力背后，仍然有一个更底层的问题：模型到底是在学会某一种输出，还是已经理解了世界状态本身如何变化？

智源研究院悟界 · RoboBrain Orca Team 发布的技术报告 Orca: The World is in Your Mind，想探索的正是这个问题。

项目主页：https://orca-wm.github.io

技术报告：https://arxiv.org/abs/2606.30534

悟界 · RoboBrain Orca 发布后，迅速获得了海外研究社区的关注。

多位研究者将其讨论重点，放在了 " 真正的多模态表征世界模型 " 上：

Orca 并不是把文本、图像、视频、动作简单拼接在一起，而是尝试在统一的世界潜空间中，学习它们背后的共同状态与演化规律。

也有评论认为，Orca 更接近早期通用世界模型的形态，即先学习世界如何变化，再将这种世界表征读出到理解、预测和行动任务中。

△Orca 在海外研究社区引发讨论：从多模态表征、世界状态建模，到早期通用世界模型的可能形态

与此同时，Orca 也登上了 Daily Papers 月度榜单，并在 Hugging Face、X 等社区获得持续关注。

可以看到，世界模型正在成为下一阶段 AI 研究中被持续关注的重要方向。

△HF 论文月榜排名第一从 Next token, Frame, Action Prediction 到 Next-State Prediction

悟界 · RoboBrain Orca 并非一个更会聊天的大模型，也不是一个单纯追求视觉真实感的视频生成模型，更不是一个只面向机器人的动作策略模型。

它想走的是一条更基础的路线：

先让模型学习统一的世界状态表征，再从这个表征中读出理解、预测和行动能力。

换句话说，Orca 关注的是：当前世界处于什么状态，以及这个状态在自然演化、事件条件或外部干预下，会如何转移到另一个状态。

这就是 Orca Team 所探索的 Next-State Prediction。

" 我们不会让一个 3 岁小孩进工厂，打 10 万小时螺丝。" 这是 Orca Team 解释这项工作时，用过的一个比喻。

这句话不只是在说机器人，也是在说今天很多 AI 模型的共同处境：语言模型被训练去预测下一个词，视频模型被训练去生成下一帧，具身模型被训练去模仿下一步动作。

它们看起来任务不同，但底层逻辑很像——一上来就把模型放进某个具体工位，让它围绕某一种输出反复练习。

这条路当然有效，但问题是，一个还没有理解世界的模型，真的能只靠 " 打螺丝 "，走向通用吗？

Orca 团队的判断是：顺序可能要反过来。别急着让模型学 " 下一步怎么动 "，先让它上一堂关于世界的 " 义务教育 " 课。

先利用多模态世界信号学习好世界表征；再做好一切任务

这也是 Orca 的核心哲学：The World is in Your Mind.

悟界 · RoboBrain Orca 如何学习世界变化？

人在不会讲话之前，就能通过看学习到客观的世界，例如风吹叶落；在成长中，人类还可以通过一句话、一本说明书感知并理解具体事件。

Orca 将它们抽象为两类互补的学习方式：无意识学习和有意识学习。

第一类是无意识学习。

模型从连续视频中学习自然、稠密的状态变化，不依赖显式语言标注。

比如一个物体如何移动，手与物体如何接触，场景如何随时间演化。这类学习对应真实世界中大量连续观察，帮助模型捕捉自然动态。

△图片为 AI 生成

第二类是有意识学习。

模型引入语言和事件，让状态转移不只来自连续观察，也可以被语义条件约束。

语言可以描述一个事件、一个任务意图，或一个要达到的目标状态。模型需要在当前观察和语言条件之间建立联系，学习稀疏但更有意义的状态变化。

两类学习共同服务于同一个目标：构造一个能够表达世界状态、并支持状态转移建模的 world latent。

12.5 万小时视频、1.6 亿事件助力模型学习世界

Orca Team 构建了自动化筛选、标注管线，从海量的互联网数据中处理后，得到了12.5 万小时视频、1.6 亿条事件标注和 1150 万条 VQA 的数据库存。

这些数据共同构成了 Orca 学习状态转移的基础。

这些数据覆盖第一视角交互、第三视角物体操作、机器人执行视频、自然动态场景、事件级状态转移和通用视觉问答等多种来源。

换句话说，Orca 并不是只在机器人轨迹、图像编辑任务或单一问答数据上训练，而是从更丰富的真实世界信号中学习统一的世界潜空间。

基础设施优化：FlagScale 带来 4.4 倍加速

智源团队基于自研的FlagScale框架进行了系统级重构：

FSDP2 升级：实现更灵活的参数与优化器状态分片，并对轻量级视觉块取消分片以减少调度开销；

分块交叉熵损失（Chunked Cross-Entropy Loss）：避免在前向传播中一次性实例化完整的 Logits 张量，大幅降低显存峰值；

前向 / 后向预取（Forward/Backward Pre-fetching）：让 FSDP 的 All-Gather 通信与当前层的计算充分重叠。

在 H100 集群上，这些优化将训练吞吐量从 StarVLA 基线的 0.66 提升至2.91 Samples/Sec/GPU，实现了4.4 倍的显著加速。

One for All：一个 world latent，统一承载理解、预测与行动

世界表征听起来很诱人。但真正重要的问题是：它能不能被验证？

Orca 的实验设计，围绕两个问题展开：

第一，随着预训练数据增加，world latent 会不会变强？

第二，一个更强的 world latent，能不能带来更好的下游能力？

为了回答这两个问题，团队没有把 Orca backbone 和下游任务一起端到端训练到最强。

相反，他们在下游阶段冻结 Orca backbone，只训练轻量的 readout 模块，这样做很关键。

如果整个系统一起训练，最后效果变好了，很难判断到底是 Orca 的 world latent 有用，还是后面的 decoder 或 policy 自己重新学会了任务。

但如果 backbone 保持冻结，只换不同的轻量读出接口，仍然能读出语言、图像和动作能力，就更能说明：真正提供信息的是 Orca 学到的世界表征。

因此，Orca 设计了三类 readout：

文本读出，用于验证模型能否把世界表征转成理解和推理能力。

图像读出，用于验证模型能否根据当前状态和条件，预测未来视觉状态。

动作读出，用于验证模型能否把世界表征迁移到真实机器人控制中。

这三类能力分别对应：理解、预测、行动，也就是一个世界模型最应该具备的三件事。

Scaling 带来的，是更强的世界表征

实验中，一个重要观察是：随着预训练数据规模增加，Orca 的训练损失持续下降，没有很快饱和。

更关键的是，从不同训练阶段取出的 checkpoint 也显示出：随着预训练推进，文本、图像和动作 readout 的表现同步提升。

这说明 Orca 探索了一条具有扩展潜力的世界学习路线。

值得注意的是，所有对比结果均来自于一套预训练主干 ckpt，并且没有使用一条刷榜数据。

文本读出：关注 " 世界如何变化 "

在文本生成和视觉问答任务中，Orca 与多类视觉语言模型和世界模型进行了对比。

结果显示，在4B规模下，Orca 在多项综合评测中取得了更高的平均表现。

但更值得注意的是，它的提升并不是平均分的简单堆高，而是集中体现在状态转移、事件演化、动态运动理解等维度上。

这很符合 Orca 的出发点：让模型理解画面中的事物接下来会如何发展、事件之间如何推进、当前状态和未来状态之间有什么关系。

对于一个世界模型来说，这比普通视觉问答更关键。

因为真实世界不是静态图片的集合，而是一个持续变化的系统。

图像读出：不是成为一名 " 画家 "，而是为了预测得合理

这和传统图像生成不是一回事。

很多图像模型擅长生成视觉上精美、符合先验的画面。

但真实交互预测要求模型尊重当前场景、物体关系、动作条件和物理约束：

它不能随意补出一个看起来合理但并不存在的物体。

不能让机器人本体消失。

不能破坏原本的空间关系。

也不能忽略指令真正要求的状态变化。

在真实交互场景中，Orca 的图像读出更强调 " 未来状态是否合理 "。

它能更好地保持机器人形态、物体布局、场景一致性和指令约束，生成更符合真实交互过程的下一状态。

所以，Orca 展示图像读出，并不是为了证明自己会 " 画图 "，而是为了把图像作为一种可视化验证：模型是否真的知道，当前世界在某个条件下应该变成什么样。

△现有的图像生成模型存在着指令不遵循、凭空出现物体和人手，以及刻板的物理印象：例如只要出现 " 红色气球 " 的描述就会画面中出现一个充满气的红色气球，而并不判断当前气球的真实状态。Orca 的图像预测会更加遵循真实世界的物理交互规律。最惊喜的是具身：预训练没看过 action，也能帮机器人

悟界 · RoboBrain Orca 最值得关注的实验之一，来自真实机器人动作读出。

在预训练阶段，Orca 没有使用带 action label 的机器人轨迹。

也就是说，它没有提前学习某个机械臂应该如何移动，也没有在大规模动作数据上模仿机器人策略。

但在下游动作任务中，团队冻结 Orca backbone，只接入一个从零训练的 DiT-style Action Expert。每个任务只使用 200 条域内轨迹进行后训练。

二元成功率、白盒过程打分和黑盒模型打分结果显示，在物体泛化和场景泛化的 OOD 任务中，Orca 仍然能带来明显增益。

这件事的重要性在于：Orca 并不是通过预训练直接记住机器人动作，而是先学到的是世界状态变化。

尤其是在失败恢复上，这一点更明显。

三类训练目标，缺一不可

为了进一步分析 Orca 的能力来源，团队还做了消融实验。

分别移除无意识状态转移、有意识事件转移和 VQA 语言监督，观察文本、图像和动作读出的变化。

结果显示，三类目标各自承担了不同作用。

悟界 · RoboBrain Orca 还只是开始

悟界 · RoboBrain Orca 并不想把自己包装成 " 世界模型已经完成 "。

相反，Orca 团队在技术报告中充分讨论了当前限制。

Orca 的价值，不在于宣称自己已经完成了世界模型，它更像是在给当前纷乱的 World Model 讨论，提出一个新的坐标系：

世界模型不应只被某一种输出模态定义。

它更应该学习世界如何被表征、如何变化，以及这种表征如何支持理解、预测与行动。

未来，这条路线也不只服务机器人。物理系统、生命过程、宏观宇宙、微观量子、科学实验，本质上都可能包含状态、干预和转移。

不同领域当然需要不同数据和建模方式，但 "学习世界状态如何变化" 这个问题本身，具有更基础的意义。

AI 的下一步，也许不是更快地输出答案、生成画面或执行动作，而是先在内部建立一个足够稳定、可预测、可迁移的世界。

The World is in Your Mind.

* 本文系量子位获授权刊载，观点仅为原作者所有。

一键三连「点赞」「转发」「小心心」

欢迎在评论区留下你的想法！

—  完  —

点亮星标

科技前沿进展每日见