多模态模型的视觉原生 Harness，来了！

最近，何恺明团队在最新论文《VISTA: A Visual Harness for Reasoning in an Interactive World》中，提出了一套视觉原生的 Harness ——。

VISTA。

它让现有的多模态模型直接观察环境、保存原始画面，并在推理时随时回看、放大和检查细节，无需从头训练。

相比于传统将环境抽象成文字或代码的做法，VISTA 保留了原始的视觉信息。模型可以根据眼下的问题，将过去看过的画面重新调入上下文，参与当前的判断与推理。

基于这套方法，视觉经验成为了模型随时调用、反复检查的上下文，而多模态模型，也有了围绕视觉记忆搭建的原生脚手架。

在评测方面，搭配 VISTA，Claude Opus 5.0 完成了 ARC-AGI-3 全部 25 个公开游戏，相对人类动作效率得分达到满分100，所用游戏动作数比首次游玩的人类基线少57.4%。

换成 GPT-5.6 Sol，同样全部通关，得分达到 99。

更进一步，团队还在浏览器游戏、迷宫和连线题中验证了这套方法，并将更接近物理世界的具身任务列为后续研究方向。

这是怎么做到的？

视觉原生的脚手架

从 ResNet、Mask R-CNN 到 MAE，视觉感知与表征学习始终是何恺明研究的一条主线。

这一次，VISTA 将目光投向了一个新问题：如何让模型在持续交互中积累、保存并利用视觉经验？

答案是Harness。

去年 11 月，Anthropic 曾以长时间编程任务为例，介绍了 Harness 如何帮助模型跨越多个上下文窗口，持续推进任务。

具体来说，Harness 会通过任务清单记录尚未完成的事项，通过进度文件和代码记录保存已经完成的工作。

这样一来，即使模型进入新的上下文窗口，也能通过读取这些信息，了解此前做了什么、接下来该做什么。

复杂任务由此可以分步执行、检查结果，并在不同上下文窗口之间接续工作。

可以说，这套主要通过文字和代码来保存任务状态的 Harness，在一定程度上推动了这一波 Agent 能力的爆发。

然而，在现实环境里，光有文字记忆，显然还不够。

因为一旦进入真实的视觉环境，模型不仅需要记住物体的位置、朝向，还要理解每次动作前后，环境究竟发生了哪些变化。

而且模型第一次看到一张图时，未必知道哪个细节会在后面变得重要。

与此同时，这些视觉信息，也很难提前用一份文字笔记完整记录下来，更难保证模型后续执行任务时，记录的信息依然够用。

在 ARC-AGI-3 这样的基准中，一种已有思路是先把画面转换成由数字组成的文本网格，再让模型编写程序，模拟环境规则、验证行动方案。

（注释：ARC-AGI-3 是一套交互式视觉推理基准，不预先提供游戏规则和目标，智能体需要通过观察和行动，自行摸索如何通关）

但问题在于，环境越复杂，物体的外观、空间关系和动态变化就越难被完整地转化成文字和代码。而且随着交互历史越来越长，早期画面也会被逐渐移出上下文，或者被文字摘要替代。

于是，在这里，VISTA 的研究问题就变成了：

如何在不额外训练基础模型的情况下，让智能体在推理需要时，重新检查过去看到的视觉信息？

基于此，VISTA 把环境返回的每一帧原样存到上下文之外，包括动作过程中的动画中间帧，模型需要时再取回来。

在 ARC-AGI-3 评测中，它既能比较不同时刻的画面，也能放大局部，检查小方块上的朝向标记。

其中，文字笔记记录模型当前的理解，原始画面保留供它重新判断的证据。

研究将这种机制称为对交互历史的显式注意力，模型根据正在思考的问题，选择哪些视觉信息重新进入上下文。

要想让这种选择成为可能，系统就得保存原始画面，并提供随时调取和检查的工具。

具体实现

为了让模型能够保存并利用过去的视觉经验，VISTA 设计了三个核心组件：

视觉观测、无损视觉记忆和主动视觉检查。这三个组件各有分工，分别负责让模型看清画面、保存历史，以及按需回看。

首先是视觉观测，负责将环境画面提供给模型。

在 ARC-AGI-3 实验中，VISTA 会将官方提供的 64 × 64 画面放大为 512 × 512 的 PNG 图像，同时保留物体的颜色、外观和空间关系，让模型能够直接观察环境。

其次是无损视觉记忆，负责保存模型看到的画面。

每次执行动作后，VISTA 都会完整保存环境返回的所有画面，包括动作过程中的动画中间帧，并按照回合号和帧号建立索引。

这样一来，模型就不必提前判断哪些信息值得记住，而是可以先把视觉经验完整保存下来，留待后续使用。

最后是主动视觉检查，负责让模型按需回看历史画面。

通过 inspect 工具，模型可以指定某个历史回合，调出对应画面，也可以裁剪、放大局部区域，检查其中的细节。

如果想知道某次操作究竟改变了什么，模型还可以一次调出多帧画面，对比动作前后的变化。

整个过程相当于给模型配了一套可以随时翻阅的视觉档案。 它不仅能看到眼前的环境，还能主动回看过去的观察结果，为接下来的行动提供依据。

说到这，这三个组件具体是如何配合工作的？

按照 VISTA 的执行流程，每个回合开始时，模型会先观察当前画面和可用动作，再结合此前积累的经验，判断当前环境的状态，并提出下一步行动的假设。

如果现有信息不足，模型就可以调用工具，回看历史画面、放大局部区域，甚至读取具体的像素信息，进一步寻找证据。

找到证据之后，模型并不会直接行动，而是先预测这次操作可能带来什么变化。

等动作执行完毕，再将实际结果与预测进行对比，检查自己的判断是否正确，并据此修正对游戏规则的理解。

如此反复，模型就能在持续交互中，一边探索环境，一边积累经验。

当然，光有视觉档案还不够。为了让模型在长时间任务中保持连贯，VISTA 还引入了两份文字笔记：

GUIDE.md：记录不同关卡之间可以复用的规则和经验。

WORKING.md：记录当前关卡的状态、进度和后续计划。

当上下文接近上限时，模型会先整理交接摘要，再进入新的上下文窗口继续执行任务。此前的文字笔记、动作历史和视觉档案都会保留下来。

这里还有一个值得注意的设计：VISTA 虽然完整保存了历史画面，却不会把所有图片一股脑塞进模型的上下文。

在完整方案中，每次执行动作后，框架默认只向模型展示最后一帧。至于动作过程中的中间画面，则统一保存在视觉档案里，等模型需要时再主动调取。

这样既保留了完整的视觉信息，也避免大量历史图片持续占用上下文空间。

更重要的是，VISTA 并没有为此额外训练一个新模型。

环境理解、行动规划和推理仍然由现成的多模态模型完成，Harness 则负责执行工具调用、保存视觉历史，并在模型需要时提供相应的证据。

换句话说，VISTA 改变的不是模型本身，而是模型获取、保存和使用视觉信息的方式。

实验验证

除了开头提到的实验以外，团队还在 GameWorld、AI GameStore 和 BabyVision 三个基准上测试了 VISTA，覆盖浏览器游戏、迷宫和连线等任务。

使用相同的 GPT-5.6 Sol 模型，相比官方基础框架，VISTA 在 GameWorld 的 170 项任务中，将成功率从 40.0% 提高到 63.3%；

在 AI GameStore 的 10 个游戏中，综合得分从 47.3 升至 140.3，其中人类中位数被归一化为 100；

在 BabyVision 选取的 39 道迷宫与连线题上，准确率从 41.0% 提高到 63.2%。最后这组任务只有静态图片，模型也能通过放大局部、检查像素，改善判断。

这些结果表明，保存原始画面、让模型按需回看，可以进一步发挥现有多模态模型的能力。

同一套 VISTA 框架只需少量适配，就能用于不同的游戏与谜题，也展现了它在更多视觉任务中的应用潜力。

在结论上，研究将未来的验证方向指向更接近物理世界的具身任务：让模型在持续变化的环境中，保存、复查并利用自己的视觉经验，决定下一步行动。

作者介绍

最后，让我们介绍这篇工作的作者们。

论文的三位共同第一作者为 Qiushi Han、胡珂雅和 Linlu Qiu，另外两位作者为 Cathy Wu 和何恺明。

Qiushi Han（Josh Han）目前是 MIT 运筹研究中心博士生，导师为 Cathy Wu。

胡珂雅（Keya Hu）目前是 MIT 电气工程与计算机科学系博士生，由何恺明和 Jacob Andreas 联合指导。

她本科毕业于上海交通大学 ACM 班，研究兴趣集中在语言与视觉的交叉领域，希望构建数据效率更高、泛化能力更强的智能体。

Linlu Qiu目前是 MIT 电气工程与计算机科学系及计算机科学与人工智能实验室的博士生，导师为 Yoon Kim 和 Jacob Andreas。

其研究方向包括自然语言处理和机器学习，曾在 Google Research 及 Meta FAIR 开展研究。

Cathy Wu目前是 MIT 土木与环境工程系、数据系统与社会研究所副教授，研究如何用机器学习和强化学习改进交通等复杂系统。

她在 MIT 获得学士和工程硕士学位，随后在加州大学伯克利分校获得博士学位。

何恺明目前是 MIT 电气工程与计算机科学系终身副教授，也是 ResNet、Mask R-CNN 和 MAE 等工作的主要作者。

他本科毕业于清华大学、博士毕业于香港中文大学，曾任职微软亚洲研究院和 FAIR，于 2024 年加入 MIT。

参考链接

[ 1 ] https://arxiv.org/pdf/2610.02200

一键三连「点赞」「转发」「小心心」

欢迎在评论区留下你的想法！

—  完  —

点亮星标

科技前沿进展每日见