AI 自己玩手机、玩电脑、操作网页浏览器……背后还只靠一个模型。

卷王字节 Seed 又把智能体带到了一个全新 level~

比如任务是酱紫的：

编写一个可以转换重量单位的函数。如果原始单位是千克，目标单位是克，并且要转换的值是 Mathilde Seigner（法国知名演员）被提名凯撒奖的次数加 1，最终结果会是多少？

而通过一系列操作，Agent 仅用时 35s 就得出了答案为 4000 克。

这就是 Seed 最新发布的智能体UI-TARS-2，它不止采用了 All in one 这样的原生设计，而且表现更是优于 Claude 和 OpenAI Agent 等竞争对手。

来看团队成员晒出的成绩单，不管是操作电脑 / 手机，还是使用浏览器、玩 15 款小游戏，其丝滑程度和完成率现在已经超越一众竞争对手，并进一步接近人类水平。

而且这里还透露了 UI-TARS-2 背后的关键秘诀：

一个通过多轮强化学习训练的原生 GUI 智能体

划重点，多轮强化学习。依靠这一技巧，UI-TARS-2 核心解决了 " 让 AI 自主操作图形界面（GUI）" 的四大难题：

数据稀缺：以往方法需要上百万级高质量标注数据，成本极高，扩展困难。

环境割裂：不同任务（电脑、手机、网页、终端、游戏）通常要在不同框架里训练，无法统一。

能力单一：大多数智能体只能做 GUI 点击或终端命令，难以完成真实复杂任务。

训练不稳定：强化学习在 GUI 任务上容易出现奖励稀疏、策略崩溃，模型很难可靠收敛。

且看字节团队如何见招拆招——

针对四大难题打出 " 组合拳 "

先来看 UI-TARS-2 的整体设计思路和框架。

其核心目标为：构建一个真正原生、通用、跨平台的 GUI 智能体，能在电脑、手机、网页、终端，甚至游戏里自主完成复杂任务。

为此，UI-TARS-2 架构主要包含下面这几个部分：

1、统一的 Agent 架构：以大语言模型为核心决策器（Planner），将自然语言指令→ GUI/ 终端 / 工具操作，全部纳入一个通用执行循环，同时支持 GUI 点击、键盘输入、终端命令、API 调用等多种操作流。

2、多模态感知与环境交互：输入端整合屏幕截图（视觉）+ 文本上下文 + 历史操作轨迹，输出端可以是点击坐标、拖拽动作、命令行、甚至 API 请求，形成感知—决策—执行—反馈的完整闭环。

3、多轮强化学习：不依赖人工标注，而是通过环境反馈奖励优化策略，同时采用模拟环境（sandbox）+ 自动化任务生成，构建出 " 数据飞轮 "，让模型能不断自我进化。

4、混合操作流（Hybrid Flows）：在一次任务轨迹中，智能体可以无缝组合 GUI 点击、终端命令和 API 调用。例如，在网页上找资料（GUI），处理数据（终端），再调用搜索 API（工具）。

下面这个让 UI-TARS-2 玩游戏的例子，很好地展示了这套框架的具体运作过程：

而基于这套框架，UI-TARS-2 逐一解决了智能体自主操作 GUI 面临的四大难题。

靠 " 数据飞轮 " 解决数据少的问题

为了打造数据飞轮，团队采用了以下策略：

1）冷启动：这一阶段主要是广泛收集原始数据，以及通过合成数据和人工标注来构建监督微调所需的原始高质量、任务针对性强的数据。

2）多轮迭代：有了数据之后，先让模型通过预训练学习更广泛的知识（如不同 GUI 操作流程、任务解决思路等），再使用高质量特定任务数据对模型进行优化，最后通过强化学习进行端到端优化。

在每轮迭代中，团队会使用拒绝采样（RFT）或交互标注生成新轨迹，这些轨迹记录了模型在执行任务过程中的推理、动作、环境状态以及反馈等信息，将其按质量筛选后，高质量的进微调数据集，低质量的进预训练数据集。

3）循环增强：然后模型用更新后的数据集重新训练，能力提升后又能生成更好的轨迹，形成" 模型变好→数据变好→模型更好 " 的循环，不断解决数据稀缺问题。

用 " 多轮强化学习 " 让 AI 操作更稳

针对传统强化学习在 GUI长周期任务中" 奖励稀疏、优化不稳定、信用分配难 " 的问题，团队从任务设计、奖励机制、训练流程三方面进行了优化。

如何进行任务奖励设计？团队先对任务类型进行拆分：

对可验证任务（如游戏得分、网页信息检索），用明确信号（成功 / 失败、LLM 对比答案打分）当奖励；

对模糊任务（如复杂 GUI 操作），训练 UI-TARS-2 自身作为 " 奖励模型 "，根据轨迹和截图输出任务成功分数，保证奖励可靠。

确定了这一模式后，团队摒弃 " 等所有任务完成再训练 " 的模式，转而采用 " 异步 rollout" ——

把模型推理环节单独拿出来，和实际执行过程分离，互不干扰；同时只要凑够最少需要的轨迹数量，就立刻用这些完成的轨迹开始训练，那些未完成的就留到下一轮。

等到训练时，团队还在 PPO 算法上进行了 3 处优化，从而让模型操作更稳，包括用 " 解耦 GAE" 避免长序列价值估计偏差、用 " 不对称裁剪 " 鼓励模型尝试那些看似不常用、但可能有效的操作等。

打造 " 混合操作环境 " 突破界面限制

为解决纯 GUI 操作（仅鼠标 / 键盘）无法应对数据处理、软件开发等复杂工作流的问题，团队构建了"GUI+ 多工具 "融合的交互环境：

不仅整合多操作流，比如在同一环境里，智能体既能做 GUI 基础操作（点击、输入、滚动网页 /APP），又能直接调用终端命令（如用 Bash 处理文件）、调用 API，无需切换上下文。

还为其适配多场景载体，比如在云虚拟机里，内置文件系统、远程 VS Code、Jupyter 等工具；在浏览器沙箱里，也能关联终端功能，让操作覆盖 " 桌面 - 移动 - 游戏 " 全场景。

建 " 统一沙盒平台 " 支撑大规模训练

针对传统环境 " 难复现、易崩溃、吞吐量低 " 的工程瓶颈，团队打造了兼容多载体的统一沙盒，保障百万级交互训练需求。

简单来说，这就是一个虚拟的模型训练场，支持智能体在里面大规模练习、试错和进化。

以下为一个浏览器沙盒的示意图，据此也能看到沙盒的大致运作方式：

优于 Claude 和 OpenAI Agent 等竞争对手

那么，UI-TARS-2 的实际表现如何呢？

根据介绍，UI-TARS-2 是团队基于 Seed-thinking-1.6（总参数 230B，含 532M 视觉编码器 + 23B 激活参数），经过多轮迭代训练而成。

在多个权威 GUI 测试里，比如 OSWorld（369 个 Windows/Ubuntu/macOS 任务）、WindowsAgentArena（150 个 Windows 任务）、TerminalBench（命令行任务）等，它的得分都比 Claude、OpenAI 的同类模型更高。

换句话说，在电脑、手机、浏览器操作上，UI-TARS-2 的表现明显更好。

而且在 15 款小游戏（比如 2048、拼图、迷宫）里，它的平均得分差不多是人类水平的 60%，比 OpenAI、Claude 的游戏 AI 强不少，有的游戏（如 "Shapes"）甚至比人玩得还好。

即使面对一些更复杂的游戏测试（LMGame-Bench），它也能和 o3 打得有来有回。

当然了，它不光会点界面、玩游戏，还能干 " 查资料 "、" 写代码修 bug" 这样的活儿，而且成绩比只靠界面操作强很多。

总之，UI-TARS-2 无疑验证了多轮强化学习在智能体进化上的有效性。

论文：

https://arxiv.org/abs/2509.02544

demo：

https://seed-tars.com/showcase/ui-tars-2/

参考链接：

[ 1 ] https://x.com/TsingYoga/status/1963629621326614940

[ 2 ] https://x.com/_akhaliq/status/1963229296236937443

一键三连「点赞」「转发」「小心心」

欢迎在评论区留下你的想法！

—  完  —

专属 AI 产品从业者的实名社群，只聊 AI 产品最落地的真问题   扫码添加小助手，发送「姓名 + 公司 + 职位」申请入群～

进群后，你将直接获得：

  最新最专业的 AI 产品信息及分析  

   不定期发放的热门产品内测码

   内部专属内容与专业讨论

点亮星标

科技前沿进展每日见