智东西

编译 | 李水青

编辑 | 心缘

智东西 6 月 25 日报道，今日凌晨，谷歌推出首个设备机器人模型 Gemini Robotics On-Device，进一步将 Gemini 2.0 的多模态推理和现实世界理解能力带入物理世界。

今年 3 月，谷歌推出了其最强 VLA（视觉语言动作）模型 Gemini Robotics。今日推出的 Gemini Robotics On-Device 是 Gemini Robotics 经过优化的版本，也是其首个可供微调的 VLA 模型，可在本地机器人设备上运行，具备强大的通用灵活性和任务泛化能力。

如视频所示，Gemini Robotics On-Device 将 AI 引入机器人，可以开箱即用地处理各种复杂的双手操作任务，如叠衣服、拉开袋子等。

同时，谷歌还推出 Gemini Robotics SDK，帮助开发者评估 Gemini Robotics 在设备上的性能，包括在 MuJoCo 物理模拟器中进行测试。开发者只需 50-100 个演示即可完成模型评估，让机器人学习新技能。

该模型一经发布引起近 30 万社交平台 X 用户围观，有用户称：" 这些设备内置模型让 Gemini Robotics 稳稳地走上了成为‘机器人界的安卓’的道路。最终，OEM（集成）厂商只需专注于打造最优秀的机器人硬件，Gemini 只需作为‘大脑’即可。"

一、专为灵巧操作设计，能让机器人拉开袋子、叠衣服

Gemini Robotics On-Device 是一个为双臂机器人设计的基础模型，可以最大限度地减少计算资源需求。它基于 Gemini Robotics 的任务泛化和灵活性功能，并且具备以下特点：

1、专为灵巧操作的快速实验而设计。

2、通过微调来适应新任务，提高性能。

3、经过优化，可在本地运行并实现低延迟推理。

Gemini Robotics On-Device 在广泛的测试场景中实现了强大的视觉、语义和行为泛化，遵循自然语言指令，可以顺畅完成诸如拉开袋子、叠衣服等高度灵巧的任务。所有这些都是在机器人上直接操作时完成的。

在谷歌的评估中，Gemini Robotics On-Device 在完全本地运行时表现出强大的泛化性能。下图是其与谷歌 Gemini Robotics 旗舰模型和之前最好的设备模型进行比较的结果，Gemini Robotics On-Device 在 Visual Gen、Semantic Gen、Action Gen 三项测试中均获得最高分。

在更具挑战性的分布式任务和复杂的多步骤指令方面，Gemini Robotics On-Device 模型的表现也优于其他设备端替代方案。下图是 Gemini Robotics On-Device 的指令跟踪性能评估结果，其与旗舰 Gemini Robotics 模型和之前最好的设备模型相比得分都更高。

更多详情可阅读谷歌今年 3 月发布的 Gemini Robotics 技术报告《Gemini Robotics: Bringing AI into the Physical World（Gemini Robotics：将 AI 带入物理世界）》。

报告地址：

https://arxiv.org/pdf/2503.20020

二、首个可供微调的 VLA 模型，适用机械臂、人形机器人等多种形态

Gemini Robotics On-Device 是谷歌首个可供微调的 VLA 模型。

虽然许多任务可以直接运行，但开发者也可以选择调整模型，使其应用​​获得更佳性能。Gemini Robotics On-Device 能够快速适应新任务，只需 50-100 次演示即可完成，这充分表明了该设备端模型能够将其基础知识推广到新任务的能力。

谷歌展示了 Gemini Robotics On-Device 在涉及微调至新模型的任务上如何超越目前最佳的设备端 VLA。他们测试了该模型，涉及了七项不同难度的灵巧操作任务，包括拉开午餐盒拉链、画卡片和倒沙拉酱等。

下图展示了 Gemini Robotics On-Device 的任务适应性能，其中包含近 100 个示例。

谷歌还进一步调整了 Gemini Robotics On-Device，使其适用于不同的机器人。虽然其仅针对 ALOHA 机器人训练了该模型，但他们能够进一步将其适配到双臂 Franka FR3 机器人和 Apptronik 的 Apollo 人形机器人。

在双臂 Franka 上，该模型可以执行通用指令，包括处理以前未见过的物体和场景、完成折叠衣服等灵巧的任务，或执行需要精确度和灵巧性的工业皮带组装任务。

在 Apollo 人形机器人上，谷歌调整了模型，使其适应截然不同的形态。同样的通用模型可以遵循自然语言指令，并以通用的方式操控不同的物体，包括之前从未见过的物体。

谷歌正根据其人工智能原则开发所有 Gemini Robotics 模型，并应用涵盖语义和物理安全的整体安全方法。

结语：大模型加速落地物理世界

Gemini Robotics On-Device 标志着强大的机器人模型在易访问和适应性方面迈出重要一步，有望帮助机器人开发者应对重要的延迟和连接挑战。

值得一提的是，Gemini Robotics SDK 支持开发者根据自身需求调整模型，进一步加速创新。下一步，我们有望看到更多机器人开发者利用这些新工具构建具有创新应用的机器人。