导语:NVIDIA 发布 Isaac ROS 5.0,将 AI 智能体能力引入 ROS 机器人开发生态。
摘要
NVIDIA 发布 Isaac ROS 5.0,将 AI 智能体能力引入 ROS 机器人开发生态,并扩大开源物理 AI 库和 NVIDIA Jetson 平台的部署支持。新版本支持 ROS Lyrical 与 Ubuntu 24.04,增加用于安装、操作和模型微调的 NVIDIA Isaac 技能,并提供面向 FoundationStereo、FoundationPose 以及机器人抓取和放置任务的智能体工作流。NVIDIA 表示,Isaac ROS 5.0 旨在帮助开发者和 AI 智能体更快构建、定制和部署机器人应用。
正文(译文)
将 AI 智能体引入机器人开发
要构建和部署能够在动态环境中感知、推理并采取行动的复杂机器人应用,开发者需要新的物理 AI 模型和工具。
ROS 是 Open Robotics 发起的开放框架,帮助人类构建机器人。NVIDIA Isaac ROS 5.0 是一组基于 ROS 构建的 GPU 加速软件包,于加拿大多伦多举行的 ROSCon 大会上发布。该版本帮助人类和 AI 智能体共同构建机器人。
新版本引入了新的智能体工作流和平台支持,帮助开发者更快地构建、定制和部署机器人应用。
ROS 为现代机器人技术提供了大量开源基础,包括构建和连接机器人应用所需的通用工具、库和标准。
NVIDIA Isaac ROS 将 NVIDIA 加速计算、物理 AI 模型和面向生产环境的库带给近 130 万名 ROS 用户,帮助开发者使用熟悉的开源工具构建高性能机器人应用。
面向机器人开发的新技能
AI 智能体正在改变软件构建方式。它们可以帮助开发者自动完成重复任务、理解复杂代码库,并更快地把想法转化为可运行的应用。Isaac ROS 5.0 将这些能力带入机器人开发。
Isaac ROS 5.0 增加了对 ROS Lyrical 和 Ubuntu 24.04 的支持,让开发者能够采用最新的 ROS 平台,同时继续使用 NVIDIA 加速计算处理高负载机器人任务。
NVIDIA 与 Open Source Robotics Alliance 合作,为 ROS Lyrical 贡献了标准化数据处理接口,帮助机器人软件在包括 GPU 在内的不同计算硬件之间高效运行。
该接口面向整个 ROS 社区开放,为加速高负载机器人任务提供一致的数据处理方式,CUDA 则提供了 GPU 加速示例。
新的 NVIDIA Isaac 安装和操作技能提供了可复用的工作流,开发者和 AI 智能体可以借此完成机器人开发任务。面向智能体的文档也让 AI 智能体更容易理解 Isaac ROS 的工具和工作流,把开发者意图更快转化为实际应用。
部分技能不仅用于协助单个编码任务。新的 FoundationStereo 微调技能可以帮助 AI 智能体根据开发者使用的摄像头、环境和机器人应用调整立体视觉模型,从而提升特定传感器配置下的感知准确性。
FoundationPose 是用于物体姿态估计和跟踪的基础模型。现在,它提供了面向智能体的推理库,使机器人能够以最高快 5.5 倍的速度感知并跟踪物体的位置和方向。
此外,抓取和放置这一连接目标检测、深度估计和姿态输出的常见工作流,现在也作为独立的智能体技能提供,为机器人开发者提供了更大的灵活性。
加速开源机器人生态
机器人生态已经开始将这种智能体式方法扩展到开发工作流中。
AgenticROS 是由 3D 感知技术公司 RealSense 赞助的开源项目。它将 Isaac ROS 与 NVIDIA Nemotron 开源模型和 NVIDIA NemoClaw 蓝图连接起来,使 AI 智能体能够与基于 ROS 的机器人交互。
RealSense 还在优化包括 RealSense D585 Pro 在内的新一代 AI 原生 3D 立体深度摄像头,并提供面向 Isaac ROS 和 NVIDIA Jetson Thor 边缘 AI 平台的开源软件开发套件,帮助开发者构建感知、导航和操作应用。
Intrinsic 的 Open Machine Tending Solution 是面向数控机床上下料的参考应用,属于新发布的 Intrinsic Core。Intrinsic Core 是一套开源的预配置运行时服务和能力,旨在加快工业机器人应用开发。
该方案内置对 NVIDIA FoundationPose 的兼容能力,可直接实现物体注册、跟踪和姿态估计。通过 FoundationPose 感知流程,机器人可以动态检测和处理零件,减少对昂贵固定装置和专业系统集成的依赖。
Seeed Studio 正在将 NVIDIA Isaac ROS 与 reBot Arm 结合,运行在 NVIDIA Jetson Thor 上,提供加速感知、空间理解和运动规划能力。该集成为构建物体定位、避障操作以及自主抓取和放置等物理 AI 应用提供了实际平台。
Magna 使用 NVIDIA Isaac ROS 作为机器人感知、同步数据采集和 NVIDIA Isaac GR00T 模型部署的模块化 GPU 加速基础,并结合 Isaac Sim 的硬件在环测试,将智能自动化从研究阶段更快带入制造和移动出行场景。
Prefix.dev 的 Pixi 软件包管理工具帮助开发者创建可复现的机器人开发环境,将 ROS 与 NVIDIA CUDA 平台结合起来,使加速机器人工作流更容易设置和共享。
作为 Isaac ROS 合作伙伴,Foxglove 通过网页和桌面工具帮助开发者可视化和调试实时 ROS 应用。其工具已经集成到 Isaac ROS 教程中,并支持 3D 主题、nvblox 网格和 rosbags 等数据。
Flexiv 正在将 Isaac ROS 集成到 Rizon 4 自适应机器人中,让开发者能够使用 NVIDIA 加速的机器人能力,并从 NVIDIA Isaac Sim 中的应用测试快速转向实体机器人部署。
Ekumen 正在现有 ROS 和 Nav2 技术栈中使用 GPU 加速的 Isaac ROS 软件包,改进精确停靠、三维障碍物检测、视觉定位和实时运动规划,并在 Isaac Sim 中验证这些应用。
Ouster 将其 Stereolabs ZED 双目摄像头与 NVIDIA Isaac ROS 集成,为机器人应用提供 GPU 加速感知能力。该集成简化了实时目标检测、地图构建和导航开发,同时保持与 ROS 生态的互操作性。
将完整物理 AI 栈带到机器人上
开发者和 AI 智能体构建的应用最终需要在机器人上运行。
NVIDIA Jetson 是一个可扩展的边缘计算平台,可以以实时性能运行物理 AI 技术栈。它把 ROS、加速感知与导航、AI 模型和应用逻辑整合到机器人上。
Isaac ROS 5.0 支持从入门级 NVIDIA Jetson Orin Nano 到高性能 Jetson Thor 的可扩展计算,为开发者提供了从开发到部署的路径。
Mentee Robotics 使用 NVIDIA Isaac ROS 作为 MenteeBot 人形机器人的感知和 AI 主干,使机器人能够实时解释视觉信息并执行学习到的行为。跨 NVIDIA Jetson Orin 和 Jetson Thor 平台共享的软件基础,帮助 Mentee 将现有机器人上的创新延伸到下一代系统。
Universal Robots 已将 NVIDIA Isaac ROS 集成到其 AI Accelerator 软件开发套件中,帮助系统集成商更快部署先进感知和运动能力,而不必从零开始开发复杂机器人软件。
ROBOTIS 正在将 Isaac ROS 集成到其 AI Worker 机器人中。该机器人基于 ROS 的 TurtleBot3,利用 GPU 加速的物体感知能力执行抓取、放置和对齐等视觉引导操作。
FieldAI 的机器人基础模型可以完全在机器人上运行,不依赖云端连接。相关模型正在 Jetson 设备上集成 Isaac ROS,以利用 GPU 加速并提升机器人本地 AI 技术栈的效率。
Noble Machines 正在 Jetson 上使用 NVIDIA Isaac ROS,加速面向工业应用的通用机器人开发,并基于现成的 AI 和感知能力构建应用,而不是从头创建全部技术。
通过结合开放机器人生态、加速计算和新的智能体开发工作流,Isaac ROS 5.0 帮助开发者同时应对物理 AI 的两方面挑战:构建能力更强的机器人应用,并让这些应用高效运行在现实世界中。
Isaac ROS 5.0 现已发布,免费且开源。开发者可以通过 GitHub 了解更多信息并开始使用 NVIDIA Isaac ROS。
(文章为作者独立观点,不代表艾瑞网立场)


登录后才可以发布评论哦
打开小程序可以发布评论哦