原文链接：http://www.labren.org/mm/news/?-icra-2026-???????-???????/

很高兴能够分享我们的最新成果—— ??????。这是一个基于几何认知的统一框架，能够实现语言引导的机器人抓取操作。

语言引导的抓取能力是实现直观的人机交互的关键能力之一。机器人不仅应该能够识别物体，还应该能够理解诸如 " 拿起碗后面的蓝色杯子 " 这样的自然语言指令。虽然最近的一些多模态模型取得了令人满意的效果，但大多数现有方法仍然依赖于多个阶段的处理流程，这些流程将感知与抓取预测紧密地结合在一起。然而，这些方法往往忽略了几何形态、语言信息以及视觉推理之间的紧密整合，因此在环境杂乱、遮挡严重或纹理低下的情况下，这些方法的性能会大打折扣。这促使我们努力弥合语义语言理解与精确几何抓取执行之间的差距。

让我们来看看这个挑战吧：

一种新的统一框架，用于几何感知且语言引导的抓取操作，包括以下功能：

统一的 RGB-D 多模态表示：

我们将 RGB 颜色、深度以及语言特征嵌入到一个共享的表示空间中，从而实现跨模态的语义一致性，进而实现精确的目标识别。

深度引导几何模块（DGGM）：

我们并没有将深度信息视为辅助输入，而是将基于深度信息推导出的几何先验信息直接融入注意力机制中。这样能够在遮挡或视觉环境不明确的情况下，更好地实现物体的识别与区分。

Adaptive Dense Channel Integration ( ADCI ) :

一种动态的多层融合策略，能够结合全局语义线索与精细的几何细节，从而实现对物体抓取的稳健预测。

✅ 在语言引导的抓取任务中，GeoLanG 在 OCID-VLG 基准测试上的表现显著优于以往的各种多阶段算法。

✅ 在杂乱且遮挡严重的场景中也能表现出极强的鲁棒性。

✅ 已在真实的机器人硬件上成功进行测试验证，证明从模拟环境到真实环境的转换是可靠的。

关键点总结：

这项研究表明，将几何推理与多模态语言理解紧密结合起来，可以显著提高机器人抓取系统的可靠性。通过将具有深度感知的几何先验信息直接融入注意力机制中，我们能够减少歧义，并提高抓取决策的一致性。

GeoLanG 提供了一种途径，使得机器人系统能够更加智能化。这些机器人不仅能判断需要抓取什么物体，还能在复杂的现实环境中稳健地抓取物体。

我们正在探索将这种几何感知的多模态推理技术扩展到：

Real-time interactive grasping

Multi-step manipulation tasks

Integration with motion planning and autonomous robotic control

雷峰网