ICRA 2026｜港中文GeoLanG ：基于几何感知的语言引导抓取技术，结合统一的 RGB-D 多模态学习机制
Quick Answer
GeoLanG, developed by Hong Kong CU, introduces a unified framework for language-guided robotic grasping using geometric perception.
Quick Take
GeoLanG, developed by Hong Kong CU, introduces a unified framework for language-guided robotic grasping using geometric perception. It significantly outperforms existing multi-stage algorithms on the OCID-VLG benchmark, demonstrating robust performance in cluttered environments and successful real-world hardware testing.
Key Points
- GeoLanG integrates RGB, depth, and language features into a shared representation space.
- The Depth-Guided Geometry Module enhances object recognition in occluded environments.
- Adaptive Dense Channel Integration combines global semantics with fine geometric details.
- GeoLanG shows superior performance on the OCID-VLG benchmark compared to previous methods.
- The technology is being explored for real-time grasping and autonomous robotic control.
Article Excerpt
From source RSS / original summary原文链接：http://www. labren. org/mm/news/? -icra-2026-??????? -??????? / 很高兴能够分享我们的最新成果——??????。 这是一个基于几何认知的统一框架，能够实现语言引导的机器人抓取操作。 语言引导的抓取能力是实现直观的人机交互的关键能力之一。 机器人不仅应该能够识别物体，还应该能够理解诸如“拿起碗后面的蓝色杯子”这样的自然语言指令。 虽然最近的一些多模态模型取得了令人满意的效果，但大多数现有方法仍然依赖于多个阶段的处理流程，这些流程将感知与抓取预测紧密地结合在一起。 然而，这些方法往往忽略了几何形态、语言信息以及视觉推理之间的紧密整合，因此在环境杂乱、遮挡严重或纹理低下的情况下，这些方法的性能会大打折扣。 这促使我们努力弥合语义语言理解与精确几何抓取执行之间的差距。 让我们来看看这个挑战吧： 一种新的统一框架，用于几何感知且语言引导的抓取操作，包括以下功能： 统一的 RGB-D 多模态表示：我们将 RGB 颜色、深度以及语言特征嵌入到一个共享的表示空间中，从而实现跨模态的语义一致性，进而实现精确的目标识别。
深度引导几何模块（DGGM）：我们并没有将深度信息视为辅助输入，而是将基于深度信息推导出的几何先验信息直接融入注意力机制中。 这样能够在遮挡或视觉环境不明确的情况下，更好地实现物体的识别与区分。 Adaptive Dense Channel Integration (ADCI):一种动态的多层融合策略，能够结合全局语义线索与精细的几何细节，从而实现对物体抓取的稳健预测。 ✅ 在语言引导的抓取任务中，GeoLanG 在 OCID-VLG 基准测试上的表现显著优于以往的各种多阶段算法。 ✅ 在杂乱且遮挡严重的场景中也能表现出极强的鲁棒性。 ✅ 已在真实的机器人硬件上成功进行测试验证，证明从模拟环境到真实环境的转换是可靠的。 关键点总结：这项研究表明，将几何推理与多模态语言理解紧密结合起来，可以显著提高机器人抓取系统的可靠性。 通过将具有深度感知的几何先验信息直接融入注意力机制中，我们能够减少歧义，并提高抓取决策的一致性。 GeoLanG 提供了一种途径，使得机器人系统能够更加智能化。 这些机器人不仅能判断需要抓取什么物体，还能在复杂的现实环境中稳健地抓取物体。
我们正在探索将这种几何感知的多模态推理技术扩展到： Real-time interactive grasping Multi-step manipulation tasks Integration with motion planning and autonomous robotic control 雷峰网
Want this in your inbox every morning?
Daily brief at your local 8am — bilingual EN/中文, free.
More from 雷峰网机器人
See more →
RoboScience机器科学发布通用具身大模型Visics，首次完整展示VLOA双引擎架构
RoboScience unveiled its Visics model featuring the VLOA architecture, enhancing robotic capabilities in complex tasks like furniture assembly with millimeter precision. The model integrates a dual-engine approach, leveraging a unique data pipeline to achieve significant cost reductions and scalability in training data.
