ICRA 2026｜港中文GeoLanG ：基于几何感知的语言引导抓取技术，结合统一的 RGB-D 多模态学习机制
Quick Take
GeoLanG, developed by Hong Kong CU, introduces a unified framework for language-guided robotic grasping using geometric perception. It significantly outperforms previous multi-stage algorithms on the OCID-VLG benchmark, demonstrating robustness in cluttered environments and successful real-world hardware testing.
Key Points
- GeoLanG integrates RGB-D modalities for cross-modal semantic consistency.
- Depth-guided geometric module enhances object recognition in occluded scenarios.
- Adaptive Dense Channel Integration combines global semantics with fine geometric details.
- Achieved superior performance on OCID-VLG benchmark compared to previous methods.
- Successfully tested in real robotic hardware, ensuring reliable environment transition.
Article Excerpt
From source RSS / original summary原文链接：http://www. labren. org/mm/news/? -icra-2026-??????? -??????? / 很高兴能够分享我们的最新成果——??????。 这是一个基于几何认知的统一框架，能够实现语言引导的机器人抓取操作。 语言引导的抓取能力是实现直观的人机交互的关键能力之一。 机器人不仅应该能够识别物体，还应该能够理解诸如“拿起碗后面的蓝色杯子”这样的自然语言指令。 虽然最近的一些多模态模型取得了令人满意的效果，但大多数现有方法仍然依赖于多个阶段的处理流程，这些流程将感知与抓取预测紧密地结合在一起。 然而，这些方法往往忽略了几何形态、语言信息以及视觉推理之间的紧密整合，因此在环境杂乱、遮挡严重或纹理低下的情况下，这些方法的性能会大打折扣。 这促使我们努力弥合语义语言理解与精确几何抓取执行之间的差距。 让我们来看看这个挑战吧： 一种新的统一框架，用于几何感知且语言引导的抓取操作，包括以下功能： 统一的 RGB-D 多模态表示：我们将 RGB 颜色、深度以及语言特征嵌入到一个共享的表示空间中，从而实现跨模态的语义一致性，进而实现精确的目标识别。
深度引导几何模块（DGGM）：我们并没有将深度信息视为辅助输入，而是将基于深度信息推导出的几何先验信息直接融入注意力机制中。 这样能够在遮挡或视觉环境不明确的情况下，更好地实现物体的识别与区分。 Adaptive Dense Channel Integration (ADCI):一种动态的多层融合策略，能够结合全局语义线索与精细的几何细节，从而实现对物体抓取的稳健预测。 ✅ 在语言引导的抓取任务中，GeoLanG 在 OCID-VLG 基准测试上的表现显著优于以往的各种多阶段算法。 ✅ 在杂乱且遮挡严重的场景中也能表现出极强的鲁棒性。 ✅ 已在真实的机器人硬件上成功进行测试验证，证明从模拟环境到真实环境的转换是可靠的。 关键点总结：这项研究表明，将几何推理与多模态语言理解紧密结合起来，可以显著提高机器人抓取系统的可靠性。 通过将具有深度感知的几何先验信息直接融入注意力机制中，我们能够减少歧义，并提高抓取决策的一致性。 GeoLanG 提供了一种途径，使得机器人系统能够更加智能化。 这些机器人不仅能判断需要抓取什么物体，还能在复杂的现实环境中稳健地抓取物体。
我们正在探索将这种几何感知的多模态推理技术扩展到： Real-time interactive grasping Multi-step manipulation tasks Integration with motion planning and autonomous robotic control 雷峰网
Reader Mode unavailable (could not extract clean content).
Want this in your inbox every morning?
Daily brief at your local 8am — bilingual EN/中文, free.
More from 雷峰网机器人
See more →
ICRA 2026 | 港中文高源、林天麟团队提出自发共适应策略：基于元学习赋能异构多机器人系统协同进化
The Hong Kong Polytechnic University team presented a meta-learning framework for heterogeneous multi-robot systems at ICRA 2026, enhancing adaptability in dynamic environments. Their approach improved task completion efficiency by 21% and reduced human burden by 39%, demonstrating effective human-robot interaction.
