宾大茅佳源：从单次演示到 83% 真机泛化，破解具身智能数据困局｜IROS 2026 | 雷峰网

3d ago

·~6 min·10/14/2026·en·0

Quick Answer

UPenn's Ma Jia Yuan presented the RAPID framework at IROS 2026, achieving 83% real-world generalization with a single human demonstration for complex tasks, overcoming traditional data-heavy approaches.

Quick Take

The framework integrates a coding agent with a physical verifier to enhance task execution efficiency.

Key Points

RAPID framework allows generalization from a single demonstration, achieving 83% success in real tasks.
Introduced Temporal Ratio (TR) to diagnose action execution reliance on video predictions.
Traditional data-driven methods require hundreds of trajectories, limiting scalability and efficiency.
Combines neural networks with symbolic logic for structured world modeling and planning.
Demonstrated high robustness in eight complex non-grasping tasks with minimal data.

📖 Reader Mode

~6 min read

宾大茅佳源：从单次演示到 83% 真机泛化，破解具身智能数据困局｜IROS 2026

剖析视觉与动作脱节，引入 TR 指标与自适应引导，重构具身泛化机制。

作者丨张璐

编辑丨岑峰

在机械臂的实机测试中，不少团队都遇到过类似的困扰：为了让机器人学会抓取某个马克杯，往往需要人类抓着机械臂录入上百条示范轨迹。然而只要把杯子换成未见过的款式，或者稍微改变物体的摆放位置，策略的成功率就会急剧下降。

这种靠海量遥操作数据硬堆技能的方式，很难让机器人真正具备应对新环境的泛化能力。更棘手的是，即便当前的视频预测模型已经能准确画出合理的未来画面，但一旦接入动作模块驱动实机，机械臂依然频频出错。

在 IROS 2026 大会上，来自 UPenn、MIT 与 Stanford 联合团队的茅佳源分享了他们的思考。

她不仅介绍了只需一次人类演示就能泛化执行多种非抓取任务的 RAPID 闭环框架，还首次提出了诊断“视觉会了、手却做不对”这一机制脱节的 TR 指标。

借由基于 TR 的自适应引导机制，团队最终将双臂机器人在复杂组合任务上的真机泛化成功率提升到了 83%。

以下是茅佳源的演讲分享，AI科技评论在不改变原意的情况下，进行了编辑和整理：

百条轨迹换一项技能，

纯数据拟合为何难做物理泛化？

过去几年，构建通用物理智能的主流思路是“数据拟合”，试图通过端到端学习，实现从视觉观察到控制动作的直接映射。

这一路径虽推动了大量研究，但在面对真实复杂的物理交互时，瓶颈迅速显现。

以 Actor Labs 的挖掘机实验为例，其团队将 Physical Intelligence 的 π0.5部署至挖掘机，结合工业操作员的大规模真实数据训练策略。

尽管展示中仅用200 条轨迹成功完成了一项任务，但这恰恰暴露出纯数据驱动路线的缺点：数据效率极低，且多任务能力受限。

如果掌握每一项单一技能都需要百小时级或数百条轨迹的数据积累，这种依靠堆叠数据推动的范式，其规模化扩展的可行性显然存疑。

相比之下，人类仅凭单次演示就能理解动作背后的物理逻辑，并轻松迁移至不同尺寸、材质的物体甚至全新任务中。

当端到端模型在分布外（OOD）场景中频频失灵，研究者们不得不重新审视：在盲目堆砌数据量之外，是否存在更根本的智能构建路径？

这便引出了第二条路线：将智能视为世界建模与规划（Intelligence as World Modeling and Planning）。其核心在于将机器学习与物理规划相结合，使智能体通过小样本理解物理规律，进而实现真正的分布外泛化。

告别像素级预测，

用“神经+符号”构建可推理的世界模型

要实现基于规划的智能，首先需构建“世界模型”，即让智能体在内部建立物理世界表征，并基于该表征演推后续动作。

然而，物理环境极其复杂，若直接在像素级预测未来状态与细节，计算代价会非常高，难以支持长序列动作的实时规划。

破解这一难题的关键在于引入组合式抽象表示。智能体无需记忆所有像素细节，而是提炼形状、姿态、材质等抽象属性，并用状态转移图显式建立“动作-状态”演变机制。

图：神经符号概念将物体抽象为形状、姿态、材质等属性，并用状态转移图描述动作导致的 state 演变。图中 s0→s1 表示 push(glass)，s1→s3 表示 flip(cap)。

这就是神经符号概念的核心：

“神经”层：利用神经网络进行视觉感知，提取物体的几何与物理属性；
“符号”层：利用符号逻辑对这些属性进行组合，并定义动作与状态之间的转移规则。

两者结合，智能体摆脱端到端黑盒映射，转而学习物理世界运行规律的结构化模型。

有了这种抽象表示，机器人即可在执行前内部推演（如推动杯子或翻转瓶盖后的状态演变），自主规划动作序列。这正是“从单次演示中学习并强泛化”的基础。

破解策略网络不可拼接困局：

将动作生成转化为“约束求解”

具备可组合的世界模型后，下一个问题是：如何将高层逻辑规划转化为物理世界中可执行的具体动作？

传统强化学习与端到端范式中，策略网络（π）普遍无法直接拼接。例如分别训练抓取（π1）、移动（π2）、放置（π3）三个网络，因观测空间、动作空间及中间状态难以对齐，极难直接串联完成长序列任务。

针对策略不可组合的困境，替代方案并非训练更大的端到端网络，而是将动作生成重新定义为约束优化问题。

在此框架下，智能体需在给定初始状态 s0 下，求解使动作代价（如轨迹长度）最小化的轨迹，同时满足两类关键约束：

路径约束：包含动力学约束 dynamics（轨迹必须符合物理定律）与无碰撞约束 collision-free（机器人与环境无干涉）；

图：约束优化生成动作。路径约束包括关节限制与无碰撞；子目标约束包括抓取目标与放置目标。

子目标约束：包含阶段性接触目标 holding-target（如稳妥抓取物体）与最终任务目标 target-on-rack（如将物体精准放置至指定架子）。

图：约束优化组合动作。目标是最小化轨迹长度 |t1|+|t2|，同时满足 dynamics、collision-free、holding-target、target-on-rack 等约束。

这种设计将学习显式解耦为约束集与约束值两个层面。机器人无需从零学习物理法则（交由已知物理模型与优化求解器处理），神经网络只需聚焦与任务相关的关键约束。

这种解耦大幅减轻数据负担，使模型能以极低数据量捕捉关键约束，实现跨物体与跨场景的精准求解。

以团队 MAGIC 项目中的“物品悬挂”任务为例，这类操作需要同时兼顾抓取、悬挂姿态与运动轨迹三重联合约束。

面对这一挑战，传统模型规划因搜索空间过大，单次求解动辄超过 5 分钟；而基于无监督特征学习与策略学习的代表性方法，哪怕在 10 万个合成水杯数据上训练，单次演示泛化成功率也仅有 42%。”

相比之下，该框架通过视觉对应关系引导约束优化，仅凭单次演示就将成功率大幅提升到了 93%。

图：悬挂任务中，传统模型规划单次求解超 5 分钟；纯数据驱动方法在 10 万合成 mug 上单例成功率 42%。本方法通过视觉对应将成功率提升至 93%。

RAPID 架构：

1 次人类演示+代码智能体，

搞定复杂非抓取交互

如果将上述“约束+接触序列”的思路进一步推演，就能构建出面向更复杂物理交互的通用架构：RAPID。

注：RAPID源于此篇论文。点击查看：https://arxiv.org/pdf/2609.30249

图：RAPID 面向接触丰富、非抓取操作，仅需单次人类演示即可学习。

在 RAPID 架构中，技能学习被转化为由编程智能体与物理校验器构成的闭环编程循环：

1.演示解析与原语拆解：从单次演示中提取动作，自动切分为推、翻转、支点旋转、抓取等基础操作原语；

2.以物体为中心的程序生成：Coding Agent 将原语转化为以物体为中心的约束程序，脱离特定的几何参数，使其天然具备可复用性与组合性；

3.仿真校验与闭环迭代：校验器在 Real2Sim 仿真环境中验证程序，将碰撞、物理可行性等反馈传给 Coding Agent 进行修正，可在部署前筛除大量物理不可行程序。

图：RAPID 的智能体编程循环。Coding Agent 生成行为程序 Π，Evaluator 在 Real2Sim 仿真中校验并反馈，迭代修正。

在涵盖书架、隔板等场景的 8 个复杂非抓取真机任务中（灵活组合了推、翻、压移、支点、倾倒、抓取等原语），RAPID 仅凭单次人类演示，便展现出极高的鲁棒性与泛化求解能力。

这说明，将 Coding Agent 的代码生成能力与物理模型校验相结合，能以符号化约束优化实现强泛化的单示例学习。

雷峰网(公众号：雷峰网)

大模型盲区：

为何视频-动作模型无法自动“涌现”组合力？

RAPID 框架展示了 Coding Agent 在复杂物理操作任务中的能力：通过结合物理验证器、约束求解等模块，系统能够仅凭单次人类演示规划并执行复杂的非抓取操作。RAPID 本身也是一个模块化系统，其能力来自 Coding Agent 与不同功能模块之间的协作。这说明，组合性不仅体现在运动技能的组合上，也体现在系统如何组织和调用不同的能力模块。

由此引出了一个更一般的问题：面向实际任务，我们应该如何设计这样的模块化系统？哪些能力应该被拆分为独立模块，模块之间又应该通过什么接口协作？与完全端到端的神经网络相比，模块化系统能够引入显式结构，使各个环节更易于解释、验证和替换，但也可能受到人工划分和接口设计的限制；端到端模型则能够联合学习感知到动作的映射，却更难对中间过程进行独立检查与干预。理解这两种范式在泛化能力、数据效率和系统鲁棒性上的优势与局限，是将智能体应用于真实物理世界的重要问题。

在探索组合性的另一条路上，模块化系统展现出了独特优势。例如，系统可以先用开放词汇检测器提取“马克杯”的视觉掩码，再交由特定策略完成抓取，这就是模块化组合的直观体现。

以团队此前发表的 Retriever 框架为例，它将感知、推理与控制拆分为独立模块，并显式建模触发器与缓冲区，巧妙解决了多频率异步（如腕部相机 30Hz、机器人状态 60Hz、低阶技能 2Hz）下的闭环控制难题，在双臂机器人“给牛排撒调料”等长时程任务中验证了模块组合的高效性。

但是，各模块之间受限的信息流动，使其难以充分吸收不同任务之间的协同效应。

这就引发了一个更深度的思考：神经网络能否直接将感知、记忆、规划与控制融为一体？如果放弃人工预定义的原语与模块划分，转向端到端统一的多模态大模型，将包含丰富物理规律的视频预测与动作生成联合训练，组合能力能否在模型中自动“涌现”？

围绕这一课题，团队展开了两次尝试。第一次是视频生成预测+动作控制器；第二次是视频-动作联合训练模型。

然而，随后的实机与仿真实验表明，问题的复杂程度远超预想。

▎试错一：视觉预测转动作指令，难以胜任富接触操作

为了吸收跨任务的协同效应，研究团队展开了第一次尝试：利用通用的视频生成模型预测未来画面，再将视觉预测翻译为机器人的具体动作。

这一路线对应团队发表于 ICLR 2024 (Spotlight) 的 AVDC 框架。

原文链接：https://arxiv.org/pdf/2310.08576

其动作提取流程分为三个核心阶段：

1.视频预测：输入语言指令与当前 RGB-D 观察，利用预训练视频预测模型生成未来数帧的视频；

2.稠密运动估计：从合成的未来视频帧中计算光流，结合深度信息进行 SE(3) 空间位姿估计，恢复出物体的三维运动轨迹；

3.笛卡尔控制映射：根据物体的 3D 轨迹反推机器人末端执行器的移动方向，生成笛卡尔空间下的控制指令。

该架构最大的优势在于摆脱了对显式动作标签的依赖。模型可以直接利用无动作标签的视频数据进行预训练，并迁移至机器人任务中。

同时，由于它提取的是物体本身的三维运动而非特定机械臂的关节点位，因而具备出色的跨本体泛化能力。

然而，真机测试揭示了这一解耦范式的明显局限：它主要支持基础的抓取、移动与放置技能。

面对翻转、按压、支点旋转等复杂的富接触操作，单纯依靠像素层面的视频预测，难以捕捉真实的物理受力与精准的接触作用点。

这表明，“视频生成→动作翻译”这种串联管线无法自动涌现出复杂的组合行为。必须打破解耦，将视频预测与动作生成深度结合进行联合训练——这便引出了第二次尝试：视频-动作联合模型。

▎试错二：看懂了未来画面，Action Head却还在“盲开”

为了克服单一视频驱动无法处理复杂接触动作的痛点，研究团队展开了第二次尝试：构建视频-动作联合模型。

这一架构的初衷，是让负责动作生成的网络能够直接“看到”并利用视频模型对未来的物理预测。

在具体设计上，团队采用预训练视频预测模型 Cosmos Predict 2.5-2B（基于 Flow Matching 架构）作为骨干网络。在视频生成的去噪过程中，提取中间噪声水平σ_v下的潜特征，经由特征投影层后，与机器人的本体状态以及含噪动作 Token 一同送入 Gemma Action Head，最终通过 Flow Matching 联合生成去噪后的动作控制 Token。

然而，实机与仿真实验给出了出乎意料的结论：统一的视频-动作联合模型，并不会自动“涌现”出组合泛化能力。

团队观察到了两个棘手的问题：

1.视觉能泛化，执行却失效：视频预测模型本身具备优秀的泛化能力，面对未见过的指令时，能生成合理的视觉未来帧。然而，一旦接入 Action Head 驱动机械臂实际执行，策略在组合式分布外任务上的成功率便急剧下跌。

2.极高的超参数敏感度与 ID-OOD 权衡：训练配方对性能有决定性影响。例如，LoRA 联合训练能在 ID（分布内）与组合 OOD 之间达成某种权衡，而全参数微调则更容易偏向 ID 性能，牺牲泛化。

深入分析“泛化鸿沟”后，团队发现，Action Head 在生成控制动作时，常常倾向于直接“忽略”视频模型预测出的未来特征。

在对比实验中，哪怕视频模型预测出了完全错误的未来画面，Action Head 依然可能偶然完成动作；反之，当视频模型生成了完美正确的未来画面时，Action Head 却反而给出了错误的动作控制。

这证实了动作生成与未来预测之间存在严重的“机制脱节”，视频预测中蕴含的物理知识，未能有效地转化为控制端的泛化能力。

▎诊断：引入时间比率，看穿动作头有没有“偷懒”

为了精准量化 Action Head 在决策时到底有多依赖视频模型的未来预测，研究团队提出了一个直观且量化的诊断指标：时间比率（Temporal Ratio，TR）

TR = 未来帧的注意力权重 / 当前帧的注意力权重

注：此篇论文提出的TR这一诊断指标，点击查看原文：https://arxiv.org/pdf/2607.08127

该指标直接反映了动作头的决策偏好。TR 越高，说明 Action Head 越认真地“看”视频模型预测出的未来画面并据此导向动作；TR 越低，则说明动作头几乎在“盲开”，完全忽视未来的预测信息。

通过分析不同模型与超参数配置下的 TR 曲线，团队发现了一个关键规律：峰值 TR（Peak TR）精准预测了模型的组合泛化能力。

TR 越高的模型，其在分布外任务上的成功率就越强；而那些 TR 极低的模型，泛化成功率几乎为零。研究人员通过调整视频噪声水平σ_v来人工抬升 TR，同一个模型的 OOD 成功率也随之呈现出明确的攀升趋势。

此外，TR 并非静态常数，而是在任务执行过程中动态演变。通常在执行前几步 TR 会升至峰值，模型积极参考未来规划；随后随 Replanning Step 推进而回落。

▎免重训修复方案：TR 自适应强引导，真机 OOD 成功率提升至 83%

找到了“机制脱节”的病灶后，研究团队提出了一种无需重新训练模型即可弥合泛化鸿沟的方案：自适应引导。

团队将无分类器引导（CFG）拓展为两个维度的强引导：语言引导与计划引导。

与固定权重的传统引导不同，自适应引导会实时监测 TR 指标：当检测到 TR 出现峰值、动作头正积极参考未来规划时，系统会自动调大计划与语言引导的权重，强化未来物理约束；而在 TR 处于低位的平稳阶段则不叠加额外引导。

这种“在关键决策点精准发力”的机制，既避免了过度引导对分布内（ID）性能的损伤，又大幅提升了模型在空间、物体和目标分布外（OOD）任务上的组合泛化能力。

在 LIBERO 仿真基准上的测试证明了该机制的优越性。传统的“平坦引导”（Flat Guidance，即固定权重的引导）虽然能提升分布外（OOD）的成功率，但会严重损害分布内（ID）的性能；而自适应引导通过 TR 的动态调节，在保持分布内较高成功率的同时，大幅提升了在空间、物体和目标分布外任务上的组合泛化表现，实现了更好的 ID 与 OOD 性能权衡。

随后，团队在搭载双臂机器人的真实物理环境（基于 YAM 硬件与 abc.bot 数据集）中评估了 8 项复杂任务，涵盖从纸袋中取出瓶子、整理零食到货架、折叠 T 恤等。

在未见过的组合式分布外任务（如“把水果放进纸袋”）中，对比模型 Cosmos-Policy 的平均成功率仅约 12%，而团队自己的模型在未引导前平均成功率为 71.8%，引入基于 TR 的自适应引导后，真机泛化成功率进一步提升至 83%，验证了该方案在真实物理场景中的有效性。

结语：走向通用物理智能，

核心不在于盲目堆叠数据

视频预测与动作控制之间的协同效应，并不会在联合训练中自动“涌现”出来。

我们看到，不同的模型架构与训练配方会带来不同水平的组合泛化能力，且往往伴随着分布内（ID）与分布外（OOD）性能之间的权衡。

虽然我们提出的时间比率（TR）提供了一个精准的诊断工具，但要真正弥合泛化鸿沟，我们必须重新审视“组合性”本身：从架构、优化目标到数据定义的根本层面进行重构。

回到最本质的范式选择上，模块化系统依然非常强大。它天生具备显式的结构化组合性、较高的数据效率，以及对实时机器人系统至关重要的异步控制能力。但它的局限在于，无法充分吸收不同任务之间的深层协同效应。

因此，如何将模块化系统“强组合性与高数据效率”的优势，与统一大模型“全局吸收协同”的潜力有机结合，是我们接下来最核心的研究方向。

这背后依然有一系列深层的科学问题等待我们去解答：

前馈神经网络究竟能否涌现出组合性？
这种涌现出的组合性，能否实现高数据效率的学习？
我们该如何形式化真实物理世界中的复杂噪声与多模态数据？
我们又该如何形式化泛化标准？究竟是以最坏情况还是平均情况来评估？

把这些底层逻辑厘清，我们才能真正走向通用物理智能。

为了方便大家抱团交流、互通会议消息，我们专门建了 IROS 2026 参会交流群！进群你会解锁这些「福利」?

会议情报站：投稿 DDL、格式规范、评审进度……关键节点第一时间送达，再也不怕错过 deadline，投稿准备稳稳的。
同行茶话会：天南海北的同行都在群里，聊心得、碰思路、攒人脉，科研路上我们同行。
前沿补给站：最新研究成果、热点方向实时同步，结合会议主题帮你捋清投稿脉络，给论文灵感加满油。
现场后援团：（会议期间专属开启）：到了会场也不用慌——
路线导航：场馆分布、报告厅怎么走，群里随时问；
议题共读：热门 session、Keynote 探讨，错过也能追；
Poster 汇编：现场海报精华整理，一键收藏不遗漏；
约局广场：约饭局、采访局、交流局……想唠嗑、想合作、想面基，群里发起就成。

? 进群传送门： 扫码进群或添加微信Luyoyo_2026，备注：IROS + 单位/学校+姓名+方向。

搞科研/搞技术，信息差很重要。

来，一起快人一步！

上车，带你看遍全球 AI 顶会精华

可独家畅览：

专家演讲PPT

大会报告全文

热门论文解读

学术新星访谈

扫描上方二维码

或点击「阅读原文」关注专区。

— Originally published at m.leiphone.com

View original source on m.leiphone.com

Want this in your inbox every morning?

Daily brief at your local 8am — bilingual EN/中文, free.

Subscribe — it's free

More from WebSearch (Tavily)

See more →

WebSearch (Tavily)·zhidx.com

8/4/2026

FeaturedOriginal

全球AI芯片峰会，9月上海见！

AI Summary

The 2026 Global AI Chip Summit will take place in Shanghai on September 22-23, focusing on the evolving AI chip landscape, including the shift from training to inference, the rise of diverse chip technologies, and the restructuring of industry competition. Notable speakers include experts from leading universities and companies, discussing advancements in AI chip architecture and applications.

#Inference #GPU #AI Startup #Policy