具身智能的研究边界，正从地面移动操作向空中协同作业延伸。 作者丨张岂萍
编辑丨幸丽娟
机械臂抓取、移动机器人导航和多机器人协作，是具身智能研究的常见切口，但大多仍延续“地面机器人”范式：身体默认是地面移动机器人，环境是结构化可通行空间与离散物体，任务是感知、移动、抓取、搬运等。但如果机器人离开地面、进入空中，还能完成同样的操作吗？没有固定支撑的空中机器人（无人机），不仅要保持自身飞行稳定，还要在空中完成推箱子、写字、拧螺栓这样的接触操作；当多架无人机一起工作时，还要共同搬运物体，并协调彼此动作。如何让机器人在空中运动时保持稳定、完成操作，并进一步实现多机器人协作，是具身智能走向复杂真实环境时需要解决的更高阶问题。IROS 2026 大会期间，在“多机器人系统中的紧耦合物理交互与协作”（Tightly Coupled Physical Interaction and Collaboration in Multi-Robot Systems）Workshop 中，荷兰代尔夫特理工大学（Delft University of Technology，TU Delft）教授 Javier Alonso-Mora 分享了团队在移动操作、任务与运动规划，以及空中多机器人协作等方向的一系列研究进展。Alonso-Mora 长期研究多机器人规划与控制，目前领导代尔夫特理工大学 Autonomous Multi-Robots Laboratory，并担任代尔夫特理工大学机器人研究院（TU Delft Robotics Institute）主任。所在的代尔夫特理工大学是欧洲知名工科院校，在机器人与自主系统研究领域长期处于国际前列。更早之前，他在共享出行调度方面的研究还衍生出了商业公司 The Routing Company，该公司是按需出行调度领域少数实现规模化产业落地的技术公司之一。从共享出行调度到地面移动机器人、无人机协同，Alonso-Mora 长期研究的核心问题始终围绕一个方向展开：多个自主体如何在动态环境中完成实时规划与协调。这场分享系统展示了他过去几年的代表性工作：从超市场景里的移动抓取和任务与运动规划，到用学习策略降低物理仿真的计算成本，再到多机器人协作和多无人机吊运。演讲最后，他还介绍了一个持续四年的 HARPA 空中施工项目，目标是让不同类型的无人机协同组成空中机器人团队，参与建筑材料运输、现场装配等任务。从地面操作到空中施工，机器人面对的是更加复杂的物理约束。相比地面环境，空中场景动态性更强、容错空间更小，风扰、能耗、载荷耦合、通信受限和定位误差等因素都会直接影响机器人，对运动规划和任务执行提出了更大考验。而空中任务协作，更是将单机的飞行与操作难题，扩展为多机异构系统在任务分配、协同规划、执行的实时协调问题。以下是 Javier Alonso-Mora 的演讲分享，AI 科技评论根据其现场演讲进行了不改原意的编辑。▎演讲主题：Mobile Manipulation: From Task & Motion Planning to Aerial Collaboration
我们实验室一直在研究一个目标：让机器人进入真实世界，和其他机器人以及人一起完成复杂任务。真实环境会不断变化，机器人面对的任务也会越来越复杂，同时还要保证整个过程安全可靠。我们距离这个愿景还有一段距离，展示的这些应用场景其实还是 AI 生成的。过去十多年里，我们做过运动规划、任务分配、多机器人协作和学习等方向。今天我想重点讲两个方向，一个是移动操作（Mobile Manipulation），另一个是协同操作（Cooperative Manipulation）。我会先讲地面机器人，再讲空中的无人机。我们过去关注过机器人之间的交互，也研究机器人如何在人类环境中安全移动。接下来，机器人还需要真正和环境发生物理交互（physical interaction）。它要做的不只是导航，还需要和环境中的物体产生接触，比如抓取、推动和搬运。我们最早做过一个超市场景里的机器人拣选项目。机器人带着机械臂在货架间移动，到达合适位置以后，再伸手抓取商品。为了实现机器人的全身控制（whole-body control），我们使用了一种叫 Geometric Fabrics 的方法。它本质上是一组描述机器人行为的控制方法，可以定义机器人需要表现的行为，比如避开碰撞、到达目标位置，再将这些行为组合起来，同时控制机械臂和移动底盘。这套方法的一个优点是速度快，可以进行高频率控制。比如我们给机械臂末端指定一个目标，机器人身体的其他部分会自动跟随配合。在低层控制之上，我们还加入了行为树（Behavior Tree），负责更高层的任务流程，比如什么时候抓、抓哪个物体，以及一次失败以后是否重新尝试。但这种反应式控制方法也存在局限。由于它主要根据当前环境做出反应，机器人可能陷入局部最优。比如两台机器人同时来到一张桌子旁边，都要把物体放到附近的位置，它们可能一直互相避让，最后谁也无法完成动作，形成死锁。所以，我们进一步把低层的 Geometric Fabrics 控制器和一个全局 QP（Quadratic Programming，二次规划）结合起来。系统会先对 Geometric Fabrics 全身控制器进行前向模拟（forward simulation），预测机器人接下来一段时间内的运动状态，判断未来是否可能发生冲突。 如果存在冲突，系统就会重新优化机器人后续一系列动作，包括从哪个方向接近桌子、选择什么抓取姿态，以及最后把物体放在哪里。同样的方法也可以用在有人存在的环境。系统会考虑其他机器人或人的运动变化，提前调整自己的动作，避免在共享空间中发生冲突。如果任务再复杂一些，机器人就不能只考虑怎样安全移动，还要考虑整个任务应该怎么执行。这就是我们通常说的任务与运动规划（Task and Motion Planning，TAMP）。这里同时包含两个问题。一个是离散问题，也就是任务按照什么顺序执行。另一个是连续问题，也就是每一步具体应该怎样运动。我们希望把“先做什么”和“具体怎么做”放到一起求解。一个例子是，机器人需要先从一张桌子上拿起一个方块，再把它放到另一张桌子上，两张桌子之间还有一个斜坡状障碍物。机器人可以从方块周围不同的位置抓取，也可以选择不同的位置放置，我们让它自己在这些可能性中寻找一个计划。我们先向前模拟控制器，采样不同的抓取点、放置点和动作，再通过交叉熵优化（Cross-Entropy Optimization）不断改进方案，直到找到可以完成任务的计划。这里我们使用 Isaac Lab（机器人仿真平台） 进行物理模拟。机器人拿起方块以后，没有带着它绕过斜坡，再走到另一张桌子旁边，而是直接把方块送过了斜坡。在这个实验里，系统发现，直接让方块越过斜坡，比机器人带着它绕过去更快。这个方案来自前面的物理模拟和优化，而不是人为提前设计的一条规则。这套方法效果很好，但它也有一个问题，计算成本很高。每一次寻找计划，都需要在物理仿真环境中向前模拟大量候选方案。所以我们最近也在尝试另一条路线：学习策略。这项工作目前还在进行中。我们先让机器人完成很多次抓取和放置任务，用这些示范训练策略。之后仍然可以利用交叉熵优化寻找离散的任务序列和具体执行计划，但不需要每一次都在完整的物理仿真环境中向前模拟大量候选轨迹。这样做的目标，是让原本依赖大量模拟搜索的规划过程变得更快。前面的工作主要围绕单机器人展开，我们也开始尝试把这些移动操作策略扩展到多个机器人。这里展示的实验只用了两个机械臂，还不是完整的移动操作机器人。我们先分别训练单机器人策略，让每个机械臂学会拿起和放置方块，再通过一个联合优化目标，把两个单机器人策略组合起来完成共同任务。在实验里，第一个机器人先拿起方块，再把它交给第二个机器人，第二个机器人接过以后继续把方块送到更远的位置。多机器人学习里，一个现实的问题是协作示范很难获得。如果直接为一个多机器人系统收集示范，需要同时控制多台机器人完成协作任务，本身就很困难。我们希望探索一种更高效的方法，复用已有的单机器人示范，让机器人进一步完成多机器人协作。一个更具挑战性的方向，是让机器人进入施工这样的复杂环境。人类可以多人合作搬运大型物体，也可以完成复杂装配任务。但我们的机器人现在还远远做不到，这里面涉及协作、协调和规划等很多问题。这种多机器人协作能力，在高空、海上设施以及其他难以抵达的位置尤其有意义，这也是我们开始研究无人机和空中机器人的原因。有了机械臂以后，无人机就可以直接和环境发生物理交互。但和地面机器人不同，空中平台没有固定支撑，机械臂运动或者接触环境产生的作用力，会反过来影响无人机自身稳定。比如这里，它可以推动一个箱子，也可以拿着笔在白板上写字，还可以执行拧紧螺栓这样的操作。我们使用的平台叫Differential Shoulder Aerial Manipulation Platform（DSAM）。这套系统采用分层控制方式：外层由强化学习策略生成操作指令，内层由自适应控制器负责稳定控制，两者共同完成无人机和机械臂的协同操作。一开始，我们采用集中式非线性模型预测控制（centralized Nonlinear Model Predictive Control，NMPC）方法，由一个中央控制器统一计算所有无人机的控制量。让它们共同完成轨迹跟踪、避障，也能够抵抗外部扰动。比如被搬运物体受到撞击以后，系统能够重新调整并继续沿目标轨迹运动。之后我们开始考虑一个问题，能不能去掉这个中央控制单元，不再由一台计算机统一给所有无人机发送指令？我们尝试了两种方法，一种是多智能体强化学习，另一种是模仿学习。两种方法都能够实现协同控制，今天我主要介绍多智能体强化学习。训练是在仿真中完成的。我们模拟多架无人机共同吊运物体。训练过程中同时使用策略网络（Actor）和评价网络（Critic）。训练阶段，Critic 可以利用仿真环境中的完整状态信息辅助策略学习。真正执行时，就不再需要这个集中式的 Critic，每一架无人机直接运行自己的 Actor。神经网络也不会直接负责最底层的飞行控制。下面还有一个高速运行的 INDI 控制器，负责让无人机保持稳定。对我们来说，这两层控制都很重要。最终，三架无人机可以共同吊运这个物体完成轨迹跟踪。在 8 字形轨迹跟踪实验中，分布式策略的表现已经接近集中式 NMPC 方法。我们还测试了一些更极端的情况。比如再加入一架无人机，让其中一架出现故障、朝错误方向运动，甚至直接掉落，策略仍表现出了一定的鲁棒性。前面的集中式方案已经能够处理障碍物，但现在这个分布式学习方案里还没有加入障碍物。加入障碍物以后训练会复杂很多，时间也会更长。另外，目前系统仍然依赖动作捕捉设备。我们接下来有一个新的四年项目，目标是让空中机器人团队参与建筑施工任务（aerial robot teams for construction）。 这个项目叫 HARPA，全称是 Heterogeneous Aerial Robotic Teams for Prefabricated Building Assembly，项目周期从 2026 年持续到 2030 年。一部分无人机负责运输建筑材料，把它们送到需要的施工位置；另一部分带机械臂的无人机负责后续装配，比如连接不同建筑模块、安装螺栓。项目中，我们还会继续推进机载感知，让机器人更多依靠自身传感器完成任务。今天我主要介绍了从地面移动操作到空中协作的一系列工作：机器人从单机操作走向多机协同，也开始进入更复杂的真实环境。接下来的工作，就是继续把这些能力应用到空中施工中。▎Q1（现场观众）：在多架无人机共同控制载荷位姿的情况下，分布式状态估计是怎么做的？由于载荷本身没有标记点，是否只依靠每架无人机的 IMU？不同无人机之间还会使用一致性算法来估计载荷的位置吗？
Alonso-Mora：不只是 IMU，我们还会使用其他无人机的状态信息。因为每架无人机上都有标记点，所以除了 IMU 信息，我们也知道其他无人机的位姿，这些信息会一起进入滤波器进行估计。至于分布式控制，这里没有使用一致性算法。所有无人机运行的是同一个策略，我们只训练了一个策略，然后让所有无人机共享使用。这个策略的输入包括所有无人机的位姿，以及当前执行该策略的无人机编号。它们需要彼此调整，才能共同保持载荷，因此多机之间的协调是隐式形成的。至于这种协同行为为什么能够形成，我也说不准。就像我们用神经网络做的很多事情一样，它确实能工作，但这里并没有显式加入一个一致性机制。▎Q2（现场观众）：多架无人机通过缆绳共同吊运载荷时，是否假设缆绳始终保持张紧状态？
这是我们现在模型里的一个假设，也是未来希望进一步放宽的方向。三架无人机是一个比较合适的数量，因为这时候三根缆绳都比较容易保持张紧。我们也试过四架，基本可以工作。但如果继续增加无人机，就会出现部分缆绳松弛的问题，整个系统会变得更加复杂。 为了方便大家抱团交流、互通会议消息，我们专门建了 IROS 2026 参会交流群！进群你会解锁这些「福利」?
会议情报站：投稿 DDL、格式规范、评审进度……关键节点第一时间送达，再也不怕错过 deadline，投稿准备稳稳的。
同行茶话会：天南海北的同行都在群里，聊心得、碰思路、攒人脉，科研路上我们同行。
前沿补给站：最新研究成果、热点方向实时同步，结合会议主题帮你捋清投稿脉络，给论文灵感加满油。
现场后援团：（会议期间专属开启）：到了会场也不用慌——
路线导航：场馆分布、报告厅怎么走，群里随时问；
议题共读：热门 session、Keynote 探讨，错过也能追；
Poster 汇编：现场海报精华整理，一键收藏不遗漏；
约局广场：约饭局、采访局、交流局……想唠嗑、想合作、想面基，群里发起就成。
? 进群传送门： 扫码进群或添加微信Luyoyo_2026，备注：ECCV + 单位/学校+姓名+方向。
搞科研/搞技术，信息差很重要。
来，一起快人一步！
可独家畅览：
专家演讲PPT
大会报告全文
热门论文解读
学术新星访谈
扫描上方二维码
或点击「阅读原文」关注专区。
雷峰网(公众号：雷峰网)
雷峰网原创文章，未经授权禁止转载。详情见转载须知。
