ICRA 2026 收录成果：Agentic Fast-Slow Planning打通大模型推理与实时控制，让具身智能更稳、更快

原文作者：公众号“深圳市大数据研究院”原文链接：https://mp. weixin. qq. com/s/j3Ph76mVsyunjALjcCp0Sg编者按：随着大语言模型与视觉语言模型逐步展现出强大的理解、推理与任务规划能力，如何在保证实时性、可验证性与工程可部署性的前提下，将高层语义决策稳定地传递到规划与控制层，成为具身智能系统迈向真实落地的一项关键挑战。 针对这一问题，深圳市大数据研究院、香港中文大学（深圳）、中国科学院深圳先进技术研究院、澳门大学研究团队在论文“Bridging Large-Model Reasoning and Real-Time Control via Agentic Fast-Slow Planning”提出了 Agentic Fast-Slow Planning（AFSP）分层框架，聚焦大模型推理与自动驾驶实时控制之间的“桥接”问题。 该框架核心思路是“快慢结合”：AFSP将感知、推理、规划与控制按时间尺度解耦——大模型负责慢速、高层的语义理解与决策，经典规划器负责可解释的长程轨迹生成，MPC控制器负责快速闭环跟踪与安全执行。

实验数据验证了这条路的效果：在CARLA仿真场景中，AFSP相比纯MPC和A*引导的MPC基线，展现出更强的鲁棒性与效率——最大横向偏差最高降低约45%，任务完成时间缩短超过12%。 这意味着，AFSP不仅在技术上打通了“大模型推理→实时控制”的关键路径，也在实际驾驶任务中同时做到了更稳、更快、更安全。 该论文现已被 ICRA 2026接收，作者为陈嘉易、王帅、朱光旭、须成忠。 论文链接：https://arxiv. org/abs/2604. 01681Github 链接：https://github. com/cjychenjiayi/icra2026_AFSP图1：Agentic Fast-Slow Planning 概念层级图。 大模型负责慢速语义决策，A* 负责中层路径规划，MPC 负责快速闭环控制。 研究背景 近年来，大模型正逐步从“感知工具”演变为自主系统中的“推理引擎”。 在自动驾驶中，它们有望承担复杂场景理解、风险判断与任务决策等高层认知工作。 然而，一旦继续向下延伸到轨迹规划和底层控制，就会立即遇到一个核心矛盾：大模型能力强，但时延高、输出形式偏语言；控制与优化模块则需要低延迟、可验证、可部署。

已有研究主要沿着两条路线推进：一类尝试让大模型直接输出轨迹或控制参数，虽然形式上“端到端”，但往往脆弱、难验证，也难以满足实时闭环的工程约束；另一类则让大模型在线调整 MPC 目标或参数，在一定程度上缓解了运行问题，却将慢速推理与快速控制混在一起，仍然没有真正回答“高层语义如何稳定影响中层规划”的问题。 也正因如此，“快慢思考”框架的价值不仅在于把大模型从实时环路中解放出来，更在于建立一套跨层桥接逻辑：让慢速的大模型负责理解和决策，让快速的经典模块负责执行，并通过清晰、可解释的接口把两者连接起来。 AFSP 正是在这一思路下提出的。 核心方法 图2：AFSP 系统架构图。 系统通过 Perception2Decision 与 Decision2Trajectory 两座桥，将拓扑感知、语义决策、路径生成与实时控制连接起来。 Perception2Decision：只保留与交通决策最相关的信息如果直接把原始图像送入大模型，不仅计算开销高、带宽成本大，而且图像中还包含大量与驾驶决策无关的细节。

为此，AFSP 采用一种更加 task-oriented 的表示方式：先在端侧使用轻量化 VLM 提取交通场景中的拓扑图，仅保留车辆、障碍物、距离、方位、相对关系等与决策最相关的结构信息；再将这一紧凑的拓扑表示送往云端，由 LLM 输出符号化驾驶决策，例如 LEFT、RIGHT、KEEP 以及相应驾驶风格。 这种做法的关键并不只是“压缩数据”，而是把视觉输入转换为更贴近交通决策逻辑的中间表示。 它让大模型的推理聚焦于真正相关的结构关系，减少冗余视觉细节干扰，也为下游规划层提供了清晰、可解释的语义接口。 图3：Perception2Decision 示例。 端侧 VLM 从图像中提取拓扑关系，云端 LLM 在此基础上输出结构化驾驶决策与驾驶风格。 图4：VLM 微调数据格式与两阶段训练策略。 模型学习将前视图像转换为包含类别、位置、距离、方向的结构化拓扑描述。 Decision2Trajectory：让擅长输出语言的大模型稳定影响长程轨迹大模型天然擅长输出语言，但并不擅长直接给出长程、可执行、可验证的轨迹。

相较之下，VLA 或 VLN 类方法虽然能够输出参考轨迹，但本质上仍然是在学习“轨迹本身”，在长程一致性、可解释性与工程稳定性方面仍存在挑战。 AFSP 的思路不是要求 LLM 直接生成完整轨迹，而是只保留其中真正有价值的“交通决策逻辑”，再将这些逻辑翻译为对经典规划算法有意义的启发式代价。 具体来说，AFSP 将 LLM 输出的语义决策注入 A* 规划器，以软约束（soft semantic cost）的方式影响搜索过程。 这样做有两个好处：一方面，可以让生成轨迹朝着符合语义意图的方向偏置；另一方面，又避免把语言决策当作硬约束，从而保留经典搜索在几何可行性与鲁棒性上的优势。 换句话说，系统不是让大模型“替代”传统规划，而是让大模型以一种可落地、可解释的方式“指导”传统规划。 图5：Semantic-Guided A* 的语义代价设计与调参观察。 左侧展示 Correct / Delay / Wrong / Overact 四类语义代价，右侧展示不同超参数对轨迹行为的影响。 Agentic Refinement：把“人工调参”变成“智能调参”仅有语义引导还不够，经典规划算法在实际使用中往往还依赖大量经验性超参数。

研究团队观察到，不同超参数会显著影响路径生成的行为：有的会导致动作过早发生，有的会造成语义不匹配，还有的会引入不必要的振荡。 这意味着，即便桥接逻辑设计得再好，如果仍然依赖人工反复调参，系统的可迁移性与可部署性也会受到限制。 为此，AFSP 进一步引入 Agentic Refinement Module。 该模块借助大模型的推理能力，把“观察反馈—分析问题—调整参数—再次尝试”的人工调参流程自动化：系统会从云端记忆中检索相似场景的初始参数配置，再根据当前轨迹反馈迭代优化超参数，直到获得更合适的规划结果。 由此，AFSP 不仅让大模型参与高层决策，也让其参与规划器的自适应优化。 图6：Agentic Refinement 自动调参案例。 系统从初始参数出发，观察动作发生过早等问题，并逐步降低 C_DELAY，使语义动作与障碍物边界更好对齐。 实验验证 拓扑输入能降低时延，同时保留决策质量在 Perception2Decision 部分，团队首先验证拓扑表示是否足以支撑大模型决策。 实验结果表明，在相同提示词下，基于拓扑图输入的 LLM 能够获得与 VLM 直接决策相近的结果，同时显著降低推理时间：场景决策匹配得分平均达到 0.

73，而平均推理时延从 VLM 方案的 10. 24 秒降低到 4. 13 秒。 表1：VLM 微调策略对比。 两阶段微调在类别错误率、距离/方向误差等指标上取得较好平衡。 图7：LLM 与 VLM 决策的一致性得分分布及推理时延分布。 拓扑图输入在保持较好决策质量的同时显著降低推理时间语义引导 A* 提升长程意图一致性在 Decision2Trajectory 部分，团队考察了地图偏移与障碍物扰动条件下的路径生成行为。 结果显示，普通 A* 在环境发生轻微变化时，容易偏离预期决策语义；而引入语义引导后，规划结果在 Shift 1、Shift 2、Shift 3 等不同设定下仍能较好保持 left / keep / right 等高层交通意图，体现出更强的长程一致性与鲁棒性。 这也从另一个侧面验证了 AFSP 的桥接逻辑：大模型不必直接生成长程轨迹，只要把高层决策稳定地翻译为中层规划中的代价偏置，就可以让经典搜索自然地生成更符合语义意图的路径。 图8：Semantic-Guided A* 在不同地图扰动下的路径生成结果。 相比普通 A*，语义引导路径更能保持指定驾驶意图。

Guide1 = [right, keep, left], Guide2 = [left, keep, right], Guide3 = [left, left]. CARLA 闭环验证：更快、更稳、更可解释图9：CARLA 实验场景示意。 车辆需要在包含多类障碍物的道路环境中完成从起点到终点的导航。 在完整系统层面，研究团队将 AFSP 与纯 MPC 以及 A* + MPC 两个基线进行比较。 实验分别在正常地图和多种扰动地图下重复开展，评价指标包括完成时间、轨迹长度、平均横向偏差、速度波动和最大横向偏差。 结果显示，AFSP 在三种场景下均取得了更优或更稳健的表现：平均完成时间相比纯 MPC 缩短约 12%，相比 A* 缩短约 11%；最大横向偏差相比纯 MPC 下降约 45%，相比 A* 下降约 35%。 图10：Scenario 2 中 A* 与 AFSP 的轨迹细节对比。 AFSP 在扰动地图下仍能保持更稳健的路径行为。 这表明，AFSP 不只是“想法新”，更重要的是它在不牺牲传统优化方法稳定性与可部署性的前提下，真正把大模型的认知与推理能力系统性地融入了自主系统决策闭环。

图11：三种规划与控制方案在 Scenario 1 中的表现对比。 AFSP 能生成更平滑、更符合动态可行性的轨迹。 图12：完成时间与最大横向偏差对比。 AFSP 在三个场景中均表现出更短完成时间和更低最大横向偏差。 表2：CARLA 闭环实验量化对比。 指标包括完成时间、轨迹长度、平均横向偏差、速度变化和最大横向偏差。 总结与展望 整体来看，AFSP试图回答的并非“大模型能否指导具身智能实时控制”，而是“能否以工程可落地、系统可解释的方式，使其真正具备这一能力”。 相比直接让大模型接管底层控制，AFSP 选择了一条更稳健的技术路线：把大模型放在其最擅长的认知与推理层，把经典算法放在其最擅长的规划与控制层，再通过清晰的接口完成跨层桥接。 从这个意义上说，AFSP 不仅是一种具体方法，也代表了一种面向真实自主系统的设计范式：先做结构化抽象，再做语义决策；先保留高层逻辑，再翻译为中层规划偏置；在此基础上结合反馈闭环，实现持续自适应优化。 未来，这一方向有望进一步推动大模型从“会说、会看”走向“能落地、可部署、可验证”的真实自主系统应用。

研究团队陈嘉易 第一作者香港中文大学（深圳）-深圳市大数据研究院联培博士生2024年本科毕业于北京邮电大学，现为香港中文大学（深圳）-深圳市大数据研究院联合培养博士生。 研究方向为具身智能，聚焦快慢思考架构下的大模型与底层控制算法协同系统设计。 朱光旭 指导导师深圳市大数据研究院网络与机器智能研究中心，研究员朱光旭，国家级青年人才，深圳市大数据研究院，网络与机器智能研究中心常务副主任、研究员，香港中文大学（深圳）客座副教授、博士生导师。 主要研究兴趣包括：分布式机器学习，多模态感知，网络智能，具身智能等。 现任IEEE TMC 与 TWC 等计算与通信领域国际顶级期刊编委，IEEE 通信学会青年专业委员会副主席，曾获IEEE通信学会亚太区最杰出青年学者奖（年度亚太区唯一）以及最佳论文奖、中国通信学会自然科学一等奖、吴文俊人工智能青年科技奖，浙江省自然科学二等奖，中国电子学会自然科学二等奖等荣誉，主持包括国自然青年科学基金（B类）及面青项目、国家重点研发计划子课题、广东省基础研究重大项目课题、广东省青年拔尖人才等国家级省部级项目课题、以及华为，中移动、中国信通院等产研合作课题十余项。 雷峰网