人手数据，如何重塑机器人基础模型？专访 LaST-HD 一作刘家铭

至简动力联合北大、港中文、乙太科技—不代替真机，人手与真机数据共生

    作者丨邓哲敏

    编辑丨齐铖湧

数据一直是具身智能最难啃的骨头。目前几条主流数据路线都存在明显瓶颈。仿真数据采集效率高，却始终受到虚实鸿沟限制。真机遥操作能够获得高质量数据，但采集成本高、效率低，而且大量数据与机器人本体深度绑定，难以复用。

至简动力在苏州交付的首批 100 台 i7 Pro 机器人，已进入 CNC 上下料等工业场景部署，这批机器人采用的，是与行业主流有所不同的数据路线——人手数据。

围绕数据路线之争，AI科技评论（雷峰网公众号）对话至简动力北大联合实验室RD负责人、北京大学博士生刘家铭。他最新发表的 LaST-HD 论文，由北京大学、香港中文大学、至简动力、乙太科技等团队联合推出，通过让机器人学习人手动作背后的物理规律，让难以利用的人类操作经验转化为机器人技能。在这场对话中，刘家铭分享了交付背后的技术问题，也谈了谈他对具身领域模型与数据发展方向的判断。

以下是AI科技评论（雷峰网(公众号：雷峰网)公众号）与刘家铭的对话，经不改变原意的编辑整理：

01

人手数据不是来代替真机数据的

▎AI科技评论：最近 Human Data 是一个行业热点。有人认为，这是机器人数据路线发生的一次转向，你怎么看？

刘家铭：Human Data 其实不是今天才出现的新概念。三四年前，在 VLA 还没有成为主流的时候，就已经有不少工作尝试利用人手数据做模仿学习。真正变化的是，大模型出现之后，人手数据第一次有机会成为机器人基础模型的重要组成部分。

过去几年，行业一直更相信真机数据，因为机器人直接和真实物理世界交互，看起来更加原生。但真机数据也有很明显的问题。首先就是成本。采集一条高质量遥操作数据，需要机器人、本体、操作员、场地等整套系统协同，采集效率远低于人手数据。其次，它很难真正规模化。现在全球最先进的数据工厂，本质上还是不断搭建新的实验室场景。它可以不断换桌子、换杯子、换家具，但始终很难像人一样走到真实世界里采集数据。最后是真实世界的多样性。很多动作，人一天会自然完成很多次；但如果交给机器人遥操作，效率会很低，有些动作甚至会因为本体限制而变得很别扭。所以 Human Data 真正带来的，不只是成本下降，更重要的是，它让机器人第一次有机会接触真实世界中丰富、自然的人类行为。

▎AI科技评论：未来 Human Data 会取代机器人数据吗？

刘家铭：我不这么看。Human Data 和机器人数据不是替代关系。我们的目标也不是让机器人完全拟合人。机器人和人的硬件结构本来就不同，很多感知能力今天也还做不到完全一致。Human Data 更重要的意义，是把人作为最大的物理数据载体，帮助机器人理解物理世界。真正困难的，其实不是怎么采数据，而是怎么采到高质量、高diversity的数据，以及机器人怎么真正学会这些数据。

▎AI科技评论：过去很多工作都在研究怎么把人的动作映射到机器人，你们做 LaST-HD 却提出让机器人学习人手动作背后的物理规律，是认为过去的路走不通吗？

刘家铭：因为我们觉得，真正需要对齐的不是动作，而是物理世界的变化。

过去几年，行业已经尝试了很多路线。有人做视觉对齐，把人手替换成机械臂；有人做动作重定向，希望把人的动作直接映射到机器人关节；也有工作通过更大的预训练模型，让模型自己去适应不同本体。这些方法都有价值，但它们关注的对象，本质上还是动作或者视觉。

我们后来发现，一个更值得关注的问题是：人和机器人虽然动作不同，但它们改变物理世界的方式是相似的。比如推一个杯子。人的手和机器人机械臂完全不一样，运动轨迹也不同，但最终发生的事情是一致的：杯子向前移动，和桌面的接触关系发生变化，里面的水也会随着运动晃动。真正一致的，其实是物理世界。所以我们最后没有去对齐动作，而是尝试去学习这种共享的物理规律。

▎AI科技评论：你们自研的 OOL 手套现在采集了多少人手数据？

刘家铭：截止到 LaST-HD 这篇论文发布，公司层面预训练中可用的人手数据是 2000 小时，这不算市面上开源的其他真机和人手数据。年底应该会到一两万小时。从数据量角度来说，我觉得要达到比较好的泛化，需要考虑三个问题：第一是质量，第二是多样性，例如：同一个任务，同一个 position 收 30 条数据对预训练反而是有害的，会让模型过拟合；第三是数量，我们目前最大的训练量是 2 万多小时，模型已经出现了不错的泛化能力，downstream finetuning 所需的数据量和探索空间都会变得更好。

佩戴OOL手套采集人手数据

02

VLA VS 世界模型

▎AI科技评论：行业里关于 VLA 和世界模型的争论很激烈，有人认为 VLA 已死，你怎么看？

刘家铭：我其实不太喜欢把它们看成竞争关系。很多时候，它们解决的是同一个问题，只是角度不同。传统的 Action Policy，需要自己完成从 0 到 100 分的预测。而 VLA 也好，WAM 也好，本质上都是在提前提供一部分物理先验。比如视频生成、世界模型，可以先把未来可能发生的状态预测到五六十分；后面的 Action Policy，只需要完成剩下的部分。这样，机器人学习的难度就会低很多。所以我一直觉得，没有必要纠结到底是 VLA 还是 WAM。两者都是为了提供更好的物理先验、更好的推理能力。最终服务的，都是机器人对物理世界的理解。

▎AI科技评论：所以你不认为 VLA 走到了尽头？

刘家铭：当前不少 VLA 工作表现有限，更多反映的是模型与训练数据尚未充分、训练策略不是很对，并非是 VLA 范式本身的能力上限。如果把 instruction following 和 physical reasoning 做好标注、真正训练好，VLA 依然具备很强的能力。当然，世界模型擅长建模物理动态、时序依赖、历史信息，这也很重要。但我觉得两者不是对立的，而是可以在系统里共存。

▎AI科技评论：论文里提到的隐空间推理，是在这个思路下做的吗？

刘家铭：对，我们在 LaST₀ 里给了几个 motivation。第一，世界模型生成有用但慢，把它压缩到隐空间里，推理效率会快很多。第二，隐空间自由度更高，可以融合3D信息、本体信息、触觉信息，不只是视频或文本。第三，人做大多数事情的时候，不需要想象出未来的状态具体什么样，更像是一种隐空间的学习。latent reasoning 在 VLM 和机器人基础模型里，都是非常有前景的方向。

03

LaST 是一个系统

▎AI科技评论：你有三十多篇一作/共一论文，覆盖了 VLA 、世界模型、强化学习等多个方向，你的博士研究主线是什么？

刘家铭：我一直研究的是同一个问题，就是如何让机器人真正理解物理世界，并且能够持续获得泛化能力。机器人今天遇到的很多问题，其实不是单独优化一个模型、一个算法就能解决的。数据决定机器人能够学习什么；模型决定它如何理解物理世界；训练策略决定它如何持续进化；本体则决定这些能力最终能否真正执行出来。这几个部分其实是相互耦合的。所以我的博士课题一直都是围绕开放世界机器人的一体化智能体展开，希望把数据、模型、训练策略和本体放到同一个系统里面思考，而不是各自独立优化。

▎AI科技评论：具身领域技术路线变化很快，很多人为了发论文不断追逐热点，不能顾及落地问题，而你的很多研究最终都进入了机器人量产流程。你做学术，是为了发论文，还是为了机器人量产？

刘家铭：我做学术不是为了发论文。Robotics 是应用研究，如果东西做出来不能用，那至少提出了一个好方向，这也挺好。但我们现在追求的论文，是以应用为导向的，想构建一个真正能够持续学习、真正可落地的机器人系统。

比如 LaST-HD 这篇，我们的 Out-of-Lab 手套，不是为了发论文设计的，是因为我们发现机器人最大的瓶颈是高质量原生人类数据。Mixture-to-Human 训练策略，也不是为了刷 benchmark ，而是希望机器人部署之后，能用少量人手数据快速适应新场景、新用户。论文里肯定有一些验证科学问题的设计，比如 latent alignment 怎么构建、为什么训练策略有效，但更多的设计来自于真实机器人研发过程中的需求。

我比较喜欢的论文风格，像 shuran song 老师组的工作，是系统工程。真正的机器人基础模型，不应该只关注模型，而应该同时考虑数据采集、模型、训练、本体等一系列问题。LaST 系列也是朝这个方向走了一步。

▎AI科技评论：LaST 是一个系列？

刘家铭：对。很多人最近关注的是 LaST-HD ，但实际上它只是 LaST 系列中的一个环节。整个 LaST 系列，都是围绕机器人如何学习这件事情不断往前推进。LaST₀ 主要关注机器人基础模型；LaST-R1 探索如何通过后训练进一步提升模型能力；TwinRL 希望结合数字孪生，让机器人能够更高效地完成强化学习；LaST-HD 则关注如何利用人手数据，让机器人学习人类丰富的操作经验。最近我们还有一些新的工作，在真机上的表现已经比较不错，可以期待一下。把这些工作放在一起，其实是在补机器人学习过程中的不同短板。

▎AI科技评论：至简动力这次百台交付对你意味着什么？

刘家铭：它验证了我们这套从数据、模型、训练策略到本体的一体化管线，是可以跑通的。至简动力的量产主要由PD方向的同学推进，我这边更多是前沿技术探索和技术支撑。但 LaST 系列的工作，从手套设计到物理对齐再到后训练，最终都要在真机上验证。百台交付就是这个验证节点。

04

灵巧手，学术与终局

▎AI科技评论：LaST-HD 里提到先用 latent alignment 做预训练，再通过少量人手纠错数据快速微调，这种策略是为了提升 benchmark 分数吗？

刘家铭：后训练这个设计其实更符合从工业界反推回来的思路。我们想探究一种全新的 ToC 范式——机器人离开实验室、进入用户家里之后，不停止学习，而是持续性地学习，越来越符合这个家庭和用户的使用习惯。现在进家之后大概有三种范式。第一种是遥操，但遥操学到的是遥操员的习惯，不是用户的习惯。你收拾碗的方式和遥操员不一样，虽然准确度可能很高，但用户希望机器人按自己的方式干活。第二种是全场景重建，然后在仿真里迭代，但这涉及隐私问题，而且 sim-to-real gap 依然存在。第三种就是我们想提的范式：用户戴上轻量级手套，在家里按自己的习惯做几遍，交给机器人做非常简单的迭代更新，可能几十分钟，机器人不但把精度从 60 分提到 90 多，更重要的是学会了你的习惯，形成一个你独属的定制化机器人。

▎AI科技评论：这个愿景技术上怎么保证？

刘家铭：这完全取决于手套收集的数据质量。如果数据质量到位，少量高质量人手标注数据确实能快速帮助机器人适应新环境。我们在实验室特定任务和特定场景下统计得到了 90%+ 的成功率，目的不是为了秀数字，而是验证这种新范式的可能性——用户戴上手套试教几个小时甚至更短，机器人就能适应新环境、新场景、新任务。这个才是真正让我兴奋的点。

我觉得机器人进家是早晚的事，但真正重要的是进家之后比别人多想一步——用户肯定希望机器人按自己的方式、自己的习惯干活，不希望按别人的方式。个性化是我们一直想注入给机器人的能力。

▎AI科技评论：你觉得灵巧手会在哪些场景优先落地？

刘家铭：未来一段时间，可能近几年，灵巧手更优先落地于半开放环境——工业柔性制造、自动化实验室、商业服务等。这些场景任务复杂，但环境相对可控，更适合高自由度机器人部署。如果没有很好的灵巧手售后支持，我都不建议做灵巧手科研实验——折手、断手、冒烟基本是每周都要发生的事。

家庭场景肯定是最终目标，但进家之后面对的是完全开放的环境，不同家庭、不同用户、不同操作习惯，高自由度加上高泛化难度，难上加难。这也是我们探究手套数据的意义——看看规模化之后，更好地与模型融合，能不能实现稳定、安全的操作。

▎AI科技评论：你觉得具身智能的终局比拼是什么？

刘家铭：我觉得不是 80% 和 81% 的内卷，而是最后 20% 的长尾与个性化。预训练能把模型基础能力拉到 80 分，大家都能做；我一直喜欢的一个概念是机器人千人千面，我们不光要在下游任务中赋予机器人百分百的精度，还有让他学会你的操纵习惯与逻辑。场景自适应、持续学习、个性化记忆，才是拉开差距的关键。数据飞轮的关键不是采得多，是真实场景、持续回流、在线优化。谁能把这套闭环跑通，谁才能笑到最后。

雷峰网原创文章，未经授权禁止转载。详情见转载须知。