
对话 IDEA 张磊:「不以动作为输入条件,就不叫世界模型」
Quick Answer
In 2026, China's AI sector sees a surge in investment towards world models, totaling approximately 900 billion yuan, with IDEA's Zhang Lei providing clarity on their significance.
Quick Take
He emphasizes that true world models must incorporate action conditions to predict environmental changes, distinguishing them from mere generative models.
Key Points
- China's world model sector raised about 900 billion yuan in H1 2026.
- Zhang Lei defines world models as requiring action conditions for environmental predictions.
- Current robotics face challenges in success rates and generalization capabilities.
- World models enable virtual training, reducing costly real-world trial and error.
- The debate between pixel-based and latent space approaches continues in AI modeling.
DeepSignal Analysis
What happened
In the first half of 2026, China's investment in world models surged to approximately 900 billion yuan, driven by a fivefold increase compared to the previous year. Zhang Lei of IDEA emphasized that true world models must include action conditions to effectively predict environmental changes, distinguishing them from generative models.
Key evidence
- In the first six months of 2026, the financing for world models in China reached about 300 billion yuan, expanding to over 900 billion yuan when including embodied intelligence.
- Zhang Lei, an IEEE Fellow and founder of Visionary Future, highlighted that a world model must incorporate action conditions to be considered valid.
- The growth in investment and talent influx into the world model sector reflects a significant shift in focus within the Chinese AI industry.
Why it matters
The rapid investment in world models indicates a pivotal moment in the AI sector, suggesting a shift towards more sophisticated models that can interact with and understand their environments. Zhang Lei's insights may guide future developments, ensuring that new models are not just generative but also capable of meaningful interaction with real-world scenarios.
📖 Reader Mode
~8 min read
作者丨幸丽娟
编辑丨林觉民
2026年上半年,中国AI圈的钱和人都涌向同一方向:世界模型。
仅前六个月,国内世界模型赛道披露融资总额约300亿元,如果把“具身智能+世界模型”融合赛道算进来,这个数字膨胀到900多亿。
相比去年同期,融资增速超 5 倍。
百亿资金,海量人才,如潮水般涌入。
一个绕不过去的问题是:这么多人冲进来,究竟有多少人真的想清楚了这个东西到底是什么?
从业者在找方向,投资人在找人,猎头在摸组织,大厂战略部门在研究谁能活下来。
一件奇怪的事是,所有人都在问同样的问题:有没有谁能把世界模型这件事讲清楚?
有。
我们今天深访IDEA研究院讲席科学家、视启未来创始人张磊,一起来聊清这件事。
他是IEEE Fellow,Google Scholar引用超77000次。他的DINO系列在COCO霸榜5个月,Grounding DINO 和后续的 DINO-X 力压谷歌和Meta,被李飞飞团队、英伟达、银河通用等多个全球顶尖机构“标配”引用。
2025年他带着团队从IDEA孵化创立视启未来,天使轮一个月就到账近亿元。
身后还站着两位 AI 巨擘:学术导师张钹院士(中国人工智能奠基人之一),产业导师沈向洋院士(前微软全球执行副总裁、前微软亚洲研究院院长)。
(这是一次深度访谈,为了不影响探讨行业问题的深度,精彩曲折的人物故事这里就不展开了,想看科技八卦的请关注左林右狸下一篇文章《我所知道的张磊》)。
但这都不是我们找他的主要原因。
我们找他的原因很简单:在所有人都在争论“什么是世界模型”的2026年,张磊是极少数给出了清晰、可操作、不与任何主流妥协的答案的人。
从微软研究院首席研究员,到IDEA研究院讲席科学家,再到创业者——他的职业道路几经换轨,研究命题从来没有变过:“让AI理解物体”。
世界模型,是这个做了二十多年的命题,在物理世界里的关键答案。
如果你正在看世界模型赛道,想理解它到底是不是泡沫,想知道路线之争谁会赢,想判断哪类团队最值得跟——这个人的谈话,你值得读完。因为,It's totally worth your time。
以下是对话实录,AI科技评论进行了不改变原意的删改。

张磊博士,IEEE Fellow,视启未来创始人兼CEO,现任IDEA研究院计算机视觉与机器人研究中心(CVR)讲席科学家,香港科技大学(广州)兼职教授,前微软亚洲研究院、微软总部研究院首席研究员,在计算机视觉等领域发表论文200多篇,Google Scholar引用超过77000次,H-Index为107,拥有60多项美国授权专利。因对大规模图像识别和多媒体信息检索方面做出的杰出贡献,获选为IEEE Fellow。

01
具身智能最大的瓶颈不是本体,是大脑
▎AI科技评论:去年以来具身智能爆发,各家机器人公司在运动控制上越来越惊艳,宇树的机器人在马拉松赛道上跑,智元的机器人能翻跟头。但我们观察到,落地应用上似乎还差一口气。您觉得具身智能真正走向现实,还有哪些必须攻克的挑战?
张磊:机器人要解决的核心就两件事:成功率和泛化能力。成功率,指做一件事是否足够可靠地完成;泛化性,是同一任务换了环境、换了本体,依然能可靠完成。
具体的挑战有四个:
第一,单一场景泛化性不足。现在很多团队能在单一场景把成功率做到70%甚至80%,听上去是很大的突破。但80%在真实应用中意味着什么?意味着每五次操作就有一次失败,仍然需要大量人力兜底,完全无法独立部署。
第二,横向延展场景的通用性不够。应该先把单点的能力推到天花板,再横向延展场景应用的广度,让它在更复杂的环境下做更多、更复杂的任务。这是阻碍机器人从“实验室演示”走向“真实应用”的最大鸿沟。
第三,“大脑”的深层次能力缺失。当前深度学习更多在学习智能的“行为”,而非“机理”(智能背后的工作原理)。具身大脑需要拥有对物理世界真正的因果推断(不只是统计关联,而是理解“因为A所以B”的逻辑链条)、常识理解和自适应能力,而这个方面,我们才刚刚起步。
第四,远未达到“终端”级应用。目前大多数机器人仍依赖巨大的外部算力支持,需要解决“不需要人兜底”这个根本问题,才能在海量场景中推广,形成“应用-数据-迭代”的良性循环。
▎AI科技评论:坦白讲,业内对这个问题的看法挺分裂的。搞硬件的团队认为中国供应链优势明显,应该先把本体成本打下来;搞算法的团队觉得大脑才是真正卡脖子的地方。您怎么看?
张磊:大脑更难,也更重要。
本体方面,中国硬件迭代令人自豪。宇树、智元这些企业通过仿真强化学习(在虚拟环境中训练控制算法再迁移到真实机器人上)迭代运控,对电机、传动机构等关键部件不断打磨,成本和可靠性大幅优化,走出了一条非常扎实的路。但本体在马拉松、表演中展现的能力,也只能说基本具备了动物的基础能力,动物本能的反应、跳跃、躲避和与环境交互的能力,本体还没达到。
▎AI科技评论:您说“大脑”更难,难在哪?是数据不够,还是我们对智能本身的理解还太浅了?
张磊:难在背后的机制我们并未真正理解。人的大脑跟其他动物相比,区分度最大、智能程度最高。现在所有深度学习的突破,都是从表象上来看大脑的智能达到了什么程度,然后用算法去实现。AI实际上是在学习人的行为,而不是在学习人的智能本身。 就像张钹老师常说的,大语言模型能像人一样说话,但它理解语言的方式跟人完全不同。

02
为什么世界模型“冷落”了二十年,
今天突然火了?
▎AI科技评论:伴随具身爆发,“世界模型”这个概念突然火了。但圈内人都知道这不是新词,90年代就有学者提过。我们挺好奇的,这个概念为什么沉寂了二十年,又在今天突然成了风口?
张磊:这个问题挺好。世界模型确实不是新概念。90年代初就有学者尝试对智能体(能够感知环境并采取行动达到目标的AI系统)交互所需的环境建模,帮助强化学习改进算法,但那时深度学习还没兴起,概念提出后很难验证。
这一概念真正得到验证是2018-2019年前后,出现了真正叫“World Models”的论文,并在游戏场景里得到应用,因为游戏是验证强化学习最好的环境。
强化学习发展若干年后,AI已经能在游戏里打败人类选手。这时研究者开始思考:能否让AI智能体在与游戏环境不断交互的过程中,自主“学出”一个世界模型,把环境演化的过程装进模型里?这个想法在2018到2020年前后得到了完整验证。
▎AI科技评论:那这跟今天的具身智能有什么关系?我们听下来,好像具身才是真正把世界模型带火的那根导火索?
张磊:这个关联要从语言模型说起。行业先做了VLA(Vision-Language-Action,即视觉-语言-动作模型,机器人看着画面预测下一步动作),沿用语言模型的模仿学习范式:语言模型做Next Token Prediction;具身的VLA则是机器人看着当前画面预测下一个动作应该怎么做。
但这种方法很快走到瓶颈。瓶颈不仅仅在数据,我认为数据只是一方面,另一方面是强化学习应用还不够。我有一个比喻:模仿学习让语言模型学会开口说话,强化学习让语言模型能说对。
机器人的智能程度、动作的成功率,同样需要强化学习。
但强化学习用在具身上,面临两个致命障碍:一是数据收集效率极低,远低于语言模型,机器人必须在真实环境中实际执行每个动作并等待物理反馈;二是失败成本不可承受,洗碗学不会就打碎碗,自动驾驶学习避免事故可能要经历大量真实事故才能学会。这跟语言模型在数字世界里低成本试错完全不同。
世界模型提供的虚拟环境,正是解决这些问题的出口。 如果一个模型能预测“如果我做了这个动作,环境会变成什么样”,那机器人就可以先在虚拟世界里“脑补”无数次试错,而不需要真的打碎一万个碗。
(笔者注:简单理解这段话的逻辑链。第一,机器人学会做一件事需要大量试错。第二,在真实世界里试错太贵太危险。第三,世界模型就是给机器人造一个“虚拟训练场”,让它在脑子里把各种动作的后果都推演一遍。第四,只需要把最优方案拿到真实世界执行。这就是为什么世界模型在这个时间点突然成了全行业追逐的焦点。)

03
“不以动作为输入条件,
就不叫世界模型”
▎AI科技评论:现在行业对“世界模型”的定义相当混乱。视频生成的叫世界模型,3D空间建模的叫世界模型,LeCun的JEPA(联合嵌入预测架构)也叫世界模型。那您认为,一个模型要配得上这四个字,至少需要具备什么条件?
张磊:我认为世界模型一定要有动作依赖,即Action Conditioned(以动作为输入条件,模型必须能回答“如果执行某个动作,环境会变成什么样”)。
智能体能够与环境交互的原因是动作:智能体的动作导致环境变化,环境变化后产生新的状态并反馈给智能体,告诉它当前的动作是否朝目标靠近了一步。这是一个完整闭环,环境状态的每一次转移,都依赖于上一步所执行的具体动作。
大家常说世界模型就是把语言模型的 Next Token Prediction变成Next State Prediction,但我认为这个定义不够严谨,缺少了一个关键条件。正确的表述应该是:Action Conditioned的Next State Prediction。 只有加入了动作这个前提条件,状态预测才有意义,才是真正符合强化学习需求的世界模型。
▎AI科技评论:讲真的,很多人,包括一些投资人在BP里,习惯把Sora这类视频生成模型也叫作世界模型。但按您刚才给出的标准,它们明显缺了动作这个维度。我们想听听您怎么拆解这个问题?
张磊:我们这里讨论的世界模型,源自强化学习领域的 model-based 的方法,是为了帮助智能体更加有效地和环境进行交互。虽然世界模型有很多应用场景,但是具身智能是目前最为清晰、也最有价值的应用场景。
在这个意义下,纯视频生成模型比如早期的Sora,不能被称为世界模型。核心原因在于它没有建模“动作”,它本质上是在生成一个自洽的视频序列,预测像素如何变化,但完全不去建模机器人和环境交互的动作。那它能不能间接帮助机器人?能学到一些世界的变化规律,但很难帮助机器人更好地和环境交互。
▎AI科技评论:那最近很火的World Action Model(世界动作模型)呢?我们听说它也在谈动作,是另一种世界模型吗?
张磊:WAM也不是强化学习意义下的世界模型。它是利用预测未来画面提供的像素级监督来帮助改进动作预测,在有些任务上已经展现了比VLA更好的性能。但是,它的建模是先果后因的,先生成未来画面再反推动作,不能用于强化学习,所以不符合我们这里讨论的世界模型的定义。

04
像素派 vs 隐空间派:
两边其实都在做同一件事
▎AI科技评论:聊到路线之争,这是现在世界模型领域最热的话题了。LeCun是隐空间派的旗帜人物,Sora代表了像素派。两条路线看起来水火不容,您怎么看?
张磊:首先,我们应该看到,两条路线有共性。
实际上现在大家普遍感觉它们对立性很强,可能也是因为LeCun比较旗帜鲜明地坚定他的主张,有时候一个学者为了让外面记住自己的主张,一定要讲得比较清楚一些。
但像素路线实际上也要借助隐空间来操作。Stable Diffusion、Sora都是先将图像或视频压缩到低维表征空间再处理。所以,表征空间才是更本质的问题。 两条路线的真正分歧,根本不在于要不要用隐空间,而在于进入隐空间之后要保留什么、丢掉什么。
差异在于:隐空间路线希望排除光影、纹理这些并非由物理规律驱动的像素细节,有助于模型学到状态变化背后更本质的规律,但它面临表征坍塌的风险,如果一万个不同画面映射成完全一样的表示,表征就坍塌了,意味着模型丧失了辨别不同状态的能力。像素路线追求纤毫毕现,本质是在讨好人的眼睛,因为人对视觉细节非常敏感。
▎AI科技评论:聊到这里我们有个直觉。人脑做推演不也是在隐空间吗?你闭眼想象一个动作的后果,谁会在脑子里逐像素渲染一遍?
张磊:没错。如果人脑存在一个世界模型,人想象动作如何改变环境,其实是在隐空间里操作,而不会把整个画面逐像素地在脑子里过一遍。所以,以人眼对画质的判断作为世界模型的评价标准是不充分的。 像素路线若要做世界模型,真正应该追求的不是像素有多逼真,而是生成的视频序列要符合物理合理性。
(笔者注:这段对话讲的是AI世界模型的两条路线之争。以Sora为代表的像素派只管画面逼真,常会出现杯子悬浮、物体穿模、蜡烛吹不灭这类违背物理常识的bug;而LeCun与张磊主张的隐空间派,是先把画面抽象成规律再推演,更懂物理因果。张磊的关键创新,是在隐空间里加入“物体结构”,让AI先分清杯子、桌子、人这些独立物体,再学习它们之间的互动规律,既避免Sora式的视觉穿帮,又比纯抽象隐空间更适合机器人在真实世界里避障、抓取与规划动作。)
▎AI科技评论:您跟LeCun走的是同一条隐空间路线。但我们听说,您的做法跟他有一个关键区别,您强调要“引入物体结构”。核心差异在哪?
张磊:我们的路线跟LeCun共享同一条第一性原理:人脑做反事实推理(“如果我这么做会怎样”的推演)是Action-Conditioned的,在抽象表征里推演,不在像素里重演。
LeCun过去几年用I-JEPA、V-JEPA、LeJEPA验证了这条公理:预测应该发生在表征空间。但具身方向物理空间的复杂度极高,真正要把这个方法用到大规模真实环境,我们认为还需要在隐空间里引入必要的结构。
这个观点来自我们已验证过的能力。我们的核心团队主导研发的DINO-X,已经解决了开放世界“看见物体”的问题。所以现在,我们让物体成为世界模型预测与规划的基本单元。直观来讲,物理规律是作用在物体上的,让隐空间表征理解物体,就可以更有效地学习物理规律。
▎AI科技评论:等一下,我们想追问一句。LeCun的AMI Labs拿了十几亿美金融资也在死磕这个方向。你们这个“引入物体结构”的改进,凭什么觉得能在他的大框架上跑得更远?
张磊:因为我们之前做DINO-X,这是一个开放式的物体感知通用模型,已经把“理解物体”这件事做到了全球最好。我们对视觉模型机理的理解、为什么视觉模型能做出物理合理性,都跟原来做通用物体理解这条线高度吻合。
简单来说,LeCun的路线是基础框架,我们在这个框架上引入物体结构,并让它在真实环境上闭环。这个“闭环”的能力,是我们过去几年打出来的。

05
凭什么DINO系列能力压谷歌和Meta?
▎AI科技评论:您的团队在视觉大模型阶段成绩太突出了。Grounding DINO 和后续推出的DINO-X 力压谷歌、Meta,被李飞飞团队、英伟达、银河通用等全球顶尖机构标配引用。这事我们内部聊过,都觉得有点“不正常”:通常是中国团队追着国外跑,你们是怎么反过来让国外团队来追你们的?
张磊:两个维度比较突出。
范式上,我们是视觉领域第一个把Transformer(一种基于自注意力机制的深度学习架构,也是大语言模型的底层基础)检测做到SOTA(State of the Art,领域最佳水平)的团队。Grounding DINO将语言模型的范式引入,第一次把物体检测拓展到开放域,模型不再局限于“只能识别训练过的物体类别”,而是可以检测任意从未见过的物体。至今它仍是开源模型里引用和下载量最高的,这可以称得上范式级突破。
数据和工程策略上,在Grounding DINO之后,我们转向闭源路线,将验证过的想法往Scaling方向推进。同时,我对工作水准要求很高。虽然当时团队年轻,没做过这么强的工作,但我还是坚持把门槛卡住,强调必须达到大版本级别的突破才发布。所以我们花了约一年时间才推出Grounding DINO 1.5,然后又花了半年时间推出 DINO-X。事实证明,这一年多磨出来的版本,行业认可度确实很高。
▎AI科技评论:你们做的这些视觉大模型,跟今天做世界模型是什么关系?
张磊:我们的工作一脉相承。此前做物体感知,核心目标就是给机器人提供感知基础,后来很多团队用我们的Grounding DINO解决具身环境理解问题。
技术路线上,世界模型比语言更偏视觉原生,几乎所有世界模型工作都不是基于GPT那种纯语言架构。
团队积累上,我们对视觉模型机理的理解跟原来做通用物体理解这条技术路线吻合度非常高。这也是我们有信心把世界模型持续迭代下去的原因。
团队是从IDEA孵化的20多人,非常稳定。我们做闭源模型的时候也不断吸引外部做算法和工程都很强的人加入。这20多个人,就是今天视启未来的“种子”。

从DINO系列模型到世界模型的进化路线

06
如何让AI真正“看见”物体?
▎AI科技评论:您说现有的隐空间方案“并不真正理解物体”,它们不知道场景里哪些是独立物体、物体之间是什么关系。我们挺好奇的,这怎么判断?怎么知道模型是真的“理解”了物体,还是在“假装”理解?
张磊:理解本身难以直接验证。语言模型到底怎么理解语言的,现在谁都讲不清楚,只能通过行为表象判断,它连续输出文字,你觉得跟人说的没差别,就说它理解了。
世界模型面临类似困境。模型到底有没有真正理解物理规律,是不是真的捕捉到了物体结构,也很难直接讲清楚。我们会通过中间步骤的可视化来分析,如果结果跟人类直觉一致,就说明它可能捕捉到了物体结构。
▎AI科技评论:有没有什么具体的测试方法?能不能做个实验来看看?
张磊:有的。反事实测试就是一个很好的方法,让模型尝试不同动作,看能否给出物理合理的结果。如果轨迹偏一点也能做对,说明学到了规律;做不对,说明学的可能仍是统计相关性。
这很考验洞察力。就像Richard Sutton教授说的,人做研究时总忍不住想帮模型、把自己的经验灌进去。语言模型研究者曾经恨不得把句法结构分析出来,分词、词组都喂给它,但最后还是打不过“预测下一个Token”这个简单范式。
我自己非常相信这种简洁的范式往前迭代的力量。 过多人为设计,短期有效,长期会阻碍迭代。
▎AI科技评论:那物理世界里还有一些很棘手的物体,流沙、水流、烟雾、布料,它们没有清晰的边界。我们担心的是,您的“物体为中心”框架会不会反而被“物体”这个概念束缚住?
张磊:这个问题我们自己也在思考。从技术角度,最简单的切入方式是Mask,把物体区域的像素分割出来。过去几年视觉领域在物体语义理解和Mask预测上已经很成熟,流沙、水域这类非刚性物体都能处理。
因此,从Mask入手,是一个务实的起点。而我们在通用物体感知上的积累,比外面任何团队都深。

07
EgoTwin:让人的手教会机器人的手
▎AI科技评论:您的技术框架里有一个很关键的概念叫“动作对齐”,把人的手、两指夹爪、多指灵巧手这些不同构型的动作映射到同一个隐空间。我们是这么理解的,这听起来有点像给机器人做翻译,让它们能理解不同“语言”的动作,对吗?
张磊:世界模型的输入主要有两个:画面(状态)和动作,所以对动作的理解非常关键。
动作对齐是多本体问题的基本需求。人手与机械臂的对齐更有难度:机械臂的关节位置在物理空间的XYZ坐标是精确可知的,但人手数据一般是2D视频,大家拍一段做饭的视频,里面只有二维画面,没有三维坐标。直接混用效率很低。
我们的做法是提取3D关键点,将人手的2D视频转化为3D空间的操作序列,与机械臂数据对齐到同一物理空间。这就是现在行业讲的Ego数据(以第一人称视角采集的人类操作数据)的采集和处理。
我们之前发布的EgoTwin,主要解决的就是这类数采问题,目前已经跟百度云的数采团队在合作。
▎AI科技评论:EgoTwin解决了“手怎么动”的数据问题。但我们想追问一句,人类视频里还隐含了更高层的信息,“手为什么这么动”的意图,这部分怎么办?
张磊:更高层的动作意图理解,我们会把它留给世界模型或VLA模型去解决。但前提是数据本身质量要足够高。数据原料非常关键。行业里在数据采集上投入了大量人力和成本,但是有很多情况下数据利用效率并不理想。我们在Grounding DINO和DINO-X工作中积累的核心经验,是找到懂算法的人去深入做数据,否则采集的数据可能训练时根本用不上。需要算法和数据两条线并行迭代。

08
张钹与沈向洋:两位导师,一种底色
▎AI科技评论:我们注意到,您身后站着两位对您影响深远的人物,张钹院士(中国人工智能奠基人之一)和沈向洋院士(前微软全球执行副总裁、前微软亚洲研究院院长)。一位偏学术,一位偏产业,我们挺想知道,他们各自给了您什么?
张磊:张钹院士永远是我的导师和榜样。 我最早认识张老师是在本科刚进清华教研室时,他是实验室主任。当时我在做AGV(自动导引小车),大量课余时间都在实验室调试硬件做实验,那时候就经常能看到张老师在实验室指导博士生做机器人相关的工作。后来很幸运,我也成为了张老师的博士生,印象最深的是他对新技术非常敏感,有很强的好奇心。每次找他看实验结果讨论的时候,他都会兴致勃勃地坐在一旁,说“你把这个改一改,看看怎么样”。他也在通过这种方式加深自己的理解。你能看到一个学者对算法、对问题的理解,完全是由好奇心驱动的。
另一点受用至今的,是他强调“理解东西要理解透”,理解不透就会被骗,理解透了才知道底层原理是怎么回事。这句话后来也成了我带学生的准则:透彻理解,力求最好。
沈向洋院士对我的影响也非常大。我在微软期间,他一直是我的大老板,可以说影响了我整个职业道路:从中国到美国是他招我过去的,从美国回深圳也是他动员我回来的。并且,他在产业方向上也有非常敏锐的判断力,从团队构建到融资,都给了我很多具体的建议和经验分享。
▎AI科技评论:听说张钹老师90岁高龄还去你们团队交流?这事我们听着都觉得挺感动的。
张磊:是的。去年11月,清华研究生院邀请他到深圳讲课,他上午讲完课,下午就把时间留给了我们团队。花了一整个下午交流,晚上一起吃饭。他视野非常广,对我们的通用视觉理解和机器人方向给了很多建议。虽然年纪大了,但思路非常清楚,逻辑性和对问题理解的深度,可以说一点都不比年轻人差。

09
每波浪潮都超出想象,
但浪潮会自己来找你
▎AI科技评论:最近几年,从深度学习到大模型再到具身和世界模型,每一波浪潮您都深度参与其中。我们想知道,有没有哪个moment让您觉得“这就是我要做的”?
张磊:物体检测的工作,非常接近你说的这种状态。这个工作让我觉得非常自豪,因为能看到整个领域有了突破性的进展。
接下来的世界模型,也是一个让我比较激动、愿意全力投入的方向。过去几十年强化学习与世界模型交替发展的过程,以及语言模型成功的范式,都可以借鉴过来。我认为这个方向会给整个AI行业带来很大影响。
▎AI科技评论:研究者的高光时刻经常被提及,但低谷似乎很少被说到。您经历过技术低谷吗?
张磊:有的。2018年前后,我尝试用弱监督数据做物体检测,只靠图片类别标签就能做检测,避开给每个物体标框。这个方法听上去很吸引人,我花了相当长一段时间,但一直解决得不够彻底。
后来到IDEA做Grounding DINO,把语言理解和检测能力结合,反而从另一个角度把问题解决了。这个突破一方面源自我们在DINO检测模型上的创新给我们打下的坚实的基础,另一方面很大程度上受益于语言模型的发展。Grounding DINO的突破是在2022年底、2023年初,正好是ChatGPT出来的时刻。有一个说法叫“数据足够大的时候,智能就会自然涌现”,数据足够大,算法就可以足够简单。
我认为遇到挫折是正常的,关键是得有一个跟很难的问题死磕的狠劲,这一轮做不通,就换个角度,吃饭睡觉都在想,围着它不停地转。真正好的问题,会持续想很多年,然后在某个时刻,可能就自然而然地涌现出质变式的突破。
▎AI科技评论:现在很多年轻人也在做世界模型创业,比如逆矩阵的陈博远、吉嘉铭,白泽科技的白寅岐,他们甚至还是本科生。我们觉得这事挺有意思的,您怎么看这种“后浪”?
张磊:这说明进入研究的门槛确实降低了。在深度学习崛起之前,新进入者需要花几年打基础。现在开源技术把技术简化了,理解Transformer就能进入这个领域。年轻人的优势在于没有包袱,从第一性原理出发更容易接受新范式。但真正难的问题,也需要有洞察力、理解力和把控方向能力的前辈研究者。
社会热点总在变,但如果只是为追热点而追,反而追不上。本质是:不管方向怎么变,每个团队永远需要最能干的人。你只要保持好学、基础扎实,最前沿的方向会主动来找你。

10
一个启示
这次采访中最触动我们的,不是张磊那些耀眼的技术成就,甚至不是他带过的那批后辈天骄——实习生黄峥、李学龙,以及微软第一代人脸检测算法项目中的团队成员朱珑、肖嵘、颜水成。
最触动我们的,是他反复提起的一个词:“理解透”。
这个词,张磊记了三十年。
1990年代初的清华园,人工智能还是一个冷门到没人在意的学科,张磊还是计算机系一个在教研室摆弄AGV小车的本科生。当时实验室主任指导博士生做机器人相关的工作,给他留下了深刻的印象,后来他也拜入其门下。
那位实验室主任叫张钹,中国人工智能奠基人。每当张磊邀请他一起看实验结果的时候,他总会兴致勃勃地坐到张磊旁边,盯着屏幕看一会儿,伸出手指:“你把这个改一改,看看怎么样。”不是检查作业,是真的想知道,你改了参数以后,会发生什么。
张钹教给张磊的东西,后来浓缩成三个字:“理解透”。
“理解不透就会被骗,理解透了才知道底层原理是怎么回事。”
中国一代科研人的精神就是在这种细微小事上传递下去的。
2018年,张磊在微软做弱监督物体检测,做不通,他没有换题目。
“这一轮做不通,就换个角度,吃饭睡觉都在想,围着它不停地转。”
这不是修辞,是他的日常。
后来到IDEA做Grounding DINO,他从另一个角度把问题解决了。突破的时刻,是ChatGPT出来的2022年底——语言模型的能力上来了,数据足够大了。
张磊用了一个描述:“自然而然地涌现”。
从改AGV小车参数到解世界模型,中间隔了三十年。这三十年里他从大规模图像检索到通用视觉理解,对每一个问题都追求彻底理解并做到最好,直到又回到“为机器人建世界模型”这个方向。正如乔布斯所说的“connect the dots”——每一件认真做过的事情,都不会白费。
2025年底,90岁的张钹飞到深圳讲课。上午讲完课,下午就扎进视启未来的办公室。七八个年轻人围着他,他讲了一整个下午,晚上一起吃饭,讲自己读书时的事,讲对这个方向的判断。思路清楚,逻辑缜密,一点都不比年轻人差。张磊也给老师讲起了自己正在做的事情。

张钹院士在视启未来,张磊给老师讲述研究进展
三十年前,清华园里,老师坐在学生旁边说:你把这个改一改,看看怎么样。
三十年后,深圳办公室,学生给90岁的老师讲他正在做的世界模型。
这是一个何等令人动容的场景重现。
人会老去,潮水会退去,热点会冷掉,但中国科研人想要把一个个世界难题“理解透”的执念,从来没有变过。雷峰网雷峰网(公众号:雷峰网)雷峰网


上车,带你看遍全球 AI 顶会精华
可独家畅览:
专家演讲PPT
大会报告全文
热门论文解读
学术新星访谈

扫描上方二维码
或点击「阅读原文」关注专区。
雷峰网原创文章,未经授权禁止转载。详情见转载须知。
— Originally published at leiphone.com
Want this in your inbox every morning?
Daily brief at your local 8am — bilingual EN/中文, free.
More from 雷峰网 AI 学术
See more →
AMI Labs 冯雁:AI 迈向现实世界,世界模型不可或缺 | ICML 2026
Pascale Fung at ICML 2026 emphasized the necessity of world models for AI in real-world applications, highlighting JEPA's advantages over generative models like Cosmos. JEPA's smaller parameters and faster inference lead to superior performance in tasks like robotic motion planning, outperforming in physical reasoning benchmarks.

