智源悟界·RoboBrain Orca:AI进入Next State Prediction时代
Quick Answer
RoboBrain Orca aims to revolutionize AI by enabling next state prediction through a unified world representation, moving beyond traditional token, frame, and action predictions.
Quick Take
RoboBrain Orca aims to revolutionize AI by enabling next state prediction through a unified world representation, moving beyond traditional token, frame, and action predictions. By leveraging 125,000 hours of video and 160 million event annotations, it enhances task performance and supports continuous scaling for complex system modeling.
Key Points
- RoboBrain Orca focuses on next state prediction rather than next token or action.
- It integrates multimodal signals to learn object motion and scene changes.
- The model employs both unconscious and conscious learning methods.
- Training includes 125,000 hours of video and 160 million event annotations.
- Potential applications extend to scientific discovery and complex system modeling.
📖 Reader Mode
~2 min read大语言模型学会了预测“下一个词”,于是有了会写代码、会做题、会对话的ChatGPT、DeepSeek、Qwen。视频生成模型学会了预测“下一帧”,于是有了越来越逼真的图像和视频生成模型,例如Seedance、Sora。具身模型学会了预测“下一个动作”,于是机器人开始能完成越来越复杂的任务。而悟界·RoboBrain Orca的目标是做一件更底层的事:让AI在“脑海中”形成一个表征,该表征是对当前世界状态的高度“浓缩”,基于该表征,AI能够建模向前和向后世界状态的演变。这就是悟界·RoboBrain Orca作为“多模态表征世界模型”的核心哲学:The World is in Your Mind。
悟界·RoboBrain Orca:从预测“下一个具体模态输出”,走向预测“下一个世界状态”。
悟界·RoboBrain Orca在看到一段视频、一张图、一个指令、一段事件描述后,先在内部形成一个统一的世界潜在表征空间。这个世界潜在表征空间就像AI的“脑海中的世界”,它把视觉、语言、事件、任务意图等多模态的信号组织起来,学习物体如何运动、场景如何变化、动作会带来什么后果、事件之间有什么因果关系;当前状态如何走向未来状态;甚至在某些条件下,世界会不会朝另一个方向演化。悟界·RoboBrain Orca的核心变化:从Next Token/Next Frame/Next Action,走向Next State Prediction。

悟界·RoboBrain Orca的技术哲学:先利用多模态世界信号学习世界表征,再做好一切任务
悟界·RoboBrain Orca把世界学习拆成了两条互补路径:无意识学习和有意识学习。
婴儿会看到东西掉落,会看到人走动,会看到门被推开,会看到球滚到桌子下面。这些经验不是通过标签学习的,而是通过连续观察自然世界获得的。悟界·RoboBrain Orca的无意识学习也是如此,它客观地看世界,通过海量真实世界的视频,让它先学会“世界自己怎么动”。悟界·RoboBrain Orca的有意识学习,即主观地交互世界,就是用语言描述的事件、任务指令和VQA问答,帮助模型学习稀疏但有具体意义的状态转移。
12.5万小时视频,1.6亿条事件标注,且预训练持续Scaling。
悟界·RoboBrain Orca随着训练数据的增加,下游任务能力可随之提升,且具备持续Scaling的潜力。悟界·RoboBrain Orca学到的表征可通过多种解码器读出。在文本读出上,悟界·RoboBrain Orca更擅长状态转移的理解和动态运动的推理;在图像读出上,悟界·RoboBrain Orca更能展现真实场景的交互预测能力;在动作读出上,悟界·RoboBrain Orca没有在预训练中学习动作标签,也能帮助下游机器人更好地泛化。
悟界·RoboBrain Orca所代表的世界学习范式有可能从具身智能进一步走向科学发现、复杂系统建模乃至更广阔的认知边界。它是多模态表征世界模型的一个早期版本,但有可能成为通用世界基础模型的一块重要基石。
— Originally published at leiphone.com
Want this in your inbox every morning?
Daily brief at your local 8am — bilingual EN/中文, free.
More from WebSearch (Tavily)
See more →Stop just chatting with AI. Learn to build production-ready software in ...
The 2026 Bootcamp offers hands-on training in building production-ready software using Generative AI, LLM applications, and AI agents, emphasizing practical skills over casual interaction with AI. Participants will learn to develop applications like Cursor AI, preparing them for real-world challenges in AI development.