# Yann LeCun's $1B Bet Against LLMs \[Part 2\]

- Channel: [Welch Labs](https://www.youtube.com/channel/UConVfxXodg78Tzh5nNu85Ew)
- Published: 2026-05-30
- Source video: [Watch on YouTube](https://youtube.com/watch?v=v_jDvpEGTIg)
- Read on ReadTube: https://www.read.tube/p/videos/v_jDvpEGTIg
- Language: Simplified Chinese

## Summary

**朱庇塔挑战大语言模型**

这期视频讨论了杨立昆对主流大语言模型路线的质疑，并展示朱庇塔体系在视觉理解、视觉语言模型和机器人控制中的替代路径。核心观点是：朱庇塔更强调预测世界状态与显式规划，而不是直接生成答案或模仿人类动作。

视频从机器人视觉语言动作模型切入，指出当前看起来最强的路线，实际上建立在视觉编码器、语言模型和行为克隆之上；而朱庇塔体系在每一层都提供了不同的替代方案。通过视频编码器、视觉语言编码器和世界模型，朱庇塔试图学习世界的结构，而不是先学语言再附着到世界上。片中用多个实例说明，朱庇塔并非只能停留在理论层面，它已经能在一些任务中取得有竞争力甚至领先的结果。

在视觉部分，视频介绍了基于视频预测的朱庇塔编码器，强调它不依赖语言监督，而是通过补全被遮挡的视频片段来学习表示。随后，研究人员把这种编码器接入视觉语言模型，发现它不仅能与语言模型对接，还能在若干视频理解基准上达到很强的效果。更进一步，把目标文本也改为预测其嵌入表示的朱庇塔式视觉语言架构，在训练效率上明显优于传统生成式架构，因为它不必为措辞差异承担惩罚。

- 朱庇塔视觉编码器可与语言模型对接，说明纯视觉预训练并不妨碍多模态使用。
- 以嵌入预测代替直接生成文本，可减少无关语义差异带来的训练噪声。
- 在部分视觉问答与分类任务上，朱庇塔式架构展现出更高效率和更强性能。
- 当前最激进的比较点转向机器人：传统视觉语言动作模型依赖大规模人类示范和端到端模仿，杨立昆认为这既难扩展，也缺乏显式规划。
- 朱庇塔路线则尝试学习动作条件下的世界模型，先预测行动后的环境状态，再借助搜索方法规划动作。
- 在推送形状块的实验中，世界模型能够较好模拟环境动力学，并通过交叉熵方法在嵌入空间中搜索接近目标的动作序列。
- 这种方法的优势是可规划、可解释、摆脱人类示范依赖；但缺点是长时预测不稳定，现阶段性能仍明显落后于视觉语言动作模型。

视频最后强调，朱庇塔要想用于更长程、更复杂的任务，可能需要分层世界模型：低层做短期精细预测，高层做长期抽象预测，并把高层结果作为低层子目标。杨立昆认为，未来最有前景的应用可能不是通用聊天，而是那些难以用少量方程描述、但可以通过数据学习出可控模型的复杂系统，例如工业流程、化工、医学治疗和材料设计。总体而言，视频把朱庇塔描绘成一条很有潜力但仍处早期阶段的路线：它已经能证明自己不只是替代方案，但能否最终超越当前主流，还取决于未来几年在规划、层次结构和长时稳定性上的突破。