# Yann LeCun's $1B Bet Against LLMs \[Part 1\] - Channel: [Welch Labs](https://www.youtube.com/channel/UConVfxXodg78Tzh5nNu85Ew) - Published: 2026-05-02 - Source video: [Watch on YouTube](https://youtube.com/watch?v=kYkIdXwW2AE) - Read on ReadTube: https://www.read.tube/p/videos/kYkIdXwW2AE - Language: Simplified Chinese ## Summary **李飞飞式世界模型之争** 梁文锋式的世界模型之争并不是在做更会说话的聊天机器人，而是在争夺未来人工智能的底层路线。李彦宏强调，乔巴这类联合嵌入预测架构通过编码器与预测器学习世界表征，避免像生成式模型那样直接重建像素，从而更适合机器人、规划和行动预测。 这段视频围绕杨立昆为何押注乔巴展开：他认为现代人工智能的关键不是生成文本，而是学习对世界的抽象表征，并据此预测行动后果。视频先回顾了深度学习、监督学习与自监督学习的演进，再说明大语言模型之所以成功，是因为“预测下一个词”在语言领域恰好是有效的自监督信号，但把同样思路直接搬到图像和视频上会遇到模糊预测、输出空间过大和不确定性平均化等难题。 为绕开这些问题，杨立昆转向联合嵌入架构：输入与目标分别经过编码器，模型不去还原原始像素，而是学习让语义相近的样本在嵌入空间中接近。该路线曾面临“表征坍塌”问题，即模型可能对任何输入输出相同向量；巴洛双塔、维克瑞格和迪诺等方法通过减少冗余、约束协方差或相关矩阵来避免这一退化，并在无标签视觉表征学习上取得了很强效果，甚至接近或达到有监督方法的水平。 视频最后把乔巴提升为“世界模型”的基础：在乔巴中，模型预测的不是下一帧像素，而是下一时刻的抽象状态嵌入，并且可以加入动作作为条件，用于机器人控制和规划。杨立昆的核心判断是，真正可靠的智能体必须能预先预测行为后果；因此，未来的推理更像是在世界模型里做搜索与优化，而不是单纯逐词生成。 ## Article ### 乐昆的联合嵌入之路 “好吧，那让我来提出一个有点争议的说法，这又会让我在 SQL 里交到很多朋友。” AI 传奇人物扬·乐昆已经筹集了十亿美元，用来推进一种替代性的人工智能路线。不同于大型语言模型，乐昆的路线并不建立在语言之上，也不是生成式的。按设计，它不会吐出文本、图像或视频。相反，乐昆提出了 JEPA。 JEPA 不是单一的 AI 模型，而是一种用于训练 AI 模型的替代架构或框架。许多在 AI 和机器学习中成功的方法，都是训练模型在给定输入 `X` 的情况下预测某个输出 `Y`。大型语言模型会拿到一段输入文本 `X`，并被训练去预测接下来出现的文本 `Y`。图像分类模型会拿到输入图像 `X`，并被训练去预测对应的标签 `Y`。JEPA 不是这么工作的。 相反，输入 `X` 和输出 `Y` 都会分别送入被称为编码器的模型。这些编码器会返回一个向量或矩阵形式的数字，通常称为嵌入。接下来，会训练第三个模型，也就是预测器，去根据 `X` 的嵌入预测 `Y` 的嵌入。 为什么这可能是构建人工智能系统的更好方式？你觉得 JEPA 或基于世界模型的方法，未来会取代大型语言模型吗，还是它们其实在解决不同的问题？ > “最初它们会解决不同的问题。” > > “最终它们会取代大型语言模型，因为你知道，大型语言模型真的很擅长操作语言，但基本上别的什么都不擅长。” > > “它们在语言本身就是推理底层媒介的领域里非常强。” 与主流的生成式语言人工智能路线相比，JEPA 走的是一条联合嵌入架构的替代路径。有意思的是，乐昆在这两条路径的起点都扮演了重要角色。在这部两部分系列的第一部分里，我们将探索通往 JEPA 的这条替代道路。我们会深入讨论，为什么扬在生成式架构刚刚在语言领域崛起时，却转而离开了它们；也会探究他为长期困扰联合嵌入架构的表示坍塌问题所想到的新解决方案。最后，我们会深入 JEPA 架构本身。在第二部分里，我们将研究 JEPA 的具体实现，并看看这些模型与大型语言模型驱动的方法相比究竟表现如何。 扬·乐昆在 20 世纪 80 年代就看到了这场革命的到来。当时 AI 领域的大多数人还忙着构建专家系统，那些系统不是从数据中学习，而是被明确编程出来的，而扬已经开创了卷积神经网络。25 年后，当深度学习开始崛起并走向如今在 AI 中的主导地位时，突破性的深度学习模型 AlexNet，结果与乐昆在 20 世纪 90 年代提出的卷积网络惊人地相似。 然而，随着深度学习在 2010 年代继续加速发展，乐昆和其他研究人员开始越来越担心，这种 AI 方法对带标签训练数据的依赖到底有多严重。AlexNet 是在规模巨大、标注极其细致的 ImageNet 数据集上训练的，采用的是监督学习，而 AlexNet 被训练去…… ### 自监督学习的崛起与视频难题 与其让模型去匹配人类标注员给每张图像分配的标签，不如看看孩子们是如何学习的：他们只需要极少的显式标注例子，就能为“狗”这类概念学到非常通用的表征。随着人工标注数据成为监督学习的瓶颈，人们对替代方法的兴趣不断增长。强化学习让模型通过与环境交互而不是依赖标注数据来学习，在 2010 年代中期迎来了一次复兴，Google DeepMind 在 Atari 游戏以及高度复杂的棋盘游戏围棋上的突破性表现，让这种热潮更加突出。与此同时，杨立昆和其他人探索了无需标签即可从数据中学习的无监督方法，其中包括一种变体，叫做自监督学习，也就是标签直接从数据本身中取出。 从 2015 年左右开始，我开始展示一张在机器学习社区里变成了某种表情包的幻灯片，我说，呃，你知道，如果把智能看作一块蛋糕的话，蛋糕的大部分是自监督学习，蛋糕上的糖霜是监督学习，蛋糕上的椅子是强化学习。当时人们对强化学习非常着迷，所以我试着告诉他们，这种东西绝不会带我们接近人类或动物智能，因为它效率太低了。事实证明，自监督学习的成功在文本和语言领域发生得比在视觉这类更自然的模态里快得多。这里杨立昆指的是用下一词预测来训练大型语言模型的成功。 OpenAI 成立于 2015 年，最初把精力主要放在强化学习上，创建了 OpenAI Gym 和 Universe，并在复杂视频游戏上展示了非常惊人的表现。虽然公司很大一部分都聚焦于强化学习，但伊利亚·苏茨克维、亚历克·拉德福德以及其他人开始对谷歌提出的一种新神经网络架构——Transformer——产生兴趣。它最初是为语言翻译设计的；在实验中，拉德福德尝试了一个有趣的修改。与其让 Transformer 把一种语言的一大段文本翻译成另一种语言的一大段文本，不如把它换成一种更简单的自监督方法：训练文本被切分成序列，Transformer 接收每个序列里除最后一个小片段之外的所有内容，也就是一个词元，并被训练去预测这个最后的词元会是什么。 拉德福德和他的 OpenAI 同事用一个相当大的内部 OpenAI 数据集来训练他们的 Transformer，这个数据集包含 7,000 本书。要注意的是，我们现在把这一阶段称为预训练，然后再用标准的监督学习、依靠人类生成的标签，在特定语言任务上进一步训练他们的模型。这种两阶段训练方法效果很好，在 9 个语言基准上刷新了新的最先进结果，包括高中水平阅读理解问题之类的任务，超过了那些分别为每个单独任务设计并训练的架构和方法。拉德福德的模型现在被称为生成式预训练 Transformer 1，也就是 GPT1。 GPT1 当时没有获得太多公众关注，但它是一个巨大的突破，它把模型从对人类标注数据的依赖中解放出来，并打开了前所未有的规模上限。OpenAI 的其他研究者很快理解了拉德福德结果的重要性，团队于是全力押注这种方法，激进地扩展到 2019 年的 GPT2、2020 年的 GPT3，以及 2022 年的 ChatGPT。2012 年，AlexNet 只在大约一百万个样本上训练；到了 2020 年，GPT3 已经在数千亿个样本上训练。更有意思的是，这种新训练范式恰好完全符合杨立昆几年前的预测：先进行大规模自监督预训练，再进行监督学习，最后通过强化学习把原始的下一词元预测器塑造成一个有帮助的人工智能助手。 不过，虽然这些自监督生成式方法在语言领域显然取得了突破，但在图像和视频数据上的情况却要模糊得多。于是我一直在做视觉方向的工作，最初的想法是用生成式架构来训练一个系统预测视频里会发生什么。基本上，就是在像素级别训练模型去预测视频接下来会发生什么。 在 GPT1 成功之前的很多年里，包括杨立昆在内的研究者已经尝试把同样的自监督生成式方法应用到视频上。最直接的实现方式，是让我们的神经网络接收一串视频帧的 RGB 像素值，然后像 GPT 模型训练去预测语言中的下一个词元那样，去预测下一帧的像素值。然而，当我们用这些模型去预测下一帧时，结果会变得模糊。而且这种模糊会在更长时间跨度的预测中急剧累积。大型语言模型是自回归的：当 ChatGPT 回答一个问题时，它一次生成一个词元；在每一步，它都会把刚刚生成的最新词元再反馈回输入中，以产生下一个输出。如果我们把这种自回归方法用在“预测下一帧”的视频模型上，结果很快就会退化成一片模糊的虚无。 在我们具体看看 JEPA 是如何绕过这种模糊预测问题之前，先看看 Transformer 在语言模型之外的另一个引人入胜的应用。这支视频由 Hudson River Trading 赞助，而这是一张订单簿。左边这一列显示的是所有买入英伟达股票的买单，按出价排序；右边这一列显示的是所有卖出股票的卖单，按要价排序。在繁忙的交易日里，每秒钟大约会有 1,000 条像这样的新买单和卖单涌入。这股订单洪流本身就是一个极其丰富的信息源。是否有可能训练一个像 VJEPA 中使用的那类 Transformer，去发现这些数据中的模式，并利用这些模式来预测未来价格？Hudson River Trading 拥有万亿级词元规模的历史数据，这与前沿大语言模型的训练数据量级相同，他们的研究人员正在努力推动机器学习在这些数据上的前沿。 我们稍后会在视频里看到的 VJEPA 模型，会把视频块映射到单独的嵌入向量。我们也可以用类似的方法处理订单簿数据，借助某种金融直觉，把一组组订单切分成词元。然而，这种天真的做法在实践中效果并不好，而 Hudson River Trading 团队已经开发出一些非常有趣的方法，来让前沿 Transformer 架构适应交易数据的复杂性和约束。而且这一切都发生在一个速度就是一切的环境里：模型必须在极其严格的延迟约束下运行。如此引人入胜且高度复杂的研究与工程挑战，再加上真正拥有解决这些问题的资源，以及一个开放、协作性很强的环境，使 Hudson River Trading 成为一个极其独特的工作场所。 这些天我从潜在赞助商那里听到很多内容，而我和 Hudson River Trading 团队的接触给我留下了非常深刻的印象。我所经历过的技术讨论深度和对这些深刻而有趣问题的热情，是无与伦比的。如果这听起来很有意思，Hudson River Trading 目前正在招聘人工智能研究员、算法开发人员和软件工程师。他们全球招聘，而且你不需要金融背景。你可以访问 `hudsonrivertrading.com/welchlabs` 了解更多。现在，回到 JEPA。现在，我们的生成式视频预测方法所产生的模糊帧并不是什么巨大的谜团。语言是…… ### 视频表征为何不该直接生成 复杂而不可预测，但这和视频相比根本不算什么。语言模型使用的是固定大小的词表。GPT-2 有 50,257 个离散输出，每一个都对应模型下一步可能说出的一个词元。可这种“完整枚举”的办法放到视频里就彻底行不通了。对于全高清录像，在最一般的情况下，每个像素都可以取 256 个离散值。而且我们有 `1920 * 1080 * 3` 个彩色像素。也就是说，可能的下一帧视频数量大概有 `10^15` 万万级别，远远超过可观测宇宙中的原子数量。所以，视频预测模型不可能像语言模型那样，为每一种可能的下一帧视频都设置一个离散输出。 因此，这一时期的许多生成式视频方法，都是让网络直接输出像素强度值。这个方法最大的难题在于：模型该如何学会处理不确定性。把一个大语言模型学习补全句子“球 bounced 到 the……”，和一个神经网络预测一段球正在弹跳的视频的下一帧放在一起看，就能清楚看出问题出在哪里。对于大语言模型训练来说，模型会在训练集中看到球向左弹、向右弹的各种例子。由于模型对每个词元都有独立的输出，它本质上可以分别更新这些概率。 但我们的视频模型没有这么轻松。如果数据集里包含一些视频：球从同样的路径开始运动，然后却以不同方向弹开，那么模型又被迫针对给定输入直接预测单一输出帧，它在这种歧义面前能做的最好选择，就是把这些结果取平均。把视频的像素值一平均，最后得到的就是一团模糊、发白、失真的糟糕画面。 当然，这只是最天真的做法。在过去二十多年里，人们尝试过许许多多有趣的视频和图像预测策略，成功程度各不相同。不过，随之而来的这些挑战，也让伦和其他研究者开始提出一个有趣的问题：我们的模型真的必须是生成式的吗？ 在我们的 GPT 例子里，在至关重要的预训练阶段，模型是不是生成式其实并不重要。经过下一词元预测的预训练之后，我们得到的模型本质上就是一个很强的自动补全器。但这并不是重点。真正重要的是模型为了完成下一词元预测任务而学到的内部表征和特征。正是这些学到的内部表征，使预训练模型能够被迅速适配成强大的人工智能助手。语言上的下一词元预测，是一种智能的代理目标，它已经证明自己出人意料地有效。但除了它之外，我们还能不能用其他信号和方法，去学习构建智能系统所需的那些强大的内部表征？ 与此同时，大约在 2017 年、2018 年，我们开始意识到，最好的系统应该…… ### 联合嵌入与表示坍缩 #### 联合嵌入的基本思路 用于学习图像表示的系统，并不是生成式系统。它们**不会重建**，而是把一张图像送入一个编码器，然后试着**强制这个编码器提取尽可能多的信息**，同时满足某些性质。比如，你拿两张同一场景的图像，或者拿一张图像并以某种方式把它腐坏、变换。你把它们都送进编码器，然后告诉系统：你提取出来的表示，对这两张图像来说**必须真的一样**，因为它们在语义上表示的是同一件事。 他还说，他从 20 世纪 90 年代就一直在做这类东西，所以这并不是一个新想法。这种想法，这种**联合嵌入**，我们以前叫它 **孪生神经网络**。 这里 Yann 提到的方法，孪生网络，是他和他在贝尔实验室的合作者在 20 世纪 90 年代早期创建的，当时他们正在开发检测伪造签名的系统。这个系统的做法是，把一对签名图像送入同一个神经网络的两个副本中。这个网络副本不会被训练去生成任何数据。相反，它们输出的是数字向量，通常被称为**嵌入向量**。 这些网络副本会用两类样本来训练： - **正样本**：包含一份参考签名和一份非伪造签名，也就是同一个人的签名。 - **负样本**：包含一份参考签名和一份伪造签名。 对于伪造样本，网络副本会被训练成输出**尽可能不同**的嵌入向量；对于正样本，则被训练成输出**尽可能相似**的嵌入向量。等到一份新签名出现时，我们就可以把它送进网络，计算一个嵌入向量，再把它和参考签名产生的嵌入向量进行比较。如果结果不够相似，这份签名就会被检测为伪造。 通过把签名联合嵌入，孪生网络学到了对签名字图像非常有用的内部表示，而且**没有学习去预测或生成任何真实的签名图像**。 #### 用联合嵌入处理模糊视频 作为一种基于 GPT 的方法，联合嵌入是否能为我们的模糊视频问题提供一种潜在可行的解决方案？正如 Yann 所解释的： > 你把一张图像送进一个编码器，然后你试着强制这个编码器在某些性质下提取尽可能多的信息。比如，你拿两张同一场景的图像，或者你拿一张图像并以某种方式把它腐坏或变换。你把它们都送进编码器，然后告诉系统，你提取出来的表示，对这两张图像来说真的应该一样，因为它们在语义上表示的是同一件事。 这里的想法是：我们通过使用**联合嵌入架构**，把原始图像或视频，以及被腐坏或变换过的副本，映射到相似的嵌入向量，从而绕开我们在生成式模型里看到的模糊视频问题。这个训练出来的模型，理想情况下会学到图像或视频中有用的内部表示，我们之后可以把它转用于其他任务，就像 GPT 模型在预训练期间学到内部表示，然后又能适配成 AI 助手行为一样。 #### 表示塌缩 不过，这种联合嵌入策略有一个巨大的问题。因为我们训练网络时，是要让原始图像或视频与腐坏图像或视频的嵌入尽可能相似，所以网络可以找到一个**平凡解**：它对我们输入的任何东西都简单地返回同一个嵌入向量。 如果网络学会了对任何输入都输出一个全是 1 的向量，那么对同一图像的腐坏视图和非腐坏视图，它都会返回全是 1 的向量，这样就把相似度最大化了，但实际上并没有学到任何有用的东西。这个问题被称为**表示塌缩**。 在 Lacun 原始的孪生网络方法中，团队使用了现在被称为**对比学习**的办法来避免表示塌缩，也就是给网络同时提供正样本和负样本。事实证明，我们可以把同样的对比方法应用到图像和视频上：训练网络对同一底层图像或视频的不同视图输出相似的嵌入，对不同图像或视频输出不相似的嵌入。 这些对比方法已经成功应用在图像和视频上，但在规模扩大时会遇到问题：它们需要大量计算，而且需要很多负样本才能学到有意义的表示。Lacun 还曾论证，在最坏情况下，对比样本的数量可能会随着表示维度呈指数增长。 到 2010 年代末，Lacun 和其他人已经很清楚：把图像和视频完全重建出来的生成式模型，并不是自监督学习的好策略。但与此同时，也没有一个直接的办法来解决表示塌缩问题，使联合嵌入架构能够学到和大型语言模型一样强大、一样通用的内部表示。 > 所以，对像图像这样的信号来说，重建显然是个坏主意；对视频来说更是如此。然后我有点顿悟，因为我们用来训练那些联合嵌入架构的方法，在某种程度上都有点像临时拼凑出来的办法，直到我和 Meta 的几位博士后一起做了一些工作，特别是一个叫 Stefan Deni 的人，他提出了一种叫做 Ballot twin 的技术。它基于机器学习里一个很早的思想，和 Jeffington 也用过的类似思路有关，那就是你应该让信息含量有某种度量，并试着把它最大化；还有 Barlo 的一些真实世界工作，Barlo 是一位著名的计算神经科学家和…… 这里 Yann 引用的是 **Horace Barlow** 的工作。Barlow 在 1961 年假设，动物和人类视觉系统中的神经元，是通过减少神经元之间的冗余信息来运作的。Stefan Deni 是 Lacun 在 2020 年合作的一位博士后，他熟悉 Barlow 的工作，并提出避免表示塌缩的一种方法，是把 Barlow 的思想应用到他们网络的输出上。 在我们一直讨论的联合嵌入架构里，嵌入向量由嵌入网络最后一层的人工神经元产生。所以，如果我们的嵌入向量长度是 128，那么每个网络的输出层就包含 128 个神经元。如果我们把一批不同的图像输入到两个网络里，并沿着这些图像观察第一个神经元的输出激活，就会看到：这个神经元在第一张狗的图片上强烈放电，在这张猫的图片上就没那么强，等等。 按照我们的联合嵌入方法，网络会接收同一批图像的一个扭曲视图。联合嵌入架构的核心目标，就是让同一底层图像或视频的最终嵌入彼此相似。因此，我们希望第二个网络里第一个神经元的输出，和第一个网络里第一个神经元的输出相似。在标准的联合嵌入架构中，我们只会简单地测量并最大化这两个向量之间的相似度。不过，正如我们已经看到的，这种方法很容易受到表示塌缩的影响，网络可能只是学会对任何输入图像都输出相同的值。 但现在，把 Barlow 的假设应用为…… ### 巴洛双子、维克雷格与迪诺 #### 去冗余的相关性矩阵 正如斯特凡·德尼提出的那样，我们应该减少不同神经元输出之间的冗余。这里我们有一个选择：我们可以把第一个网络中第一个神经元的输出，和第一个网络中第二个神经元的输出比较；也可以把第一个网络中第一个神经元的输出，和第二个网络中第二个神经元的输出比较。团队选择了与第二个网络的输出进行比较。正如我们将看到的，这样做会得到一个更简单的实现，而且团队还在论文附录中指出，在实践中他们并没有发现这些替代方案之间有太大差别。这里是第二个模型中第二个神经元的输出。为了度量神经元输出之间的冗余，团队计算了这些输出向量之间的**交叉相关**。这个计算包括对每个向量进行缩放，然后做点积，最终得到一个单一数值，也就是相关系数，更准确地说，是我们这些向量之间的皮尔逊相关系数。按照巴洛的设想，要减少我们神经元之间的冗余，就希望这个相关系数尽可能接近零。 如果把第一个编码器中的神经元输出竖着排列，把第二个编码器中的输出横着排列，我们就可以把所有神经元对之间的相关性计算出来，并放进一个矩阵里。这个交叉相关矩阵的每一行对应第一个编码器中的一个输出神经元，每一列对应第二个编码器中的一个输出神经元。对角线上的元素刻画的是对应神经元之间的相关性。由于这里整个联合嵌入架构的目标，就是让同一张图像经过失真版本之后产生相似输出，所以我们希望两个编码器中对应的神经元具有较高的相关性。另一方面，交叉相关矩阵中所有非对角线元素对应的是两个编码器中不同神经元之间的关系。按照巴洛的假设，我们希望减少这些神经元之间的冗余，所以希望这些相关性都为零。理想情况下，我们的交叉相关矩阵看起来就像一个单位矩阵。 德尼、拉昆以及他们的合作者为这种联合嵌入架构设计了一个新的损失函数，用来衡量他们的交叉相关矩阵与单位矩阵之间的偏离程度。他们把这个新方法称为**巴洛双子**，它出人意料地有效：既避免了表征坍塌，又学习到了图像中强大的内部表示。团队用几种不同的方法来衡量这些内部表示的质量。前面我们看到，通过使用自监督预训练，GPT-1 能够超越仅仅为了特定语言任务而改造的纯监督模型。对于视觉任务，当时最重要的基准之一是 **ImageNet** 数据集上的准确率。这也是 **AlexNet** 模型在 2012 年首次取得突破性表现的同一图像分类数据集。AlexNet 论文原始结果在 ImageNet 验证集上的准确率是 **59.3%**。 为了把自监督的巴洛双子方法与像 AlexNet 这样的全监督模型进行比较，团队采用了一种常见做法，叫做**线性探针**：在巴洛双子训练好的编码器模型输出端接上一个单层神经元，并使用监督学习来训练它对 ImageNet 数据集进行分类。重要的是，在这个训练过程中，主编码器模型是冻结的。因此，这个简单的线性探针实际上是在把巴洛双子编码器学到的表示，适配到 ImageNet 分类任务上。令人印象深刻的是，冻结的巴洛双子编码器加上线性探针达到了 **73.2%** 的 ImageNet 准确率，超过了原始的全监督 AlexNet 模型 **10 个百分点以上**。 不过，从 2012 年 AlexNet 论文到 2021 年巴洛双子论文的这九年里，全监督方法也在 AlexNet 的基础上取得了显著进步。2020 年，谷歌的一支团队把**转换器架构**应用到图像分类上，取得了当时新的最先进 ImageNet 准确率：**88.6%**。所以到 2021 年，得益于巴洛双子的顿悟以及其他联合嵌入方法，自监督学习在视觉任务上进展迅速，但仍然落后于全监督方法。推动大语言模型快速发展的、语言领域里那种通用而且明显更优的自监督生成式预训练方法，仍然还没有在图像和视频应用中实现。 也正因为如此，后来就越来越清楚，这条路才是真正该走的方向。于是，在那之后我们又发表了另一个版本，基本上是巴洛双子的一个简化版，叫做 **VicReg**，结果证明它相当不错。与此同时，另一组人，我们在巴黎研究院的同事，也在做类似的方法，最终发展成了 **DINO**。现在已经有 **DINO v1、v2、v3**，并且还有一个新版本，只是不再叫 DINO 了。这也是一种联合嵌入技术，所以这件事已经非常清楚了：联合嵌入确实更适合表示学习，也就是自监督学习去表示图像，对吧？ #### DINO V3 的转折 2025 年 8 月发布的 **DINO V3** 论文标志着一个重要转折点：它使用联合嵌入架构，达到了非常接近最先进水平的 ImageNet 准确率，具体是 **88.4%**。正如作者在论文中所说：“总而言之，这是第一次自监督模型在图像分类上取得了与弱监督和监督模型相当的结果。” DINO V3 在完全没有任何人工生成标签的情况下所能学到的表示质量令人惊叹。DINO 会为它分析到的图像每个块输出一个嵌入向量。如果我拿这张自己的照片，把 DINO 从我手部这个图像块里提取的嵌入向量，与图像中其余图像块的嵌入向量进行比较，并用颜色图可视化每个图像块与手部图像块的相似程度，那么 DINO 会非常出色地把我的手和背景分割开来。把同样的方法应用到球、猫和书上，也会得到类似的结果。 在巴洛双子、VicReg 和 DINO v1 取得成功之后，2022 年，拉昆带来了…… ### 世界模型、控制与机器人规划 这些线索，以及许多其他线索，被整合进一篇 60 页的立场论文，题为《通往自主机器智能之路》。与勒昆绝大多数论文不同，后者通常聚焦于机器学习理论或实践中的某个具体而技术性的片段，这篇《通往自主机器智能之路》采取的是一种整体性的、第一性原理式的方法，来思考我们应当如何构建智能机器。 勒昆首先论证，我们当前的人工智能方法距离人类学习能力还远得很。他举了一个例子：一个青少年只需大约 20 小时练习就能学会开车。我们怎么会拥有那些数百万小时的训练数据，借此训练出某种二级系统——基本上就是特斯拉正在做的那种？ > “是啊。” > “但是……远远不是三级、四级、五级。好吧。可一个 17 岁的孩子只要几个小时练习就能学会开车。这到底是怎么发生的，对吧？我们难道不该弄清楚其中的——秘密是什么吗？” > “而我对这件事的猜测是，秘密就是榜样。” 勒昆这场价值十亿美元的押注认为，现代人工智能缺失的关键部分就是世界模型，也就是能够对物理世界做出预测的模型。正如他在 2022 年的立场论文中所说，常识可以看作是一组关于世界的模型，它们能告诉智能体什么是可能的、什么是合理的，以及什么是不可能的。借助这样的世界模型，动物可以用极少的试验学会新技能；它们可以预测自己行动的后果，可以推理、规划、探索，并想象问题的全新解决方案。 勒昆接着论证，联合嵌入架构为在其之上构建世界模型提供了合适的基础。 > “JPA 就是联合嵌入预测架构。你取世界中的一个观察，再取世界中的下一个观察。你把它们送入编码器。所以这是一种联合嵌入类型的架构，然后你有一个预测器，试图根据时刻 t 的状态预测时刻 t + 1 的状态。你也可以把动作作为条件输入，现在你就有了一个世界模型。” 作为一个具体例子，与其使用生成式架构去预测下一帧视频的像素值，不如把视频和下一帧映射到嵌入空间，然后训练一个预测模型，根据视频的嵌入去预测下一帧的嵌入。在这种实现中，JEPA 架构让模型摆脱了预测下一帧视频中每一个像素这种难以处理的任务，并且理论上让预测器能够只关注那些穿过编码器、构成场景显著特征的部分。 扬在这里给了一个很好的例子。如果你训练一个地质模型去预测行车记录仪视频里会发生什么，它会把大部分资源花在预测路边树木上树叶的随机运动上，而那些东西本质上是不可预测的，但它们的像素很多，而且会四处移动。 正如扬前面提到的，我们还可以通过把动作作为条件输入，把 JEPA 再往前推进一步。在《VJEPA 2》论文中——我们会在第二部分深入讨论它——团队让一个 JEPA 模型接收发送给机械臂的动作信号作为条件。于是，JEPA 模型看到的是一系列机械臂及其环境的图像，并被训练去预测下一帧视频的嵌入，同时还获得发送给机械臂的控制信号。这使得预测器能够学会，不同的控制信号会如何改变机械臂在嵌入图像中的位置。然后，这个学到的世界模型就可以用于机器人规划与控制。 举例来说，给定一个目标状态的图像，比如把杯子从平台上移开，这张图像会被送入下一帧编码器，从而得到机器人目标状态的嵌入。接下来，可以使用控制算法，在世界模型对各种假设动作的预测中进行探索，并找到一组动作，使模型预测的未来状态与目标状态相匹配。正如扬所说，这确实是一个古老思想的新变体。 > “你构建一个模型，把时刻 t + 1 的世界状态表示为时刻 t 的世界状态和你设想采取的一个动作、一次干预或控制的函数，对吧？然后如果你有了这个，你就可以预测一系列动作的结果，并且通过优化，你可以找出达到某个特定结果的最优动作序列。对吧？这就是经典最优控制。这是很经典的东西；它可以追溯到 20 世纪 50 年代末的苏联，以及 60 年代初的西方。” > “是的，很经典。” > “不同的是，你学习这个模型。你用机器学习去学习模型。” > “对，是的。” > “更不经典的是，你学习输入的表示，计算出一个状态、一个抽象状态表示，然后在那个状态里学习模型；那就是 JPA。” 但 JEPA，或者其他基于世界模型的方法，真的会超越大语言模型吗？自从勒昆在 2022 年首次提出 JEPa 以来，这种架构已经被不同团队应用到了各种各样的问题上。这些模型到底表现如何？ 在第二部分，我们会更深入地探讨 VJEPA 2，看看模型嵌入空间里到底发生了什么，并观察 VJA 2 作为机器人控制算法，在面对快速发展的 VLA 方法时表现如何。我们还会探讨 VLJA，它用一种与如今多模态大语言模型截然不同的方式，解决了我们今天处理的许多相同视觉语言问题，而且结果令人印象深刻。最后，我们会花些时间看一个名为 layworld model 的 JEPA 实现。layworld model 或许给出了基于 JEPA 的系统能够做到什么的最完整、尽管仍然早期的图景。 下次之前，我先把扬的看法留给你们。 > “好吧，那让我说一个有争议的声明，这又会让我在硅谷失去很多朋友。呃，我不理解，你怎么能想象去构建一个代理系统，而这个代理系统却没有能力预测自己行为的后果？” > “嗯？” > “而一个 VLA 并不能做到这一点。” > “当然。” > “航空公司没有世界模型。它们事先无法预测自己行动的后果；它们只是采取行动，然后就像……就像某些著名的法国国王所说的那样，听天由命。所以，如果你真的想构建可靠的代理系统，它们绝对必须能够预测自己行动的后果，这样它们才能规划一系列动作，首先去完成它们被要求完成的任务，同时也也许能够保证一些安全护栏。” > “对。” > “而现在，推理过程变成了搜索，而不只是自回归预测。” > “对。那就是世界模型。整个世界模型的想法。” 如果你喜欢这个视频，看看…… ### 韦尔奇实验室图解指南 韦尔奇实验室的《人工智能图解指南》封面会生成高度一致的恐龙形象，所以你就知道它一定很不错。这本书绘制精美，是深入了解我们在这部视频里提到的许多主题的绝佳方式。 第 5 章关于 Alexnet，是学习嵌入向量以及深度学习兴起的好办法。第 6 章关于神经网络规模定律，更深入地探讨了 OpenAI 从 GPT1 到 GPT3 的那段令人着迷的积累过程。第 9 章讲的是扩散模型，它们能够重建非常精确的像素级图像和视频表示，但也带有一些显著的权衡。第 1 章到第 4 章为所有这些主题提供了很好的背景，涵盖了神经网络、反向传播和深度学习的基础。 每一章都包含发人深省的练习和配套代码。这本书现在已经发往 24 个国家。你今天就可以在 `welchlabs.com` 买到一本。