# Adam Marblestone – AI is missing something fundamental about the brain - Channel: [Dwarkesh Patel](https://www.youtube.com/channel/UCXl4i9dYBrFOabk0xGmbkRA) - Published: 2025-12-30 - Source video: [Watch on YouTube](https://youtube.com/watch?v=_9V_Hbe-N1A) - Read on ReadTube: https://www.read.tube/p/videos/_9V_Hbe-N1A - Language: Simplified Chinese ## Article ### 大脑如何学习与全向预测 The big million-dollar question that I have, that I've been trying to get the answer to through all these interviews with AI researchers: **大脑是怎么做到的？** 我们把远远更多的数据喂给这些大语言模型，它们仍然只拥有一个人类总能力的一小部分。那到底发生了什么？这也许是“千亿百万亿美元级”的问题，或者类似的东西。你甚至可以论证，这是科学中最重要的问题。我不敢说我知道答案。我也不认为答案一定会仅仅来自很多聪明人像现在这样不断思考。我整体上的元层面看法是：我们必须赋能神经科学这个领域，让它在技术上以及其他方面都更强大，才能真正破解这样的问题。 也许我们现在会借助现代人工智能、神经网络、深度学习来思考这件事：其中有若干关键组成部分。首先是**架构**。也许还有架构的超参数，比如你有多少层，或者这种架构的某些性质。然后是**学习算法本身**：你如何训练它？是反向传播、梯度下降，还是别的什么？它是如何初始化的？如果我们把系统的学习部分单独拿出来，它也许仍然有权重初始化。除此之外，还有**成本函数**。它到底被训练去做什么？奖励信号是什么？损失函数是什么？监督信号是什么？ 在这个框架里，我个人的直觉是：这个领域忽视了这些**非常具体的损失函数**、**非常具体的成本函数**的作用。机器学习通常偏爱数学上很简单的损失函数。预测下一个词元、交叉熵——这些都是简单的计算机科学式损失函数。我认为进化可能实际上把很多复杂性构建进了损失函数里，而且是很多种不同的损失函数，它们在发育的不同阶段被打开，用于不同的区域。 基本上就像很多 Python 代码在生成一种特定的课程安排，让大脑的不同部分知道该学什么。因为进化已经很多次见过什么成功、什么失败，所以进化可以把学习课程的知识编码进去。在机器学习框架里，也许我们可以回过头来讨论：大脑的损失函数来自哪里？不同的损失函数会不会导致不同的学习效率？人们说皮层拥有通用的人类学习算法，是人类拥有的那个特殊配方。这里到底怎么回事？ 这是一个巨大问题，我们不知道。我见过一些模型，其中皮层……皮层通常有一种六层结构；这里的“层”与神经网络的层有些不同。皮层中的任意一个位置，向里看去都有六个物理层次的组织，就像一张纸一样一层层展开。然后这些区域彼此连接，这又更像网络中的层。我见过一些版本试图解释的其实只是：“它如何近似反向传播？” 如果你想说它类似反向传播，那么成本函数是什么？网络被要求做什么？它是在对下一个词元预测做反向传播，还是在对图像分类做反向传播，还是它到底在做什么？没有人知道。但关于这个问题，有一个想法，一个可能性，就是它其实只是一个极其通用的预测引擎。于是皮层中的任意一个区域，只是在尝试预测……基本上，它能不能学会根据任意其他子集，去预测它所看到的所有变量中的任意子集？也就是**全向推断**，或者**全向预测**。 而大语言模型只是把上下文窗口里的所有内容都看进来，然后计算一个非常特定的条件概率，也就是：“给定前面几千个东西，下一词元的概率是多少。”不过，如果一个大语言模型要填“the quick brown fox blank blank the lazy dog”中间的空，而不是按顺序预测下一个词元，那就会很奇怪——如果它只是前向运行的话。它当然可以在上下文窗口等更高层的涌现层面学会这些，但在原生层面上，它只是预测下一个词元。那如果皮层在原生设计上就是这样：皮层中的任何区域，都可以在给定任意其他缺失子集的情况下，预测它输入中的任意模式、任意子集呢？那就更像“概率人工智能”了。 顺便说一句，我说的很多东西和杨立昆会说的非常相似。他对能量基模型之类的东西非常感兴趣；那种东西有点像所有变量的联合分布。任意一组变量组合的似然或非似然是什么？如果我把其中一些变量钉死，说这些变量肯定处于这些状态，那么我就可以通过概率采样来计算——例如在这些状态被固定的条件下，而且这些可以是模型中任意一个变量子集——我能不能预测任何其他子集会怎么变化，并且在钉住这个子集的情况下，从另一个子集中采样？而且我还可以选择完全不同的一组子集，再对那一组进行采样。所以这就是全向推断。 因此，皮层里可能有一些部分，可能有某些皮层联想区，会用听觉去预测视觉。也可能有一些区域去预测更本能的大脑部分会做什么。因为别忘了，整套系统都是建立在“蜥蜴脑”和“蜥蜴身体”之上的，如果你愿意这么说。那也是值得预测的东西。你不只是预测“我看见这个吗”或者“我看见那个吗”。我的肌肉是不是要紧张了？我是不是快要出现一个反射，比如大笑？我的心率是不是要上升了？我是不是要激活某种本能行为？基于我更高层的理解……比如有人告诉我“你背上有一只蜘蛛”，我可以把这件事和那个会在我真的看到前方有蜘蛛时被激活的蜥蜴式部分对应起来。你会学会把这两者联系起来，这样即使只是听到别人对你说“你背上有一只蜘蛛”，也…… 好，我们回到这个话题。这部分和史蒂夫·伯恩斯的理论有关，我最近对这个非常着迷。而在你和伊利亚的播客里，他说：“看，我不知道有任何关于进化如何编码高层欲望或意图的好理论。”我认为这和所有这些关于大脑会使用的损失函数与成本函数的问题联系非常紧密。这真的是一个深刻的问题，对吧？ 比如说，假设我因为在你的播客上说错话而感到尴尬，因为我想象杨立昆正在听，他说：“那不是我的理论。你把能量基模型说得太糟了。”这会在我身上激发出本能的尴尬和羞耻，我会想躲起来之类的。这会激活这些本能反射。这很重要，因为否则我也许会被杨立昆的横冲直撞大军干掉——也就是他那群别的……法国人工智能研究者正朝你来了，亚当。所以这种本能反应是很重要的。当然，进化从来没见过杨立昆，也不知道能量基模型，也不知道什么重要科学家或播客是什么。可大脑还是得以一种非常稳健的方式，编码出这种不想惹 tribe 里真正重要的人不高兴之类的欲望， ### 学习子系统与引导子系统 在事先并不知道大脑“学习子系统”里所有内容的情况下，事情仍然必须这样完成：大脑中负责学习的皮层以及其他部分，会学习出这个世界模型。这个世界模型会包含像 Yann LeCun 和播客这样的东西。而进化必须确保，那些神经元——比如“让 Yann LeCun 生我气”的那些神经元——能够正确地连接到羞耻反应，或者连接到奖励函数的这一部分。 这很重要。因为如果我们要能够在部落中寻求地位，或者像你说的那样向有知识的人学习，或者和朋友交换知识与技能、但不和敌人交换……我们就必须学会这些东西。它必须能够把这些通过学习得到的世界特征、世界模型中的学习部分，稳健地连到这些先天奖励函数上，然后再用这些连接去继续学习。因为下一次，如果 Yann LeCun 发邮件告诉我我错了，我就不会再去试图惹恼他。我们会基于那次经历继续学习。 在构造奖励函数时，它必须使用已学习的信息。但进化并不知道 Yann LeCun，怎么能做到这一点？Steve Byrnes 提出的基本思路是：皮层的一部分，或者像杏仁核这样的其他会学习的区域，实际上是在对“引导子系统”建模。 所谓引导子系统，就是那些更内禀编程的反应，以及那些先天编程好的系列奖励函数、成本函数、脚手架式启动函数所在的部分。比如，杏仁核里有些部分能够监控那些部位在做什么，并预测那些部位会做什么。你怎么找出与社会地位相关的重要神经元？你会有一些关于社会地位的先天启发式，或者关于友善的先天启发式，而引导子系统可以利用这些启发式。更疯狂的是，引导子系统实际上还有自己的感觉系统。我们通常以为视觉是皮层做的事情，但引导子系统也有一个次皮层视觉系统，也就是上丘，它具有检测人脸之类事物，或者检测威胁的先天能力。所以，确实有一个带有先天启发式的视觉系统，而引导子系统也有自己的反应。 杏仁核的一部分，或者皮层的一部分，会学习去预测这些反应。哪些皮层神经元对社会地位或友谊重要？那些能够预测这些关于友谊的先天启发式的神经元，就是重要的。你在皮层里训练一个预测器，然后问：“哪些神经元是这个预测器的一部分？”那些就是你现在真正把东西接上线的神经元。这太有意思了。 我觉得我还是没有完全理解……我理解皮层如何学会这个原始大脑部分会如何对……显然，它有这些标签：“这里 literally 是一张蜘蛛的图片，这不好，要害怕这个。”皮层会从那个先天部分那里得到提示，学会“这不好”。但之后它必须泛化到“好吧，蜘蛛在我背上了。还有人告诉我，蜘蛛在你背上了。那也不好。” 是的。 但它从来没有在那个情形上接受过监督。所以它到底是怎么……？ 原因在于，学习子系统是一个强大的学习算法，它确实具有泛化能力，能够进行泛化。引导子系统就是这些先天反应。你会在你的引导子系统里内置一些东西，这些较低层的大脑区域：下丘脑、脑干等等。 同样，它们也有自己的原始感觉系统。所以可能会有一种先天反应：如果我看到某个东西以很快的速度朝我的身体移动，而我之前没有看到它在那里，而且它又小、黑、对比强烈，那它可能是一只虫子正在爬到我身上。我会猛地一缩。这些都是先天反应。比如在下丘脑里，可能会有一组神经元，就是“我正在缩一下”或者“我刚刚缩了一下”的神经元。 当你一缩的时候，首先，这对奖励函数是一个负向贡献。也许你并不希望那样发生。但那是一个没有任何泛化能力的奖励函数。我会避开那个精确的情形，也就是那个东西朝我爬过来。也许我会避开那些导致它爬过来的动作。这种泛化你可以得到，Steve 把它称作是在奖励函数之下、向下游延伸出来的东西。我会避开蜘蛛朝我爬过来的情形，但你还会做别的事情。 杏仁核里，或者说类似的某个部分，会在说：“好，提前几毫秒、几百毫秒或者几秒钟，我能不能预测到那个缩一下的反应？”它会是一组神经元，本质上是一个分类器，判断“我是不是快要缩了？”而且我会针对每一个进化需要照顾的重要引导子系统变量，都有这样的分类器。我要缩了吗？我正在和朋友说话吗？我现在应该笑吗？这个朋友地位高吗？无论下丘脑、脑干里包含什么变量……我是不是快尝到盐味了？它会有这些变量，而对每一个变量，它都会有一个预测器。 它会训练这个预测器。现在，它训练出来的这个预测器可以有一定泛化能力。它之所以能够泛化，是因为它的输入完全不同。它的输入数据可能是诸如“蜘蛛”这个词，而“蜘蛛”这个词可以在各种各样的情境中被激活，而这些情境又会让“蜘蛛”在你的世界模型中被激活。如果你有一个复杂的世界模型，具有非常复杂的特征，那本身就会给你某种泛化。 它不只是那个朝我爬过来的东西，甚至“蜘蛛”这个词，或者“蜘蛛”这个概念，也会触发那个反应。这个预测器可以学到这一点。无论我世界模型中的“蜘蛛神经元”是什么，那甚至可能是一本关于蜘蛛的书，或者某个地方、某个房间里有蜘蛛，或者任何类似的东西…… 这段对话在听众中激发出来的那种“细小不适感”……现在我正在激活你的引导子系统，你的引导子系统里负责蜘蛛、负责爬行昆虫、负责从这些非常抽象的对话概念中被激活的那组下丘脑神经元。 如果你继续讲，我就要加一个触发警告了。 这正是因为你学到了这些。皮层本来就具有泛化能力，因为它只是在基于这些非常抽象的变量，以及它所整合的所有信息来做预测。而引导子系统只能使用上丘以及少数其他传感器能吐出来的东西。 顺便说一句，令人惊讶的是，把神经科学中不同片段联系起来的这个人 Steve Byrnes，还是个前物理学家。过去几年里，他一直在尝试综合——他是一名 AI 安全研究者。就是在做综合。这又回到了学术激励机制的问题。 我觉得这话有点难说。下一步的精确实验是什么？我要怎么发表一篇论文来解释这个？我要怎么训练我的研究生去做这件事？这非常推测性。但神经科学文献里有很多内容，而 Steve 已经把这些整合起来了。我觉得 Steve 实际上已经对 Ilya 的问题给出了一个答案，也就是：大脑最终是如何为这些更高层次的欲望编码，并把它们与更原始的奖励连接起来的？ ### 摊销推理、表征与蒸馏 #### 奖励函数、编码器与潜在抽象 一个很朴素的问题是：为什么不能通过训练模型，不只是把一个 token 映射到下一个 token，而是把训练里的 mask 去掉，让它把每个 token 映射到每个 token；或者在视频、音频、文本之间加入更多标签，让它被迫把一个模态映射到另一个模态？ 回答是：**也许这就是路子**。但这并不清楚。有些人认为，事情也许不是靠一种普通的概率推断方式，或者不是靠反向传播之外的某种学习算法。也许会有别的学习方式，比如能量基模型之类的东西，你可以想象这些东西参与了这种能力，而大脑确实拥有这些机制。 不过，也可能存在这样一种版本：大脑做的是一种比较糟糕的反向传播，用来通过几层去预测，而且它有点像一个多模态基础模型。大语言模型也许只是预测下一个 token；但视觉模型也许是在学习填空，或者重建不同的片段、不同的组合。 关键是，它以一种极其灵活的方式在做这件事。如果你训练一个模型只是去填中间这个空白，当然很好；但如果你没有训练它去填左边那个空白，它就不会那样做。那不属于它已经被摊销进网络里的预测能力范围。相比之下，如果你有一个非常强大的推断系统，你就可以在测试时选择：它需要推断哪些变量，哪些变量是被钳住的。 这就引出两个子问题。第一，它会让人怀疑，人工神经网络里缺少的东西，也许与其说是奖励函数，不如说是编码器或者嵌入。也许问题在于，你没有把视频、音频和文本表示在合适的潜在抽象层级上，因此它们无法相互交织、相互冲突。也许这也和为什么大语言模型似乎不擅长在不同想法之间建立联系有关：这些想法是否被表示在足够一般化的层级上，以至于你能够注意到不同的连接？ #### 这些问题纠缠在一起 问题在于，这些问题全都纠缠在一起。如果我们不知道它是不是在做一种类似反向传播的学习，又不知道它是不是在做能量基模型，也不知道这些领域到底是怎么连接起来的，那就很难真正触及真相。不过，是有可能的。我觉得有人已经做过一些工作。 我的朋友 **Joel Dapello** 事实上几年前做过一件事：他把一个模型——我想是一个 **V1** 的模型，具体来说是早期视觉皮层如何表征图像——作为输入送进一个卷积网络，而且这确实改善了一些东西。这里也可能存在差异。视网膜本身也在做运动检测，有些东西会被过滤掉。感觉数据也许在进入系统前就已经做过某些预处理。也许会有某些巧妙的模态组合：哪一种模态在预测哪一种模态，诸如此类，这些都可能带来更好的表征。 当然，也可能有比这更巧妙的东西。有些人确实认为，架构里内置的归纳偏置会塑造不同的表征；也有人认为可以做一些巧妙的事情。**Astera**——也就是雇用 **Steve Byrnes** 的那个组织——刚刚基于 **Doris Tsao** 的工作启动了一个神经科学项目。她有一些想法，关于如何构建视觉系统，使其基本上需要更少的训练。 他们把一些假设直接写进了架构设计里，比如：物体由表面界定，而表面具有某些类型的形状，以及它们如何相互遮挡之类的关系。也许可以往网络里塞进更多假设。进化也可能已经在架构上做了一些改变。我只是觉得，成本函数之类的东西也可能是它的关键所在。 #### 摊销推断是什么意思 我想谈谈你刚才稍微带到的那个想法：**摊销推断**。也许我应该试着解释一下我以为它是什么意思，因为我觉得这大概率是错的，而这也许能帮你纠正我。 我自己也已经有几年没怎么想这个了。现在模型的工作方式是：你有一个输入，它把输入映射到输出；而这实际上是在摊销一个过程，也就是那个我们认为才是智能的真实过程。这个过程是：你对世界可能是什么样子有一个先验，对世界的成因是什么有一个先验。 然后当你看到某个观测时，你应该会想：“好，这里有世界可能是这样的所有方式。这个原因最能解释正在发生的事情。” 但对所有可能原因都做这一步计算，在计算上是不可行的。所以你只能采样，比如：“哦，这里有一个可能的原因。它能解释这个观测吗？不能，算了。继续采样。”最后你找到了那个原因，它解释了观测，于是这就成了你的后验。 其实这已经相当不错了。贝叶斯推断本身就是一种非常不可行的事情。我们用来做它的算法通常都需要取很多样本，蒙特卡洛方法就是要取很多样本。而取样本是要花时间的。原始的 **Boltzmann machines** 之类的东西就是在用这种技术，至今在概率编程、其他类型的方法里也经常这样用。 贝叶斯推断问题，本质上就是知觉问题：给定世界的某个模型，给定某些数据，我应该如何更新我的……我内部模型里缺失的变量是什么？我猜这个想法是，神经网络希望能够……当然，机械上说，神经网络并不是从“这是我对世界的模型，我要试着解释这些数据”开始的。 但希望是：它不是从“嘿，这个原因能解释这个观测吗？不能。这个原因能解释这个观测吗？能。”这种方式开始，而是直接做“观测……神经网络认为最好的原因是什么？”也就是从观测到原因，再到输出，也就是……你不必去评估所有这些能量值之类的东西，也不必在周围采样去把它们调高调低。你只要说：大致上，这个过程会让这个成为最优选，诸如此类。 #### 测试时计算与蒸馏 没错。你可以把它理解为：测试时计算、推断时计算其实又在做一遍这个采样过程。你真的会读它的思维链。它实际上就是在做我们刚才讨论的那个玩具例子：比如，“我能不能通过做 X 来解决这个问题？不行，我需要另一种办法。” 这就提出了一个问题。我的意思是，随着时间推移，原本需要推断时计算才能激发出来的能力，会被蒸馏进模型。于是你在蒸馏那个以前需要靠这些展开、这些蒙特卡洛展开去弄清楚的东西。 一般来说，也许有这样一个原则：**可以被复制的数字心智**，和**不能被复制的生物心智**，会有一些相关但不同的权衡。 所以总体上，更多事情应该有理由去做摊销，因为你真的可以把摊销本身复制出来，或者复制那些你已经某种程度上内置进去的东西。 这又引出了一个旁支问题，不过它到这里就断了。 ### 测试时计算与进化权衡 未来，当这些东西变得更聪明，而我们训练它们的方式也变得在经济上更合理时，什么才值得被“摊销”进这些头脑里，而进化又认为不值得摊销进生物头脑里的东西，会是什么？你每次都得重新训练。 首先，我认为概率式人工智能的人会说，当然你需要测试时计算，因为这个推断问题真的很难，而我们所知道的唯一办法都涉及大量测试时计算。否则，它就只是那种糟糕的近似，永远不会……你得用无限数据之类的东西才能做到这一点。 我想，一些概率式的人会说：“不，这在本质上就是概率性的，而以这种方式把它摊销掉根本就说不通。”他们也许还会指向大脑说：“好吧，大脑里的神经元是随机的，它们在采样，在做这些事情。所以也许大脑其实更像是在做那种不摊销的推断，真正的推断。”但感知竟然能在几毫秒之类的时间里完成，这也很奇怪。它看起来并没有用到那么多采样。 所以它显然也在把某些东西烘焙进近似前向传播之中，或者类似这样的东西，来完成这件事。至于未来，我不知道。 现在是不是某种程度上已经有一种趋势：过去人们不得不使用测试时计算才能做的事情，现在又被拿回去训练进基础模型里？现在它可以一步完成。也许进化做了，或者没做。 我认为，进化仍然必须把一切都通过基因组来传递，以构建网络，以及人类生活的环境，而这个环境是非常动态的。所以也许，如果我们相信这是真的，那么就有一个由斯蒂夫·伯恩斯提出的学习子系统和一个引导子系统；学习子系统并没有很多预初始化或预训练。它有一个特定的架构，但随后在一生之内它会学习。于是进化实际上并没有把太多东西摊销进那个网络里。它反而把这些东西摊销进了一组先天行为、这些启动成本函数，或者说构建非常特定奖励信号的方法之中。这个框架有助于解释一个谜团：人们已经指出过，我也问过几位嘉宾，那就是，如果你想把进化类比为预训练，那么你要怎么解释通过基因组传递的信息竟然这么少？人类基因组总大小是3千兆字节。显然，其中只有很小一部分实际上与编码大脑有关。以前人们做过这样的类比：其实进化找到了模型的超参数，也就是告诉你应该有多少层、架构是什么、基本上各部分应该如何连线的那些数字。 但如果故事的重要部分是，提高样本效率有助于学习，通常也会让系统更有性能，那么奖励函数、损失函数——如果进化找到了这些有助于学习的损失函数——那么为什么只靠这么少的信息就能构建出智能，这件事就真的说得通了。因为奖励函数，在 Python 里，奖励函数字面上就是一行。所以你只要有一千行这样的东西，那并不会占多少空间。是的。它也能做到我刚才描述的那种泛化；我们在谈蜘蛛的时候说过这点：它只学会“蜘蛛”这个词，就触发蜘蛛反射之类的东西。 它也能利用这一点。它可以仅仅通过指定这些先天的蜘蛛相关东西，以及斯蒂夫所说的那些负责学习的思维评估器，来构建一个实际上包含大量泛化的奖励函数。 这可能是构建这些更复杂奖励函数的一种非常紧凑的解决方案，你确实需要这些奖励函数。它不必预见未来奖励函数的一切。它只需要预见哪些变量是相关的，以及用什么启发式方法去找到那些变量。 然后，它还必须对学习算法和学习子系统的基本架构给出一个非常紧凑的规格说明。接着，它必须把所有这些 Python 代码都写出来，包括关于蜘蛛的所有内容、关于朋友的所有内容、关于你母亲的所有内容、关于交配和社交群体以及共同目光接触的所有内容。它必须把所有这些东西都指定出来。所以这件事真的成立吗？我认为，确实有一些证据支持它。 ### 皮层与调控子系统的分工 Fei Chen、Evan Macosko，以及其他各种研究者一直在做这些单细胞图谱。把神经科学技术规模化——这也是我的一个痴迷——通过“脑计划”这个大型神经科学资助项目，基本上是在不同脑区，尤其是小鼠脑的不同区域，去绘制不同细胞类型分布在哪里：在大脑皮层的不同区域里，有多少种不同类型的细胞？它们在不同区域之间是不是都一样？ 然后你再看这些皮层下区域，它们更像是“调控子系统”或者“奖励函数生成区域”。它们有多少种不同类型的细胞？它们有哪些神经元类型？我们不知道它们彼此是怎么连接的，也不知道它们到底在做什么、回路是什么、意味着什么，但你只要测序 RNA，就能量化有多少不同种类的细胞。 而且，在这个所谓的“调控子系统”里，基本上有更多奇怪的、更多样的、更多定制化的细胞类型，远远多于“学习子系统”里的细胞类型。皮层细胞类型看起来，似乎足以在上面构建一个学习算法，并指定一些超参数。在这个“调控子系统”里，却有像数不清的、成千上万种非常奇怪的细胞，可能就像“负责蜘蛛惊跳反射的那一种”和“负责我马上要尝到盐味的那一种”。为什么每一种奖励函数都需要一种不同的细胞类型？这就引出了先天连接的回路。在学习算法那一部分，在“学习子系统”里，你指定初始架构，你指定学习算法。真正起作用的，是突触可塑性，是那个大网络内部突触的变化。但它的初始化架构相对重复。就像写一个八层变压器所需的 Python 代码，和写一个三层变压器所需的 Python 代码，并没有那么不同。你只是在复制粘贴。 而另一方面，关于奖励函数的那些 Python 代码——如果上丘看到某个正在乱窜的东西，而你皮肤上起了鸡皮疙瘩之类的，就触发蜘蛛反射——那就是一大堆定制化的、特定物种的、特定情境的东西。皮层不知道蜘蛛是什么，它只知道层。可你现在是在说，写这个奖励函数的唯一方式，是必须有一种特殊的细胞类型吗？ 是的，我觉得是这样。我认为你要么必须有特殊细胞类型，要么就必须以某种其他方式获得特殊的连接规则，也就是进化可以说：这个神经元需要连到那个神经元，不需要任何学习。而我认为最有可能发生的方式，是这些细胞表达不同的受体和蛋白质，它们会说：“好，当这个和那个接触时，我们就形成一个突触。”所以这是一种遗传性的接线，而要做到这一点，就需要细胞类型。 我敢肯定，如果我懂 101 级神经科学，这会更说得通，但看起来“调控子系统”里仍然有很多复杂性，或者更准确地说，有很多一般性。所以如果“调控子系统”有自己独立的视觉系统，和视觉皮层是分开的，那么不同特征仍然需要接入那个视觉系统。蜘蛛这件事要接进去，爱情这件事也要接进去，等等等等。所以看起来很复杂。 它仍然很复杂。也正因为如此，基因组上的很多“版图空间”——以及这些不同细胞类型等等——都会用于把“调控子系统”接线、预先接线。我们能不能知道基因组中有多大一部分是明确在起作用的？所以我猜，你可以看出有多少部分与产生 RNA 相关，那些 RNA 体现为脑中不同细胞类型的表观遗传状态，对吧？对。这就是细胞类型能帮助你理解的地方。 我不觉得这完全是“哦，基因组的这个百分比在做这个事”，但你可以说：“好，在这些‘调控子系统’的各种亚型里，有多少不同基因参与了指定谁是谁、以及它们如何接线？这些基因占用了多少基因组空间？和那些指定视觉皮层、听觉皮层的基因相比又如何？”你只是在重复使用同样的基因去做同样的事情两次。 而蜘蛛反射的接线……是的，你说得对。它们必须建立一个视觉系统，还必须建立一些听觉系统、触觉系统和导航类型的系统。甚至包括输入到海马体之类的东西，也有头方向细胞。就连果蝇大脑都有先天回路，帮助它判断自己的方位，并在世界中导航。它利用视觉，计算自己飞行时的光流，计算自己的飞行如何与风向相关。它有这些先天性的东西；我认为在哺乳动物大脑里，我们会把这些统统归入“调控子系统”。这里面有很多工作要做。 所以，所有那些基本上用于指定果蝇必须做的各种事情的基因，我们这里也会有类似的东西，只不过都放在“调控子系统”里。那我们有没有某种估算，比如说：“这里需要多少核苷酸，这里需要多少兆碱基来——”？我不知道。我的意思是，你也许可以去问生物学家。我是说，我们和酵母在基因层面有很多共同点。酵母仍然被用作生物学里某些药物开发之类的模型。而且基因组中如此大的一部分，其实就是为了让你有一个细胞本身：它能回收废物，能获取能量，能复制。 那我们和小鼠又有多少共同点？所以在某种层面上，我们知道人和黑猩猩之类的区别——这也包括社会本能，以及皮层和其他方面更高级的差异——只涉及很少数量的基因，这些基因只是在多出来的那部分中，把“八层变压器”变成“六层变压器”，或者微调那个奖励函数。这可以帮助解释为什么原人类脑的体积会如此迅速地爆炸式增长。按这个故事来理解，请你告诉我这是否正确：社会学习，或者别的什么东西，提高了从环境中学习的能力。它提高了我们的样本效率。你不用自己去杀野猪、自己摸索怎么做，你只要说：“长者告诉我，这就是做长矛的方法。”这样就提高了拥有更大皮层的激励，而更大的皮层可以学习这些东西。 对，而且这可以由相对少量的基因完成，因为它实际上是在复制小鼠已经有的东西，只是做得更多一点。也许不完全一样，可能还会有一些调整；从基因组角度来说，你不需要把所有这些东西都重新发明一遍。 那么，皮层在大脑进化史上的历史要追溯到多早？是不是说，皮层一直都在解决这种全向推断的问题，而且这个问题很早以前就已经被解决了？然后灵长类的大突破，是我们得到了奖励函数，从而提高了拥有全向推断的回报？这是个好问题。还是说，全向推断…… ### 语言、皮层演化与社会本能 也有一些东西，是不是花了很久才被“解锁”的？ 我不确定这件事是否有一致意见。我想，关于语言，可能确实存在一些具体问题。是不是要通过听觉和记忆，或者听觉、记忆区域的某种组合来做一些调整？也可能还需要更宏观的连线方式，也就是把听觉区域连到记忆区域之类的地方，并且连到一些社会本能上，才能让语言之类的东西发生。 不过，这也可能只是少数几个基因变化，就足以让人类能够说：**“哦，我只需要从这里的颞叶，连到听觉皮层那边，做这么一点事。”** 关于布罗卡区、韦尼克区，确实有一些证据。它们和海马体之类的结构，以及前额叶皮层相连。所以，也许只是少数几个基因，帮助人类真正正确地使用语言。那可能是一个大问题。 但问题在于，究竟是皮层发生了变化，于是这些事情变得可能了？还是说，这种潜能原本就在那里，只是一直没有动力去扩展这种能力，然后把它用起来，把它接到这些社会本能上，并且更充分地使用它？ 我会稍微偏向后者。我觉得，就皮层而言，老鼠和人类有很多相似之处。虽然苏珊娜·赫库兰诺-豪泽尔关于神经元数量如何随着重量变化的研究表明，在灵长类大脑中，这种增长比在啮齿类大脑中更好。那这是否意味着皮层的可扩展性实际上有所提升？也许吧，也许。我对这方面没有特别深入。 可能在架构上有变化，在折叠上有变化，在神经元性质之类的东西上也有变化，某种程度上微调了这一切。但不管怎样，仍然存在一种规模扩展。没错。也就是说，我并不是说在人类的学习子系统架构上完全没有什么特别之处。只是，是的，我认为普遍的看法是它被扩展了。但接下来的问题就是：**“好吧，那这又如何与控制子系统的变化、以及那些让你能够利用这些变化并借此有效启动的本能相适配？”** 不过再说几件别的事，即便是果蝇大脑，在非常久远的地方，也已经有某种程度的学习……我是说，我觉得你读过那本很棒的《智能简史》，对吧？我觉得这是一本非常好的书。看起来很多人工智能研究者也觉得这本书很不错。某种学习实际上可以追溯到任何有大脑的东西。基本上，你能看到某种原始的强化学习，至少可以追溯到脊椎动物。想想斑马鱼。然后还有其他分支。鸟类也许重新发明了某种类皮层结构。它没有六层结构，但它们确实有某种有点像皮层的东西。 所以在爬行动物之后，在某种意义上，鸟类和哺乳动物都做出了一个某种程度上像皮层、但组织方式不同的东西。不过，即便是果蝇大脑，也有联想学习中心，实际上会做一些事情，可能和伯恩斯提出的“思考评估器”概念有点像：那里有一种特定的多巴胺信号，用来训练果蝇蘑菇体中的特定神经元子群，把不同的感觉信息与“我现在会得到食物吗？”或者“我现在会受伤吗？”联系起来。顺便岔开一下。我记得在伯伦·米利奇写的一篇博客里读到过，和其他灵长类相比，人类大脑中与听觉和视觉相关的皮层部分扩张得尤其明显，而与嗅觉相关的部分则没有那么明显。我记得他还说过，这可以用这类数据更差的尺度律性质来解释。 也许他指的是这个，但我觉得，对实际发生情况的另一种解释是：内置于控制子系统里的那些社会奖励函数，需要更多地利用“看见长辈”以及“看清视觉线索”“听见他们说什么”的能力。为了理解这些指导学习的线索，你需要更多地激活视觉和听觉，而不是嗅觉。 我的意思是，这些事情很多。我感觉你的节目以前也提到过这些。比如，人类眼睛的设计——有瞳孔、眼白，还有其他一切——我们被设计成能够通过共同的眼神接触来建立关系。也许这在和萨顿那期节目里提到过。我记不清了。不过，是的，我们必须从这里开始搭建。 ### 强化学习、大脑模型与文化传递 to the point where we can detect eye contact and where we can communicate by language. That’s like what the first couple years of life are trying to do. #### 询问强化学习 好，我想问你关于强化学习的问题。现在这些大语言模型的训练方式是这样的：如果它们解出了一个单元测试，或者解出了一道数学题，那么那整条轨迹里的每一个词元都会被上调。人类这边是怎么回事？大脑的不同部分里，是不是存在不同类型的基于模型和非基于模型的过程？ 嗯，我的意思是，这又是那种事情之一。还是那句话，我对这些问题的回答，不管我具体说什么，都只是在说我们可以朝那个方向探索。我觉得这件事很有意思，也许我会觉得文献在某些非常宽泛的方向上指向这些地方。 但我真正想做的是去把整只小鼠的大脑映射出来，把这件事彻底搞清楚，让神经科学成为一门有真值的科学。所以我不知道，基本上就是这样。 不过首先，我觉得伊利亚上播客的时候说过：“奇怪的是，你们不用价值函数，对吧？”你用的是强化学习里最蠢的形式，基本上就是这样。当然，这些人非常聪明，他们在优化怎么在图形处理器上做这件事，而且他们取得的成就真的非常惊人。但从概念上说，这是一种非常蠢的强化学习，甚至比十年前在做的事情还要蠢。 连当年的雅达利游戏玩法都在用 `Q-learning`，而这基本上是一种时序差分学习。时序差分学习的意思基本上是：你有某种价值函数，表示“我现在选择什么动作”，这不只是告诉我紧接着会发生什么，而是告诉我它对我预期的总回报，或者类似东西，产生什么长期后果。所以你会有像这样的价值函数……我们在大语言模型里根本没有价值函数，这件事真的很疯狂。 我想，因为是伊利亚说的，所以我可以说。我对人工智能的了解大概只有他的一百分之一，但这件事能跑起来还是挺疯狂的。 #### 大脑里的强化学习 不过从大脑角度看，我觉得有些脑区被认为在做非常像非基于模型强化学习的事情，那就是纹状体和基底神经节的一部分。人们认为它们有一个有限而且相对较小的动作空间。它们能采取的动作类型，首先可能像是：“告诉脑干和脊髓执行这个运动动作？是还是不是。”或者也可能更复杂一些，是认知型动作，比如：“告诉丘脑让皮层的这一部分和那一部分交流”，或者“释放海马体里的记忆并开始一个新的记忆，或者类似的事情。” 总之，来自基底神经节的动作有某种有限集合，而那基本上就是一种非常简单的强化学习。所以，我们大脑和其他大脑里，可能有一些部分只是在做非常简单、很天真的强化学习算法。 在这之上再加一层的是，神经科学里一些重要工作，比如彼得·戴扬的工作，以及很多其他工作，这也是我认为 DeepMind 之所以最初去做时序差分学习的原因之一。他们非常关注神经科学。大量神经科学证据表明，多巴胺传递的是一种奖励预测误差信号，而不仅仅是“奖励”本身，不是那种“是还是不是，隔了无数个时间步之后”的东西。它是预测误差，这和学习这些价值函数是相一致的。 所以有这一层，然后还有更高阶的东西。我们有皮层在建立世界模型。嗯，皮层世界模型能够包含的一件事，就是对“你什么时候会得到奖励、什么时候不会得到奖励”的建模。还是那句话，它在预测“控制子系统”会做什么。它可以在预测基底神经节会做什么。你在皮层里有一个模型，这个模型具有更强的泛化能力、更多概念，以及所有这些东西，它会说：“好，这类计划、这类动作，在这类情境下会带来奖励。” 所以我有一个关于奖励的模型。有些人还认为你可以反过来走。这也是推断图景的一部分。有一种“把强化学习看作推断”的想法。你可以说：“那么，在我的奖励很高的条件下，抽样一个我本来必须采取的计划，才能到达那里。”这就是从奖励部分反推出计划部分的推断。我把奖励钳得很高，然后去推断计划，从那些可能导致高奖励的计划里抽样。 所以如果你有这种非常一般性的皮层系统，它就只是能做到这些。如果你有这种非常一般的、基于模型的系统，而且这个模型除了别的东西之外还包括计划和奖励，那你基本上就免费得到了这一切。 #### 价值与推断 所以，用神经网络的术语来说，在那个—— 是的，或者说有一个价值输入。 哦，好，有意思。 对，而且它可以预测。它几乎像一种感觉变量一样，也可以预测自己会得到什么奖励。 顺便说一下，说到把事情摊销掉，显然价值就像是把查找奖励这件事的滚动展开给摊销了。 对，差不多就是那样。它像是对它的统计平均，或者对它的预测。 #### 社会学习与世代传递 顺带一个想法。乔·亨里希等人有一种观点，认为人类社会学会做事的方式，比如：你怎么发现某种豆子实际上几乎总会毒死你，但如果你按十步那个极其复杂的流程去做，其中任何一步出错，豆子就会有毒，这种东西你怎么可能发现？或者你怎么学会在一年中的特定时间，使用特定武器，以特定方式去猎杀海豹，等等？没有别的办法，只能靠几代人不停地试错。 这让我觉得，这实际上非常像非基于模型的强化学习在发生。 ### 生物硬件的取舍与共设计 在某种文明层面上，不是，没那么准确。进化某种意义上是最简单的算法。如果我们相信这一切都能来自进化，那么外循环就可以**极其不具前瞻性**。对吧，这很有意思。只是一些层级的……进化：无模型…… 那这说明了什么？也许简单的算法，只要你做得足够多，就真的能把你带到任何地方。对吧。 是啊，我不知道。所以，进化：无模型。基底神经节：无模型。皮层：有模型。文化：也可能是无模型。我的意思是，你会注意长辈的话之类的。也许还有某种群体选择，或者这些东西里的某一种更无模型一些。但现在我觉得文化，嗯，它也存储了一部分模型。 退一步说，对于人类而言，能够使用生物硬件，相比于现如今的计算机，这到底是劣势还是优势？我问这个问题的意思是，如果存在“那个算法”，那么如果把这个算法写入今天这样的硬件里，它会在定性上表现得更差还是更好？之所以觉得它可能会这样，是因为……我的意思是，很明显，大脑不得不做很多取舍，而这些取舍对计算硬件来说并不相关。它必须在能量上高效得多。结果可能它也必须以更慢的速度运行，这样电压差才可以更小。于是大脑以 200 赫兹运行，它必须只用 20 瓦。 另一方面，从机器人学来看，我们显然已经经历过：手指比我们迄今为止能制造出来的电机灵巧得多。所以，大脑里也许有某种相当于**认知灵巧性**的东西，这也许是因为我们能够处理无结构的稀疏性。我们可以把记忆和计算放在一起。 是的。那这一切最终净效应到底如何？你是会说：“天哪，如果我们不用面对这些大脑，我们会聪明得多。” 还是会说—— 我觉得最后我们会以某种方式得到鱼与熊掌兼得。我认为大脑一个显而易见的缺点是它**不能被复制**。你没法对每个神经元和突触都拥有外部读写访问，而你对计算机可以。我在 Python 里就能直接把权重矩阵里的某些东西改掉，然后加载上去，再复制出来。原则上是可以的。所以，不能被复制、不能随机访问，这真的很烦。 但除此之外，也许它有很多优势。它还告诉你，你要想办法把算法和硬件做成某种共同设计。它也许甚至不会像我们刚才讨论的那样改变太多，但你就是得做这种共同设计。 所以，是啊，你怎么在**真正缓慢、低电压的开关**上做到这一点？这对能耗会非常重要。把记忆和计算放在一起。我觉得硬件公司大概会尝试去把记忆和计算放在一起。他们会尝试使用更低的电压，并允许一些随机性。有些人认为我们刚才谈到的所有这种概率性东西——“哦，它其实是能量模型之类的”，它在做大量采样，而不只是把一切都摊销掉。神经元对这一点也很自然，因为它们天然就是随机的。 所以你不需要在一大堆 Python 代码里去做随机数生成器，基本上只为了生成一个样本。神经元自己就能生成样本，而且它还能调节不同概率是什么，并学习这些调节方式。所以，这也许会和某种推断方法，或者类似的东西，做得非常共设计。 那会很滑稽……我的意思是，我从这次访谈里得到的信息是，大家在推特上取笑的那些人，像杨立昆和 Beff Jezos 之类的，我不知道，也许他们其实是对的。这确实是其中一种解读。 当然，我自从大语言模型起飞以后就几乎没怎么做过 AI 了，所以我已经有点跟不上了。不过，我对这种规模化的效果以及整体进展感到惊讶，我觉得这很了不起。但对，我觉得杨立昆和 Beff Jezos 在概率模型这件事上，或者至少在“有可能是这样”这件事上，确实有点道理。事实上，在 2021 年之前，所有神经科学家和所有 AI 研究人员其实就是这么想的。对吧。所以，大脑里有一堆细胞层面的东西在发生，而这并不只是关于…… ### 突触、细胞机制与小脑记忆 神经元到神经元的突触连接。这里真正函数上做了多少工作，超过了突触本身在做的工作，又有多少其实只是为了让突触那套东西能够运转而不得不加上的一堆权宜之计？ 对一个数字化的心智来说，你可以极其轻松地拨动突触，抱歉，是参数。但如果要让一个细胞按照梯度信号去调节某个突触，就需要一整套疯狂的机制。那它到底是不是在做比“这件事只需要极少代码就能做”更多的事情？我不知道，但我并不相信那种激进说法：哦，其实记忆大多不是突触，或者学习大多是遗传变化之类的。我觉得，把你刚才说的第二种情况理解成更接近事实，会更合理，我想你把这一点说得非常好。 比如说，你想对从某个神经元输出的所有权重，或者流入某个神经元的所有权重做归一化。那么你大概得想办法让这个细胞的细胞核知道这件事，然后再把信息送回所有突触，或者类似这样的过程。所以细胞层面会发生很多变化。又比如说，你本来已经有很多可塑性，而且你还是这个记忆的一部分。现在这些东西已经巩固进了大脑皮层之类的地方。然后我们又想把你重新当作一个新的神经元，让你再次具备学习能力。这里也会发生大量的细胞变化，所以细胞里会有海量的事情在发生。 但是从算法上讲，这并没有真正增加什么，超出这些算法本身。它只是把某种在数字计算机里对我们来说很容易做的事情实现出来：我们直接找到权重然后修改它们。在细胞里，它就必须在没有任何中央控制器的情况下，靠分子机器自己把这一切都做完。这实在是令人难以置信。 不过，细胞确实也会做一些事情，我觉得那些更有说服力。小脑必须做的一件事，是随时间进行预测。时间延迟是多少？假设我看到一道闪光，然后在若干毫秒之后，我的眼睑会受到一阵空气喷射，或者类似这样的刺激。小脑可以非常擅长预测闪光和空气喷射之间的时间间隔，这样你的眼睛就会自动闭上。小脑参与的就是这种类型的反射，这种学会的反射。 小脑里有一些细胞，看起来细胞体在储存那个时间常数方面起着作用，在改变那个延迟时间常数方面起着作用，而不是把这一切都以某种方式通过“我要用一圈更长的突触来把这个延迟变长”来完成。不，细胞体会直接替你储存那个时间延迟。所以确实有一些例子，但我并不是一开始就相信那种理论：发生的一切本质上就是神经元之间连接的变化，而这就足以解释所有事情。 ### 对齐、转向子系统与智能差异 主导算法层面上，我认为很有理由继续相信，问题仍然是那个主导算法层面的东西，而不是某种疯狂的细胞层面机制。回到这种整体视角：我们的智能并不是一种单向、全方向的推断机制，只是在构建一个世界模型；它更像是一个系统，这个系统会教我们该把注意力放在哪里，哪些是重要的、显著的因素，应该从哪些东西中学习，等等。我想看看，我们能不能从这里得到一些直觉，来理解不同种类的智能可能会是什么样子。 所以，看起来通用人工智能，或者超人类智能，应该仍然会具备学习一个相当一般的世界模型的能力；但它也许会被激励去关注现代后奇点环境里相关的不同东西。我们应该预期不同智能之间会有多大差异？ 我觉得思考这个问题的一种方式是：纸夹最大化器之类的东西，真的可能做出来吗？如果你试着做一个纸夹最大化器，它最后会不会因为唯一的奖励函数只是制造纸夹，结果根本不够聪明，或者类似这样？我会说，你能不能做到这一点？我不知道。如果我更接近斯蒂夫·伯恩斯的观点，我会觉得，想让某个东西变聪明，你在“转向子系统”里所需要的最小可行要素，要比让它拥有类似人类的社会本能、伦理之类东西所需的最小可行要素少得多。 所以，你真正想了解的关于转向子系统的很多内容，其实本质上就是对齐的具体做法，或者说，人类行为与社会本能到底是什么，而不仅仅是能力所需要的东西。我们之前是用稍微不同的方式来谈这个问题的，因为我们当时是在说：“嗯，为了让人类进行社会学习，他们需要进行眼神交流，需要向别人学习。”但我们已经从大语言模型身上知道了，根据你的起点不同，你可以在没有这些东西的情况下学会语言。 所以我认为，确实有可能制造出非常强大的、基于模型的强化学习优化系统之类的东西，而它们并不具备我们人类大脑奖励函数中的大部分内容，因此也可能想要最大化纸夹。这是一个担忧。 但你指出了另一点：为了制造一个足够有能力的纸夹最大化器——那种能够建造宇宙飞船、学习物理、以及诸如此类事情的东西——它必须拥有某些会触发学习的驱动力，包括比如好奇心和探索。 对，好奇心、对他人的兴趣、对社交互动的兴趣。 但我觉得这已经相当 минимальный 了。对人类来说这是真的，但对某种已经作为大语言模型预训练过的东西来说，也许就没那么真了。 所以，如果我替斯蒂夫说，大多数我们想了解转向子系统的原因，我认为都是出于对齐方面的考虑。我们到底有多确信，我们甚至已经拥有了正确的算法概念词汇？ ### 神经科学与人工智能的互相借力 #### 神经科学与人工智能的互相借力 要思考大脑到底在做什么。我的意思是，人工智能从神经科学那里真正得到过的一次巨大贡献，就是 1950 年代关于“神经元”的那个最初想法。可是在那之后，我们对大脑所实现的高层算法学到的很多东西——从反向传播，到大脑里是否存在类似反向传播的东西，再到“初级视皮层一号区是不是在做某种卷积神经网络的事”，再到时序差分学习、贝尔曼方程、演员-评论家，等等——看起来都受一种动态推动：我们先提出一个想法，也许可以让人工神经网络按这种方式工作，然后我们再注意到大脑里的某些东西也以那种方式工作。所以为什么不认为，这类事情还会更多呢？也许确实如此。 我之所以觉得我们可能抓到了一些东西，原因在于：我们基于这些想法构造出来的人工智能，确实出乎意料地有效。 还有一堆纯粹的经验性证据。卷积神经网络以及卷积神经网络的各种变体——我不确定最新的绝对结论是什么，但和计算神经科学中其他关于视觉系统在做什么的模型相比，它们就是更有预测力。你完全可以打分：即便是先用猫图片之类预训练过的卷积神经网络，它们对任意另一张图像的表征相似性，和用不同方式测得的大脑激活相比，表现如何？吉姆·迪卡洛实验室有一个“大脑分数”，而人工智能模型实际上……这里面似乎确实有相关性。神经科学不一定有比这更好的东西。所以，是的，这只是在重复你刚才说的：我们拥有的最好的计算神经科学理论，似乎很大程度上就是在构建人工智能模型、并发现哪些东西有效的过程中发明出来的。 先发现反向传播有效，然后再说：“我们能不能用皮层电路近似反向传播？”之类的。类似这样的事情很多。现在，有些人完全不同意这种看法。 #### 从大脑内部出发的观点 乔尔吉·布扎基是一位神经科学家，他写过一本书，叫《从内部看大脑》，在书里他基本上说，我们所有的心理学概念、人工智能概念、这类东西，都是人造出来的概念。我们真正要做的，是找出大脑实际使用的那套原始概念。我们的词汇并不足以描述它。我们必须从大脑出发，创造新的词汇，而不是先说反向传播，再试着把它应用到大脑上之类的。他研究的大量内容是大脑中的振荡等等，而不是单个神经元及其功能。我不知道。我觉得，这种观点是有一定理由的。 从研究项目设计的角度看，我们应该尝试的一件事，就是只去模拟一条很小的蠕虫，或者一条很小的斑马鱼，尽可能地生物物理化、尽可能地自下而上。也就是拿到连接组、分子、活动情况，把它当作一个物理动力系统来研究，看看它会做什么。 但我不知道，感觉人工智能确实非常适合给计算神经科学提供素材。那些东西也许真的是相当不错的模型。我们应该去看那些。我既认为研究组合里应该有一部分完全自下而上，不试图把我们从人工智能那里学到的词汇套到这些系统上；也认为还应该有另一大部分，尝试用那套词汇，或者那套词汇的变体，去反向工程它。我们就该两边都做。我的猜测是，反向工程这条路实际上会“某种程度上奏效”之类的。比如我们确实看到了时序差分学习，而萨顿也是独立发明出来的。那一定是一种很疯狂的感觉，就是—— “是啊，太疯狂了。我写下来的这个方程，居然就在大脑里。” “看起来多巴胺确实在做其中一些事情，是的。” #### 连接组、解释性与学习算法 那我想问你这个问题。你们在资助不同的小组，去弄清楚大脑到底怎么回事。如果我们真的拥有某种完美的表示——不管你怎么定义——来描述大脑，为什么会认为它真的能帮助我们回答这些问题？我们有神经网络，它们的可解释性要强得多，不只是因为我们理解权重矩阵里有什么，而是因为它们就是权重矩阵。那里就是装着数字的盒子。即便如此，我们也只能看出一些非常基础的东西。我们大致能看见某些电路，比如最基本的模式匹配：把一个词元跟下一个词元对应起来。我觉得，我们并不能因为它们可解释，就真的有了对大语言模型为何智能的解释。 我觉得我会稍微反对这一点。我们其实对大语言模型“本质上在做什么”有某种描述。那个描述是这样的：我有一个架构，我有一个学习规则，我有超参数，我有初始化，我有训练数据。但这些东西是我们因为自己构建了它们才学到的，不是因为我们通过观察权重把它们解释出来的。 连接组的类比，就像是在看权重。 我认为我们应该用更接近那种语言来描述大脑：比如架构、学习规则、初始化，而不是去找那个“金门大桥”电路，然后说每一个神经元到底是怎么……那会是某种极其复杂的学习到的模式。科纳德·科尔丁和蒂姆·利利克拉普有一篇几年前的论文，也许是五年前，题目叫《理解神经网络意味着什么？》。他们的基本观点是，你可以想象你训练一个神经网络去计算圆周率的数字，或者什么别的东西。那是一种非常疯狂的模式。你也可以训练它去预测你能找到的最复杂的东西，比如预测股票价格，基本上就是预测非常复杂的系统，计算上完备的系统。我可以训练一个神经网络去做元胞自动机，或者别的什么疯狂的东西。我的意思是，我们永远不可能把这种东西通过可解释性完全捕捉下来，我认为不行。它内部就是在做非常复杂的计算。但我们仍然可以说，它之所以变成那样，是因为它有一个架构，而且我们给了它这些训练数据，并且它有一个损失函数。 所以我想用同样的方式来描述大脑。我一直在铺陈的这个框架，就是我们需要理解皮层，以及它如何体现一种学习算法。我不需要理解它是怎么计算“金门大桥”的。但如果你能看到所有神经元，如果你有连接组，那为什么这会告诉你学习算法是什么呢？ 嗯，我想这有几个不同的看法。 这要看这个组合里的不同部分。 在那个完全自下而上、我们必须模拟一切的组合里，它其实就是不行。你必须做出一个斑马鱼大脑之类的模拟，然后你再看这里面涌现出什么样的动力学，你再创造新的名字和新的概念，诸如此类。这是最极端的自下而上的神经科学视角。但即便在那种情况下，连接组对于做这种生物物理的、或者自下而上的模拟，仍然是非常重要的。 但另一方面你可以说：“好吧，如果我们真的能应用一些来自人工智能的想法呢？”我们基本上需要弄清楚， ### 连接组、时间线与研究价值 这到底是一个**基于能量的模型**，还是一个**摊销式变分自编码器类型的模型**？它是在做反向传播，还是在做别的什么？学习规则是局部的，还是全局的？如果我们已经有了一套关于这些问题的可能想法，那么就把**连接组**看成是一大堆额外约束，它们会帮助我们把这些想法进一步细化，最终形成一个一致的图景。 我对**定向子系统**这类东西也是这样想的，只是一些非常基础的问题。多巴胺信号有多少种不同类型？定向子系统信号有多少种不同类型？思维评估器之类的信号又有多少种不同类型？这些广义类别到底有多少？甚至像这样非常基础的信息——丘脑里的细胞类型比皮层里的还要多——这本身就是新信息，说明哪里建构了多少结构，哪里又不是。 多巴胺神经元到底有多少种？前额叶和听觉之间的连接方式，和前额叶与视觉之间的连接方式，是不是一样的？最基础的这些事情，我们都不知道。问题在于，哪怕是通过一系列专门定制的实验去学习这些最基本的事情，也会花费极其漫长的时间。而如果通过获取一个连接组，一下子把这些信息全都学到手，那效率就高得多。 #### 这项研究的时间线 那时间线是什么？大概这件事的设想首先是为了帮助人工智能的发展。你希望能够弄清楚：我们怎么才能让人工智能关心别人如何看待它内部的思维模式？不过，解释性研究者仅仅通过检查普通神经网络，就已经在这个问题上取得进展了。这里面一定有什么特征…… 你可以对已经存在的大语言模型做可解释性分析，但你不能对一个假想中的、基于模型的强化学习算法做可解释性分析——那种像大脑一样、我们在实现通用人工智能时最终可能会收敛到的东西。这个说法公平。不过，为了让这类研究变得实用且相关，你需要什么样的人工智能时间线？ 我觉得可以公平地说，如果你处在“人工智能二〇二七”那种情景里，这类研究就不是特别实用，也不是特别相关。所以，我现在正在做的科学工作，不会影响十年后的科学。因为真正会影响十年后科学的，是那个“人工智能二〇二七”情景的结果。某种程度上，假如我拿到了连接组，事情可能只会对某些细节做一点点微调，但它本身大概并没有那么重要。 不过，我确实认为有很多理由相信，我们会从这个范式里得到很多东西。只是，真正那个**单一事件**、那种会改变整个未来的变革性事件，似乎还是要在五年以上，甚至更久之后才会发生。 #### 为什么会觉得还很远 是不是因为我们还没有捕捉到全向推理？还没有弄清楚让一个心智以合理方式去关注事物的正确方法？ 我的意思是，我会把你和大家整个播客的全部内容都看作是这些东西的一个分布。我不知道。卡帕西的时间线是什么？迪米斯的时间线是什么？所以并不是每个人都觉得只有三年时间。这里面有不同的原因，我很好奇你的是哪一种。 “我的原因是什么？”我不知道，我只是在看你的播客。我是在试图理解这个分布。我并没有特别强的主张，认为大语言模型做不到这件事。但关键问题是，核心到底是数据效率，还是别的什么？ 我觉得其中一部分只是：它和这些大脑相关的东西，实在是奇怪地不同。直觉上，它就是和这些大脑相关的东西很不一样，而我基本上是在等一个东西——那个开始看起来更像大脑的东西。 如果阿尔法零、基于模型的强化学习，以及十年前正在研究的所有其他这些东西，当时就已经给出了类似 GPT-5 那样的能力，那我会说：“哦，太好了，我们其实是在正确的范式里，而且从先验上就已经看到了结果。我的先验和我的数据在互相印证。”但现在的感觉更像是：“我不知道我的数据到底是什么。看起来挺不错的，但我的先验有点怪，所以我没有特别强的意见。” 所以我认为有一种可能性：基本上所有其他正在进行的科学研究，都会在某种程度上被废黜、被绕过。但我并没有把很高的概率押在这上面。我觉得我的时间线可能更接近十年左右。 如果真是这样，那么我认为，**硬盘里有连接组**的世界，和另一个世界之间，很可能是有区别的，而在那个另一个世界里，我们有一台…… ### 连接组学的规模、定义与资助 理解“**控制子系统架构**”之后，我们已经比较过一些最基本的性质：小鼠、鼩鼱、小型灵长类等等，它们各自的奖励函数、代价函数、架构，乃至其他方面，究竟有什么不同。 #### 十年内是否可行 问题是，这件事在十年内现实吗？我觉得这必须是一个**非常大规模的推动**。 资金要多少？它和我们现在的投入相比如何？ 我会说，大概需要**低数十亿美元级别**、而且是**非常有组织、非常协同**的投入。 现在投入了多少？如果我只谈一些我们手头正在做的具体事情……**E11 Bio**是我们在连接组学上的主项目。他们正在努力把连接组脑映射的技术成本降低**几个数量级**。**威康信托**一两年前发布过一份报告，说要得到一个小鼠脑的第一个连接组，可能就是一个**数十亿美元**的项目。E11 的技术，以及这个领域里的一整套努力，目标是把单个小鼠连接组的成本降到**低千万美元**级别。 那还是哺乳动物的大脑。**人脑大约大 1,000 倍。**如果小鼠大脑能通过技术做到 **1,000 万美元、2,000 万美元、3,000 万美元**，那如果你只是天真地线性外推，人脑现在仍然是**数十亿美元**，只是为了做一个人脑。你能不能再往下走？你能不能把一个人脑的成本降到**低于 10 亿美元**？ 但我不确定你是否需要人脑里的**每一个神经元**。 比如我们希望做的是：一个完整的小鼠脑、一个人类的**控制子系统**，以及几个具有不同社会本能的不同哺乳动物的整个大脑。 所以，如果有一大批技术推动，再加上一大批协同努力，真正显著的进展——如果是聚焦的努力——可以在**数亿美元到低数十亿美元**这个尺度上完成。 #### 什么算连接组 连接组的定义是什么？显然，它不是一个自底向上的生物物理模型。那它只是能够估计大脑的输入输出吗？抽象层级到底是什么？ 你可以给出不同的定义，而且有一件很酷的事……标准的连接组学方法使用**电子显微镜**和非常、非常薄的大脑组织切片。基本上是在做标记：细胞膜会非常明显地显示出来，因为它们会强烈散射电子，而其他大多数东西散射得更少。 但你看不到很多分子细节，看不到不同类型的突触，也看不到具有不同分子组合和性质的突触。 E11 和这个领域里的一些其他研究，已经转向了**光学显微镜**范式。用光学方法，光子不会损伤组织，所以你可以清洗样本，并观察那些脆弱而温和的分子。这样，借助 E11 的方法，你就可以得到一个**“分子注释过的连接组”**。 这不只是“谁通过某个突触和谁相连”，而是“突触上有哪些分子”？那是什么类型的细胞？ 这种分子注释过的连接组，并不完全等同于拥有突触权重。它也不完全等同于能够模拟神经元，并说明“拥有这些分子和这些连接”会带来什么功能后果。但你也可以做一定程度的**活动映射**，尝试把结构和功能对应起来。 本质上训练一个机器学习模型，去根据连接组预测活动。 #### 人类基因组计划的启示 人类基因组计划能给我们什么启示？ 一种看法是，那是一个错误。你不该花数十亿美元去绘制一个基因组；相反，你应该把钱投到那些技术上，而这些技术如今让我们能以几百美元的成本绘制基因组。 不过，乔治·丘奇是我的博士导师，他指出，第一个基因组大概花了**30 亿美元**，或者差不多是**每个碱基对 1 美元**。然后，**美国国家人类基因组研究所**实际上把资助流程设计对了。他们让一批公司互相竞争，以降低成本。 然后，在 **10 年**里，成本下降了**一百万倍**，因为他们把范式从宏观化学技术转向了这些**单个 DNA 分子**：你会在显微镜下形成一个很小的 DNA 分子簇，每个相机像素上一次只会看到少量 DNA 分子。它会并行地给你不同 DNA 片段的不同视图。于是你把这个过程并行化了**一百万倍**。 正是这样，成本才下降了一百万倍。 从电子显微镜切换到光学连接组学，甚至未来更先进类型的连接组学技术，我们认为应该会出现类似的模式。这就是为什么 **E11** 这个**专注研究组织**最初选择的是**技术开发**，而不是一开始就说“我们要做一个人脑”或者“我们就硬干”。我们说的是：先用新技术把成本降下来。但即使如此，这仍然是一个大工程。 即便采用新的下一代技术，你仍然需要在数据采集上花费**数亿美元**。 #### 资助从何而来 这件事会由谁资助？是慈善、政府，还是投资者？ 这件事现在非常**待定**，而且某种意义上正在我们说话的同时不断演变。我听到一些传闻，说可能会有一些与连接组学相关的公司在组建中。 到目前为止，E11 一直是靠**慈善资金**。美国国家科学基金会刚刚发布了一个关于**技术实验室**的征集，这在某种程度上受到了 FRO 的启发，或者与之相关。你可以有一个技术实验室，实际上和我们一起去绘制小鼠大脑，并且仍然是在一个**非营利、开源**的框架里，由慈善加政府共同支持。 但是公司能不能加速这件事？你能不能把连接组学和人工智能可信地联系起来，从而为一家公司争取投资？这有可能。 我的意思是，训练这些人工智能的成本正在变得越来越高。如果你能讲出一个故事，不只是“我们要解决某个安全问题”，而且“事实上，一旦我们做到这一点，我们也能告诉你人工智能是如何工作的”……你应该去这些人工智能实验室，直接说：**“给我你们 2030 年预算的百分之一。”** 我大概七八年前尝试过一点，但当时兴趣不大。也许现在会有。可我们一直在谈的这些事情，说起来确实很有趣，但归根结底还是**推测**。 比如，大脑的能量效率究竟真正原因是什么？它是在做真正的推理，还是在做某种**摊销推理**，或者别的什么？ 这些问题都能通过神经科学来回答。会很难，但它们**确实可以回答**。所以，如果你只需要花**低数十亿美元**之类的投入就能真正全面地解决这些问题，那么在总计**万亿美元级 GPU**等投入的背景下，我觉得做这笔投资其实是说得通的。 另外，过去一年里已经有很多实验室成立，它们的融资估值达到**数十亿美元**，目标是一些相当可信、但并不是那种“我们下个季度的年度经常性收入会是多少”的东西。它们更像是在说：我们要发现材料，而且—— 是的，**月球射击型创业公司**，或者**亿万富翁支持的创业公司**。 我把月球射击型创业公司看作和 FRO 处在一条连续谱上。 FRO 是一种引导慈善支持的方式，并确保它是**开源的、公共利益导向的**，以及某个给定 FRO 可能具备的其他各种属性。 但对，亿万富翁支持的创业公司，如果它们能瞄准正确的科学，**恰好正确的科学**，也可以。 我认为，做月球射击型神经科学公司的方式有很多，但其中很多**永远不会让你得到连接组**。 ### 行为克隆、形式化数学与软件验证 它就像是在说：“哦，我们要把大脑上传”之类的，但却从来没有真正拿到小鼠的连接组之类的东西。那些你需要用来把科学真正落到事实上的基本东西。搞一个登月式公司，有很多方式会搞砸，而没有真正做科学本身。但也可能有一些方式，让公司或者大型企业实验室介入，并且真的把事情做对。 这让我想起你五年前在一次讲座里提到过的一个想法。你愿意解释一下**行为克隆**吗？其实这挺有意思，因为我第一次看到这个想法，记得可能是在 Gwern 的一篇博客文章里。Gwern 的博客文章总是会出现。现在已经有学术研究在做这件事，也有一些初步出现的公司型努力在尝试做这件事。 通常来说，假设我在训练一个图像分类器之类的东西。我给它看猫和狗之类的图片，然后它们带有“猫”或者“狗”的标签。而我有一个神经网络，应该去预测标签“猫”或者“狗”之类的。这是在每个标签里你输入的信息量很有限。它就只是“猫”或者“狗”。如果我还加上：“预测我在看到猫、看到狗以及其他所有东西时的神经活动模式是什么？”如果你把这个作为一个辅助损失函数，或者一个辅助预测任务加入进去，它会不会塑造这个网络，让它知道人类关于猫和狗所知道的信息，并且以一种与大脑表征它们的方式一致的形式来表示它，以及大脑表征事物时那种表征维度或几何结构，而不是只拿着这些标签？这会不会让它更好地泛化？这会不会让它拥有更丰富的标注？ 当然，这听起来非常有挑战性。要生成大量带标签的猫图片很容易。Scale AI 之类的公司就可以做这个。要生成大量和你想训练 AI 去做的事情相对应的大脑活动模式，就困难得多。但这再次只是神经科学的一个技术限制。如果每部 iPhone 也都是一个脑扫描仪，那你就不会有这个问题，我们就会用脑信号来训练 AI。只是技术发展的顺序是：我们先有了 GPU，后有了便携式脑扫描仪。 那这里对应的机器学习类比是什么？你会怎么做？因为当你蒸馏模型时，你还是在看最终层、整个 log prob 的输出——如果你把一个模型蒸馏到另一个模型里，那是一种特定的事情。你只是在试图把一个模型复制到另一个模型。我认为我们并没有一个完美的“蒸馏大脑”的提案。要蒸馏大脑，你需要一个复杂得多的大脑接口。也许你也可以做那样的事。你可以制造替代模型。Andreas Tolias 以及类似的人，正在对脑活动数据做某种程度上的神经网络替代模型。不是让你的视觉皮层去做计算，而是直接让替代模型做。某种程度上，这就是把你的视觉皮层蒸馏进一个神经网络里。这是一种蒸馏。 而这件事有点不一样。这基本上只是说，我在加一个辅助……我把它看作正则化，或者我把它看作加入一个辅助损失函数，它在平滑预测任务，使其也总是和大脑对它的表征方式一致。它也许会帮助你处理诸如对抗样本之类的问题。例如。但是你到底在预测什么？ 你在预测大脑的内部状态？ 是的。所以，除了预测标签之外，也就是一个标签向量，比如“是猫，不是狗，是，不是船”，一个 one-hot 向量之类的，表示“是，它是猫”，而不是那些无穷多的其他类别，假设在这个简单例子里。你还在预测一个向量，这个向量就是所有这些脑信号测量值。 所以，Gwern 无论如何，曾经有过一篇很久以前的博客文章，大意是：“哦，这是一种中间态。我们谈全脑仿真，我们谈 AGI，我们谈脑机接口。我们也应该谈谈这种脑数据增强的东西，它是用你所有的行为来训练，但同时也用来预测你的一些神经模式。” 而你是在说，学习系统已经通过控制系统在做这件事了吗？ 对，而且我们的脑、我们的学习系统，也必须把控制子系统作为一个辅助任务来预测。这会帮助控制子系统。然后，控制子系统现在就可以访问这个预测器，并基于它构建一个很酷的奖励函数。 #### 形式化数学证明 另外，你是 Lean 的董事会成员。Lean 是一种形式化数学语言，数学家用它来证明定理之类的东西。显然，现在有很多关于 AI 自动化数学的讨论。你的看法是什么？ 嗯，我认为数学里有一些部分，看起来已经相当明确地走在自动化的道路上了。首先，Lean 已经在微软和其他地方开发了很多年。它已经成为一种“收敛式专注研究组织”之一，试图为它带来更多工程化和专注投入。 所以 Lean 是一种编程语言，你不是在纸上写数学证明，而是在这个编程语言 Lean 里表达你的数学证明。然后最后，如果你那样做，它就是一种可验证语言，你可以点击“验证”，Lean 会告诉你，你的证明结论是否真的、完全地从你的证明假设中推出。也就是说，它会自动检查证明是否正确。 它本身对数学家协作之类的事情就很有用。如果我是一个业余数学家，我想给一个证明增加东西，Terence Tao 不会只是因为我说了就相信我的结果。但如果 Lean 说它是正确的，那它就是真的正确。这让协作更容易发生，同时也让证明的正确性非常容易成为一个 RL 信号，非常像 RLVR。 形式化数学证明——也就是说，形式化意味着它是用类似 Lean 的东西表达的，并且是可验证的——现在已经可以机械地验证了。这就变成了一个完美的 RLVR 任务。我认为这件事会一直奏效下去；看起来至少已经有一家估值十亿美元的公司，Harmonic，就是基于这个方向。AlphaProof 也是基于这个方向。还有另外几家正在出现、非常有意思的公司。我认为，把数学证明这个方向“用 RLVR 狠狠地做到底”这件事会奏效，我们会能够有一些系统像搜索围棋下法那样去搜索证明，并把证明找出来，就像 AlphaGo 或类似系统能够搜索下围棋的方法一样。有了那个可验证信号，它就会奏效。 那这就解决数学了吗？ 还有一部分仍然涉及构造新的有趣想法。数学的概念组织仍然存在：什么是有趣的？你怎么首先提出新的定理陈述？或者，甚至更高层地说，你用什么策略来做证明？ 我认为，这会把这方面的负担转移开来，让人类不必去做数学里很多机械性的部分。验证引理和证明，检查这篇论文里的这个陈述和那篇论文里的那个陈述是否完全一样，诸如此类的事情。那些都会直接变得可用。如果你真的认为我们会得到我们一直在谈的这些东西，那么真正的 AGI 也应该能够提出猜想。 ### 脑表征、持续学习与注意机制 Bengio 有一篇论文，更像是一篇理论论文。可能还会有一批其他论文陆续冒出来。 #### 好解释与好猜想的损失函数 会不会存在一种针对“好解释”或“好猜想”的损失函数？这是一个相当深刻的问题。一个真正有意思的数学证明或数学命题，可能是那种能够压缩大量信息、并且对许多其他定理都有大量推论的命题。否则，你就得用很长、很复杂的被动推理去证明那些定理。 在这里，如果你有这个定理，那么这个定理是正确的，而且你只需要很短的被动推理就能推出其他所有定理。它是一个短小而紧凑的陈述。所以它就像一种强有力的解释，把数学里的其余部分都解释了。 而数学的一部分工作，就是制造这些紧凑的东西，让它们去解释其他东西。它有点像这个陈述的柯尔莫哥洛夫复杂度，或者类似的东西。也就是，在你知道这个陈述的前提下，如何生成其他所有陈述，或者如果你加入这一条，它会如何影响整个证明网络其余部分的复杂度。 所以，能不能做出一个损失函数，让它加上一句：“哦，我想要这个证明是一个真正非常强有力的证明”？我觉得有些人正在试着做这个。 也许你可以把创造力那部分自动化。如果你真的有通用人工智能，它会做任何人类能做的事。所以它也会做那些创造性数学家做的事情。但在达不到那一步之前，我觉得把证明上面的强化学习验证，狠狠地做下去，会对数学家非常有用。它会大大加速数学，也会改变数学，但不一定会立刻改变数学的方方面面。 我们会得到黎曼猜想之类问题的机械化证明吗？或者类似的东西？也许吧，我不知道。我不了解这些问题到底有多难搜索，也不确定是否真的有人能完全预测，就像我们当初也没法精确预测围棋什么时候会被解决一样。 #### 形式化证明与软件安全 我认为它会有很多非常酷的应用。 其中一件你想做的事，是想要拥有可证明稳定、安全、不可被入侵的软件。也就是说，你可以为软件写数学证明，然后说：“这段代码，不仅通过了这些单元测试，而且我还能数学上证明，绝对不可能以这些方式被攻击，或者不可能以某些方式篡改内存”，或者这些黑客会用到的类型的事情，或者它满足这些性质。 你可以用同样的 Lean 和同样的证明来做形式化验证的软件。我认为这会成为一个非常强大的网络安全能力，对各种“人工智能把世界搞乱”的问题都很相关。而如果你能证明黎曼猜想，你也就能证明关于非常复杂软件的极其复杂的事情。然后你就可以问大语言模型：“给我合成一个我可以证明它正确的软件。” 为什么可证明编程语言没有因为大语言模型而起飞？我觉得它正在起飞。一个挑战——我们实际上正在孵化一个潜在的聚焦研究组织来做这个——就是规格说明问题。 数学家知道他们想形式化哪些有趣的定理。比如说，我有一些运行在电网里的代码，它有一些安全性质，那么这些性质的形式化规格是什么？电网工程师只是把这个东西做出来了，但他们不一定知道怎样把形式化规格提炼出来。要想提出你真正想要的那个规格，并不一定容易。人们并不习惯去写形式化规格，而且相关工具也不多。 所以你还会面临一个用户界面加人工智能的问题：我应该指定什么样的安全规格？这是我想要的规格吗？所以存在一个规格问题，而且这件事一直非常复杂、非常困难。 但就在最近非常短的一段时间里，大语言模型已经开始能够生成对数学家有用的、可验证的证明，也开始能在软件验证、硬件验证方面做出一定程度的东西。不过我认为，如果你把未来几年趋势外推一下，很可能它就会彻底扭转局面。 形式化方法，整个形式化方法或者形式化验证、可证明软件这个领域，本来是编程语言以及相关理论部分里一个有点怪、几乎像边缘地带的领域，往往非常学院派。虽然确实曾经有过一个国防高级研究计划局项目，做出过一个可证明安全的四旋翼直升机之类的东西。 > 安全到什么程度？到底证明了什么性质？ 不是针对那个特定项目，而是一般来说。 因为显然，事情会因为各种各样的原因出故障。你可以说，内存这边某个部分本来是用户可以访问的部分，它不能以任何方式影响内存那边另一个部分的运行，或者类似这样的性质。类似这种东西。 所以这里有两个问题。一个是，这有多有用？第二个是，作为一个数学家，它会有多令人满足？如果它确实能用于证明软件具有某些性质，或者硬件具有某些性质，那当然会非常有用。 但从纯粹……我们会不会因此真正理解数学？你的感觉是不是，存在这样一种东西：在不同领域之间找到一个构造与另一个构造的跨映射，或者发现“哦，这个引理，如果你重新定义这个术语，它仍然满足我原本对这个术语的意思。但以前击倒它的反例，现在不适用了。” 就是数学里那种辩证式的过程。软件会替代这个吗？会吗？这种纯数学的价值，有多少其实来自于真的提出全新的思考方式，把问题映射到完全不同的表示上？有没有例子？ 我不知道。我有点把它想成，当年大家都必须写汇编代码的时候，那种能搞出来的有趣酷创业公司就少了很多，或者说少了不少。更少的人能做这件事，进展更费劲、更慢、更孤独之类的。你会有更多虚假的失败，因为你没搞懂汇编代码，而不是问题的本质到底是不是你的概念正确。协作也更困难，诸如此类。 所以我觉得它会非常好。但也确实有一种担忧：如果不学习证明里那些机械部分，你会不会就学不到能支撑更概念性部分、创造性部分的直觉？汇编也是同样的道理。 #### vibe 编程与学习反馈 对，问题是这种影响会在什么时候体现出来？在 vibe coding 里，人们是不是没有在学习计算机科学，还是说他们其实一边 vibe coding，一边看着大语言模型给他们解释这些抽象的计算机科学概念，而且这一切都只是发生得更快了？他们的反馈回路更快了，因为他们在 vibe coding，所以他们学到了更多抽象的计算机科学和算法知识？ 我不知道，这并不明显。这可能和用户界面以及围绕它的人类基础设施有关。但我猜还是会有一种担忧：人们不学机械步骤，因此就不能建立起扎实的直觉。 不过我的直觉是，这整体上会是超级正面的。 ### 研究基础设施缺口图与科学规模化 Exactly，净效应上，这会有多有用，或者总体上会有多少数学突破，甚至是我们真正关心的那些数学突破，会发生多少？我不知道。还有一件我觉得很酷的事情，是**可达性**这个问题。 好吧，这听起来有点俗。对，更多人可以做数学，但那又怎样？但我觉得，确实有很多人可能会有有趣的想法。比如也许是**量子引力理论**之类的东西。是啊，我们这些人里面，也许会有人提出量子引力理论，而不是一个持证的物理学家。 这就像 Steve Byrnes 在读神经科学文献，虽然他并没有在神经科学实验室里待太久。但他能够把神经科学文献综合起来，然后说：“哦，学习子系统、引导子系统。这一切说得通吗？”他在某种意义上是一个外行神经科学家。 你能不能有外行弦理论学家之类的人，因为数学是由计算机替他们做完的？这会不会导致弦理论里更多创新？也许会。挺有意思的。好，如果这个方法有效，而且你说得对，LLM 不是最终范式，并且假设在那个世界里，找到最终范式至少还要 10 年。那么，这里有一个很有趣的科幻前提：你有…… Terence Tao 今天发了条推文，说这些模型像是“自动化聪明”，但不是“自动化智能”。你可以在这些定义上抠字眼。 但如果你有自动化聪明，而且你有某种过滤方式——如果你能把 LLM 说的东西形式化并证明出来，你其实就能这么做——那么你就可以进入一种情形：**数量本身会产生质量**。那么，世界上哪些领域可以被放进这种可证明的符号表示里？ 所以在 AGI 还离得很远的世界里，也许真的有道理把 LLM 未来做的几乎所有事情，或者说几乎所有事情，全都变成超级可证明的命题。这样 LLM 就真的可以彼此叠加，因为它们做的每件事都超级可证明。也许这只是必要的，因为你有数十亿个智能体在到处活动。即使它们都超级聪明，未来的 AGI 文明要彼此协作的唯一方式，可能就是每一步都能证明。 它们只是暴力地不停产出……这就是木星大脑在做的事。 这是一种通用语言，而且是可证明的。从另一个角度看，它也可证明：“你是在试图利用我，还是在向我发送某种试图有效地黑进我大脑的信息？”你是在试图对我进行社会影响吗？还是你其实只是把我需要的信息发给我，而且没有多余内容？ 所以 davidad——他现在是英国 ARIA 的一个项目主管——他有一整套 ARPA 式项目设计，某种受保护的 AI，非常强烈地利用可证明的安全性质。你能把证明应用到……你能有一个世界模型吗？但这个世界模型实际上并不是只用神经元激活来指定，而是用方程来指定。 这些方程可能非常复杂，但如果你只要能在“自动证明”这些东西上变得极其擅长，靠聪明才智来自动证明，自动聪明……你能不能拥有**显式可解释的世界模型**，而不是神经网络式的世界模型？并且基本上重新回到符号方法，只是因为你已经拥有了巨大到离谱的证明能力？ 是的，我的意思是，这是一个很有意思的愿景。我不知道在接下来的 10 年里，这会不会成为最终实际展开的愿景，但我觉得思考它真的很有意思。 甚至对于数学来说，我的意思是，Terence Tao 正在做某种事情，不再是看你能不能证明单个定理，而是让我们把所有定理批量证明出来，然后研究这个**已证明定理集合**的性质。哪些被证明了，哪些没有被证明？ 好吧，那就是所有定理的景观，而不是一次只看一个定理。 说到符号表示，我之前一直想问你一个问题：大脑是怎么表示世界模型的？显然是在神经元里的网络上，但我不是指非常功能性的层面。我是指概念层面：它是某种类似神经网络隐藏状态的东西，还是更接近一种符号语言？ 我们不知道。这方面有一些研究。比如有一些东西叫做**脸部补丁神经元**，它们代表脸的某些部分，而且这些部分会以很有趣的几何方式组合起来。这是在几何和视觉方面。那对其他更抽象的东西也成立吗？ 还有一种**认知地图**的想法。啮齿类动物海马体必须学习的很多东西，就是位置细胞，以及啮齿类接下来要往哪儿去、那里会不会得到奖励。这些东西非常几何化。我们会不会用某种空间地图的抽象版本来组织概念？ 还有一些问题是，我们能不能做真正的符号操作？我能不能在大脑里有一个寄存器，把一个变量复制到另一个寄存器里，而不管那个变量具体是什么内容？这就是所谓的**变量绑定问题**。基本上，我不知道我们是否拥有那种机器，还是说它更像是损失函数和架构，让其中一些东西近似涌现出来，但也许它在神经网络里也会涌现？ 已经有一堆有趣的神经科学研究在试图研究这个问题，研究这些表征到底长什么样。 #### 你自己的判断 不过你的直觉是什么？是的，我的直觉是，这里面会是一团巨大的乱麻，我们应该去看架构、损失函数和学习规则。 我不指望里面会很漂亮。也就是说，它不是一种符号语言那种东西？对，大概率不是那么符号化。 但也有其他人非常不同意。 另外一个随机问题，还是说到绑定：**为什么会有一种“我在经历某种体验”的感觉？** 你大脑里的各个部分都在建模非常不同的东西，有不同的驱动力，而且至少按理说，它们都觉得此刻有某种体验正在发生。而且跨越时间，你也会觉得…… 是的，这个问题我基本上完全没有头绪。我不知道。Max Hodak 最近一直在做关于这个的演讲。他也是一个非常硬核的神经科学、神经技术人物。我前面提到的 Doris 那件事，也许同样触及了这个问题。但对，我不觉得任何人真的知道。 它甚至可能涉及新的物理学。 这里还有一个可能现在还没有答案的问题：**持续学习**，它是不是某种在学习算法层面就极其基础的东西的产物？ 你可以说：“看，至少我们在神经网络里做反向传播的方式，是把权重冻结，有一个训练期，然后把权重冻结。所以你只需要这种主动推断，或者别的什么学习规则，才能实现持续学习。” 或者你会觉得，这更多是架构问题，以及记忆到底是怎么存储的、你到底有什么样的联想记忆，基本上是这些？ 所以，关于持续学习……我不知道。在架构层面，海马体大概确实在做一些有意思的事情。人们早就这么想了。它在存储什么样的序列？它是怎么组织、表征这些序列的？它是怎么把它们重放回来的？它到底在重放什么？那个记忆巩固过程到底是怎么回事？ #### 继续学习与系统巩固 它是不是通过来自海马体的重放或者记忆之类的东西来训练皮层，或者类似的机制？这类东西很可能确实有一些。也许存在多个时间尺度的可塑性，或者一些聪明的学习规则，能够同时存储短期信息，并且用这些信息做反向传播。神经元也许是在同时做几件事：一部分是快速权重可塑性，一部分是更慢的可塑性，或者突触本身有很多状态。我的意思是，我不知道。从神经科学的角度看，我不确定自己见过什么特别清楚的东西，能说明到底是什么导致持续学习，除非说系统巩固这个想法——也就是海马体把信息巩固到皮层——可能是其中很大的一部分。有人认为这是一个非常重要的组成部分，而我们仍然没有完全理解其中的细节。 #### 快速权重与脑内注意 说到快速权重，脑中有没有什么东西，相当于我们在神经网络里看到的参数和激活之间的这种区分？具体到变换器，我们有一种想法：有些激活是你随着时间构建出来的前面 token 的键向量和值向量。所谓的快速权重就是，当你出现一个新 token 时，你用它去查询这些激活，但你显然也不能把它们拿去查询网络里的所有其他参数，因为那些才是实际的内置权重。脑中有没有类似的区分？我不知道。我的意思是，我们确实有权重和激活。至于你能不能以这些很巧妙的方式使用激活，比如大脑里不同形式的实际注意力……这种注意力是不是基于“我想要把注意力放在这里”，我觉得大脑里很可能有好几种不同的实际注意力。 #### 丘脑与皮层环路 我想要把注意力放在视觉皮层的这个区域。我想要把注意力放在由这个区域内容触发的、其他区域里的内容上。还有那种只基于反射之类的注意力。所以我不知道。不只是皮层，还有丘脑。丘脑也参与了以某种方式中继或者门控信息。存在皮层到皮层的连接，也有一部分皮层区域之间的连接是通过丘脑进行的。它有没有可能在做某种匹配，或者在做约束满足，或者在做某种跨越这边的键和那边的值之间的匹配？它有没有可能做这种事？也许可以。我不知道。这些都属于这个皮层-丘脑系统架构的一部分。我不知道它有多像变换器，也不知道是否存在什么与那种注意力类似的东西。要是能弄清楚就太有意思了。我们得给你十亿美元，这样你才能再来播客上，告诉我大脑到底是怎么运作的。 #### 数据收集与《间隙地图》 我主要就是做数据收集。其实这是非常无偏的数据收集，这样其他人才能去弄清楚这些问题。也许最后一个问题，作为结尾，就是：你从《间隙地图》里学到的最有意思的东西是什么？也许你想先解释一下《间隙地图》是什么。 在孵化并提出这些“聚焦研究组织”——这些非营利、像初创公司一样的月球射击项目，我们一直在努力争取慈善家、现在也包括政府机构资助——的过程中，我们和很多科学家聊过。有些科学家会直接说：**“这是我下一个研究生会做的事。这是我感兴趣的东西。这些就是我们一直在谈的那种非常有趣的假设空间。”** 也有一些人会说：**“这里有一个缺口。我需要的是这块基础设施。靠我实验室里的研究生组合，或者我自己和其他实验室做松散合作，再加上传统经费，永远不可能得到那样的东西。我需要一个有组织的工程团队，去建造一台微型版的哈勃太空望远镜。如果我能把这台哈勃太空望远镜造出来，那我就能为我领域里的所有其他研究者，或者某条技术进步路径，解除阻塞；就像哈勃太空望远镜把所有船都抬高了，改善了每一位天文学家的生活一样。”** 但它本身并不算天文学发现。它只是你必须把那块巨大的镜子送上太空，配上一个 CCD 相机，把所有人、工程和诸如此类的事情组织起来，才能做到。所以我们和科学家讨论的一些东西看起来就是这样。 “缺口图”其实就是这些东西的一个列表，我们把它叫作缺口图。不过我觉得它更像是一张**基础能力图**。这些东西都是什么，比如微型哈勃太空望远镜之类的？然后我们把它组织成“缺口”，帮助人们理解它，或者去检索它。 #### 最令人惊讶的发现 “你发现的最令人惊讶的东西是什么？”我想我以前也讲过，但其中一点就是它整体的规模，或者形状之类的东西。它只有几百项基础能力。所以如果每一项都是一个深科技初创公司规模的项目，那也就只需要几十亿美元之类的资金。 如果每一项都算一个 A 轮，那也只是……并不是说解决这些缺口需要一万亿美元。比那低得多。所以这是一点。也许我们本来就假设了这一点，而我们得到的结果也差不多。它并不算真正全面。它更像是我们和科学家进行了大量对话之后的一个总结。 不过我确实觉得，在整体过程中，有些事情是出人意料的，比如 Lean。我一开始确实是从神经科学和生物学出发的，而且很明显有这些“组学”问题。我们需要基因组学，但我们也需要连接组学。我们可以工程化大肠杆菌，但我们也需要工程化其他细胞。生物基础设施里有一些部分是相当显而易见的。 我没有意识到数学证明基础设施也是一回事，而这正是在尝试做这件事的过程中自然浮现出来的。所以我很期待看到其他领域：它们并不是真的需要解决这种困难的智力问题。 它也许有点像 AI 研究人员只需要 GPU，或者类似的东西，再加上专注力和非常好的 PyTorch 代码，就能开始做这件事。 #### 哪些领域需要规模化 “哪些领域需要，哪些领域不需要？”也就是说，那些已经获得了天文数字投资的领域，它们仍然需要其中一些东西吗？它们仍然有这些缺口吗？还是只有那些更被忽视的领域才有？ 我们甚至在真正的天文学、真正的望远镜里也发现了一些有意思的东西，这些东西以前并没有被探索过。也许是因为如果你要做一个超过临界规模的大项目，那你就必须真的做一个很大的项目，而这对联邦机构来说会变成一个更官僚化的流程。 我猜，现在科学的每一个单独领域都需要规模化。 是的，我认为科学的很多领域都需要规模化。这并不意味着低规模的工作不重要。这也不意味着创造力、偶然性等等，以及每个学生在大学里追求完全不同方向或论文题目的那种模式不重要；这些也都非常关键。 但我认为，某种程度上的可规模化基础设施在几乎每一个科学领域里都缺失，甚至包括数学，这太疯狂了。因为我原本以为数学家只需要白板，但他们实际上需要 Lean。他们实际上需要可验证的编程语言之类的东西。我以前不知道这一点。很酷。 “亚当，这期节目太有意思了。谢谢你来做客。” “谢谢你。我的荣幸。” “大家可以去哪里找到你的内容？” “荣幸。现在最简单的方式……我的 `adammarblestone.org` 网站目前好像打不开了。” “但 `convergentresearch.org` 可以链接到我们一直在做的很多东西。” “然后你还有一个很棒的博客，” 纵向科学。 “纵向科学”，是的，在 WordPress 上。酷。 非常感谢你。很高兴。