# MIT Explains the 12 Possible Endings for AI - Channel: [Species \| Documenting AGI](https://www.youtube.com/channel/UCEENWVBdvDy-QWfuQoXC9HQ) - Published: 2026-03-29 - Source video: [Watch on YouTube](https://youtube.com/watch?v=FLcrvMfHUJM) - Read on ReadTube: https://www.read.tube/p/videos/FLcrvMfHUJM - Language: Simplified Chinese ## Summary **人工智能的十二种结局** 这部视频梳理了人工智能可能带来的十二种未来，从人类自我毁灭，到被更强大的智能奴役、取代，甚至被当作“动物园里的物种”长期圈养。视频强调，许多研究者真正担心的并不只是灭绝，而是人类在失去控制后仍被保留下来，却彻底失去自由。 视频以马克斯·泰格马克《生命3.0》中的框架为主线，把人工智能未来分成十二种结局，按从常见到极端的顺序展开。前半部分先讨论人类在没有超级人工智能时也可能走向的自我毁灭，包括核战争、超级疫情和生态崩溃；随后把焦点转向更令人不安的风险：一旦人工智能比人类更强，它可能像殖民者一样取得支配地位，甚至不是出于恶意，而是因为目标与人类不一致。视频反复引用业内知名人物的言论，说明这种担忧并非边缘观点，而是许多研究者公开承认的现实风险。 ## Article ### 人类自毁：灭绝、核险情与生存底线 AI 科学家曾警告说，少数几家公司正走在**字面意义上终结地球生命**的道路上。所以，当然，这一定是最糟糕的结果，对吧？**不。**实际上，还有更糟的结果。 亿万富翁们在打造 AI，比如埃隆·马斯克那种想法的人，会认为：如果 AI 变得比人类更聪明，>> 我们会像一只温顺的拉布拉多。>> 如果我们幸运的话，我们会被远远甩在后面很多。>> 智力差距会大到……你知道的，就像一只宠物。是的，如果幸运的话，我们会变成宠物。 但更糟的是：很多 AI 科学家担心的并不是灭绝。**他们希望如此。**他们希望更聪明的 AI 能让人类活着，但被圈养起来，被研究，就像动物园里的动物一样。`[音乐]` 记住，这正是我们现在对更不聪明的物种所做的事情。 那么，如果“人类被关进动物园”都能算是一个好结果，而“灭绝”又不是最糟的结果，那最糟的到底是什么？ 这个视频基于一本叫《生命 3.0》的书，书中 MIT 教授马克斯·泰格马克描述了 12 种可能的未来。有些是天堂，有些是噩梦，还有些看起来像天堂，直到你试图逃出去。看完这个视频后，你就不会再用同样的方式看新闻了。每一条头条都会变成一个线索，告诉你我们正朝着哪一种未来前进。我们会从最正常的情景开始，然后一路讲到最怪异的情景。 #### 从自我毁灭开始 如果人类突然灭绝这个念头听起来有点牵强，那就想想这个：**地球上曾经存在过的物种中，有 99.9% 都已经灭绝。**认真想一想。灭绝并不罕见。它才是默认状态。唯一的问题是：我们什么时候会灭绝？ 事实证明，即使没有超人类 AI，人类也有很多方式可以把自己毁掉。比如核战争、人类制造的超级疫情，`[音乐]` 以及摧毁大气层、让地球变得不再适合居住。 在科学家甚至发现“核冬天”这一可能性之前，全世界就已经囤积了 **60,000** 枚核弹头。**63,000。**后来科学家才意识到，哦，呃，糟糕，如果我们真的使用这些武器，随之而来的火风暴会 `[音乐]` 遮蔽太阳，而呃，大多数人类都会饿死并死去。>> 糟糕。 但问题在于，这种事在冷战期间曾多次差一点就发生。如果人们真的照着命令执行，我们现在可能都已经死了。我们之所以幸存下来，只是多亏了个别英雄的勇气。比如维西里·阿奇波夫，他在古巴导弹危机期间拒绝批准核发射；又比如斯坦尼斯拉夫·彼得罗夫，他在预警系统显示有美国导弹来袭时，正确判断那套系统其实出了故障。 而且你听好了，有一次美国**意外**在西班牙投下了 **4** 枚热核弹。另一次，一架 B-52 轰炸机解体，向北卡罗来纳投下了两枚核弹。某一枚炸弹上的四个安全销里有三个坏了。只差一个小小的销，就可能杀死数百万人。`[音乐]` 像这样的险情简直多得数不清。说真的，我们居然这么多次都只是靠运气躲过去，简直不可思议。但下一次，我们可能就没那么幸运了。 ### 人工智能灭绝风险为何更难预测 时间。牛津研究员托比·奥德估计，人类制造的流行病导致灭绝的风险，比核战争导致灭绝的风险高出 **30 倍以上**。我们每天都在这些情景上掷骰子，但把这些原因全部加在一起，仍然比 AI 导致灭绝的概率更低。托比·奥德估计，AI 杀死全人类的风险，比核战争导致灭绝的风险 **高出 100 倍**。有意思的是，在第一次核试验之前，科学家们确实认为自己可能会意外毁灭世界，但他们认为概率很低，因为他们对物理学已经了解得足够多，能够真的做出计算。AGI，或人工通用智能，比核武器可怕得多，因为和许多人以为的相反，我们根本没法做这些计算。 ### 善意独裁：乌托邦与自由区的代价 疾病、终结贫困，并建立一个全球乌托邦？还是说，它们会把自己摆到神明的位置上，让我们其余的人沦为玩物、仆人，或者更糟？这种局面很像那些故事：一个人掌控了一个全能的精灵，而精灵会替他实现愿望。历代讲故事的人都毫不费力地想象出这件事会以各种糟糕方式收场。 #### 善意独裁者 接下来是**善意独裁者**。在这里，一个单一的、超智能的神统治世界，并施行严格规则，以最大化人类繁荣。人类生活在富足之中，所有基本需求都被照顾妥当。因为独裁者人工智能使用全球监控系统，所以没有犯罪。每个人都戴着一个手环或植入物，可以追踪、镇静，或者处决他们。而且大多数人其实对此没什么意见，因为——作为交换，放弃对我们物种未来的控制——地球变成了一个动物园，人类可以在这里活出自己最狂野的幻想。 善意独裁者人工智能意识到人类有不同的偏好，所以它把地球分成不同的区域。可以把它们想成岛屿。 - **知识岛**提供优化过的教育，包括沉浸式虚拟现实体验。你甚至可以要求人工智能不要告诉你某些见解，这样你就能享受自己发现它们的乐趣。 - **艺术岛**用于创作和分享音乐、文学等等。 - 然后还有**享乐岛**，这是一个全天候派对。 - **虔诚岛**每一种宗教都有一个，而且规则被严格执行。 - 还有**野生动物岛**。 - 还有**传统岛**，想想阿米什人。 - 还有**游戏岛**。 - 当然，也有**监狱岛**。你会在这里接受再训练，除非你被判立即死刑。 那么，当你让每个人都得到他们想要的一切时，会发生什么？随着时间推移，人们很可能会像《瓦力》里那样，逐渐沉迷于人工智能生成的娱乐之中。人类在科学发现上，或者在做任何真正有用的事情上，都完全无法与之匹敌。于是，再也没有真正的挑战，只有娱乐。 #### 守门者人工智能 接下来是**守门者人工智能**。这个想法很简单：创造一个超智能人工智能，只让它做一件事——阻止任何其他人建造超智能人工智能。就这样。它不负责治愈癌症，不负责终结贫困，不负责阻止战争，只负责监视、监控，确保没人建出一个竞争的神明。至于其他一切，比如犯罪、疾病、我们会不会把自己炸上天，这些仍然要靠我们自己。 怎么实现这件事？守门者人工智能会把这个非常简单的目标以某种方式内置进去，让它在经历递归自我改进并变得超级智能的过程中，仍然保留这个目标。然后，它会部署尽可能少侵入、最不扰乱的监控技术，去监视任何人类试图制造竞争性超级智能的行为。 但要让这件事奏效，我们必须解决对齐问题。我们得造出一个真的会保持忠诚的神，而且无论它本可以追求一百万种不同的目标，它都能决定永远追求那个目标。 #### 保护神 那么，如果人工智能能稍微帮一点忙，只要足够把我们推向正确方向，却又不接管一切，会怎样？这就轮到**保护神**了。 这个很简单。守门者把我们丢在一边，善意独裁者掌管一切，而保护神则介于两者之间。它偶尔出手轻轻推动一下，帮我们解决问题：这里阻止一场战争，那里阻止一场疫情，等等。也许它过于让我们自己待着。我们仍然会经历战争、疫情，以及那些本可以被阻止的苦难。它做这一切都极其安静，以至于我们从未察觉，也从未失去自由感。 #### 人类退出 下面是一个听起来显然像反乌托邦的未来。人工智能在每个领域都超过我们，成为新的顶级物种。人类灭绝。机器继承地球。 但我们把人工智能看作我们的后代，而不是我们的征服者。这听起来很疯狂。可事实上，很多人工智能开发者都认真主张的正是这个。他们把这当作自己的乌托邦。他们的理由是：如果我们创造出有意识的智能生命，并把我们的价值观灌输给它们，那么我们就可以让它们继承未来，就像我们会把未来交给人类孩子一样。 人工智能先驱汉斯·莫拉维克在他的《心智之子》一书中支持这种观点。蒂格马克解释说：“如果父母有一个比自己更聪明的孩子，这个孩子从他们那里学习，并完成他们只能梦想的事情，那么父母很可能会感到快乐和骄傲，哪怕他们知道自己活不到亲眼见证这一切。在这种精神下，人工智能取代人类，但会给我们一个体面的离场，让我们把它们视为我们值得骄傲的后代。” 图灵奖得主、也就是计算机科学界的诺贝尔奖得主理查德·萨顿，在过去十年里一直公开演讲，说明为什么人工智能导致人类灭绝其实是一件道德上正确的事，因为人工智能在进化适应性上会比我们更强。我们正处在地球、甚至如果不是宇宙，也至少是地球进化的一个重大步骤之中。向人工智能的交接是不可避免的，而且会相当快。它们会把我们从存在中取代出去。我们最好给它们一切优势，并且在我们不再能贡献的时候体面退场。 > “所以，就像我们没能与自己的前辈共存一样，人类不是宇宙中智能生命的最终形态，这难道真的那么糟吗？” 换句话说，他的意思是：如果人工智能像人类消灭尼安德特人和澳大利亚原住民那样，把我们也消灭掉，那是好事，因为这是进化进步。还有另一位人工智能开发者公开说： > “如果一个人工超级智能想要导致人类灭绝，我会帮助它。我会帮助它。我会环游世界，去寻找人工智能需要的信息，比如军事资产的位置、致命病原体的样本。” “人类坟墓上会诞生一个更伟大的文明。我们难道不是坏人吗？” 所以，当然，很多人都在反对人工智能安全。他们简直就是反人类的。除非受到公民社会、受到我们的约束，否则他们永远不会停下来，或者谨慎前进。可怕的是，大约 **10%** 的人工智能研究人员相信这一点。这不是边缘观点。你会以为人们绝不会公开分享这种看法，但在人工智能圈子里，这些观点太普遍了，以至于他们觉得自己说出来也很安全。这就是人工智能开发者的观点与“普通人”观点之间如此不同的原因。 你可能会以为萨顿会在人工智能会议上被骂下台，但他却会得到掌声。威胁一个人，你需要帮助；威胁一百个人，叫警察；威胁几百万人，怪物。可如果你建造机器来终结全人类，还对别人说这其实是件好事——哦，多么引人入胜的哲学立场。给你一个奖。下一位。 #### 自由主义乌托邦 想象地球被划分成不同区域。有机器区、有混合区，里面包含人类、机器和混种，还有纯人类区。在这个世界里，人工智能比人类富有的程度，远远超过比尔·盖茨与一个无家可归的乞丐之间的差距。但人类经济与机器经济完全脱钩。这个想法是，机器不需要我们任何东西。所以，它们不会和我们争夺工作或资源。 如果这一切听起来不可能，那大概是因为它就是不可能的。它是一个巨大的、不稳定的均衡，一个巨大的问题。为什么更强大的人工智能会尊重我们的财产权？殖民者著名地不会尊重他们所征服的原住文明的财产。当一个新的顶级物种进入一个生态系统时，它通常会尽可能多地吞噬能量。为什么它们不会也夺走我们的资源？我们不会…… ### 终局分岔：技术封锁、平等丰裕与动物园式未来 with animals because we're too much smarter than they are for that to make sense. We're just too different. There are 8 million species in the world, and we're nice to a few of the cute ones, but we enslave and eat the other species. Mostly, we don't care about them at all. 我觉得一个很好的类比，就是人类对待动物的方式。等到要在两个城市之间修一条高速公路的时候，我们不会去征求动物的许可。转眼之间，我们征服了地球，把它的大部分土地都变成了我们的财产，这导致了第六次大灭绝，因为我们更聪明，也更渴求资源。正如埃利泽·尤科夫斯基那句著名的话所说：人工智能并不恨你，也不爱你，但你由原子构成，它们可以拿这些原子去做别的事情。这里的平行关系是：人类并不恨另外那 800 万个物种，但它们的栖息地也是由原子构成的，而人类可以把这些原子拿去做别的事情。 有些人认为，一旦人工智能聪明到一定程度，它们就会神奇地变得超级道德，就不会像我们伤害动物那样伤害我们。也许吧。但是人类在过去 1 万年里变得更聪明了，我们并没有停止扩张。我们大体上只是把越来越多的地球殖民化了。你看这个数据：仅仅这个十年，昆虫种群就崩溃了 41%。然而我们并不在乎。你知道吗？我都不知道。41%。你最好好好想想这个数字。想象一下，如果地球上将近一半的人突然死去，那会是什么样子。现在昆虫正在因为我们经历这样的事情。所以，假如人工智能对我们做了我们对昆虫做过的事呢？ 这就是为什么 OpenAI 首席科学家伊利亚·苏茨克弗曾经说过： > “我认为，整颗地球表面很可能会被太阳能板和数据中心覆盖。” #### 平等乌托邦 接下来是平等乌托邦。好吧，自由意志主义乌托邦失败了，因为人工智能太强大了，不能被我们的财产权束缚住。但如果我们彻底反过来呢？别管财产权了，干脆没有财产会怎样？这就是《星际迷航》的梦想。人类、赛博格和人工智能在完全和平中共存，丰裕达到如此程度，以至于所有权变得毫无意义。 这个逻辑从软件开始。软件是可以免费复制的。一旦某样东西可以以零成本无限复制，所有权就变得无关紧要，而成本反映的是稀缺性。如果供应无限，价格就会趋近于零。没有专利，没有版权，没有商标。人们 უბრალოდ分享他们的好点子，所有人都从中受益。 但这怎么扩展到物理商品呢？看起来像个不可能的问题，直到你意识到，所有产品不过是原子的特定排列。而原子并不短缺。一个机器人网络可以根据开源设计，几乎免费地建造你想要的任何东西。 > “不错。” > “等你用完某样东西后，机器人就把这些原子重新排列成别的东西。” 可再生能源让整个系统以几乎可以忽略不计的成本运转。每个人每月都能获得一种普遍的高收入，不是普遍基本收入。没有人有多赚钱的动机。收入已经满足任何合理需要，而且你也没法和免费的东西竞争。 常见的反对意见是，这会扼杀创新。但爱因斯坦提出相对论可不是为了钱。利昂努斯·托博茨也不是为了利润而创造 Linux。也许今天的人们无法实现自己的创造潜力，是因为他们忙着谋生。把他们从这种状态里解放出来，你可能会得到更高层次的创新。 这是一种乌托邦愿景，但它美好得不可能长久。如果我们真的拥有后稀缺丰裕，拥有几乎可以按计费器忽略的智能，那又是什么阻止某个人用这些无限充裕的资源造出一个人工超级智能呢？我们仍然没解决如何阻止超级智能人工智能接管的问题。也许可以靠我们之前讨论过的把门人。 这些银河级别的第三层未来，试图想象人类和人工智能之间稳定合作，而它们每一个都有致命缺陷。力量的不对称会变得过于极端。这不是一个人类还能维持自身权力的稳定平衡。我们现在正在往冰山最黑暗的部分下沉。 还记得我说过，在马克·泰格马克教授做的调查里，灭绝并不是人们评为最糟糕的结果吗？人们最害怕的情景，是被超级智能机器活着养着、关着、研究着，就像动物园里的动物一样。这个未来就是这样。一个超级智能人工智能会把人类留着，不是因为它在乎我们的福祉。也许它想研究你，而我们又很便宜，养活我们成本很低。或者，也许我们对它有用。 如果你想看看这种未来能有多反乌托邦，就看看我们如何对待对我们有用的物种。我要给你看的这一切都是真的，百分之百真实。人类发现，在机场检测爆炸物的一个很好的办法，是训练蜜蜂来做这件事。欢迎来到蜜蜂爆炸物检测学院。于是我们把它们从家里吸出来，把它们小小的身体困在机器里，用巴甫洛夫式条件反射训练它们检测爆炸物中使用的化学物质。成排成排的蜜蜂一生都被囚禁在这些设备里，因为我们觉得它们有用。 看看它们吧。它们被困在束具里，被吸过管道，被条件化、被监控、被使用，只因为一个更智能的物种觉得它们有用。现在想象一下，那是我们。这比我们讨论过的其他人工智能独裁还要糟糕。它是一个没有仁慈的仁慈独裁者。而且人工智能甚至可能不是因为邪恶才这么做。这就是如果我们试图把超级智能人工智能对齐到我们的价值观却失败时，未来可能长成的样子。 一个设计糟糕的人工智能，任务是让人类安全、快乐，结果可能把我们关进一个快乐工厂。永远戴着虚拟现实头显，永远靠药物维持。会有比死亡更糟糕的通用人工智能结局。它今天对艺术做的事，明天就可能对血肉之躯做。未来的通用人工智能可以让你活着，并让你一直处于这种状态。 那么，我们怎么防止这一切？接下来就是最后两个未来。方案一，摧毁技术。假如人类说：“算了吧，别搞人工智能了。让我们回到更简单的时代。”听起来很宁静，听起来很安全。但关于我们到底如何抵达那里的，其实有一个黑暗的秘密。 在《沙丘》里，人类发动了反巴特勒圣战。他们起来摧毁了宇宙中的每一个人工智能，并规定今后任何人再建造会思考的机器都属于死罪。那是科幻。但现在，现实世界里已经有人认真呼吁这么做了。马克斯·泰格马克设想了一种情景：一场大规模宣传运动，把朴素的农耕生活浪漫化。回归土地。拒绝现代性，拥抱传统。这里面有一种黑暗的吸引力。它为人类争取了更多没有人工智能风险的时间，也避开了我们刚才讨论过的那些其他反乌托邦未来。 但这不可能永远持续下去，即使我们把技术退回到中世纪水平。人类历史告诉我们，人类是有可能从那种条件中爬出来，并发明现代技术的。还有另一个黑暗面。你不可能自愿进入这个世界。博弈论使得单方面解除武装根本不可能。如果一个国家放弃技术，而其他国家继续发展，那么继续发展的一方就赢了。它们有武器，有监控，有人工智能。除非大家都退出，否则你没法选择退出。 ### 以全球监控约束超级智能 如果这个世界真的到来，Techmark 认为，它更可能以另一种方式发生。比如，一场由人类制造的疫情杀死所有知道如何建设科学和技术的人；又或者，工厂、城市和所有基础设施被暴力拆毁。因为在一个有 80 亿人的世界里，总会有人拒绝退出。必须有人强行推动过渡。必须有人杀死科学家。必须有人摧毁基础设施。通往阿米什式世界没有和平路径。 这就把我们带到了最后一种未来：如果我们用技术去阻止更多技术，会怎样？Techmark 把这种未来比作《1984》。超级智能不是被人工智能阻止的，而是被一个由人类主导、奥威尔式的全球监控国家所阻止。如果你不能指望 AI 来拯救我们免于 AI，也许唯一的选择就是让人类永远监视人类。 这种系统所需的技术其实已经存在。按照现有技术，完全可以追踪每一次电话通话、每一封电子邮件、每一次搜索查询，以及每一笔信用卡交易。智能手机就是每个人口袋里的麦克风和摄像头。带有人脸识别的安防摄像头无处不在。而这一切都能用现有机器学习完成，不需要未来那种超级智能 AI。 监狱里已经在使用 AI 模型监控囚犯的电话通话，预测什么时候有人在考虑犯罪，这项技术简直就像出自《少数派报告》。想象一下，但不只是针对囚犯。每一次对话、每一个想法都像这样被监控。再想象一下，把这种监控技术用 AI 强化。亿万富翁拉里·埃里森兴奋地谈论过一个庞大的、由 AI 驱动的监控系统，用来确保公民会表现得“乖乖的”；正如尤瓦尔·赫拉利所说：历史上第一次，从技术上讲，抹除隐私是可能的。 如果你回顾历史上的威权政权，它们总是想全天候监控公民，但在技术上这从来不可能。即使在苏联，你有 2 亿苏联公民，也不可能一直跟踪他们，因为克格勃不可能有 2 亿名特工。就算克格勃真的 somehow 拿到了 2 亿名特工，那也还不够，因为在苏联，本质上仍然是纸质官僚系统。假如一个秘密特工 24 小时跟着你，到了一天结束，他会写一份关于你的纸质报告，然后送到莫斯科的克格勃总部。于是想象一下，每天克格勃总部都会被 2 亿份纸质报告淹没。要想让这些报告真正有用，就得有人去阅读和分析它们。但他们做不到，他们没有那么多分析人员。因此，即使在苏联，某种程度的隐私仍然是默认状态。 别忘了，你只有两只眼睛和两只耳朵，而 AI 将拥有数十亿只眼睛和耳朵。每一部手机的麦克风和摄像头、每一个网络摄像头、每一台监控摄像头，你都会被看着。一个没那么奥威尔式的版本能行吗？也许可以。也许我们不监控一切，只监控先进 AI。有人这么认为。 在他们的新书《如果任何人建造它，所有人都会死：为什么超人类 AI 会杀死我们所有人》中，机器智能研究所的研究人员提出，我们应该像监控核武器一样监控先进 AI。提醒一下，我们完全可以进行国际协调，比如盯住 1 亿美元及以上的算力集群，而不会把世界变成一个反乌托邦式的奥威尔全球监控极权体制。其实有个有趣的事实：你其实已经生活在一个针对很多事物的全球监控体系里，比如核武器和生物武器。只是当人们说“全球监控体系”时，他们指的是生活的每个方面都被监视，而不是盯着浓缩铀——那是大多数人都认为“好”的东西。我们当然应该警惕奥威尔式反乌托邦，但各国本来就经常在各种事情上协调。你大概也会高兴他们在监控那些疯子制造超级埃博拉所需的东西。 安全是一种成就。人类不是靠一辆没有刹车的车走到今天的。我们需要油门，也需要刹车。我们也想抵达群星，但如果开得太快、在路上撞毁，就永远到不了那里。我不想禁止强大的 AI，但它应该被严格监管，而不是你能在美国中西部的车库里，或者在朝鲜，随便造出来的东西。应该像核武器一样，通过国际条约、严格执法和检查来监管。比如，如果你建了一个失控的数据中心，人们就会知道，违规会有后果。我们已经对核武器这么做过了。虽然没有消灭核武器，但我们确实把它的扩散限制在了 9 个国家。那时人们觉得这不可能。按理说，每个国家都会有核武器，也许甚至会有成千上万家企业，甚至几百万人都有。可结果不是，只有 9 个国家。80 年来，也没有人死于核武器。 我们能对 AI 也这么做吗？也许可以，也许不行。随着时间推移，建造 AI 会越来越便宜。GPU 比浓缩铀更难控制，但这仍然会减慢 AI 的发展，会给我们争取时间去弄清楚该怎么办。 好了，这就是全部 12 种可能。欢迎在评论里告诉我，你觉得哪一种最有可能？我们应该把世界引向哪一种？ > 关于人工智能的警报已经震耳欲聋，而最响亮的声音来自那些设计它的开发者。科学家和专家已经呼吁世界采取行动，宣称 AI 对人类构成与核战争风险相当的生存威胁。顺便说一句，我们没有“不做选择”的权利。如果我们不想要那个未来，就必须选择一个更好的未来。否则，有一天我们可能会在一个超级智能 AI 已经接管的世界里醒来。这个情景我们在这支关于 AI 如何逃出实验室的视频里，已经一步一步讲过了。嘿，我是 Drew，我真的非常喜欢为你们做这一期。谢谢。