# What rebuilding AlphaGo teaches us about self-play, RL, and future of LLMs - Eric Jang

- Channel: [Dwarkesh Patel](https://www.youtube.com/channel/UCXl4i9dYBrFOabk0xGmbkRA)
- Published: 2026-05-15
- Source video: [Watch on YouTube](https://youtube.com/watch?v=X_ZVSPcZhtw)
- Read on ReadTube: https://www.read.tube/p/videos/X_ZVSPcZhtw
- Language: Simplified Chinese

## Summary

**从零重建阿尔法围棋**

这期视频讲解了阿尔法围棋的核心原理：用蒙特卡洛树搜索配合价值网络和策略网络，把原本不可穷举的围棋搜索问题变得可行。Eric Jang 还结合自己重做 AlphaGo 的经历，讨论了如何以更低成本复现、改进这种系统，并由此反思未来人工智能研究的方向。

这期对话先从围棋规则讲起，解释气、提子、终局判断和不同计分规则，然后逐步引出阿尔法围棋为什么难、难在哪里。核心问题不是“围棋能不能下”，而是它的搜索树极深、分支极广，穷举几乎不可能，因此需要用搜索算法配合神经网络来缩小深度和宽度两方面的复杂性。

Eric Jang 详细拆解了蒙特卡洛树搜索的四步流程：选择、扩展、评估、回传，并解释了 UCB/PUCT 这类准则如何在“利用”和“探索”之间权衡。策略网络给出候选动作的先验概率，价值网络快速估计局面胜率，而搜索本身则把这些局部估计迭代成更强的行动分布；最终用访问次数形成更好的监督信号，再反过来训练网络，使网络逐渐把搜索的收益“蒸馏”进前向推理里。

他还强调了几个工程与研究上的关键结论：
- 围棋是完美信息、确定性游戏，所以当前局面足以定义策略，不必依赖长历史。
- 价值网络非常关键，因为它相当于把“把整盘棋下完”的结果压缩成一次快速判断。
- 先用人类棋谱或强引擎做良好初始化，通常比从零开始更稳、更省算力。
- MCTS 产生的是更高质量的软标签，因此比只用最终输赢做强化学习信号更稳定、方差更低。

在训练方法上，他比较了阿尔法围棋、阿尔法零、KataGo、模仿学习、Q 学习、优势估计和神经虚构自博弈，认为围棋中的“搜索后再蒸馏”本质上是一个高效的监督学习框架，而不是传统意义上那种高方差、只看终局奖励的强化学习。与此同时，他也讨论了为什么这种方法对语言模型推理、机器人和部分不完全信息博弈可能并不直接适用：动作空间更大、历史依赖更强、局部可验证性更差，都会让树搜索的优势变弱。

后半段转向更广泛的 AI 研究反思。Eric 认为，自动化科研助手在超参数搜索、实验执行和局部改进上已经很强，但在判断该做哪条实验路线、何时该后退重想、以及跨步骤整合多个“看似合理但彼此冲突”的改进上仍然不足。他用自己的 Go 项目说明，真正有价值的研究往往先要把系统做对，再谈尺度规律、算力最优和更高层次的科学分析；而快速可验证环境，如围棋，可能成为训练自动化研究员和检验研究想法的理想外循环。