# Reinventing Entropy \| Compression is Intelligence Part 1

- Channel: [3Blue1Brown](https://www.youtube.com/channel/UCYO_jab_esuFRV4b17AJtAw)
- Published: 2026-06-07
- Source video: [Watch on YouTube](https://youtube.com/watch?v=l6DKRf-fAAM)
- Read on ReadTube: https://www.read.tube/p/videos/l6DKRf-fAAM
- Language: Simplified Chinese

## Summary

**压缩揭示信息本质**

本视频用压缩问题重新推导了香农的信息论核心概念，并说明预测与压缩在数学上其实是同一件事。通过一个机器人指令的例子，视频解释了前缀码、信息量和熵如何自然出现，并指出这些概念直接支撑了现代大语言模型中的交叉熵损失。

视频首先从一个看似简单的问题出发：文本究竟能压缩到什么极限。通过机器人接收“上、下、左、右”四种指令的例子，视频展示了如何利用不同符号的出现频率分配不同长度的编码，从而比固定长度编码更高效，并引出前缀码这一保证可无歧义解码的关键条件。

接着，视频把“完美压缩”与“随机噪声”联系起来：如果一种压缩已经达到最优，那么输出应当像随机比特流一样不可再压缩。由此可以推出信息量应写成负对数概率，而一个事件的“信息”本质上就是它需要占用多少比特才能被无损表示。进一步，对符号分布取平均后，就得到熵，它刻画了每个符号平均携带多少信息，也给出了任何无噪编码的理论下界。

视频还把这些思想推广到语言。由于自然语言强烈依赖上下文，单个字母或词的概率并不固定，而是随前文变化，因此真正关心的是整段文本的平均信息率，即熵率。香农当年通过人类猜字实验估计英语的熵，得到极低的每字符比特数，说明语言高度可预测；这也解释了为什么现代语言模型的预训练目标可以被看成是在学习一种高效压缩器，而交叉熵正是把这种压缩与预测统一起来的数学形式。