# The most complex model we actually understand

- Channel: [Welch Labs](https://www.youtube.com/channel/UConVfxXodg78Tzh5nNu85Ew)
- Published: 2025-12-20
- Source video: [Watch on YouTube](https://youtube.com/watch?v=D8GOeCFFby4)
- Read on ReadTube: https://www.read.tube/p/videos/D8GOeCFFby4
- Language: Simplified Chinese

## Summary

**最复杂却可理解的模型**

视频认为，模运算上的单层变换器是目前我们完全理解的最复杂人工智能模型。它通过研究“涌现”现象，展示模型如何先记忆训练样本，随后才学会真正的泛化，并把这一过程与正弦、余弦和傅里叶结构联系起来。

视频先提出一个核心判断：现代大模型整体上仍像黑箱，但在极少数受控任务中，我们可以清楚追踪模型到底学到了什么。其中最典型的例子，是对模运算加法进行训练的单层变换器。它在训练早期只会机械记忆样本，测试集表现很差；在训练很久之后，却会突然实现训练集和测试集的同时高精度，这种现象被称为“涌现”。

作者回顾了相关研究如何一步步拆开这个模型：输入被编码成稀疏向量后，模型先在早期层学出与输入相关的正弦、余弦结构，再在中间层把这些波形组合成乘积项，随后借助三角恒等式把“角度相加”转化为可计算的表达，从而完成模加法。训练过程中，表面上的准确率和损失常常长时间不变，但“排除损失”显示模型实际上仍在悄悄重组内部表征，逐步从记忆转向真正的规则学习，最后在清理阶段抛弃早期死记硬背的解法。

视频最后把这一可解释案例与更前沿的研究对照起来，例如 Anthropic 对 Claude 3.5 Haiku 的分析：模型会在六维流形中编码每行字符数，并通过注意力头判断何时换行。整体结论是，尽管我们离理解真实大模型还很远，但机制可解释性已经能在一些小而清晰的系统里把黑箱拆成透明结构，而“涌现”并不神秘，往往只是模型在长时间训练后完成了从局部记忆到全局规则的转换。