# How GPT, Claude, and Gemini are actually trained and served – Reiner Pope

- Channel: [Dwarkesh Patel](https://www.youtube.com/channel/UCXl4i9dYBrFOabk0xGmbkRA)
- Published: 2026-04-29
- Source video: [Watch on YouTube](https://youtube.com/watch?v=xmkSf5IS-zw)
- Read on ReadTube: https://www.read.tube/p/videos/xmkSf5IS-zw
- Language: Simplified Chinese

## Summary

**大模型训练与推理真相**

这期节目主要解释了大模型训练与推理在芯片集群上的真实运行方式，核心结论是批大小、稀疏性、缓存和互联带宽共同决定了延迟、成本与模型规模的边界。通过对计算、权重读取和键值缓存的粗略定量分析，Reiner Pope 说明了为什么更大的规模化域、机架内全互联和稀疏专家路由会显著影响前沿模型的价格、上下文长度和部署方式。

这期节目用屋顶线分析把大模型训练与推理的核心经济学讲透了：推理成本和延迟主要由批大小、权重读取、以及上下文对应的 KV 缓存决定。结论是，适度增大批大小能把权重读取成本摊薄，显著降低单 token 成本；但 KV 缓存无法像权重那样被充分摊薄，所以“慢一点就更便宜”只在很有限范围内成立。速度更快的服务，本质上是在不同批处理与调度策略下牺牲一部分吞吐换更低排队延迟。

他进一步解释了为何稀疏模型、专家并行和分层并行会成为主流：总参数主要受显存容量与带宽约束，活跃参数主要受算力约束，而一个机架内的高速互联正好适合做专家并行；跨机架则更适合流水线并行，因为它能节省容量，但对推理延迟帮助不大。现实中的模型规模提升，很大程度上来自更大的单一高速互联域与更高带宽，而不是单纯堆更多参数。

最后他把 API 定价、上下文长度、预填充与解码、缓存命中率都解释成同一套成本结构：长上下文之所以贵，是因为 KV 相关的内存带宽在涨；预填充更便宜，是因为其计算与带宽更容易被批量化；缓存价格差异则反映了不同存储层与重建成本。整体观点是，当前大模型能力与价格，基本都是由硬件的带宽、容量和并行切分方式共同塑造的。