# The Data Recipe for Teaching AI New Skills (OLMo-3, Nemotron Ultra, GLM4.5/5, MAI-Thinking-1 review)

- Channel: [Anastasia Borovykh](https://www.youtube.com/channel/UC2BjavqyTVQiJvH9udm2SSA)
- Published: 2026-07-02
- Source video: [Watch on YouTube](https://youtube.com/watch?v=I9F_VFfLTmM)
- Read on ReadTube: https://www.read.tube/p/videos/I9F_VFfLTmM
- Language: Simplified Chinese

## Summary

**数据配方塑造新技能**

这段视频讨论了前沿大语言模型如何通过预训练、中训练和后训练三阶段的数据配方，逐步学会新能力。作者强调，模型进步越来越依赖明确要训练的能力、围绕基准构造任务，以及用教师模型和环境反馈生成高质量数据。

视频从数据角度梳理了前沿大模型的训练流程：先在海量网页、书籍、论文和代码上做预训练，再用更高质量、更贴近目标能力的数据进行中训练，最后通过监督微调和强化学习做后训练。作者指出，虽然公开论文常只笼统说“高质量、多样化数据”，但从一些开源模型的报告中可以看出，真正有效的训练越来越不是“喂更多数据”，而是“围绕想要的能力精心设计数据”。

在预训练阶段，模型并非完全被动接受通用语料，而是已经受到评测目标的反向塑形。像某些模型会先建立覆盖数学、代码、医学等能力的评测体系，再据此筛选、清洗、去重、分类训练语料，并通过数据混合比例控制不同领域的占比；有些模型甚至会在预训练阶段就注入特定能力，例如用合成数据强化 Python 解题能力或法律知识。作者强调，数据混合会显著影响下游表现，而大规模训练又使得精确搜索最佳配方很困难。

中训练阶段更像是“针对能力的精细打磨”。这里常见做法包括长上下文扩展、代码与数学能力增强、指令跟随、安全行为、搜索轨迹、终端任务和多轮对话等。许多数据来自模型合成：先从基准任务或真实问题出发，再让更强的教师模型生成推理轨迹、工具调用轨迹或问题解答示例，最后用这些样本对学生模型做监督微调。作者特别提到，像元推理、自我评估、回溯、概念推理这类更抽象的能力，也开始被显式纳入训练数据，因为它们被认为有助于后续强化学习中的自主解题。