# Don't Ship Skills Without Evals — Philipp Schmid, Google DeepMind

- Channel: [AI Engineer](https://www.youtube.com/channel/UCLKPca3kwwd-B59HNr-_lvA)
- Published: 2026-07-14
- Source video: [Watch on YouTube](https://youtube.com/watch?v=0vphxNt4wyk)
- Read on ReadTube: https://www.read.tube/p/videos/0vphxNt4wyk
- Language: Simplified Chinese

## Summary

**技能发布前先做评测**

这场演讲强调，技能不要在没有评测的情况下直接上线，因为模型与代理行为高度不稳定，只有评测才能判断问题来自技能本身还是模型能力不足。演讲者区分了能力型技能与偏好型技能，并指出前者会随着模型进步逐渐退役，后者则更需要通过评测守住稳定性。

演讲者从谷歌深度思维的实践出发，说明“技能”本质上是带有逐步披露结构的指令集合，而真正的风险不在于技能是否能写出来，而在于是否经过了系统评测。由于代理具有非确定性，任务失败时很难立刻判断是技能质量差、触发时机不对，还是模型本身做不到，因此没有评测的技能很容易被错误保留或错误淘汰。

他把技能分成两类：能力型技能，用来弥补模型当前做不到或做不稳的能力，这类技能应随着模型进步通过评测决定何时退役；偏好型技能，用来编码团队流程、风格与领域约束，这类技能更持久，也更需要评测来防止模型升级后性能退化。演讲还区分了面向开发者自己使用的代理与面向用户的代理：前者可以依赖用户主动触发技能，后者则必须依靠模型主动识别，因此描述、触发条件和负面边界尤其关键。

在写技能的方法上，他给出一组实践原则：描述要明确、直接、少废话；应当写目标与约束，而不是把固定流程写成冗长脚本；技能正文要尽量精简，复杂细节放到引用文件里；必须补充“何时不该触发”的负例；还要清理无实际作用的空指令。更重要的是，评测应尽早开始，至少准备十到二十个样例，包含正例、负例和真实轨迹，并在隔离环境中、多次运行、跨不同工具链验证结果。