知识蒸馏与小模型

要解决的问题

知识蒸馏的目标不只是压缩模型规模，而是把大模型的能力，包括推理风格和工具使用，迁移到小模型上。

核心方法

• logit 匹配：让学生模型的输出分布拟合教师模型的输出分布，是最经典的蒸馏方式。
• 在策略蒸馏（on-policy distillation）：让学生模型自己生成回答，再由教师模型在这些回答上给出指导，缓解训练与推理时的分布不一致。
• 推理过程蒸馏：让学生学习教师给出的推理理由（rationale），而不仅是最终答案。

代表工作

• MiniLLM（2023）：用反向 KL 散度代替正向 KL 散度做蒸馏，避免学生模型去覆盖教师分布中概率很低的区域。
• GKD（2023）：广义知识蒸馏（Generalized Knowledge Distillation），在学生模型自己生成的序列上向教师学习，是在策略蒸馏的代表。
• Distilling Step-by-Step（2023）：用大模型生成的推理理由作为额外监督，让小模型用更少的数据超过大模型。

开放问题

• 如何蒸馏工具使用能力和智能体策略。
• 如何抑制教师模型错误推理风格的传播。

相关专题

• 合成数据：用教师模型生成训练数据。
• 投机解码：草稿模型常通过蒸馏得到。
• 量化 与 剪枝与低秩分解：其他压缩模型的方法。
• 边缘与本地部署：小模型的主要应用场景。