要解决的问题
某些领域的高质量、可授权数据难以获取。合成数据用模型生成训练样本或对齐数据，难点在于控制错误、质量漂移和多样性损失；不能把特定数据源的瓶颈泛化为所有真实数据都已耗尽。
核心方法
- Self-Instruct：从少量人工写的种子指令出发，让模型自己生成新的指令和回答，再过滤后用于微调。
- Evol-Instruct：让模型把已有指令逐步改写得更复杂、更多样。
- 教师模型生成与拒绝采样：用更强的模型生成多个候选答案，只保留通过筛选的那部分。
- 可验证任务的自举：在数学、代码等可以自动检查答案的任务上，模型生成、检查器筛选，循环产生新数据。
代表工作
- Self-Instruct（2022）：提出用模型自己生成指令数据的方法。
- WizardLM（2023）：提出 Evol-Instruct，通过指令演化构造复杂指令数据。
现状
合成数据是许多后训练配方的重要组成部分，常与人工示范、真实请求和人类偏好数据混合。比例因模型与任务而异，公开证据不足以支持它已是所有后训练的「最主要来源」。生成后仍需去重、去污染与质量过滤。
开放问题
- 合成数据的模式坍缩（mode collapse）。
- 模型在自己生成的数据上训练，会不会自我强化偏差。
- 合成数据与真实数据的最优配比。
参考资料
相关专题
- 数据构建与清洗：合成数据同样需要过滤与去重。
- 指令微调与偏好优化：合成数据的主要用途。
- 知识蒸馏与小模型：用教师模型生成数据本身就是一种蒸馏。
- RLHF、RLAIF与RLVR：可验证任务上的自举数据与强化学习密切相关。