要解决的问题
预训练模型可能已经能通过提示完成部分指令，但可靠性和输出风格不一定符合用途。后训练使用指令与偏好数据改善这些行为，同时需要防止数据污染、对齐效果退化和灾难性遗忘；理想回答是否简短取决于任务。
核心方法
这些方法应按不同维度理解：全参数微调与 PEFT 决定更新哪些参数；SFT 与偏好优化决定使用什么监督信号和损失。LoRA 可以用于 SFT，也可以用于偏好优化，不能把它们写成依次取代的技术阶段。
- 监督微调（SFT）：用「指令—回答」数据直接训练。
- LoRA：冻结原模型，只训练插入的低秩矩阵，大幅降低微调成本。
- 偏好优化：用「同一问题的较好回答与较差回答」这样的成对数据，让模型更倾向于人类偏好的输出。
代表工作
- LoRA（2021）：低秩适配，最常用的参数高效微调方法。
- InstructGPT（2022）：确立了「监督微调 → 训练奖励模型 → 基于人类反馈的强化学习」三步范式。
- DPO（2023）：直接偏好优化，把偏好对齐改写成一个简单的分类目标，不再需要单独训练奖励模型和运行强化学习。
- ORPO（2024）：把监督微调和偏好优化合并成一个阶段。
- Tülu 3（2024）：AI2 公开的完整后训练配方，包括数据、代码和评测。
实现与工具
- TRL：Hugging Face 的后训练库，支持监督微调、DPO、PPO 等。
- LLaMA-Factory：集成多种微调方法的一站式微调框架。
开放问题
- 如何避免模型过度迎合用作评判的模型（judge）。
- 如何在回答简洁与回答可靠之间动态平衡。
参考资料
相关专题
- RLHF、RLAIF与RLVR：偏好对齐的强化学习路线。
- 合成数据：指令与偏好数据的主要来源。
- 持续预训练：微调带来的遗忘问题。
- 模型合并：合并多个微调模型的能力。