要解决的问题
用强化学习做对齐和能力提升时，主要困难有：奖励投机（reward hacking，模型钻奖励函数的空子）、评判模型的偏差、长序列上的信用分配，以及在线采样的高成本。
核心方法
- RLHF（基于人类反馈的强化学习）：先用人类偏好数据训练奖励模型，再用 PPO 等强化学习算法优化策略。
- RLAIF（基于 AI 反馈的强化学习）：使用 AI 提供的偏好或评价来构造奖励信号，替代部分人类标注；按书面原则评价是 Constitutional AI 的一种具体做法。
- RLVR（基于可验证奖励的强化学习）：在数学、代码等答案可以自动检查的任务上，直接用检查结果作为奖励，不需要奖励模型。
这里要区分两个维度：RLHF、RLAIF、RLVR 主要按奖励或反馈来源分类；PPO、GRPO 是策略优化算法；DPO 是直接利用偏好数据的优化目标。它们不是同一层级的替代关系，例如 RLVR 可以配合 PPO 或 GRPO，AI 偏好数据也可以用于 DPO。可验证奖励通常不需要单独学习奖励模型，但检查器本身仍可能有漏洞。
代表工作
- PPO（2017）：近端策略优化，是 InstructGPT 等 RLHF 配方使用的策略优化算法；RLHF 不专属于 PPO。
- InstructGPT（2022）：把 RLHF 用于大语言模型对齐的奠基工作。
- Constitutional AI（2022）：Anthropic 提出，用一组书面原则加 AI 反馈替代部分人类监督，是 RLAIF 的代表。
- GRPO（2024）：DeepSeek 在 DeepSeekMath 中提出的组相对策略优化，用同一问题多个回答的组内比较代替价值网络（critic），省去了 critic 的训练成本。
- Tülu 3（2024）：提出并使用 RLVR 这一名称，在可验证任务上用强化学习提升能力。
入门建议
先在有自动检查器的任务上做强化学习，例如数学题、格式遵循、代码测试通过率。
开放问题
- 缺少明确验证器的任务上，强化学习如何保持稳定。
- 过程监督（对中间步骤给奖励）能否泛化。