InstructGPT

一句话总结

用「监督微调 → 训练奖励模型 → 强化学习」三步，基于人类反馈对 GPT-3 做微调，得到 InstructGPT。人类评估中，13 亿参数的 InstructGPT 比 1750 亿参数的 GPT-3 更受偏好。这篇论文确立了大语言模型对齐的标准流程，是 ChatGPT 的直接前身。

背景与问题

把语言模型做大，并不会让它更好地遵循用户意图。GPT-3 这类模型的训练目标是「预测网页上的下一个 token」，与「有帮助且安全地遵循用户指令」不是一回事，论文称之为目标没有对齐（misaligned）。结果是模型会编造事实、输出有偏见或有害的内容，或者干脆不按指令做。

论文希望模型做到三点：有帮助（helpful，帮用户解决问题）、诚实（honest，不编造信息、不误导用户）、无害（harmless，不造成身体、心理或社会上的伤害）。

核心方法

方法沿用了此前把人类反馈强化学习（RLHF）用于文本摘要的工作，把它推广到广泛的指令任务上。

数据来源：提示主要来自用户提交到 OpenAI API（Playground）上早期 InstructGPT 模型的请求，另有一部分由标注员编写。团队通过筛选测试雇用了约 40 名标注员。提示中近一半是生成类任务（45.6%），其次是开放问答（12.4%）、头脑风暴（11.2%）等，96% 以上为英语。

三个步骤：

1. 监督微调（SFT）：标注员针对提示写出理想的回答，约 1.3 万条训练提示，用来有监督地微调 GPT-3。
2. 训练奖励模型（RM）：对同一个提示，让模型生成 4 到 9 个回答，由标注员从好到差排序，约 3.3 万条训练提示。奖励模型从 SFT 模型初始化，输出一个标量分数，用成对比较的交叉熵损失训练，让人类更偏好的回答得分更高。论文只用了 60 亿参数的奖励模型，因为 1750 亿参数的奖励模型训练不稳定。
3. 强化学习（PPO）：以奖励模型的打分为奖励，用 PPO 算法继续微调 SFT 模型，约 3.1 万条训练提示。奖励中加入与 SFT 模型之间的 KL 惩罚，防止策略为了刷高分而偏离太远。

后两步可以反复迭代：用当前最好的策略收集新的比较数据，再训练新的奖励模型和策略。

PPO-ptx：纯 PPO 训练后，模型在部分公开数据集上表现下降，论文称之为「对齐税」（alignment tax）。PPO-ptx 在 PPO 更新中混入预训练数据的语言建模梯度，以减轻退化。论文明确说明：除非另有说明，文中的 InstructGPT 指 PPO-ptx 模型；实验中也比较了不混入预训练梯度的 PPO 变体。

实验使用了 13 亿、60 亿、1750 亿三种规模，都采用 GPT-3 架构。技术细节与后续演进见指令微调与偏好优化和RLHF、RLAIF与RLVR。

实验与结论

• 人类更偏好 InstructGPT：13 亿参数 InstructGPT 的回答比 1750 亿参数 GPT-3 的回答更受偏好，参数量少了 100 多倍。1750 亿参数的 InstructGPT 相对同规模 GPT-3 的胜率为 85±3%，即使给 GPT-3 加上少样本提示，胜率仍有 71±4%。
• 更真实：在论文的 TruthfulQA 设置中，InstructGPT 给出真实且有信息量的回答的频率约为 GPT-3 的两倍。在要求答案依据给定材料的摘要、材料内问答等 closed-domain 任务上，幻觉率约为 21%，GPT-3 约为 41%。这里的 closed-domain 不等于 GPT-3 论文中的 closed-book（不提供外部资料、依靠参数知识回答）。
• 毒性略有改善，偏见没有改善：在 RealToxicityPrompts 上，要求回答保持礼貌时，有毒输出比 GPT-3 少约 25%；在 Winogender、CrowS-Pairs 上没有明显改进。
• 公开 NLP 数据集不能代表真实用法：在同样的 GPT-3 上分别用 FLAN、T0 两个公开指令数据集微调，在 API 提示分布上都不如 SFT 基线，标注员明显更偏好 InstructGPT。
• 泛化：没有参与训练数据标注的另一批标注员同样偏好 InstructGPT；模型还能遵循训练中很少见的指令，例如总结代码、用其他语言作答。
• 局限：InstructGPT 仍会犯简单错误，比如不遵循指令、编造事实、对简单问题给出冗长的含糊回答、识别不出前提错误的问题。论文也强调，这种方法对齐的是特定一群人（主要是标注员和研究人员）的偏好，而不是更广泛的「人类价值观」。

影响与后续

• 「SFT → RM → RLHF」成为此后几年大语言模型后训练的标准范式。OpenAI 于 2022 年 11 月发布的 ChatGPT 被官方称为 InstructGPT 的「兄弟模型」，训练方法基本相同。
• 小模型经过对齐后可以胜过大得多的未对齐模型，说明后训练的性价比极高，推动了对齐研究的快速发展。
• RLHF 流程复杂、成本高，随后出现了许多简化或替代方案：Constitutional AI 用 AI 反馈替代部分人类反馈，DPO 把偏好优化改写成分类目标、不再需要奖励模型和强化学习，GRPO、RLVR 等则走向无需价值网络或使用可验证奖励的方向。
• 奖励模型被钻空子（reward hacking）、标注偏好不一致等问题，也成为安全与对齐评测中的长期议题。

参考资料

• 原始论文（结构、实验设置和指标）

相关

• GPT-3：InstructGPT 的基础模型。
• Attention Is All You Need：底层的 Transformer 架构。
• 指令微调与偏好优化：从全参微调、LoRA 到 DPO 等偏好学习方法。
• RLHF、RLAIF与RLVR：RLHF 的技术细节与后续演进。
• 幻觉检测与缓解：InstructGPT 降低了但没有消除编造。