测试时计算扩展

要解决的问题

传统的扩展思路是在训练时加大模型和数据。测试时计算扩展换了一个方向：在推理（inference）时投入更多计算，换取更高的正确率。这是 OpenAI o1、DeepSeek-R1 这类推理模型的核心支撑。

核心方法

• Best-of-N：生成 N 个候选答案，用验证器或奖励模型挑出最好的一个。
• 搜索：用束搜索（beam search）、蒙特卡洛树搜索（MCTS）等方法，在推理步骤构成的空间里搜索。
• 验证器引导的解码：在生成过程中用验证器给部分结果打分，引导后续生成的方向。
• 过程奖励模型：结果奖励模型对完整解答给出整体评分，也可以读取中间推理；过程奖励模型提供步骤级评分，可用于定位错误和指导搜索。区别在监督粒度，不是结果奖励模型只能看最后一句。
• 递归自调用：让编排模型递归地调用自身，把递归深度作为推理时可以调节的计算预算，参见多模型编排中介绍的 Conductor 研究。

代表工作

• Let’s Verify Step by Step（2023）：比较过程监督与结果监督，发现过程奖励模型在数学推理上明显更好，并公开了步骤级标注数据集 PRM800K。
• OpenAI o1（2024）：把「推理时想得更久，效果更好」推到产品层面，让测试时计算扩展成为主流方向。
• DeepSeek-R1（2025）：结合监督微调与强化学习提升推理能力；其 R1-Zero 实验展示了不先做 SFT 的强化学习也能诱发较长的推理行为。

开放问题

• 算力与收益之间的最优分配：一个问题该花多少计算。
• 过程奖励模型的泛化能力和步骤级标注的成本。
• 如何与可验证奖励的强化学习形成闭环：搜索产生的数据反过来用于训练。

参考资料

• Let’s Verify Step by Step
• OpenAI：Learning to reason with LLMs
• DeepSeek-R1

相关专题

• 推理能力与思维链：测试时计算扩展的基础形式。
• 多模型编排：推理时让多个模型协作，也是一种投入更多计算的方式。
• RLHF、RLAIF与RLVR：奖励模型与可验证奖励。
• 推理经济学：测试时计算的成本曲线。