要解决的问题
多模型编排在推理（inference）时调度多个模型，或同一模型的多次调用。协作与投票通常希望用额外计算改善质量；路由与级联也可以在满足质量要求时减少昂贵模型的调用。是否获益需要同时比较质量、延迟和总成本。
它与模型合并正好相对：模型合并在训练后离线地融合多个模型的权重，多模型编排则在推理时在线地调度多个模型。
核心模式
- 多模型分层聚合：多个模型各自作答，后一层的模型参考前一层的全部回答再生成，逐层聚合。
- 多智能体辩论与投票：多个模型互相质疑、修正，最后投票或由裁判给出结论。
- 路由与级联：按问题难度把请求分给不同规模的模型，简单问题用小模型，搞不定再交给大模型，以此降低成本。
- 学习型编排：训练一个专门的编排模型，由它理解请求、决定调用哪些模型、如何分工，替代手工设计的工作流。
代表工作
- Mixture-of-Agents（2024）：把多个模型分层组织，每层参考上一层所有模型的输出，用开源模型组合取得了超过单个强模型的效果。
- FrugalGPT（2023）：用模型级联按需调用不同价位的模型，在保持质量的同时大幅降低成本。
- Sakana Fugu（2026）：Sakana AI 于 2026 年 6 月发布的编排模型，决定自己作答还是组织其他模型协作，技术基础包括 TRINITY 与 Conductor。需要区分产品与研究实验：递归自调用的实验来自 Conductor，允许编排器选择自身作为工作模型、读取前一轮结果并修改流程；不能据此认定 Fugu 的公开接口提供同样的递归控制功能。
开放问题
- 协作带来的收益与额外成本的边界在哪里。
- 编排拓扑能否自动设计，而不是人工搭建。
- 与单个更大模型相比，真实的优劣对比。
参考资料
相关专题
- 模型合并：训练后离线融合权重，与本专题相对。
- 测试时计算扩展：递归自调用是测试时计算扩展的一种形式。
- 工具使用与智能体设计：多智能体协作框架。
- 推理经济学：路由与级联的成本分析。