要解决的问题
在满足质量要求的前提下，把每个 token、每次任务的成本降到最低。
核心方法
- 测试时计算的成本曲线：多投入推理算力能换来多少正确率提升，边际收益在哪里递减。
- 模型级联与路由：按问题难度把请求分给不同规模的模型，简单问题用小模型，困难问题再升级。
- 缓存复用与批处理：前缀缓存命中和更大的批次都能摊薄单次成本。
- 服务等级与成本的权衡：固定模型、硬件与质量目标时，更严格的延迟要求通常会限制批处理、增加预留容量，从而推高单位成本；算法和硬件改进也可能同时降低延迟与成本。
开放问题
- 在线估计「质量-成本」帕累托前沿。
- 跨供应商、跨硬件的统一成本模型。
参考资料
相关专题
- 测试时计算扩展
- 多模型编排：模型路由与级联。
- PagedAttention与KV缓存管理：前缀缓存复用。
- LLMOps与可观测性
- 节能与绿色AI