要解决的问题
模型上线之后，运行时的质量与成本如何治理。这与训练阶段的实验追踪是两回事：训练关心的是某次实验的指标，上线关心的是真实流量下的延迟、质量是否漂移、花了多少钱。
核心方法
- 在线性能指标：首 token 延迟（TTFT）、每 token 延迟（TPOT）、吞吐、缓存命中率。
- 输出质量与漂移检测：监控回答质量是否随时间或输入分布变化而下降，出现回归时告警。
- 成本与配额追踪：按用户、业务统计 token 消耗。
- 灰度发布：金丝雀发布、A/B 测试。
- 链路追踪与日志：记录每次请求经过的提示、检索、工具调用与输出。
开放问题
- 生成式输出没有标准答案，在线质量如何度量。
- 智能体多轮会话级别的可观测性。
- 跨推理引擎的统一指标。