要解决的问题
把模型服务稳定地部署到集群上，需要解决：
- 环境封装：镜像固定用户态软件与依赖，减少环境差异；宿主机内核、GPU、驱动和浮点计算仍会影响兼容性与数值结果，不能保证在任何机器上行为完全一致。
- 驱动兼容：GPU 驱动与 CUDA、ROCm 版本的匹配。
- 滚动升级与版本治理：新旧模型平滑切换，随时可以回滚。
- 自动扩缩容：按流量增减推理实例。
代表工具
- Triton Inference Server：NVIDIA 的推理服务器，用统一的接口托管多种框架训练出的模型。
- KServe：Kubernetes 原生的模型推理平台，提供标准化的推理服务、扩缩容与流量管理。
- Ollama：面向本地模型运行与服务的封装，可以拉取和运行受支持的模型；它与 Kubernetes 集群编排平台的职责不同。
实践建议
除了模型权重，还要把分词器、量化格式、提示模板和服务参数一并纳入版本管理。线上出问题时，往往是这些「周边配置」不一致导致的。
参考资料
相关专题
- 边缘与本地部署
- LLMOps与可观测性：上线后的监控与发布。
- 推理并行与服务调度：容器内运行的推理引擎。