定位
横跨训练与推理的成本与可持续性方向。训练和推理的电力消耗、碳排放与散热成本，已经成为规模化的硬约束。
训练侧
- 把能耗纳入算力规模化的规划。
- 在硬件与训练配方支持时，评估低精度训练（FP8、NVFP4）能否降低达到同等质量所需的总能耗。
- 断点续训，减少故障后的重复计算。
- 提高数据与算法效率，用更少的计算达到同样效果。
推理侧
- 测量量化、稀疏、投机解码是否降低能耗；草稿计算、稀疏内核效率和硬件支持都会影响结果，加速不必然等于节能。
- 功耗感知的调度。
- 按电网碳强度或电价调度任务。
- 提高 GPU 利用率，治理空转。
度量
- 能效：每焦耳生成的 token 数，以及完成一个达到质量要求的任务所需的焦耳数；比较时固定输入输出长度、模型质量与服务条件。
- PUE（电能使用效率）：数据中心总能耗与 IT 设备能耗之比。
- 每次查询的碳排放。
能耗与碳排放数据已经逐步出现在模型卡中。
参考资料
相关专题
- 推理经济学：能耗是成本的重要组成部分。
- 优化器、学习率调度与混合精度
- 量化
- 投机解码