要解决的问题
优化器对超参数、batch 大小和并行拓扑都非常敏感。低精度训练则需要处理数值溢出、缩放因子，以及计算内核的支持。
现状
- 工业界的默认配置是 AdamW，配合学习率预热（warmup）和余弦退火（cosine）调度。
- 数值精度上，BF16 是主流；FP8 已进入大规模训练，4 比特的 NVFP4 训练也开始被验证。
代表工作
- AdamW（2017）：把权重衰减从梯度更新中解耦出来，是目前最常用的优化器。
- Sophia（2023）：用对角 Hessian 估计做预条件的二阶优化器。
- Muon（2024）：先对梯度做动量，再用 Newton-Schulz 迭代把更新矩阵正交化，用于隐藏层的矩阵参数；2025 年起被验证可以用于大规模语言模型训练。
- NVIDIA Transformer Engine：NVIDIA 的低精度训练库，提供 FP8，以及 Blackwell 架构上 NVFP4 的训练支持。
- Pretraining Large Language Models with NVFP4（2025）：NVIDIA 报告在 120 亿参数、10 万亿 token 的实验中，NVFP4 混合精度配方的训练损失与下游准确率接近 FP8 基线。该方法保留部分高精度层，并配合随机舍入和异常值处理，不是所有运算、权重和优化器状态都使用 4 比特。
开放问题
- 新优化器能否在不同规模、不同架构下稳健地复现收益。
- FP8、NVFP4 训练能否在不损失模型质量的前提下普及。