围绕大语言模型的训练全流程：预训练、数据、架构、优化与并行，以及微调、偏好优化与后训练。当前的主线已经从「单纯扩大参数」转向数据质量、后训练与可复现的训练工艺。 预训练 数据构建与清洗 合成数据 分词 混合专家模型 高效序列架构 优化器、学习率调度与混合精度 分布式训练 指令微调与偏好优化 RLHF、RLAIF与RLVR 知识蒸馏与小模型 持续预训练 模型合并 知识编辑 返回自然语言处理。