可复现性

现实定位

完整重跑大模型训练的成本很高，但可复现性不等于可追溯性。公开数据、代码、训练条件、日志和检查点有助于追溯；能否重新得到接近的训练结果、能否复现评测分数，还需要明确协议并实际验证。

代表工作

• OLMo（2024）与后续的 OLMo 2：艾伦人工智能研究所（AI2）发布的完全开放模型，同时公开训练数据、代码、训练日志与中间检查点。
• HELM（2022）与 OpenCompass（2023）：公开评测协议与评测代码，使不同模型的评测结果可以比较与复现。

实践建议

从项目一开始记录数据版本、代码提交、依赖、硬件、随机种子、训练配置与评测协议。固定种子不能保证跨框架版本、跨设备逐位一致；需要确定性算子时应显式配置，并说明允许的数值误差与多次运行的统计波动。

参考资料

• PyTorch：Reproducibility

相关专题

• 预训练：开放训练配方。
• 评测基准
• 数据治理、法律与伦理：数据来源的可追溯。