要解决的问题
数据过滤并不总能提高质量：过度过滤可能损失覆盖面，按某个基准调参也可能过拟合。需要在固定训练预算与独立下游评测中验证收益，同时追踪数据来源、许可和测试集污染。
核心方法
一条典型的数据处理流水线包括：
- 启发式清洗：按规则去掉乱码、过短文本、模板化页面等低质量内容。
- 去重：用 MinHash 等方法做近似重复检测，或基于嵌入做语义去重。
- 质量分类器打分：训练一个分类器判断文本质量，只保留高分部分。
- 领域再平衡：调整网页、代码、书籍、论文等不同来源的配比。
代表工作
- DataComp-LM（DCLM，2024）：提供一个标准化的数据实验平台，固定模型与训练流程，只比较数据处理方法的优劣；其结果表明，用模型打分来过滤数据效果显著。
- FineWeb（2024）：Hugging Face 发布的大规模、可公开获取的网页数据集，并详细公开了处理流程。FineWeb2（2025）进一步扩展到上千种语言。
开放问题
- 如何估计一份数据对模型能力的真实价值。
- 在有限的 token 预算内，如何在不同数据之间分配。
- 如何建立可审计的数据血缘，说清每条数据的来源与许可。
参考资料
相关专题
- 预训练：数据质量是当前预训练的核心变量。
- 合成数据：真实数据不足时的补充来源。
- 评测基准：测试集污染会让评测结果失真。
- 数据治理、法律与伦理：数据许可与合规。