要解决的问题
把通用模型适配到某个领域（如医学、法律、代码）后，通用能力常常下降，旧知识被遗忘，而新领域上的收益也不稳定。
核心方法
持续学习是模型随新数据或任务更新、同时保留旧能力的宽泛问题；继续预训练是其中一种参数更新方式，并不等同于持续学习，也不一定涉及依次到来的任务流。本页主要讨论继续预训练和领域自适应预训练，常见做法是：
- 在领域语料上继续预训练。
- 混入一部分通用数据做回放（replay），减轻遗忘。
代表工作
- Don’t Stop Pretraining（2020）：在所研究的领域与下游任务上，领域自适应预训练和任务自适应预训练带来了收益；这不是对任意领域、任意数据配比都有效的保证。
已有观察
- 继续预训练、监督微调和偏好优化，会对模型能力产生不同方向的偏移。
- 增加领域知识，并不会自动改善所有类型的推理能力。
开放问题
- 如何做到遗忘少、数据许可清晰、过程可审计的在线更新。
- 如何统一看待检索增强生成、参数更新和知识编辑这三种「更新模型知识」的方式。