要解决的问题
模型的输出与事实不符，或者与给定的上下文不一致，这被称为幻觉。它贯穿问答、检索增强生成、智能体和多模态等各类应用。
核心方法
- 检索与引用：让模型基于检索到的资料作答并给出出处，便于核对。
- 自我一致性核查：多次采样结果相互矛盾，可以作为需要核查的信号；多次回答一致也可能是在重复同一个错误，不能代替外部证据。
- 事实性校验模型：用专门的模型检查输出中的事实陈述。
- 置信度与不确定性估计：让模型知道自己什么时候不确定，不确定时拒答或提示用户。
- 抽取式约束：要求答案必须来自给定材料中的原文，减少自由发挥。
代表工作
- SelfCheckGPT（2023）：不依赖外部资料，通过比较多次采样结果之间的一致性来检测幻觉。
- Chain-of-Verification（2023）：让模型先起草回答，再自己提出核查问题、逐一回答，最后修正初稿。
开放问题
- 开放领域的事实性如何度量。
- 长文档中前后一致性的保持。
- 生成与验证之间的成本权衡。