定位
嵌入模型把文本（或图像等其他模态）映射成向量，语义相近的内容在向量空间中距离也近。它是检索增强生成和语义搜索的底座。
核心方法
- 对比学习训练嵌入：让语义相关的文本对在向量空间里靠近、不相关的远离，是训练文本嵌入和多模态嵌入的主流方法。
- 双塔检索：问题和文档分别编码成向量，用向量相似度检索，速度快，适合从海量文档中初筛。
- 指令式嵌入：在编码时附上任务说明，让同一个模型针对不同任务生成合适的向量。
- 重排模型：用交叉编码器（cross-encoder）把问题和候选文档拼在一起打分，更准但更慢，用于对初筛结果精排。
- 向量数据库与近似最近邻检索：在大规模向量中快速找出最相近的若干个，常用 HNSW 等图索引。
代表工作
- Sentence-BERT（2019）：用孪生网络结构微调 BERT，得到可以直接比较相似度的句向量。
- Dense Passage Retrieval（2020）：用双塔稠密检索在开放域问答上超过传统的关键词检索。
- HNSW（2016）：分层可导航小世界图，是目前最常用的近似最近邻索引之一。
开放问题
- 长文档的嵌入。
- 领域适配。
- 多语言与多模态的统一检索。