定位
跨模态系统需要学习不同模态之间的对应关系。CLIP 式对比学习会把配对图文映射到可比较的嵌入空间，使匹配样本的相似度更高，常用于检索和视觉编码器预训练。但不是所有多模态系统都必须先训练一个共享向量空间：投影连接器、交叉注意力和早融合联合生成也可以学习跨模态关系。
核心方法
- 对比学习：把配对的图文（或音文）当作正样本、同一批次里的其他组合当作负样本，训练两个编码器，让正样本的表示相似度高于负样本。
- 图文、音文对齐预训练：在大规模弱标注的配对数据上预训练，得到可以零样本迁移到分类、检索等任务的通用表示。
代表工作
- CLIP（2021）：在约 4 亿图文对上做对比学习，证明了自然语言监督可以得到强大的零样本视觉表示。
- SigLIP（2023）：把 CLIP 的 softmax 对比损失换成逐对的 sigmoid 损失，不再依赖全局归一化，在较小批次下也能训练得更好。
开放问题
- 细粒度对齐：区域、物体、属性层面的对应关系，而不只是整图对整句。
- 组合泛化：正确理解「红色的方块在蓝色的圆左边」这类组合描述。
- 低资源模态与多语言场景下的对齐。
参考资料
相关专题
- 视觉与文档理解：视觉语言模型通常以对齐好的视觉编码器作为输入端。
- 多模态生成与统一模型：文本可以作为图像生成条件，条件表示也可以在生成训练中联合学习，不必预先完成 CLIP 式对齐。
- 嵌入与检索模型：多模态检索使用同一套对比学习思路。