对比学习
通过对比学习语义表示
概述
对比学习通过拉近相似样本、推开不相似样本来学习表示。它不需要人工标注，是自监督学习的重要方法。
核心思想
# InfoNCE Loss
L = -log [exp(sim(z+, z) / τ) / Σ exp(sim(z-, z) / τ)]
相似样本对(z+, z)距离拉近
不相似样本对(z-, z)距离推远
不相似样本对(z-, z)距离推远
代表模型
SimCLR
图像对比学习，通过数据增强创建正样本对
CLIP
图文对比学习，对齐图像和文本表示空间
SimCSE
文本对比学习，使用Dropout创建正样本对
----