对比学习相关模型

Posted on In

对比学习相关基础

梯度回传方法

端到端

memory bank

MoCo方法

MoCo

研究背景

主要工作

1.

References

  1. 无监督学习: Kaiming一作 动量对比(MoCO)论文笔记
  2. Self-Supervised Learning 超详细解读 (四)：MoCo系列解读 (1)

Simcse

背景：bert模型词向量在空间中的分布不均匀，高频词分布紧凑，低频词分布稀疏

对比学习-拉近相似样本距离，推开不相似样本的距离

损失函数：
$l_i = log \frac{e^{sim(h_i,h^+i)/\tau}}{\sum{j=1}^N e^{sim(h_i,h^+_j)/\tau}}$

Refs

  1. SimCSE论文解读 - 知乎 (zhihu.com)
  2. 论文分享 | EMNLP-21 | 句子嵌入的一种简单对比学习方法_哔哩哔哩_bilibili