Deep Learning, Machine Learning, Self Supervised Learning, Artificial Intelligence.
representations (即下圖的 Embeddings) 去計算 cross-correlation matrix，並期望該 matrix 近似 identity matrix，也就是對角線上的值為 1，其餘的值為 0。如此一來，可以表示為相同樣本在不同 data augmentation 下所得到的 representation 非常相近，而不同樣本則會越遠。 loss function 定義如下： invariance term 為讓在對角線上的元素盡可能地為 1 redundancy reduction term 為讓不在對角線上的元素盡可能地為 0 λ 用於調節這兩項的