Deep Learning, Machine Learning, Self Supervised Learning, Artificial Intelligence.
是一個兩層的 MLP，只在 Self-Supervised Learning 訓練時使用，其作用為去除 Encoder 中 data augmentation 後的資訊，僅關注於原本數據的訊息。 當要在下游任務上進行 Fine-tune 時就不會使用到 Projection head，會另外接一層 Non-Linear Classifier。 source NT-Xent loss function (Normalized Temperature-Scaled Cross-Entropy Loss) 的計算方式分為三個步驟： 計算一組 pair 間的相似度，並且每一個 batch 中的所有