Deep Learning, Machine Learning, Self Supervised Learning, Artificial Intelligence.
random 的結果，並猜測使用 batch normalization 是一種隱性的 Contrastive Learning。意思是指這樣的操作就是將 batch 中的每個圖像與 batch 的圖像平均做比較，而 batch 中的其他圖像為當前圖像的負樣本。 source 基於這個觀點，原文作者發表了一篇研究 BYOL works even without batch statistics 來解釋。作者認為 batch normalization 之所以有效是因為能讓模型有合適的初始化參數，以至於使得訓練更穩定，並實驗使用 Group normalization 和 weight