Deep Learning, Machine Learning, Self Supervised Learning, Artificial Intelligence.
中加入了 batch normalization。看下圖 BYOL 和 MoCov2 的比較，BYOL 的 Projection、predictor 都使用相同的 MLP 架構，而 MLP 中多新增了 batch normalization。 在 Understanding Self-Supervised and Contrastive Learning with “Bootstrap Your Own Latent” (BYOL) 一文中實驗了各種 batch normalization 的 ablation study，發現若不使用 batch normalization 就相當於