Deep Learning, Machine Learning, Self Supervised Learning, Artificial Intelligence.
study 來分析讓模型免於 collapse 的原因，例如：有無使用 stop-gradient、Predictor、Batch size (64~4096)、Batch Normalization、Similarity Function、分支結構對稱與否 (Symmetrization/ Asymmetrization/Asymmetrization 2x)，大多無可避免影響準確度，除了拿掉 stop-gradient 或 Predictor 之外，其他操作並不會造成 model collapse 的現象。 作者認為最關鍵的主因在 stop-gradient，相當於引入了額外的變量，讓