Deep Learning, Machine Learning, Self Supervised Learning, Artificial Intelligence.
trade-off 以上是我對於 SSL 的一些統整與理解，很大部分的論文是 based on Contrastive Learning 的思想做更深入的研究。而在 Vision Transformer (ViT) 問世後，有更多針對 ViT 架構去訓練的方法，如 MoCo v3、DINO、Masked Autoencoders (MAE)、iBOT 等，在 MoCo v3 中還有談到如何使用 trick 以更加穩定的訓練 ViT (fixed random patch projection layer)，非常值得一讀。 Reference 【機器學習