Deep Learning, Machine Learning, Self Supervised Learning, Artificial Intelligence.
SimSiam 的實現類似於 Expectation-Maximization (EM) 演算法，並針對這個假設做實驗來驗證。 在該假設下的 loss function (下式 5) 中 F_θ 為 encoder f、τ 為 data augmentation、η 為引入的額外變量 (下標 x 是指圖像 x，這邊可以將 η_x 想像成是 stop-gradient 分支的 representation)，接著針對該 loss function 進行優化 (下式 6)，期望能最小化兩分支 encoder 輸出的距離的期望值。 首先固定 η 求解 θ (下式 7)，再固定 θ 去求解 η