Deep Learning, Machine Learning, Self Supervised Learning, Artificial Intelligence.
online 分支 (下式3)，而 target 分支的參數是由 online 分支參數 θ 的 exponential moving average (下式 4) 的方式來更新，下圖中的 sg 指 stop-gradient。 這樣的設計方式能防止 model collapse 的關鍵在於新增 predictor 和 stop-gradient 並使用 exponential moving average 來更新 target 分支，讓兩個分支的架構及參數不完全相同，模型較難以往 trivial solution 的方向走。 除此之外，還有一個大功臣 — 在 Projection head