Deep Learning, Machine Learning, Self Supervised Learning, Artificial Intelligence.
representation，並 dequeue 保存最久的一個 batch 的 representation，如此一來這個 queue dictionary 的總數不會隨著 epoch 而變大，不會占用太多的記憶體及運算成本。 Momentum Encoder 是指下圖 (c) 中 key encoder 參數 θ_k 的更新方式改為 query encoder 參數 θ_q 的移動平均，目的是為了讓 queue dictionary 中的數據保持一致性，公式如下 在提出 Momentum Encoder 之前的參數更新是使用下圖 (b) 的更新方法，對於樣本 x_q 做 data