Deep Learning, Machine Learning, Self Supervised Learning, Artificial Intelligence.
augmentation 得到正樣本、從 memory bank 中抽取出 k 個作為負樣本後，再去計算 Contrastive loss 並更新 θ_q 和這些負樣本的 key 值 (即 k 值)，這邊並不會去做 key encoder 參數 θ_k 的反向傳播。這樣的作法會導致某些 key 值在很多次迭代後才被採樣並更新，但 query encoder 每次都會更新，以至於抽取出的樣本與當前的 query encoder 沒有一致性。 Shuffling BN 是針對於 Data Leakage 的解決方法，因為模型能透過每個 batch 間計算的平均數和變異數找到一些資訊而導致