Deep Learning, Machine Learning, Self Supervised Learning, Artificial Intelligence.
Encoder、Shuffling BN 從過往的實驗結果中可知使用更多的負樣本來訓練能得到更好的結果，但負樣本的數量與 batch size 成正比，而 batch size 越大會需要越多的運算成本，因此沒辦法使用太大的 batch size。為了解決難以運用大量負樣本的問題採用了 Dictionary as a queue 的方式，就是將原本的 memory bank (用於保存所有資料的 representation) 改成 queue 的形式來儲存。 Dictionary as a queue 的作法為每個 epoch 會 enqueue 一個 batch 的