Deep Learning, Machine Learning, Self Supervised Learning, Artificial Intelligence.
需要選取負樣本且其資料特性不能夠太簡單，也不能太難，因此如何選擇負樣本是一個困難的問題。 負樣本的主要貢獻在於避免發生 model collapse 的現象，若訓練資料只有正樣本，模型會傾向得到 trivial solution。這句話的意思就是指不論輸入什麼樣的圖像，模型的兩個分支皆輸出一模一樣的 representation 以得到最高的相似度。 那有沒有辦法是不使用負樣本的呢? 以下來介紹兩篇相關論文：BYOL、SimSiam BYOL (Bootstrap your own latent) 主要貢獻為新增 predictor、使用 exponential moving