Deep Learning, Machine Learning, Self Supervised Learning, Artificial Intelligence.
standardization 也能有相同效果。 SimSiam (Simple Siamese) 主要貢獻為使結構更加簡潔，不須使用 negative sample pairs、large bacthes、momentum encoders SimSiam 由 FAIR 所提出，其模型架構與 BYOL 非常相似，去除了使用 exponential moving average 的更新方式，直接使用 Siamese network，即兩分支的 encoder f 共享參數，如下圖和 Pseudocode 可看出整體結構更簡潔。 Architecture 作者做了一系列的 ablation