Deep Learning, Machine Learning, Self Supervised Learning, Artificial Intelligence.
後的結果 v, v′)、representation (經過 encoder f_θ, f_ξ 得到 representation y_θ, y′_ξ)、projection (經過 Projection head g_θ, g_ξ 映射到較低維的空間)。 在 online 分支會再經過一層 prediction (為一個兩層的 MLP)，接著與 target 分支的輸出 z′_ξ 計算 loss。BYOL 的 loss function 使用 L2 loss (下式1)，另外也跟 SimCLRv1 一樣會交換順序再計算一次 (下式2)。 與 MoCo 相同，loss 只會反向傳播給