Deep Learning, Machine Learning, Self Supervised Learning, Artificial Intelligence.
Learning。而本文要介紹的 Self-Supervised Learning 就是屬於 Unsupervised Learning 的一種，透過挖掘大量無標記資料中本身的資訊，人為地製造標籤（pretext），如此一來就可以使用監督式學習的方式進行訓練，如同其名為通過自己來監督自己。目的是希望模型能夠學習到資料中的通用 representation，並應用至不同的下游任務裡。 作法如下圖所示，訓練步驟會分為兩部分，首先用這些未標記資料訓練一個初步的模型產生出一種通用的 Representation，接著再根據下游任務使用少量的有標籤資料 fine-tune