自監督 論文 Self-supervised Visual Feature Learning with Deep Neural Networks

自監督學習

自監督學習(Self-Supervised Learning)是一種介於無監督和監督學習之間的一種新范式，旨在減少深度網絡對大量注釋數據的需求。大量的人工標注的樣本是費時耗力的。

它通過定義無注釋(annotation-free)的前置任務(pretext task)，為特征學習提供代理監督信號。

pretext task

在預訓練階段，使用偽標記當作標簽進行網絡權重訓練。因此在自監督學習中，如何生成偽標記是前置任務的關鍵。

偽標簽生成

圖片補全

paper

圖片旋轉

paper

圖片着色

paper

上下文預測

paper

downstream task

在前置任務訓練完成后，可將學得的特征作為已訓練的模型進一步遷移(遷移學習)到下游任務(downstream tasks)，使其獲得更好的解的起點。