1、定義：
自監督學習主要是利用輔助任務（pretext）從大規模的無監督數據中挖掘自身的監督信息，通過這種構造的監督信息對網絡進行訓練，從而可以學習到對下游任務有價值的表征。（也就是說自監督學習的監督信息不是人工標注的，而是算法在大規模無監督數據中自動構造監督信息，來進行監督學習或訓練。因此，大多數時候，我們稱之為無監督預訓練方法或無監督學習方法，嚴格上講，他應該叫自監督學習）
2、挑戰：
對於自監督學習來說，存在三個挑戰：
- 對於大量的無標簽數據，如何進行表征/表示學習？
- 從數據的本身出發，如何設計有效的輔助任務 pretext？
- 對於自監督學習到的表征，如何來評測它的有效性？
詳細介紹可參考：https://blog.csdn.net/sdu_hao/article/details/104515917