選取微調形式的兩個重要因素:新數據集的大小(size)和相似性(與預訓練的數據集相比)。牢記卷積網絡在提取特征時,前面的層所提取的更具一般性,后面的層更加具體,更傾向於原始的數據集(more original-dataset-specific)。
四個基本原則:
1、新數據集小而且相似時,不建議進行微調,以防止過擬合。最好是只訓練線性分類器(只訓練后面一層)。
2、新數據集大而且相似時,因為有足夠的數據,所以可以對整個網絡進行訓練微調。
3、新數據集小而且不相似時,因為數據集不相似,所以最好不要在網絡最后面的層訓練分類器,最好在網絡更前一點進行訓練。
4、新數據集大而且不相似時,因為數據集足夠大,所以有充分的信心可以訓練好。隨意訓練
此外,注意不要隨意更改預訓練網絡的結構,學習率最好選擇一個較小的開始。