遷移學習-微調(fine-tune)的注意事項:


選取微調形式的兩個重要因素:新數據集的大小(size)和相似性(與預訓練的數據集相比)。牢記卷積網絡在提取特征時,前面的層所提取的更具一般性,后面的層更加具體,更傾向於原始的數據集(more original-dataset-specific)。

四個基本原則:

1、新數據集小而且相似時,不建議進行微調,以防止過擬合。最好是只訓練線性分類器(只訓練后面一層)。

2、新數據集大而且相似時,因為有足夠的數據,所以可以對整個網絡進行訓練微調。

3、新數據集小而且不相似時,因為數據集不相似,所以最好不要在網絡最后面的層訓練分類器,最好在網絡更前一點進行訓練。

4、新數據集大而且不相似時,因為數據集足夠大,所以有充分的信心可以訓練好。隨意訓練

此外,注意不要隨意更改預訓練網絡的結構,學習率最好選擇一個較小的開始。


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM