【深度學習的實用層面】(一)訓練,驗證,測試集(Train/Dev/Test sets)


在配置訓練、驗證、和測試數據集的過程中做出正確的決策會更好地創建高效的神經網絡,所以需要對這三個名詞有一個清晰的認識。

訓練集:用來訓練模型

驗證集:用於調整模型的超參數,驗證不同算法,檢驗哪種算法更有效

測試集:根據最終的分類器,正確評估分類器的性能

假設這是訓練數據,用一個長方形表示,通常會把這些數據划分成幾部分,一部分作為訓練集,一部分作為簡單交叉驗證集,也稱之為驗證集,最后一部分則作為測試集。

train

dev

test

 

 

如果數據只有100條,100條或者1萬條,通常將樣本集設置為70%驗證集,30%測試集。也可按照60%訓練集,20%驗證和20%測試集來分類較為合理。

如果數據規模較大,是百萬級別,驗證集和測試集要小於數據總量的20%和10%。

測試集的目的是對最終所選定的神經網絡系統做出無偏估計,如果不需要無偏估計可以不設置測試集。所以如果只有驗證集,沒有測試集,需要做的就是在訓練集上訓練嘗試不同的模型,在驗證集上評估這些模型,然后迭代並選出適用的模型

注:以上內容為我學習吳恩達老師的深度學習課程所做的筆記


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM