4.2深度卷積網絡
覺得有用的話,歡迎一起討論相互學習~
2.9遷移學習
遷移學習的基礎知識已經介紹過，本篇博文將介紹提高的部分。
提高遷移學習的速度
- 可以將遷移學習模型凍結的部分看做為一個函數，因為每次都要使用這個凍結模型的輸出值來訓練自己的網絡層，這樣從加載模型到預訓練模型都會耗費一定的時間。
- 為此，可以將目標訓練集通過凍結模型的輸出保存到本地，作為新的訓練數據集來訓練自己的網絡層，這樣會更加快捷。
提高遷移學習的精度
- 如果自身的目標數據集與凍結模型所用的數據集差異較大或者自身的數據集越大，應該使用源模型的前幾層作為凍結模型並且加大自身網絡的規模。
- 極端的情況是只是用凍結模型的下載的權重作為自身模型的初始化權重用它們代替隨機初始化
- NG認為機器視覺應該是深度學習領域中運用遷移學習最廣泛的課題。
2.10數據增強(Data augmentation)
- 數據增強是一種常用的手段，來提高計算機視覺系統的表現。至少在計算機視覺方向，有更多的圖像數據往往意味着更好的效果。
常用數據增強方法
垂直鏡像對稱Mirroring
隨機裁剪Random Cropping
- 雖然隨機裁剪不是一個完美的數據增強的方法，因為在隨機裁剪有可能裁剪的保留的不完全是目標部分。但是實際操作中構成了數據集中真實圖像的大部分。
旋轉Rotation
局部扭曲Local warping
- 盡管在實踐中可以結合使用各種方法，但是由於過程太復雜，所以實際使用的很少。
Color Shifting色彩轉換
- 給原始圖像中R,G,B三種通道中加上不同的失真值(偏置值)
- 例如如果同時給R和B通道中增加正偏置值，則整張圖片會有偏紫的效果。
- 在實踐中,對R,G,B三個通道的變化是基於特定概率分布的
- 這么做的原因是，可能識別的圖片中陽光有一點偏黃，或者燈光照明對整張圖片具有影響。
PCA主成分分析增強Principles Components Analysis
- 簡單來說根據圖中顏色的采樣進行圖像增強。
- 例如:一張原始圖片中有較多的藍色和紅色成分，而綠色成分較少。則在圖像增強時，對藍色和紅色的增加多一點而對綠色的增加相對少一些。使圖像顏色總體保持不變。
數據增強的並行實現
- 通常會通過創建多個線程來對數據集中的圖像數據進行讀取，形成一個個數據流。並且在讀取數據后可以使用隨機的數據增強的方法對圖片數據進行數據增強。而使用其他的線程實現模型的訓練和預測。模型的載入/數據增強/數據集的訓練過程可以並行實現。
數據增強超參數
- 數據增強也會涉及到許多超參數:例如隨機裁剪的比率，顏色變化的分布，旋轉的角度等等。這些都可以參考別人成果中的超參數選取，從別人的成果中汲取經驗往往更有效率。當然，也可以根據自己的需要進行改造與再創新。