標檢測任務是計算機視覺的基礎任務之一,主要任務是對圖像中的目標進行分類和定位。但是現有的目標檢測任務基於大量的標注的圖像進行訓練,限制了某些場景下的應用和推廣。
通過應用較少的標注數據的半監督方法或者利用不完全匹配的標注數據的弱監督方法,利用極少的標注數據學習具有一定泛化能力的模型顯得較為重要,這也是小樣本學習的所需要解決的問題。
人類視覺可以通過對新事物極少的學習就可以獲得永久的記憶能力。傳統的目標檢測方法需要借助大量的數據獲得具有一定泛化能力的模型在新數據中取得應用。
如圖所示的就是一個比較經典的小樣本檢測方法,基於包含充足數據的基類,模型試圖學習一定的泛化能力,並僅靠極少數的標注數據在新類上進行測試。通過巧妙的設計訓練方法,模型及loss,引導模型在極少量標注數據中學習具有一定泛化能力的檢測模型。
在小樣本檢測中不得不提的是C-way K-shot問題。在元訓練階段,首先從訓練集中隨機抽取C個類別,每個類別包含K個樣本,構成模型的支撐集,即為一個元任務。目的是為了使得模型從C X K個數據中學習識別C個類別(K值很小,通常K<10)
一、小樣本學習
按照解決方案分為四類:
- 基於度量學習
- 基於元學習
- 基於數據增強
- 基於多模態的方法
1、基於度量學習
從改善模型框架入手,對於輸入圖像在訓練階段,模型頭部輸出兩個樣本屬於同一類別的概率;在測試階段,模型輸出測試樣本與支撐集所有樣本屬於同一類別的概率,最高概率所對應的類別即為最后的結果。匹配網絡支撐集和查詢圖像采用不同的特征提取器,分類結果由查詢圖像與支撐集所有樣本的預測值的加權得到。
2、基於元學習的方法
利用記憶增強網絡(LSTM,RNN等)
3、基於數據增強的方法
通過數據增強來彌補數據量不充足的問題,擴充少量原始樣本
4、基於多模態的方法
在少量樣本的情況下引入其他模態信息進行融合
二、小樣本目標檢測
小樣本目標檢測方法主要基於傳統的經典成熟的目標檢測方法,借鑒小樣本學習框架,構建針對目標檢測的小樣本解決方案,現有的方法分為以下三類:
- 基於微調的方法
- 基於模型的方法
- 基於度量學習的方法
1、基於微調的方法
基於微調的遷移學習的方法,首先在大規模數據集上進行學習源域模型,並使用該模型參數初始化目標域模型,之后在小規模數據集上進行微調。
2、基於模型的方法
構建新的目標檢測模型來解決小樣本目標檢測的問題
3、基於度量學習的方法
基於度量學習的方法,模型由基本檢測模型和元模型組成,基礎模型在基礎訓練中提供基礎類的特征,元模型學習基礎特征用於輸入圖像的重要權重系數,進而調整基礎特征重要程度在小樣本上進行檢測。
三、小樣本目標檢測現有的問題
1、依賴於傳統的目標檢測領域中經典成熟的方法,但是后續的推理速度緩慢,不能滿足實時性需求。
2、現有的方法泛化性能差強人意,隨小樣本類別增加,效果下降明顯
來源:知乎 https://zhuanlan.zhihu.com/p/143444970