論文筆記 — L2-Net: Deep Learning of Discriminative Patch Descriptor in Euclidean Space


論文:

  本文主要貢獻:

  1、提出了一種新的采樣策略,使網絡在少數的epoch迭代中,接觸百萬量級的訓練樣本;

  2、基於局部圖像塊匹配問題,強調度量描述子的相對距離;

  3、在中間特征圖上加入額外的監督;

  4、描述符的緊實性。

  基於CNN的局部圖像塊匹配方法可以分為兩類:一是,作為二分類問題,不存在明確的特征描述子概念,好處是准確率相對第二類高很多,但可移植性能差;二是,CNN輸出學習的圖像塊描述子,沒有度量學習層,好處是可以作為以前的很多基於手工描述子方法應用的直接替代。

  A、網絡框架:

  左邊是輸入:32*32*1圖像塊,輸出128的特征描述子;右邊是雙塔結構,The input of the tower on the left is the same with a solo L2-Net, while the input of the tower on the right is generated by cropping and resizing the central part of the original patches.

 B、數據集

  Brown dataset 和HPatches dataset 數據集

C、訓練數據的采樣策略

  由於采集的數據patch中正負樣本極度不平衡,大量的負樣本,之前的方法是選取等量的正負樣本作為固定的訓練數據集,但這違背了實際中測試數據存在大量負樣本的事實。本文采用隨機采樣的方式,,其中1和2是匹配點對,經過特征提取網絡得到,通過L2范數計算特征描述子的距離矩陣,其大小為p*p,對角線上的是正樣本點對距離,其他位置是負樣本。

D、損失函數

  包括三個方面:

  • (1)描述子相似性。相對的距離度量匹配和不匹配圖像塊對;
  • (2)描述子的緊實性。讓更少維度的描述子包含足夠多的特征信息,減少冗余,也就是說描述子的維度盡量減少相關性冗余;
  • (3)在特征提取網絡中間層的特征圖增加約束,而不只是在最后,匹配的特征圖更相近,不匹配遠離。

 E、訓練及預測

  左邊框架正常輸入64*64*1圖像塊;右邊訓練時,用訓練好的左邊框架參數初始化雙塔結構的左邊網絡,左邊固定不變,更新右邊參數直至收斂。

  數據擴充方式:垂直、水平翻轉;選擇90,180,270度。

  結論:

   (1)緊致性學習很重要。由於數據量巨大,對於網絡來說,記住數據比學習泛化性特征更容易些,因此如果沒有這個約束,網絡過擬合嚴重,學習輸出的特征相關性較大,存在特征維度的冗余,因此緊致性約束的重要性高於訓練數據選擇的策略,同時解決了過擬合問題;

  (2)訓練樣本的選擇策略很重要,充分利用數據。

  (3)損失函數的設計,從多個角度約束特征描述子的學習,得到更緊致的特征,特征圖的約束提高了網絡性能。

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM