STN的主要思想是通過網絡學習一個變化參數,然后計算出新圖在原圖上對應的坐標,再通過某種填充方法填充新圖。
使得得到的新圖很好的適應nn訓練。可以理解為是拿來把不規范的圖像變換為標准形式的圖像。
網絡結構圖如下:
主要步驟分為以下三步:
(1) Localisation net
計算出變化參數,是一個仿射變換的參數,用來表示原圖與新圖坐標的對應。
(2) Grid generator
通過變換參數和新圖來計算出原圖坐標,這一步是做個矩陣運算,以目標圖V的所有坐標點為自變量,加入變化參數做一個矩陣運算,得到輸入圖U的坐標點。
(3) Sampler
通過原圖坐標以及原圖來填充新圖;通常采用雙線性插值,可以防止梯度不變。
具體的例子如下: