圖像卷積與反卷積（后卷積，轉置卷積）

一、圖像卷積類型

　　在2維圖像卷積計算中，大致分為full、same和valid這三類。

　　1、valid卷積操作

　　

　　　　　　　　　　　　圖1 valid卷積操作

　　valid卷積的圖像大小計算公式為：滑動步長為S，圖片大小為N1xN1，卷積核大小為N2xN2，卷積后圖像大小：（(N1-N2)/S+1）x（ (N1-N2)/S+1）

　　如圖1，滑動步長為1，圖片大小為5x5，卷積核大小為3x3，卷積后圖像大小：3x3

　　2、same卷積操作

　　

 

　　　　　　　　圖2 same卷積操作

　　.same卷積的圖像大小計算公式為: 滑動步長為1，圖片大小為N1xN1，卷積核大小為N2xN2，卷積后圖像大小：N1xN1

　　same卷積會自動補全圖像，使得輸入輸出圖像保證相同大小的輸出。

　　3、full卷積操作

　　

　　　　　　　　圖3 same卷積操作

　　

　　valid卷積的圖像大小計算公式為:滑動步長為S，圖片大小為N1xN1，卷積核大小為N2xN2，卷積后圖像大小：(N1-N2)/S+1 x (N1-N2)/S+1

　　如圖3，滑動步長為1，圖片大小為5x5，卷積核大小為3x3，卷積后圖像大小：3x3

 

二、反卷積

　　

　　　　　　圖4 反卷積

    假設原圖是3X3，首先使用上采樣讓圖像變成7X7，可以看到圖像多了很多空白的像素點。使用一個3X3的卷積核對圖像進行滑動步長為1的valid卷積，得到一個5X5的圖像，我們知道的是使用上采樣擴大圖片，使用反卷積填充圖像內容，使得圖像內容變得豐富，這也是CNN輸出end to end結果的一種方法。

　　目前使用得最多的deconvolution有2種，上文都已經介紹。 
　　方法1：full卷積， 完整的卷積可以使得原來的定義域變大
　　方法2：記錄pooling index，然后擴大空間，再用卷積填充

　　圖像的deconvolution過程如下，

　　輸入：2x2， 卷積核：4x4， 滑動步長：3， 輸出：7x7
　　即輸入為2x2的圖片經過4x4的卷積核進行步長為3的反卷積的過程
　　1.輸入圖片每個像素進行一次full卷積，根據full卷積大小計算可以知道每個像素的卷積后大小為 1+4-1=4， 即4x4大小的特征圖，輸入有4個像素所以4個4x4的特征圖
　　2.將4個特征圖進行步長為3的fusion（即相加）； 例如紅色的特征圖仍然是在原來輸入位置（左上角），綠色還是在原來的位置（右上角），步長為3是指每隔3個像素進行fusion，重疊部分進行相加，即輸出的第1行第4列是由紅色特陣圖的第一行第四列與綠色特征圖的第一行第一列相加得到，其他如此類推。

　　可以看出翻卷積的大小是由卷積核大小與滑動步長決定， in是輸入大小， k是卷積核大小， s是滑動步長， out是輸出大小
　　得到 out = (in - 1) * s + k
　　上圖過程就是， (2 - 1) * 3 + 4 = 7