卷積和反卷積詳細說明

本文轉載自查看原文 2021-05-14 10:44 2991 deep learning/ DeepLearning

轉載:https://zhuanlan.zhihu.com/p/124626648

轉載：https://www.cnblogs.com/wanghui-garcia/p/10791328.html

1. 卷積 Convolution

1.1 卷積輸出尺寸

輸出圖像尺寸可以根據以下公式獲得

$o = \frac{i+2p-k}{s} +1$

$i$ ：輸入圖像尺寸
$p$ : padding 大小
$k$ : 卷積核大小
$s$ : 步長

卷積：藍色的輸入圖片（4 x4）,深藍色代表卷積核（3 x 3）,綠色為輸出圖像（2 x 2）

假如現在有一個4 x 4的圖片, 使用一個3 x 3的kernel 進行卷積

圖片： $I = \begin{equation} \left[\begin{array}{llll}x_{1} & x_{2} & x_{3} & x_{4} \\ x_{5} & x_{6} & x_{7} & x_{8} \\ x_{9} & x_{10} & x_{11} & x_{12} \\ x_{13} & x_{14} & x_{15} & x_{16}\end{array}\right] \end{equation}$ 卷積核： $\begin{equation} \left[\begin{array}{lll}w_{0,0} & w_{0,1} & w_{0,2} \\ w_{1,0} & w_{1,1} & w_{1,2} \\ w_{2,0} & w_{2,1} & w_{2,2}\end{array}\right] \end{equation}$

strides = 1 , padding = 0, 卷積后，輸出圖像的尺寸為 $2 \times 2$

如果卷積核很大，那么可以使用傅里葉變換, 提升卷積的性能。

2. 反卷積 Transposed Convolution

由於卷積核一般比原始圖像小，所以卷積之后的圖像尺寸往往會變小。有時候我們需要將卷積后的圖像還原成原始圖像的尺寸，即實現圖像從小分辨率到大分辨率的映射，這種操作就叫做上采樣（Upsampling）。而反卷積正是一種上采樣方法。

反卷積，又稱為轉置卷積（Transposed Convolution,），它是一種特殊的卷積，先padding來擴大圖像尺寸，緊接着跟正向卷積一樣，旋轉卷積核180度，再進行卷積計算。看上去就像，已知正向卷積的輸出圖像，卷積核，得到正向卷積中的原始圖像（並非真的得到原始圖像，像素點是不一樣的，但是尺寸是一致的）。

它看上去像是正向卷積的逆運算，但其實並不是。因為反卷積只能還原原始圖像的尺寸，但是並不能真的恢復原始圖像內容，即每個元素值其實是不一樣的。

卷積過程中：

$o$ 表示輸出， $i$ 表示輸入， $k$ :表示kernel的大小， $p$ ：表示padding, $s$ : 表達strides

反卷積過程中：

$o^{'}$ 表示輸出， $i^{'}$ 表示輸入， $k^{'}$ :表示kernel的大小， $p^{'}$ ：表示padding, $s^{'}$ : 表達strides

卷積后的 $o$ 則反卷積的 $i^{'}$ , 一般卷積核是不會變的， $k=k^{'}$ ，需要注意的是，卷積與反卷積的padding很可能是不一樣。

2.1 Striding

反卷積的Striding跟卷積有點不一樣，它在輸入的每個元素之間插入 $s^{'} -1$ 個值為0的元素

Transposed convolution : Striding

如果我們將反卷積看成是一種特殊的卷積，它其實是根據反卷積中指定的步長strides, 修改了輸入 $i^{'}$ , 根據strding 進行補0操作，得到 $I_s$ , 其大小變為 $i^{'}_s = i^{'} + (s^{'}-1)\times(i^{'}-1)$ , 然后對 $I_s$ 進行s=1的卷積。例如，對應上面的三個子圖， $s^{'}=1$ 對應的 $i^{'}_s = 3$ , $s^{'}=2$ 對應的 $i^{'}_s = 5$ ， $s^{'}=3$ 對應的 $i^{'}_s = 7$ 。