Unfold+fold
1、nn.Unfold
nn.Unfold是pytorch實現的一個layer，那么這個layer是干嘛的呢？
torch.nn.Unfold(kernel_size: Union[T, Tuple[T, ...]],
dilation: Union[T, Tuple[T, ...]] = 1,
padding: Union[T, Tuple[T, ...]] = 0,
stride: Union[T, Tuple[T, ...]] = 1)
這里有四個參數，與我們熟知的卷積操作很相似，那么與卷積有什么區別？
實際上nn.Unfold就是卷積操作的第一步。
對於輸入特征圖shape=[N,C,H,W]，我們的Conv2d是怎么工作的？
-
第一步，padding特征圖；
-
第二步，過濾器窗口對應的特征圖區域，平鋪這些元素；
-
第三步，根據步長滑動窗口，並進行第二步的計算；
此時我們得到的特征圖\(shape=\left[ N, C \times k \times k, \frac{H}{stride} \times \frac{W}{stride} \right]\)
上面的shape這里給的是一般情況的特例，實際我們表示為：
\(shape=(N, C \times \prod(\text{kernel_size}), L)\)，其中\(L\)的計算為：
\[L = \prod_d \left\lfloor\frac{\text{spatial_size}[d] + 2 \times \text{padding}[d] % - \text{dilation}[d] \times (\text{kernel_size}[d] - 1) - 1}{\text{stride}[d]} + 1\right\rfloor \]以上三步實際就是為乘法做准備！
-
第四步，將卷積核與 Unfold 之后的對象相乘；
-
第五步：[nn.Fold]
nn.Unfold就是將輸入的特征圖“reshape”到卷積乘法所需要的形狀，只是很多元素在特征圖中是重疊出現的，所以叫unfold，即我們要先平鋪。
2、nn.Fold
pytorch接口：
torch.nn.Fold(output_size, kernel_size, dilation=1, padding=0, stride=1)
對於\(shape=(N, C \times \prod(\text{kernel_size}), L)\)的輸入，nn.Fold計算得到輸出\(shape=(N, C, output\_size[0], output\_size[1])\)。
那么pytorch是怎么處理這個過程的呢？輸入和輸出的shape明顯很難直觀對應起來，我們查詢源碼，可以追溯到torch._C._nn.col2im函數，巧了，我們並不能在源碼中找到其代碼塊。下面是參考程序員修練之路的博客給出的代碼，我們對其進行驗證：
def col2im(input, output_size, block_size):
p, q = block_size
sx = output_size[0] - p + 1
sy = output_size[1] - q + 1
result = np.zeros(output_size)
weight = np.zeros(output_size) # weight記錄每個單元格的數字重復加了多少遍
col = 0
# 沿着行移動，所以先保持列（i）不動，沿着行（j）走
for i in range(sy):
for j in range(sx):
result[j:j + p, i:i + q] += input[:, col].reshape(block_size, order='F')
weight[j:j + p, i:i + q] += np.ones(block_size)
col += 1
return result / weight
這個Fold與上面的結果是差距較大的，待下次再研究吧 ……
nn.Fold的處理過程
明顯上面的結果在nn.Fold上是不成立的，下面我們以下圖展示其處理過程：
Fold的處理步驟如下：
- 第一步： 從輸入中選擇一個block某通道上的所有元素，將其reshape到指定的形狀，這里的形狀就是kernal_size。需要注意的是dim=1的維度與kernal_size的關系。
- 第二步： 在輸出矩陣上填充reshape后的值。
- 第三步： 在輸入矩陣上使用stride=1進行滑窗，在輸出矩陣上，使用nn.Fold指定的stride進行滑窗，重復第一步、第二步。
完！