一、前言
1、空間不變性：我們使用的無論哪種方法都應該和物體的位置無關
- 局部性：神經網絡的底層應該只探索輸入圖像中的局部區域，而不考慮圖像遠處區域的內容，這就是“局部性”原則
- 平移不變性：不管出現在圖像中的哪個位置，神經網絡的底層應該對相同的圖像區域做類似的相應
2、卷積神經網絡（convolutional neural network）：是含有卷積層（convolutional layer）的神經網絡
二、二維互作運算
1、雖然卷積運算得名於卷積（convolution）運算，但我們通常在卷積層中使用更加直觀的互相關（cross-correlation）運算
2、基本概念
- 輸入是一個高和寬均為3的二維數組，記作為（3，3）
- 核數組的高和寬都是2，該數組在卷積計算中又稱為卷積核或過濾器
- 卷積核窗口（卷積窗口）的形狀取決於卷積核的高和寬
3、在二維互相關運算中，卷積窗口從輸入數組的最左上方開始，按從左往右、從上往下的順序依次在輸入數組中滑動。當卷積窗口滑動到某一位置時，窗口中的輸入子數組與核數組按元素相乘並求和，得到輸出數組中相應位置的元素。
4、輸出大小
輸入形狀：
卷積核窗口形狀：
import torch from torch import nn from d2l import torch as d2l
# 返回互相關運算后的輸出張量
def corr2d(X, K): #@save
"""計算二維互相關運算。"""
# K是核矩陣。h、w就是行數和列數
h, w = K.shape
# 定義輸出矩陣的大小
Y = torch.zeros((X.shape[0] - h + 1, X.shape[1] - w + 1))
# 雙重嵌套，給輸出矩陣賦值
for i in range(Y.shape[0]):
for j in range(Y.shape[1]):
Y[i, j] = (X[i:i + h, j:j + w] * K).sum()
return Y
2、通過輸入張量X和卷積核張量K，來驗證上述二維互相關運算的輸出
X = torch.tensor([[0.0, 1.0, 2.0], [3.0, 4.0, 5.0], [6.0, 7.0, 8.0]])
K = torch.tensor([[0.0, 1.0], [2.0, 3.0]])
print(type(K.shape))
corr2d(X, K)
#輸出結果
<class 'torch.Size'>
tensor([[19., 25.],
[37., 43.]])
四、卷積層
1、卷積層對輸入和卷積核權重進行互相關運算，並在添加標量偏置之后產生輸出
2、卷積層中的兩個被訓練的參數是卷積核權重和標量偏置。
3、像我們之前隨機初始化全連接層一樣，在訓練基於卷積層的模型時，我們也隨機初始化卷積核權重。
class Conv2D(nn.Module):
# kernel_size：超參數
def __init__(self, kernel_size):
super().__init__()
# torch.rand：均勻分布，從區間[0, 1)中抽取的一組隨機數（返回一個張量）
self.weight = nn.Parameter(torch.rand(kernel_size))
self.bias = nn.Parameter(torch.zeros(1))
def forward(self, x):
# 將X與self.weight進行互相關運算計算輸出張量+偏置量
return corr2d(x, self.weight) + self.bias
五、圖像中物體邊緣檢測
卷積層的簡單應用——檢測圖像中物體的邊緣，即找到像素變化的位置
1、首先，構造一個 6×8 像素的黑白圖像（中間四列為黑色（0），其余像素為白色（1））
# 用張量表示圖像
X = torch.ones((6, 8))
X[:, 2:6] = 0
X
print(X.T)
#輸出結果
tensor([[1., 1., 1., 1., 1., 1.],
[1., 1., 1., 1., 1., 1.],
[0., 0., 0., 0., 0., 0.],
[0., 0., 0., 0., 0., 0.],
[0., 0., 0., 0., 0., 0.],
[0., 0., 0., 0., 0., 0.],
[1., 1., 1., 1., 1., 1.],
[1., 1., 1., 1., 1., 1.]])
2、接下來，構造一個高度為 1 、寬度為 2 的卷積核 K
K = torch.tensor([[1.0, -1.0]])
3、對參數 X（輸入）和 我們設計的卷積核 K 執行互相關運算
Y = corr2d(X, K)
Y
#輸出結果
tensor([[ 0., 1., 0., 0., 0., -1., 0.],
[ 0., 1., 0., 0., 0., -1., 0.],
[ 0., 1., 0., 0., 0., -1., 0.],
[ 0., 1., 0., 0., 0., -1., 0.],
[ 0., 1., 0., 0., 0., -1., 0.],
[ 0., 1., 0., 0., 0., -1., 0.]])
4、可以發現，輸出Y中的1代表從白色到黑色的邊緣，-1代表從黑色到白色的邊緣。其它情況輸出為0
5、注意：卷積核K只可以檢測垂直邊緣
六、學習卷積核
1、通過查看“輸入-輸出”對來學習由 X 生成 Y 的卷積核。
2、首先，先構造一個卷積層，並將其卷積核初始化為隨機張量。
3、每次迭代中，我們比較 Y 與卷積層輸出的平方誤差，然后計算梯度來更新卷積核。
'''
nn.Conv2d的功能是：對由多個輸入平面組成的輸入信號進行二維卷積
輸入信號的形式：[ batch_size, channels, height_1, width_1 ]
1、batch_size:一個batch中樣例的個數
2、channels ：通道數，也就是當前層的深度
3、height_1：圖片的高
4、width_1：圖片的寬
'''
# 構造一個二維卷積層，它具有1個輸出通道和形狀為（1，2）的卷積核
# 第一個1是輸入通道，第二個1是輸出通道
conv2d = nn.Conv2d(1, 1, kernel_size=(1, 2), bias=False)
print(conv2d)
print(conv2d.weight)
print(conv2d.bias)
# 這個二維卷積層使用四維輸入和輸出格式（批量大小、通道、高度、寬度），
# 其中批量大小和通道數都為1
print(X)
print(Y)
print('----------')
# X是輸入，Y是輸出
# 在學習卷積核中，可以通過查看“輸入-輸出”對老學習由X生成Y的卷積核
X = X.reshape((1, 1, 6, 8))
Y = Y.reshape((1, 1, 6, 7))
print(X)
print(Y)
for i in range(10):
# 卷積層輸出
Y_hat = conv2d(X)
# 在每次迭代中，比較真實輸出Y與卷積層輸出的平方誤差
l = (Y_hat - Y)**2
conv2d.zero_grad()
# 然后計算梯度
l.sum().backward()
# 迭代（更新）卷積核
conv2d.weight.data[:] -= 3e-2 * conv2d.weight.grad
if (i + 1) % 2 == 0:
print(f'batch {i+1}, loss {l.sum():.3f}')
4、查看所學的卷積核的權重張量
conv2d.weight.data.reshape((1, 2)),K #輸出結果 (tensor([[ 0.9765, -1.0093]]), tensor([[ 1., -1.]]))
七、特征圖和感受野
1、二維卷積層輸出的二維數組可以看作輸入在空間維度（寬和高）上某一級的表征，也叫特征圖
2、影響元素x的前向計算的所所有可能輸入區域（可能大於輸入的實際尺寸），叫做x的感受野。
3、我們可以通過更深（嵌套使用）的卷積神經網絡使特征圖中單個元素的感受野變得更加廣闊，從而捕捉輸入上更大尺寸的特征。
八、小結
1、二維卷積層的核心計算是二維互相關運算。最簡單的形式是，對二維輸入數據和卷積核執行互相關操作，然后添加一個偏置。
2、可以設計一個卷積核來檢測圖像的邊緣
3、可以從數據中學習卷積核的參數。
4、核矩陣的大小是超參數。核矩陣和偏移是可學習的參數