pytorch查看網絡權重參數更新、梯度的小實例

本文內容來自知乎：淺談 PyTorch 中的 tensor 及使用

首先創建一個簡單的網絡，然后查看網絡參數在反向傳播中的更新，並查看相應的參數梯度。

# 創建一個很簡單的網絡：兩個卷積層，一個全連接層
class Simple(nn.Module):
    def __init__(self):
        super().__init__()
        self.conv1 = nn.Conv2d(3, 16, 3, 1, padding=1, bias=False)
        self.conv2 = nn.Conv2d(16, 32, 3, 1, padding=1, bias=False)
        self.linear = nn.Linear(32*10*10, 20, bias=False)

    def forward(self, x):
        x = self.conv1(x)
        x = self.conv2(x)
        x = self.linear(x.view(x.size(0), -1))
        return x

model = Simple()
# 為了方便觀察數據變化，把所有網絡參數都初始化為 0.1
for m in model.parameters():
    m.data.fill_(0.1)

criterion = nn.CrossEntropyLoss()
optimizer = torch.optim.SGD(model.parameters(), lr=1.0)

model.train()
# 模擬輸入8個 sample，每個的大小是 10x10，
# 值都初始化為1，讓每次輸出結果都固定，方便觀察
images = torch.ones(8, 3, 10, 10)
targets = torch.ones(8, dtype=torch.long)

output = model(images)
print(output.shape)
# torch.Size([8, 20])

loss = criterion(output, targets)

print(model.conv1.weight.grad)
# None
loss.backward()
print(model.conv1.weight.grad[0][0][0])
# tensor([-0.0782, -0.0842, -0.0782])
# 通過一次反向傳播，計算出網絡參數的導數，
# 因為篇幅原因，我們只觀察一小部分結果

print(model.conv1.weight[0][0][0])
# tensor([0.1000, 0.1000, 0.1000], grad_fn=<SelectBackward>)
# 我們知道網絡參數的值一開始都初始化為 0.1 的

optimizer.step()
print(model.conv1.weight[0][0][0])
# tensor([0.1782, 0.1842, 0.1782], grad_fn=<SelectBackward>)
# 回想剛才我們設置 learning rate 為 1，這樣，
# 更新后的結果，正好是 (原始權重 - 求導結果) ！

optimizer.zero_grad()
print(model.conv1.weight.grad[0][0][0])
# tensor([0., 0., 0.])
# 每次更新完權重之后，我們記得要把導數清零啊，
# 不然下次會得到一個和上次計算一起累加的結果。
# 當然，zero_grad() 的位置，可以放到前邊去，
# 只要保證在計算導數前，參數的導數是清零的就好。