從頭學pytorch(十):模型參數訪問/初始化/共享

模型參數的訪問初始化和共享

參數訪問

參數訪問:通過下述兩個方法．這兩個方法是在nn.Module類中實現的.繼承自該類的子類也有相同方法.

• .parameters()
• .named_parameters()

import torch
from torch import nn
from torch.nn import init

net = nn.Sequential(nn.Linear(4, 3), nn.ReLU(), nn.Linear(3, 1))  # pytorch已進行默認初始化

print(type(net.named_parameters()))
for name, param in net.named_parameters():
    print(name, param.size())

輸出

<class 'generator'>
0.weight torch.Size([3, 4])
0.bias torch.Size([3])
2.weight torch.Size([1, 3])
2.bias torch.Size([1])

可見返回的名字自動加上了層數的索引作為前綴。
我們再來訪問net中單層的參數。對於使用Sequential類構造的神經網絡，我們可以通過方括號[]來訪問網絡的任一層。索引0表示隱藏層為Sequential實例最先添加的層。

for name, param in net[0].named_parameters():
    print(name, param.size(), type(param))

輸出：

weight torch.Size([3, 4]) <class 'torch.nn.parameter.Parameter'>
bias torch.Size([3]) <class 'torch.nn.parameter.Parameter'>

因為這里是單層的所以沒有了層數索引的前綴。另外返回的param的類型為torch.nn.parameter.Parameter，其實這是Tensor的子類，和Tensor不同的是如果一個Tensor是Parameter，那么它會自動被添加到模型的參數列表里，來看下面這個例子。

class MyModel(nn.Module):
    def __init__(self, **kwargs):
        super(MyModel, self).__init__(**kwargs)
        self.weight1 = nn.Parameter(torch.rand(20, 20))
        self.weight2 = torch.rand(20, 20)
    def forward(self, x):
        pass
    
n = MyModel()
for name, param in n.named_parameters():
    print(name)

輸出:

weight1

上面的代碼中weight1在參數列表中但是weight2卻沒在參數列表中。

因為Parameter是Tensor，即Tensor擁有的屬性它都有，比如可以根據data來訪問參數數值，用grad來訪問參數梯度。

weight_0 = list(net[0].parameters())[0]
print(weight_0.data)
print(weight_0.grad) # 反向傳播前梯度為None
Y.backward()
print(weight_0.grad)

輸出：

tensor([[ 0.2719, -0.0898, -0.2462,  0.0655],
        [-0.4669, -0.2703,  0.3230,  0.2067],
        [-0.2708,  0.1171, -0.0995,  0.3913]])
None
tensor([[-0.2281, -0.0653, -0.1646, -0.2569],
        [-0.1916, -0.0549, -0.1382, -0.2158],
        [ 0.0000,  0.0000,  0.0000,  0.0000]])

參數初始化

通常對各種layer,pytorch已經實現好了默認的比較合理的初始化方式,不需要我們操心.（不同類型的layer具體采樣的哪一種初始化方法的可參考源代碼）。

如果要自己初始化權重,則遍歷net的所有參數,對其執行相應的初始化策略.例如在下面的例子中，我們將權重參數初始化成均值為0、標准差為0.01的正態分布隨機數，並依然將偏差參數清零。

for name, param in net.named_parameters():
    if 'weight' in name:
        init.normal_(param, mean=0, std=0.01)
        print(name, param.data)
    elif 'bias' in name:
        init.constant_(param,0)
        print(name, param.data)

上面使用了torch.nn.init中自帶的初始化方法,也可以自己實現一個滿足自己需求的初始化方法.
我們先來看看PyTorch是怎么實現這些初始化方法的，例如torch.nn.init.normal_：

def normal_(tensor, mean=0, std=1):
    with torch.no_grad():
        return tensor.normal_(mean, std)

可以看到這就是一個inplace改變Tensor值的函數，而且這個過程是不記錄梯度的。
類似的我們來實現一個自定義的初始化方法。在下面的例子里，我們令權重有一半概率初始化為0，有另一半概率初始化為\([-10,-5]\)和\([5,10]\)兩個區間里均勻分布的隨機數。

def init_weight_(tensor):
    with torch.no_grad():
        tensor.uniform_(-10, 10)
        tensor *= (tensor.abs() >= 5).float()

for name, param in net.named_parameters():
    if 'weight' in name:
        init_weight_(param)
        print(name, param.data)

由於在init_weight_()中,改變這些param時,聲明了torch.no_grad(),所以我們還可以通過改變這些參數的data來改寫模型參數值同時不會影響梯度:

for name, param in net.named_parameters():
    if 'bias' in name:
        param.data += 1
        print(name, param.data)

輸出：

0.bias tensor([1., 1., 1.])
2.bias tensor([1.])

參數共享

在有些情況下，我們希望在多個層之間共享模型參數。以前的博文提到了如何共享模型參數: Module類的forward函數里多次調用同一個層。此外，如果我們傳入Sequential的模塊是同一個Module實例的話參數也是共享的，下面來看一個例子:

linear = nn.Linear(1, 1, bias=False)
net = nn.Sequential(linear, linear) 
print(net)
for name, param in net.named_parameters():
    init.constant_(param, val=3)
    print(name, param.data)

輸出：

Sequential(
  (0): Linear(in_features=1, out_features=1, bias=False)
  (1): Linear(in_features=1, out_features=1, bias=False)
)
0.weight tensor([[3.]])

因為在內存中，這兩個線性層其實一個對象:

print(id(net[0]) == id(net[1]))
print(id(net[0].weight) == id(net[1].weight))

輸出:

True
True

因為模型參數里包含了梯度，所以在反向傳播計算時，這些共享的參數的梯度是累加的:

x = torch.ones(1, 1)
y = net(x).sum()
print(y)
y.backward()
print(net[0].weight.grad) # 單次梯度是3，兩次所以就是6

輸出:

tensor(9., grad_fn=<SumBackward0>)
tensor([[6.]])

與之比較的是

linear1 = nn.Linear(1, 1, bias=False)
linear2 = nn.Linear(1, 1, bias=False)
net = nn.Sequential(linear1, linear2) 
print(net)
for name, param in net.named_parameters():
    init.constant_(param, val=3)
    print(name, param.data)

x = torch.ones(1, 1)
y = net(x).sum()
print(y)
y.backward()
print(net[0].weight.grad) 

輸出

Sequential(
  (0): Linear(in_features=1, out_features=1, bias=False)
  (1): Linear(in_features=1, out_features=1, bias=False)
)
0.weight tensor([[3.]])
1.weight tensor([[3.]])

tensor(9., grad_fn=<SumBackward0>)
tensor([[3.]])

可以看到,這里linear1和linear2不是同一個對象.所以net的參數是有兩個的.反向傳播后,net[0].weight.grad是tensor([[3.]])