小記named_modules(),named_parameters(),state_dict()；以及如何部分初始化網絡

• name_modules()

　　首先搞清楚modules()是DFS策略遍歷返回網絡所有的類（即只返回param），

　　named_modules()則是DFS返回(name, param)

 

• named_parameters()

　　首先搞清楚parameters()是遍歷返回所有的含有weight和bias等參數的(val, requires_grad)（weight和bias各一個(val, requires_grad)），

　　named_parameters()則是返回(name, (val, requires_grad))

 

• state_dict()

　　前面二者都是迭代器類型，需要使用for語句進行訪問，而state_dict()為字典類型（其為named_parameters()的字典），使用for name, param in xx.items()即可訪問

 

• 部分初始化網絡

　　首先根據name確定seq，然后根據isinstance確定param，示例代碼如下：

for name, param in self.named_modules():
    if 'cls' in name:
        if isinstance(param, nn.Linear):
            param.weight.data.normal_(0.0, 0.01)
            param.bias.data.normal_(0.0, 0.01)
            if isinstance(param, nn.BatchNorm1d):
                param.weight.data.normal_(1.0, 0.01)
                param.bias.data.fill_(0)