小记named_modules(),named_parameters(),state_dict()；以及如何部分初始化网络

• name_modules()

　　首先搞清楚modules()是DFS策略遍历返回网络所有的类（即只返回param），

　　named_modules()则是DFS返回(name, param)

 

• named_parameters()

　　首先搞清楚parameters()是遍历返回所有的含有weight和bias等参数的(val, requires_grad)（weight和bias各一个(val, requires_grad)），

　　named_parameters()则是返回(name, (val, requires_grad))

 

• state_dict()

　　前面二者都是迭代器类型，需要使用for语句进行访问，而state_dict()为字典类型（其为named_parameters()的字典），使用for name, param in xx.items()即可访问

 

• 部分初始化网络

　　首先根据name确定seq，然后根据isinstance确定param，示例代码如下：

for name, param in self.named_modules():
    if 'cls' in name:
        if isinstance(param, nn.Linear):
            param.weight.data.normal_(0.0, 0.01)
            param.bias.data.normal_(0.0, 0.01)
            if isinstance(param, nn.BatchNorm1d):
                param.weight.data.normal_(1.0, 0.01)
                param.bias.data.fill_(0)