pytorch children和modules

参考1
参考2
官方论坛讨论

children: 只包括网络的第一级孩子，不包括孩子的孩子
modules: 深度优先遍历，先输出孩子，再输出孩子的孩子，孩子的孩子的孩子。。。

children的用法：加载预训练模型

resnet = models.resnet50(pretrained=True)
modules = list(resnet.children())[:-1]  # 去除最后的fc层
resnet_base = nn.Sequential(*modules)
linear = nn.Linear(resnet.fc.in_features,  10)   # 替换新的fc层

# 或者直接替换
resnet = models.resnet50(pretrained=True)
for param in resnet.parameters():      # 冻结参数
    param.requires_grad = False
resnet.fc = nn.Linear(resnet.fc.in_features, 100)

modules的用法：初始化网络的参数，参考官方实现

for m in self.modules():
    if isinstance(m, nn.Conv2d):
        nn.init.kaiming_normal_(m.weight, mode='fan_out', nonlinearity='relu')
    elif isinstance(m, (nn.BatchNorm2d, nn.GroupNorm)):
        nn.init.constant_(m.weight, 1)
        nn.init.constant_(m.bias, 0)