pytorch children和modules

參考1
參考2
官方論壇討論

children: 只包括網絡的第一級孩子，不包括孩子的孩子
modules: 深度優先遍歷，先輸出孩子，再輸出孩子的孩子，孩子的孩子的孩子。。。

children的用法：加載預訓練模型

resnet = models.resnet50(pretrained=True)
modules = list(resnet.children())[:-1]  # 去除最后的fc層
resnet_base = nn.Sequential(*modules)
linear = nn.Linear(resnet.fc.in_features,  10)   # 替換新的fc層

# 或者直接替換
resnet = models.resnet50(pretrained=True)
for param in resnet.parameters():      # 凍結參數
    param.requires_grad = False
resnet.fc = nn.Linear(resnet.fc.in_features, 100)

modules的用法：初始化網絡的參數，參考官方實現

for m in self.modules():
    if isinstance(m, nn.Conv2d):
        nn.init.kaiming_normal_(m.weight, mode='fan_out', nonlinearity='relu')
    elif isinstance(m, (nn.BatchNorm2d, nn.GroupNorm)):
        nn.init.constant_(m.weight, 1)
        nn.init.constant_(m.bias, 0)