1. 参数初始化的目的是什么？ 为了让神经网络在训练过程中学习到有用的信息，这意味着参数梯度不应该为0。而我们知道在全连接的神经网络中，参数梯度和反向传播得到的状态梯度以及入激活值有关。那么参数初始化应该满足以下两个条件： 初始化必要条件一：各层激活值不会出现饱和现象 ...

torch.nn.Module()类有一些重要属性，我们可用其下面几个属性来实现对神经网络层结构的提取： 为方面说明，我们首先搭建一个简单的神经网络模型，后面所有的内容都是基于这个模型展开的。 运行 ...

1 参数初始化 神经网络的参数学习是一个非凸优化问题，在使用梯度下降法进行网络参数优化时，参数初始值的选取十分关键，关系到网络的优化效率（梯度消失和梯度爆炸问题）和泛化能力（局部最优解问题）。参数初始化的方式通常有以下三种： 预训练初始化：不同的参数初始值会收敛到不同的局部最优解 ...

我们知道，训练神经网络的时候需先给定一个初试值，然后才能通过反向传播等方法进行参数更新。所以参数的初始化也是门学问。 全0初始化：不能这么做！！！ 为什么呢？因为这样做会导致所有参数都无法被更新。 网络上有好多解释，感觉都不够简洁，其实这个原理很简单。 我们想象一个三层的神经网络，节点分别为 ...

权重初始化 模型权重的初始化对于网络的训练很重要, 不好的初始化参数会导致梯度传播问题, 降低训练速度; 而好的初始化参数, 能够加速收敛, 并且更可能找到较优解. 如果权重一开始很小，信号到达最后也会很小；如果权重一开始很大，信号到达最后也会很大。不合适的权重初始化会使得隐藏层的输入 ...

self.state_dict()展示效果: ...

根据deeplearn.ai吴恩达深度学习课程3.11总结 因为如果W初始化为0 则对于任何Xi，每个隐藏层对应的每个神经元的输出都是相同的，这样即使梯度下降训练，无论训练多少次，这些神经元都是对称的，无论隐藏层内有多少个结点，都相当于在训练同一个函数。 ...

在定义网络时，pythorch会自己初始化参数，但也可以自己初始化，详见官方实现 ...