一、全连接层 　　tensorflow中用tf.keras.layers.Dense()这个类作为全连接的隐藏层，下面是参数介绍： 　　tf.keras.layers.Dense() inputs = 64, # 输入该网络层的数据 units = 10, # 输出的维度大小 ...

Pytorch的训练模式和测试模式切换 由于训练的时候Dropout和BN层起作用，每个batch BN层的参数不一样，dropout在训练时随机失效点具有随机性，所以训练和测试要区分开来。 使用时切记要根据实际情况切换： model.train()model.eval() 切记 ...

1. 池化层 在卷积网络中， 通常会在卷积层之间增加池化（Pooling） 层， 以降低特征图的参数量， 提升计算速度， 增加感受野， 是一种降采样操作。池化是一种较强的先验， 可以使模型更关注全局特征而非局部出现的位置， 这种降维的过程可以保留一些重要的特征信息， 提升容错能力 ...

于深度学习的各个地方，由于在实习过程中需要修改网络，修改的网络在训练过程中无法收敛，就添加了BN层进去 ...

　　以前使用Caffe的时候没注意这个，现在使用预训练模型来动手做时遇到了。在slim中的自带模型中inception, resnet, mobilenet等都自带BN层，这个坑在《实战Google深度学习框架》第二版这本书P166里只是提了一句，没有做出解答。 　　书中说训练时和测试时使用 ...

全连接层加dropout层防止模型过拟合，提升模型泛化能力 卷积网络中参数较少，加入dropout作用甚微。然而，较低层的中加入dropout是仍然有帮助，因为它为较高的全连接层提供了噪声输入，从而防止它们过拟合。 一般对于参数较多的模型，效果更好 做法 1、其实Dropout很容易实现 ...

相关包导入 数据集预处理思路 四种天气数据集的所有图像放在同一个文件夹下，并以天气类型和图像序号为文件名 四种天气分别是：cloudy、rain、shine、sunrise ImageFold ...

常规的神经网络连接结构如下  当网络训练完成, 在推导的时候为了加速运算, 通常将卷积层和 batch-norm 层融合, 原理如下 \[\begin{align*} y_{conv} &= w \cdot x + b \\ y_{bn} &= \gamma ...