1.sigmod函数——（tf.nn.sigmoid()） sigmod函数性质： 1.如图像所示其值域在[0,1]之间，函数输出不是0均值的，权重更新效率降低，因为这会导致后层的神经元的输入是非0均值的信号，这会对梯度产生影响：假设后层神经元的输入都为正(e.g. x> ...

激活函数的作用如下-引用《TensorFlow实践》： 这些函数与其他层的输出联合使用可以生成特征图。他们用于对某些运算的结果进行平滑或者微分。其目标是为神经网络引入非线性。曲线能够刻画出输入的复杂的变化。TensorFlow提供了多种激活函数，在CNN中一般使用tf.nn.relu的原因是 ...

1、Relu激活函数 Relu激活函数（The Rectified Linear Unit）表达式为：f(x)=max(0,x)。 2、tensorflow实现 输出为： [[ 0. 10. 0.] [ 0. 2. 0.]] ...

初始化函数 功能 主要参数 tf.constant_initializer 将变量初始化为给定常量 常量的取值（tf.constant_initializer(value ...

一、tf.constant_initializer(value) 作用：将变量初始化为给定的常量，初始化一切所提供的值。 二、tf.zeros_initializer() 作用：将变量设置为全0；也可以简写为tf.Zeros() 三、tf.ones_initializer() 作用 ...

1.初始化为常量 tf.constant_initializer(value, dtype) 生成一个初始值为常量value的tensor对象 value：指定的常量 dtype：数据类型 tf.zeros_initializer(dtype) 生成一个初始值全为 ...

激活函数在深度学习中扮演着非常重要的角色，它给网络赋予了非线性，从而使得神经网络能够拟合任意复杂的函数。 如果没有激活函数，无论多复杂的网络，都等价于单一的线性变换，无法对非线性函数进行拟合。 目前，深度学习中最流行的激活函数为 relu, 但也有些新推出的激活函数，例如 swish、GELU ...

李宏毅老师的课件： http://speech.ee.ntu.edu.tw/~tlkagk/courses/MLDS_2018/Lecture/ForDeep.pdf B站的课件讲解： http ...