1.batchnorm2d 深刻理解 对一批数据，计算各个维度上的均值和标准差，一批数据有几个维度，就有几个均值，下面代码加红部分，一批数据（2,3,64,64），均值有3个 2.numpy数据归一化 1）最值归一化： 把所有的数据映射到0-1之间 适用 ...

激活函数的作用如下-引用《TensorFlow实践》： 这些函数与其他层的输出联合使用可以生成特征图。他们用于对某些运算的结果进行平滑或者微分。其目标是为神经网络引入非线性。曲线能够刻画出输入的复杂的变化。TensorFlow提供了多种激活函数，在CNN中一般使用tf.nn.relu的原因是 ...

这是神经网络正向传播方程，为什么不能直接使a[1] = z[1] , a[2] = z[2] ,即 g ( z ) = z 这是因为他们直接把输入值输出了 为了说明问题，若a[2 ...

1. Sigmod 函数 Sigmoid 函数是应用最广泛的非线性激活函数之一，它可以将值转换为 $0$ 和 $1$ 之间，如果原来的输出具有这样的特点：值越大，归为某类的可能性越大， 那么经过 Sigmod 函数处理的输出就可以代表属于某一类别的概率。其数学表达式为： $$y ...

enumerate() 函数属于python的内置函数之一； python内置函数参考文档：python内置函数 转载自enumerate参考文档：python-enumerate() 函数 Python内置函数之enumerate() 函数 描述 enumerate() 函数 ...

激活函数有什么用？ 提到激活函数，最想问的一个问题肯定是它是干什么用的？激活函数的主要作用是提供网络的非线性表达建模能力，想象一下如果没有激活函数，那么神经网络只能表达线性映射，此刻即便是有再多的隐藏层，其整个网络和单层的神经网络都是等价的。因此正式由于激活函数的存在，深度 ...

一、激活函数 1.什么是激活函数 激活函数: 就是在神经网络的神经元上运行的函数，负责将神经元的输入映射到输出端。 2.为什么要有激活函数 如果不用激活函数，每一层的输出都是上一层的线性组合，从而导致整个神经网络的输出为神经网络输入的线性组合，无法逼近任意函数。 3. ...

1 什么是激活函数？ 激活函数，并不是去激活什么，而是指如何把“激活的神经元的特征”通过函数把特征保留并映射出来（保留特征，去除一些数据中是的冗余），这是神经网络能解决非线性问题关键。 目前知道的激活函数有如下几个：sigmoid,tanh，ReLu,softmax。 simoid函数也称 ...