最近在刷吴恩达的coursea的机器学习视频，学完基于梯度下降的逻辑回归和基于梯度下降的神经网络后，就在反思这两者之间的区别，为什么必须使用神经网络？ 逻辑回归不能替代神经网络么？他们的区别是什么呢？ 答案：逻辑回归不能替代神经网络。 　　 机器学习的本质其实是训练出一组参数 ...

原文：https://www.zybuluo.com/hanbingtao/note/476663 写得非常好，适合入门！ 神经元 神经元和感知器本质上是一样的，只不过我们说感知器的时候，它的激活函数是阶跃函数；而当我们说神经元时，激活函数往往选择为sigmoid函数或tanh函数。如下图 ...

相信每一个刚刚入门神经网络（现在叫深度学习）的同学都一定在反向传播的梯度推导那里被折磨了半天。在各种机器学习的课上明明听得非常明白，神经网络无非就是正向算一遍Loss，反向算一下每个参数的梯度，然后大家按照梯度更新就好了。问题是梯度到底怎么求呢？课上往往举的是标量的例子，可是一到你做作业 ...

相信每一个刚刚入门神经网络（现在叫深度学习）的同学都一定在反向传播的梯度推导那里被折磨了半天。在各种机器学习的课上明明听得非常明白，神经网络无非就是正向算一遍Loss，反向算一下每个参数的梯度，然后大家按照梯度更新就好了。问题是梯度到底怎么求呢？课上往往举的是标量的例子，可是一到你做作业 ...

当今人工智能主流方向 —— 连接主义，即仿脑神经元连接，实现感性思维，如神经网络。 神经网络的一般设计过程： 准备数据：采集大量“特征/标签”数据 搭建网络：搭建神经网络结构 优化参数：训练网络获取最佳参数（反向传播） 应用网络：将网络保存为模型，输入新数据，输出分类 ...

神经网络 神经网络可以理解为一个输入x到输出y的映射函数，即f(x)=y，其中这个映射f就是我们所要训练的网络参数w，我们只要训练出来了参数w，那么对于任何输入x，我们就能得到一个与之对应的输出y。只要f不同，那么同一个x就会产生不同的y，我们当然是想要获得最符合真实数据的y，那么我们就要训练 ...

在FNN（DNN）的前向传播，反向梯度推导以及代码验证中，我们不仅总结了FNN（DNN）这种神经网络结构的前向传播和反向梯度求导公式，还通过tensorflow的自动求微分工具验证了其准确性。在本篇章，我们将专门针对CNN这种网络结构进行前向传播介绍和反向梯度推导。更多相关内容请见《神经网络的梯度 ...

在本篇章，我们将专门针对vanilla RNN，也就是所谓的原始RNN这种网络结构进行前向传播介绍和反向梯度推导。更多相关内容请见《神经网络的梯度推导与代码验证》系列介绍。 注意： 本系列的关注点主要在反向梯度推导以及代码上的验证，涉及到的前向传播相对而言不会做太详细的介绍 ...