科霍宁SOFM是一个前馈无监督学习网络，它由两层组成：输入层和输出层。输入层，也称匹配层，计算输入模式向量与权重向量的距离，即匹配度；输出层也叫比赛层，诸神按照匹配度比赛，匹配度大(距离小)的神经元确定获胜。获胜神经元及其场中神经元的权重向量在更接近模式向量的方向上更新。经过反复的竞争和更新 ...

目录 最优化方法 1 - 梯度下降 Gradient Descent 2 - Mini-Batch Gradient descent 3 - 动量Momentum 4 - Adam 5 - 总结 最优化方法 本文只对吴恩达最优化方法中原 ...

学习率如何影响训练？ from:https://www.jiqizhixin.com/articles/2017-11-17-2 深度学习模型通常由随机梯度下降算法进行训练。随机梯度下降算法有许多 ...

本文来自于 [1] BP神经网络 和 [2] Wikipedia: Backpropagation，感谢原文作者！ 1- M-P模型 　　按照生物神经元，我们建立M-P模型。为了使得建模更加简单，以便于进行形式化表达，我们忽略时间整合作用、不应期等复杂因素，并把 ...

一、神经元 神经元模型是一个包含输入，输出与计算功能的模型。（多个输入对应一个输出） 一个神经网络的训练算法就是让权重（通常用w表示）的值调整到最佳，以使得整个网络的预测效果最好。 事实上，在神经网络的每个层次中，除了输出层以外，都会含有这样一个偏置单元。这些节点是默认存在的。它本质上 ...

一、前言 这篇卷积神经网络是前面介绍的多层神经网络的进一步深入，它将深度学习的思想引入到了神经网络当中，通过卷积运算来由浅入深的提取图像的不同层次的特征，而利用神经网络的训练过程让整个网络自动调节卷积核的参数，从而无监督的产生了最适合的分类特征。这个概括可能有点抽象，我尽量在下面描述细致一些 ...

　　无论即将到来的是大数据时代还是人工智能时代，亦或是传统行业使用人工智能在云上处理大数据的时代，作为一个有理想有追求的程序员，不懂深度学习这个超热的技术，会不会感觉马上就out了？现在救命稻草来了，中国知名黑客教父，东方联盟创始人郭盛华曾在新浪微博作了以下技术分析： 　　递归神经网络是深度学习 ...

根据本文内容用 Numpy 实现的一个前馈神经网络 https://github.com/massquantity/DNN_implementation 本篇本来是想写神经网络反向传播算法，但感觉光写这个不是很完整，所以就在前面将相关的求导内容一并补上。所谓的神经网络求导，核心是损失函数对线 ...