1、计算神经网络的输出（正向传播）： 矩阵表示： 向量化： 2、多个样本的向量化（正向传播）： 3、激活函数： （1）sigmoid函数仅用于二分分类的情况，较少使用； a = 1 / (1 + e-z) g'(z) = g(z ...

无论即将到来的是大数据时代还是人工智能时代，亦或是传统行业使用人工智能在云上处理大数据的时代，作为一个有理想有追求的程序员，不懂深度学习（Deep Learning）这个超热的技术，会不会感觉马上就out了？现在救命稻草来了，《零基础入门深度学习》系列文章旨在讲帮助爱编程的你从零基础达到 ...

一、序言 　　反向传播在神经网络中用于优化权重w和阈值b，是神经网络优化的核心算法。经过数日的学习终于看明白了一点反向传播的原理，这里作文记录心得。 　　本文先介绍一下基本的数学计算方法，然后根据“损失计算公式”推导出优化参数的反向传播方法。 二、基本数学原理 　　神经网络中优化参数w、b ...

一、序言 　　动量梯度下降也是一种神经网络的优化方法，我们知道在梯度下降的过程中，虽然损失的整体趋势是越来越接近0，但过程往往是非常曲折的，如下图所示： 　　特别是在使用mini-batch后，由于单次参与训练的图片少了，这种“曲折”被放大了好几倍。前面我们介绍过L2 ...

往期回顾 在前面的文章中，我们介绍了循环神经网络，它可以用来处理包含序列结构的信息。然而，除此之外，信息往往还存在着诸如树结构、图结构等更复杂的结构。对于这种复杂的结构，循环神经网络就无能为力了。本文介绍一种更为强大、复杂的神经网络：递归神经网络 (Recursive Neural ...

一、前言 　　回顾一下前面讲过的两种解决过拟合的方法： 　　1）L0、L1、L2：在向前传播、反向传播后面加个小尾巴 　　2）dropout：训练时随机“删除”一部分神经元 　　本篇要介绍的优化方法叫mini-batch，它主要解决的问题是：实际应用时的训练数据往往都太大了，一次加载到电脑 ...

TensorFlow 搭建一个浅层的神经网络来运行 "hello world!" 模型。 以下内容和 ...

介绍 DeepLearning课程总共五大章节，该系列笔记将按照课程安排进行记录。 另外第一章的前两周的课程在之前的Andrew Ng机器学习课程笔记(博客园)&Andrew Ng机器学习课程笔记(CSDN)系列笔记中都有提到，所以这里不再赘述。 1、神经网络概要 ...