本章内容主要描述了在机器学习中的前向传播，反向求导的原理与计算，常见的激活函数和损失函数，以及在网络训练过程中过拟合，梯度消失/爆炸等产生的原理以及解决方案。本人也在学习过程中，如果有错误之处，请各位多多指教。 1.1 神经网络的前向传播 我们首先定义如下图所示的神经网络，为了简单起见，所有 ...

1、什么是神经网络？ （1）房价预测模型Ⅰ： 神经网络：size x ——> O ——> price y ReLU函数（Rectified linear unit 修正线性单元）：修改线性的函数，避免出现price未负数的情况. （2）房价预测模型 ...

常见的方法有：选取更好的代价函数，就是被称为交叉熵代价函数（the cross-entropy cost function）； 四种正则化方法（L1和L2正则、dropout、训练数据的扩展） 一.交叉熵代价函数： 考虑一下神经元的学习方式：通过计算代价函数的偏导 和 来改变 ...

一：vanilla RNN 　　　使用机器学习技术处理输入为基于时间的序列或者可以转化为基于时间的序列的问题时，我们可以对每个时间步采用递归公式，如下，We can process a ...

反向传播算法是大多数神经网络的基础，我们应该多花点时间掌握它。 还有一些技术能够帮助我们改进反向传播算法，从而改进神经网络的学习方式，包括： 选取更好的代价函数 正则化方法 初始化权重的方法 如何选择网络的超参 Cost Function 这里来看一个非常简单的神经 ...

　　目前，深度学习（Deep Learning，简称DL）在算法领域可谓是大红大紫，现在不只是互联网、人工智能，生活中的各大领域都能反映出深度学习引领的巨大变革。要学习深度学习，那么首先要熟悉神经网络（Neural Networks，简称NN）的一些基本概念。当然，这里所说的神经网络不是生物学 ...

目录 感知机 神经网络 神经网络的特点 神经网络的组成 浅层人工神经网络模型 SoftMax回归 损失计算-交叉熵损失 SoftMax计算、交叉熵 准确性计算 Mnist数据集 ...

卷积神经网络（convolutional neural network）。它是近年来深度学习能在计算机视觉中取得巨大成果的基石，它也逐渐在被其他诸如自然语言处理、推荐系统和语音识别等领域广泛使用。 目前我关注的问题是： 输入数据的构建，尤其是多输入、多输出的情况。 finetune ...