摘要: 一个新的系列，来自于斯坦福德深度学习在线课程：http://deeplearning.stanford.edu/wiki/index.php/UFLDL_Tutorial。本文梳理了该教程第一部分的内容，主要包括人工神经网络入门、反向传递算法、梯度检验与高级优化 和 自编码算法与稀疏性 ...

1.概述 人在获取图像时，并不是像计算机逐个像素去读，一般是扫一眼物体，大致能得到需要的信息，如形状，颜色，特征。怎么让机器也有这项能力呢，稀疏编码来了。 定义： 稀疏自编码器（Sparse Autoencoder）可以自动从无标注数据中学习特征，可以给出比原始数据更好的特征描述 ...

堆叠式自动编码器 自动编码器可以具有多个隐藏层。在这种情况下，它们被称为堆叠式自动编码器（或深度自动编码器）。添加更多的层有助于自动编码器学习更多的复杂的编码。就是说，要注意不要使自动编码器过于强大。想象一个强大的编码器，它只是学会了把每个输入映射到单个任意数字（而解码器则学习反向映射）。显然 ...

降噪自动编码器是一种用于图像去噪无监督的反馈神经网络 原理如下图所示 训练代码如下 测试代码如下 打赏 如果对您有帮助，就打赏一下吧O(∩_∩)O ...

深度自动编码器由两个对称的深度置信网络组成，其中一个深度置信网络通常有四到五个浅层，构成负责编码的部分，另一个四到五层的网络则是解码部分。 这些层都是受限玻尔兹曼机（RBM）（注：也可以采用自编码器预训练？），即构成深度置信网络的基本单元，它们有一些特殊之处，我们将在下文中介绍。以下是简化的深度 ...

考虑一个监督学习问题，现在有一些带标签的训练样本(x(i),y(i)).神经网络就是定义一个复杂且非线性的假设hW,b(x)，其中W,b 是需要拟合的参数. 下面是一个最简单的神经网络结构，只含有一 ...

AE（Auto Encoder, 自动编码器） AE的结构 如上图所示，自动编码器主要由两部分组成：编码器（Encoder）和解码器（Decoder）。编码器和解码器可以看作是两个函数，一个用于将高维输入（如图片）映射为低维编码（code），另一个用于将低维编码（code）映射为高维 ...

假设给定m个训练样本的训练集，用梯度下降法训练一个神经网络，对于单个训练样本(x,y)，定义该样本的损失函数： 那么整个训练集的损失函数定义如下： 第一项是所有样本的方差的均值。第二项是一 ...