Deep learning：四十八(Contractive AutoEncoder简单理解)
Contractive autoencoder是autoencoder的一个变种，其实就是在autoencoder上加入了一个规则项，它简称CAE（对应中文翻译为？）。通常情况下，对权值进行惩罚后的autoencoder数学表达形式为： 这是直接对W的值进行 ...
原文：Deep learning：四十二(Denoise Autoencoder简单理解)
前言： 当采用无监督的方法分层预训练深度网络的权值时，为了学习到较鲁棒的特征，可以在网络的可视层 即数据的输入层 引入随机噪声，这种方法称为Denoise Autoencoder 简称dAE ，由Bengio在 年提出，见其文章Extracting and composing robust features with denoising autoencoders.使用dAE时，可以用被破坏的输入 ...
2013-08-16 08:02 6 68446 推荐指数：
相关推荐
Deep learning：八(Sparse Autoencoder)
前言： 这节课来学习下Deep learning领域比较出名的一类算法——sparse autoencoder，即稀疏模式的自动编码。我们知道，deep learning也叫做unsupervised learning，所以这里的sparse autoencoder也应是无监督 ...
Deep learning：九(Sparse Autoencoder练习)
前言： 现在来进入sparse autoencoder的一个实例练习，参考Ng的网页教程：Exercise:Sparse Autoencoder。这个例子所要实现的内容大概如下：从给定的很多张自然图片中截取出大小为8*8的小patches图片共10000张，现在需要用sparse ...
Deep learning：四十六(DropConnect简单理解)
和maxout(maxout简单理解)一样，DropConnect也是在ICML2013上发表的，同样也是为了提高Deep Network的泛化能力的，两者都号称是对Dropout(Dropout简单理解)的改进。 我们知道，Dropout是在训练过程中以一定概率1-p ...
Deep learning：十九(RBM简单理解)
这篇博客主要用来简单介绍下RBM网络，因为deep learning中的一个重要网络结构DBN就可以由RBM网络叠加而成，所以对RBM的理解有利于我们对DBN算法以及deep learning算法的进一步理解。Deep learning是从06年开始火得，得益于大牛Hinton的文章 ...
Deep learning：四十一(Dropout简单理解)
前言 训练神经网络模型时，如果训练样本较少，为了防止模型过拟合，Dropout可以作为一种trikc供选择。Dropout是hintion最近2年提出的，源于其文章Improving ...
Deep learning：五十(Deconvolution Network简单理解)
autoencoder, denoise autoencoder, contractive autoencoder, ...
Deep learning：四十五(maxout简单理解)
maxout出现在ICML2013上，作者Goodfellow将maxout和dropout结合后，号称在MNIST, CIFAR-10, CIFAR-100, SVHN这4个数据上都 ...