Deep learning：四十六(DropConnect简单理解)
和maxout(maxout简单理解)一样，DropConnect也是在ICML2013上发表的，同样也是为了提高Deep Network的泛化能力的，两者都号称是对Dropout(Dropout简单理解)的改进。 我们知道，Dropout是在训练过程中以一定概率1-p ...
原文：Deep learning：四十一(Dropout简单理解)
前言 训练神经网络模型时，如果训练样本较少，为了防止模型过拟合，Dropout可以作为一种trikc供选择。Dropout是hintion最近 年提出的，源于其文章Improving neural networks by preventing co adaptation of feature detectors.中文大意为：通过阻止特征检测器的共同作用来提高神经网络的性能。本篇博文就是按照这篇论 ...
2013-08-14 19:14 20 149511 推荐指数：
相关推荐
Deep learning：十九(RBM简单理解)
这篇博客主要用来简单介绍下RBM网络，因为deep learning中的一个重要网络结构DBN就可以由RBM网络叠加而成，所以对RBM的理解有利于我们对DBN算法以及deep learning算法的进一步理解。Deep learning是从06年开始火得，得益于大牛Hinton的文章 ...
Deep learning：四十五(maxout简单理解)
maxout出现在ICML2013上，作者Goodfellow将maxout和dropout结合后，号称在MNIST, CIFAR-10, CIFAR-100, SVHN这4个数据上都取得了start-of-art的识别率。 从论文中可以看出，maxout其实一种激发 ...
Deep learning：五十(Deconvolution Network简单理解)
深度网络结构是由多个单层网络叠加而成的，而常见的单层网络按照编码解码情况可以分为下面3类： 既有encoder部分也有decoder部分：比如常见的RBM系列（由RBM可 ...
Deep learning：四十八(Contractive AutoEncoder简单理解)
惩罚的，而今天要讲的CAE其数学表达式同样非常简单，如下： 其中的 是隐含层输出值关 ...
Deep learning：四十九(RNN-RBM简单理解)
前言： 本文主要是bengio的deep learning tutorial教程主页中最后一个sample：rnn-rbm in polyphonic music. 即用RNN-RBM来model复调音乐，训练过程中采用的是midi格式的音频文件，接着用建好的model ...
Deep learning：二十六(Sparse coding简单理解)
Sparse coding： 本节将简单介绍下sparse coding(稀疏编码)，因为sparse coding也是deep learning中一个重要的分支，同样能够提取出数据集很好的特征。本文的内容是参考斯坦福deep learning教程：Sparse Coding ...
Deep learning：四十二(Denoise Autoencoder简单理解)
前言： 当采用无监督的方法分层预训练深度网络的权值时，为了学习到较鲁棒的特征，可以在网络的可视层（即数据的输入层）引入随机噪声，这种方法称为Denoise Autoencoder(简称 ...