Deep learning：十七(Linear Decoders，Convolution和Pooling)
本文主要是学习下Linear Decoder已经在大图片中经常采用的技术convolution和pooling，分别参考网页http://deeplearning.stanford.edu/wiki/index.php/UFLDL_Tutorial中对应的章节部分 ...
原文：Deep learning：四十七(Stochastic Pooling简单理解)
CNN中卷积完后有个步骤叫pooling, 在ICLR 上，作者Zeiler提出了另一种pooling手段 最常见的就是mean pooling和max pooling ，叫stochastic pooling，在他的文章还给出了效果稍差点的probability weighted pooling方法。 stochastic pooling方法非常简单，只需对feature map中的元素按照其 ...
2013-11-19 19:11 3 25241 推荐指数：
相关推荐
Deep learning：四十六(DropConnect简单理解)
和maxout(maxout简单理解)一样，DropConnect也是在ICML2013上发表的，同样也是为了提高Deep Network的泛化能力的，两者都号称是对Dropout(Dropout简单理解)的改进。 我们知道，Dropout是在训练过程中以一定概率1-p ...
Deep learning：十九(RBM简单理解)
这篇博客主要用来简单介绍下RBM网络，因为deep learning中的一个重要网络结构DBN就可以由RBM网络叠加而成，所以对RBM的理解有利于我们对DBN算法以及deep learning算法的进一步理解。Deep learning是从06年开始火得，得益于大牛Hinton的文章 ...
Deep learning：四十一(Dropout简单理解)
前言 训练神经网络模型时，如果训练样本较少，为了防止模型过拟合，Dropout可以作为一种trikc供选择。Dropout是hintion最近2年提出的，源于其文章Improving ...
Deep learning：四十五(maxout简单理解)
maxout出现在ICML2013上，作者Goodfellow将maxout和dropout结合后，号称在MNIST, CIFAR-10, CIFAR-100, SVHN这4个数据上都 ...
Deep learning：五十(Deconvolution Network简单理解)
深度网络结构是由多个单层网络叠加而成的，而常见的单层网络按照编码解码情况可以分为下面3类： 既有encoder部分也有decoder部分：比如常见的RBM系列（由RBM可 ...
Deep learning：三十七(Deep learning中的优化方法)
内容： 本文主要是参考论文：On optimization methods for deep learning，文章内容主要是笔记SGD（随机梯度下降），LBFGS（受限的BFGS），CG（共轭梯度法）三种常见优化算法的在deep learning体系中的性能。下面是一些读完的笔记 ...
Deep learning：四十八(Contractive AutoEncoder简单理解)
惩罚的，而今天要讲的CAE其数学表达式同样非常简单，如下： 其中的 是隐含层输出值关 ...