Deep learning：二十六(Sparse coding简单理解)
Sparse coding： 本节将简单介绍下sparse coding(稀疏编码)，因为sparse coding也是deep learning中一个重要的分支，同样能够提取出数据集很好的特征。本文的内容是参考斯坦福deep learning教程：Sparse Coding ...
原文：Deep learning：四十六(DropConnect简单理解)
和maxout maxout简单理解 一样，DropConnect也是在ICML 上发表的，同样也是为了提高Deep Network的泛化能力的，两者都号称是对Dropout Dropout简单理解 的改进。 我们知道，Dropout是在训练过程中以一定概率 p将隐含层节点的输出值清 ，而用bp更新权值时，不再更新与该节点相连的权值。用公式描述如下： 其中v是n 维的列向量，W是d n维的矩阵， ...
2013-11-18 21:46 0 19691 推荐指数：
相关推荐
Deep learning：十六(deep networks)
从self-taught到deep networks： 从前面的关于self-taught learning介 ...
Deep learning：十九(RBM简单理解)
这篇博客主要用来简单介绍下RBM网络，因为deep learning中的一个重要网络结构DBN就可以由RBM网络叠加而成，所以对RBM的理解有利于我们对DBN算法以及deep learning算法的进一步理解。Deep learning是从06年开始火得，得益于大牛Hinton的文章 ...
Deep learning：四十一(Dropout简单理解)
前言 训练神经网络模型时，如果训练样本较少，为了防止模型过拟合，Dropout可以作为一种trikc供选择。Dropout是hintion最近2年提出的，源于其文章Improving ...
Deep learning：四十五(maxout简单理解)
maxout出现在ICML2013上，作者Goodfellow将maxout和dropout结合后，号称在MNIST, CIFAR-10, CIFAR-100, SVHN这4个数据上都 ...
Deep learning：五十(Deconvolution Network简单理解)
深度网络结构是由多个单层网络叠加而成的，而常见的单层网络按照编码解码情况可以分为下面3类： 既有encoder部分也有decoder部分：比如常见的RBM系列（由RBM可 ...
Deep learning：四十八(Contractive AutoEncoder简单理解)
惩罚的，而今天要讲的CAE其数学表达式同样非常简单，如下： 其中的 是隐含层输出值关 ...
Deep learning：四十九(RNN-RBM简单理解)
前言： 本文主要是bengio的deep learning tutorial教程主页中最后一个sample：rnn-rbm in polyphonic music. 即用RNN-RBM来model复调音乐，训练过程中采用的是midi格式的音频文件，接着用建好的model ...