Deep learning：四十九(RNN-RBM简单理解)
前言： 本文主要是bengio的deep learning tutorial教程主页中最后一个sample：rnn-rbm in polyphonic music. 即用RNN-RBM来model复调音乐，训练过程中采用的是midi格式的音频文件，接着用建好的model ...
原文：Deep learning：十九(RBM简单理解)
这篇博客主要用来简单介绍下RBM网络，因为deep learning中的一个重要网络结构DBN就可以由RBM网络叠加而成，所以对RBM的理解有利于我们对DBN算法以及deep learning算法的进一步理解。Deep learning是从 年开始火得，得益于大牛Hinton的文章，不过这位大牛的文章比较晦涩难懂，公式太多，对于我这种菜鸟级别来说读懂它的paper压力太大。纵观大部分介绍RBM的 ...
2013-03-27 15:31 21 80257 推荐指数：
相关推荐
Deep learning：四十六(DropConnect简单理解)
和maxout(maxout简单理解)一样，DropConnect也是在ICML2013上发表的，同样也是为了提高Deep Network的泛化能力的，两者都号称是对Dropout(Dropout简单理解)的改进。 我们知道，Dropout是在训练过程中以一定概率1-p ...
Deep learning：四十一(Dropout简单理解)
前言 训练神经网络模型时，如果训练样本较少，为了防止模型过拟合，Dropout可以作为一种trikc供选择。Dropout是hintion最近2年提出的，源于其文章Improving ...
Deep learning：四十五(maxout简单理解)
maxout出现在ICML2013上，作者Goodfellow将maxout和dropout结合后，号称在MNIST, CIFAR-10, CIFAR-100, SVHN这4个数据上都 ...
Deep learning：五十(Deconvolution Network简单理解)
深度网络结构是由多个单层网络叠加而成的，而常见的单层网络按照编码解码情况可以分为下面3类： 既有encoder部分也有decoder部分：比如常见的RBM系列（由RBM可构成的DBM, DBN等），autoencoder系列(以及由其扩展的sparse ...
deep learning:RBM公式推导+源码 ----- C++
花了好多天去推导RBM公式，只能说数学是硬伤，推导过程在后面给出大概，看了下yusugomori的java版源码，又花了一天时间来写C++版本，其主要思路参照yusugomori。发现java和C++好多地方差不多，呵呵。本人乃初学小娃，错误难免，多多指教。 出处：http ...
Deep learning：四十八(Contractive AutoEncoder简单理解)
惩罚的，而今天要讲的CAE其数学表达式同样非常简单，如下： 其中的 是隐含层输出值关 ...
Deep learning：二十六(Sparse coding简单理解)
Sparse coding： 本节将简单介绍下sparse coding(稀疏编码)，因为sparse coding也是deep learning中一个重要的分支，同样能够提取出数据集很好的特征。本文的内容是参考斯坦福deep learning教程：Sparse Coding ...