Deep learning：十七(Linear Decoders，Convolution和Pooling)
本文主要是學習下Linear Decoder已經在大圖片中經常采用的技術convolution和pooling，分別參考網頁http://deeplearning.stanford.edu/wiki/index.php/UFLDL_Tutorial中對應的章節部分 ...
原文：Deep learning：四十七(Stochastic Pooling簡單理解)
CNN中卷積完后有個步驟叫pooling, 在ICLR 上，作者Zeiler提出了另一種pooling手段 最常見的就是mean pooling和max pooling ，叫stochastic pooling，在他的文章還給出了效果稍差點的probability weighted pooling方法。 stochastic pooling方法非常簡單，只需對feature map中的元素按照其 ...
2013-11-19 19:11 3 25241 推薦指數：
相關推薦
Deep learning：四十六(DropConnect簡單理解)
和maxout(maxout簡單理解)一樣，DropConnect也是在ICML2013上發表的，同樣也是為了提高Deep Network的泛化能力的，兩者都號稱是對Dropout(Dropout簡單理解)的改進。 我們知道，Dropout是在訓練過程中以一定概率1-p ...
Deep learning：十九(RBM簡單理解)
這篇博客主要用來簡單介紹下RBM網絡，因為deep learning中的一個重要網絡結構DBN就可以由RBM網絡疊加而成，所以對RBM的理解有利於我們對DBN算法以及deep learning算法的進一步理解。Deep learning是從06年開始火得，得益於大牛Hinton的文章 ...
Deep learning：四十一(Dropout簡單理解)
前言 訓練神經網絡模型時，如果訓練樣本較少，為了防止模型過擬合，Dropout可以作為一種trikc供選擇。Dropout是hintion最近2年提出的，源於其文章Improving ...
Deep learning：四十五(maxout簡單理解)
maxout出現在ICML2013上，作者Goodfellow將maxout和dropout結合后，號稱在MNIST, CIFAR-10, CIFAR-100, SVHN這4個數據上都 ...
Deep learning：五十(Deconvolution Network簡單理解)
深度網絡結構是由多個單層網絡疊加而成的，而常見的單層網絡按照編碼解碼情況可以分為下面3類： 既有encoder部分也有decoder部分：比如常見的RBM系列（由RBM可 ...
Deep learning：三十七(Deep learning中的優化方法)
內容： 本文主要是參考論文：On optimization methods for deep learning，文章內容主要是筆記SGD（隨機梯度下降），LBFGS（受限的BFGS），CG（共軛梯度法）三種常見優化算法的在deep learning體系中的性能。下面是一些讀完的筆記 ...
Deep learning：四十八(Contractive AutoEncoder簡單理解)
懲罰的，而今天要講的CAE其數學表達式同樣非常簡單，如下： 其中的 是隱含層輸出值關 ...