Deep learning：四十六(DropConnect簡單理解)
和maxout(maxout簡單理解)一樣，DropConnect也是在ICML2013上發表的，同樣也是為了提高Deep Network的泛化能力的，兩者都號稱是對Dropout(Dropout簡單理解)的改進。 我們知道，Dropout是在訓練過程中以一定概率1-p ...
原文：Deep learning：四十五(maxout簡單理解)
maxout出現在ICML 上，作者Goodfellow將maxout和dropout結合后，號稱在MNIST, CIFAR , CIFAR , SVHN這 個數據上都取得了start of art的識別率。 從論文中可以看出，maxout其實一種激發函數形式。通常情況下，如果激發函數采用sigmoid函數的話，在前向傳播過程中，隱含層節點的輸出表達式為： 其中W一般是 維的，這里表示取出的是第 ...
2013-11-18 10:10 13 54726 推薦指數：
相關推薦
Deep learning：十九(RBM簡單理解)
這篇博客主要用來簡單介紹下RBM網絡，因為deep learning中的一個重要網絡結構DBN就可以由RBM網絡疊加而成，所以對RBM的理解有利於我們對DBN算法以及deep learning算法的進一步理解。Deep learning是從06年開始火得，得益於大牛Hinton的文章 ...
Deep learning：四十一(Dropout簡單理解)
前言 訓練神經網絡模型時，如果訓練樣本較少，為了防止模型過擬合，Dropout可以作為一種trikc供選擇。Dropout是hintion最近2年提出的，源於其文章Improving ...
Deep learning：五十(Deconvolution Network簡單理解)
深度網絡結構是由多個單層網絡疊加而成的，而常見的單層網絡按照編碼解碼情況可以分為下面3類： 既有encoder部分也有decoder部分：比如常見的RBM系列（由RBM可 ...
Deep learning：四十八(Contractive AutoEncoder簡單理解)
懲罰的，而今天要講的CAE其數學表達式同樣非常簡單，如下： 其中的 是隱含層輸出值關 ...
Deep learning：四十九(RNN-RBM簡單理解)
前言： 本文主要是bengio的deep learning tutorial教程主頁中最后一個sample：rnn-rbm in polyphonic music. 即用RNN-RBM來model復調音樂，訓練過程中采用的是midi格式的音頻文件，接着用建好的model ...
Deep learning：二十六(Sparse coding簡單理解)
Sparse coding： 本節將簡單介紹下sparse coding(稀疏編碼)，因為sparse coding也是deep learning中一個重要的分支，同樣能夠提取出數據集很好的特征。本文的內容是參考斯坦福deep learning教程：Sparse Coding ...
Deep learning：四十二(Denoise Autoencoder簡單理解)
前言： 當采用無監督的方法分層預訓練深度網絡的權值時，為了學習到較魯棒的特征，可以在網絡的可視層（即數據的輸入層）引入隨機噪聲，這種方法稱為Denoise Autoencoder(簡稱 ...