Deep learning：四十二(Denoise Autoencoder簡單理解)
前言： 當采用無監督的方法分層預訓練深度網絡的權值時，為了學習到較魯棒的特征，可以在網絡的可視層（即數據的輸入層）引入隨機噪聲，這種方法稱為Denoise Autoencoder(簡稱dAE)，由Bengio在08年提出，見其文章Extracting and composing ...
原文：Deep learning：四十八(Contractive AutoEncoder簡單理解)
Contractive autoencoder是autoencoder的一個變種，其實就是在autoencoder上加入了一個規則項，它簡稱CAE 對應中文翻譯為 。通常情況下，對權值進行懲罰后的autoencoder數學表達形式為： 這是直接對W的值進行懲罰的，而今天要講的CAE其數學表達式同樣非常簡單，如下： 其中的是隱含層輸出值關於權重的雅克比矩陣，而 表示的是該雅克比矩陣的F范數的平方， ...
2013-11-20 23:37 15 16435 推薦指數：
相關推薦
Deep learning：八(Sparse Autoencoder)
前言： 這節課來學習下Deep learning領域比較出名的一類算法——sparse autoencoder，即稀疏模式的自動編碼。我們知道，deep learning也叫做unsupervised learning，所以這里的sparse autoencoder也應是無監督 ...
Deep learning：九(Sparse Autoencoder練習)
前言： 現在來進入sparse autoencoder的一個實例練習，參考Ng的網頁教程：Exercise:Sparse Autoencoder。這個例子所要實現的內容大概如下：從給定的很多張自然圖片中截取出大小為8*8的小patches圖片共10000張，現在需要用sparse ...
Deep learning：三十八(Stacked CNN簡單介紹)
前言： 本節主要是來簡單介紹下stacked CNN（深度卷積網絡），起源於本人在構建SAE網絡時的一點困惑：見Deep learning：三十六(關於構建深度卷積SAE網絡的一點困惑)。因為有時候針對大圖片進行recognition時，需要用到無監督學習的方法 ...
Deep learning：四十五(maxout簡單理解)
maxout出現在ICML2013上，作者Goodfellow將maxout和dropout結合后，號稱在MNIST, CIFAR-10, CIFAR-100, SVHN這4個數據上都 ...
Deep learning：四十六(DropConnect簡單理解)
和maxout(maxout簡單理解)一樣，DropConnect也是在ICML2013上發表的，同樣也是為了提高Deep Network的泛化能力的，兩者都號稱是對Dropout(Dropout簡單理解)的改進。 我們知道，Dropout是在訓練過程中以一定概率1-p ...
Deep learning：十九(RBM簡單理解)
這篇博客主要用來簡單介紹下RBM網絡，因為deep learning中的一個重要網絡結構DBN就可以由RBM網絡疊加而成，所以對RBM的理解有利於我們對DBN算法以及deep learning算法的進一步理解。Deep learning是從06年開始火得，得益於大牛Hinton的文章 ...
Deep learning：四十一(Dropout簡單理解)
前言 訓練神經網絡模型時，如果訓練樣本較少，為了防止模型過擬合，Dropout可以作為一種trikc供選擇。Dropout是hintion最近2年提出的，源於其文章Improving ...