Deep learning：九(Sparse Autoencoder練習)
前言： 現在來進入sparse autoencoder的一個實例練習，參考Ng的網頁教程：Exercise:Sparse Autoencoder。這個例子所要實現的內容大概如下：從給定的很多張自然圖片中截取出大小為8*8的小patches圖片共10000張，現在需要用sparse ...
原文：Deep learning：八(Sparse Autoencoder)
前言： 這節課來學習下Deep learning領域比較出名的一類算法 sparse autoencoder，即稀疏模式的自動編碼。我們知道，deep learning也叫做unsupervised learning，所以這里的sparse autoencoder也應是無監督的。按照前面的博文：Deep learning：一 基礎知識 ，Deep learning：七 基礎知識 所講，如果是有監 ...
2013-03-19 22:01 13 44142 推薦指數：
相關推薦
Deep Learning 1_深度學習UFLDL教程：Sparse Autoencoder練習（斯坦福大學深度學習教程）
1前言 本人寫技術博客的目的，其實是感覺好多東西，很長一段時間不動就會忘記了，為了加深學習記憶以及方便以后可能忘記后能很快回憶起自己曾經學過的東西。 首先，在網上找了 ...
Deep learning：二十四(stacked autoencoder練習)
前言： 本次是練習2個隱含層的網絡的訓練方法，每個網絡層都是用的sparse autoencoder思想，利用兩個隱含層的網絡來提取出輸入數據的特征。本次實驗驗要完成的任務是對MINST進行手寫數字識別，實驗內容及步驟參考網頁教程Exercise: Implement deep ...
Deep learning：四十二(Denoise Autoencoder簡單理解)
前言： 當采用無監督的方法分層預訓練深度網絡的權值時，為了學習到較魯棒的特征，可以在網絡的可視層（即數據的輸入層）引入隨機噪聲，這種方法稱為Denoise Autoencoder(簡稱dAE)，由Bengio在08年提出，見其文章Extracting and composing ...
Deep learning：四十八(Contractive AutoEncoder簡單理解)
Contractive autoencoder是autoencoder的一個變種，其實就是在autoencoder上加入了一個規則項，它簡稱CAE（對應中文翻譯為？）。通常情況下，對權值進行懲罰后的autoencoder數學表達形式為： 這是直接對W的值進行 ...
Deep learning：二十九(Sparse coding練習)
前言 本節主要是練習下斯坦福DL網絡教程UFLDL關於Sparse coding那一部分，具體的網頁教程參考：Exercise:Sparse Coding。該實驗的主要內容是從2w個自然圖像的patches中分別采用sparse coding和拓撲的sparse coding方法 ...
Deep learning：二十六(Sparse coding簡單理解)
Sparse coding： 本節將簡單介紹下sparse coding(稀疏編碼)，因為sparse coding也是deep learning中一個重要的分支，同樣能夠提取出數據集很好的特征。本文的內容是參考斯坦福deep learning教程：Sparse Coding ...
Sparse AutoEncoder簡介
1. AutoEncoder AutoEncoder是一種特殊的三層神經網絡, 其輸出等於輸入:\(y^{(i)}=x^{(i)}\), 如下圖所示: 亦即AutoEncoder想學到的函數為\(f_{W,b} \approx x\), 來使得輸出\(\hat{x ...