今天主要講一下深度學習泰斗Geofrey Hinton 2006年發表在Nature上的一篇論文《Reducing the Dimensionality of Data with Neural Networks》。這篇文章也是第一篇深度學習的論文，在之前的話沒有很好的方法應用在深度學習網絡上。這篇論文發表之后，人們的靈感紛紛涌現，進而深度學習得到了快速發展和巨大的進步。
論文地址：https://science.sciencemag.org/content/sci/313/5786/504.full.pdf
直接上干貨，根據圖片講解容易理解，這里用圖像壓縮為例，網絡訓練過程如下：
具體講解
1. 首先看左邊的Pretraining，這里最下面，一開始是一張2000個像素的圖片，然后構建了3個受限玻爾茲曼機。
第一個RBM，可見層有2000個神經元，隱層有1000個神經元，先將2000個像素的圖片輸入到第一個RBM中訓練，訓練好之后得到隱層1000個神經元的輸出，等於就是提取了1000個特征，把1000個值保存下來之后輸入第二個RBM，可見層有1000個神經元，隱層有500個神經元，訓練第二個RBM之后可以得到500個特征的值。最后在把500個值輸入到第三個RBM中，可見層有500個神經元，隱層有30個神經元，最后得到30個特征。意思就是從2000個像素的圖片不斷訓練，最后提取出30個圖片的特征值。
這是把三個受限玻爾茲曼機堆疊起來構成一個BP網絡。
2. 然后看中間的Unrolling，它是由一個編碼過程和一個解碼過程組成的。首先編碼過程它使用的是左邊的三個堆疊的RBN，並且使用左邊堆疊的RBM已經訓練好的權值W1, W2, W3, W4。然后解碼過程它就是將RBM反過來，並將權值求其轉置。通過輸入一張原圖進入該網絡，然后最后得到的輸出有點模糊。
3. 最后看最右邊的結構，它實際就是在中間的結構上做了個Fine-tuning。Fine-tuning就是微調的意思。最右邊構建的BP神經網絡使用的權值的初始值就是前面用的權值W1, W2, W3, W4進行訓練。通過這個構建類似於中間的網絡結構進行訓練之后對初始值的權值進行了改變，E1, E2, ... , E7就是對這些權值進行的微調。最后顯示出來的效果就比中間的那個結構效果要好。
原理是：利用左邊結構堆疊起來的受限玻爾茲曼機訓練，得到的網絡權值作為右邊整個結構的權值的初始值。再使用堆疊起來的受限玻爾茲曼機訓練時得到的權值已經很接近全局最小值，從而避免了如果我們隨機取值容易掉入局部最小值的情況。
總結
這篇文章的思想還是挺簡單，主要是運用堆疊的受限玻爾茲曼機（RBM）進行預訓練，得到網絡的權值，這樣堆疊起來的網絡我們就稱為深度置信網絡DBN(Deep Belief Network)。然后我們利用預訓練好的權值作為神經網絡DNN（Deep Neural Network）的權值的初始值，進行訓練，這個網絡我們可以稱為DBN-DNN。
然后我們看到這篇文章做的實驗：
A圖中，第一行是原圖；第二行是使用DBN-DNN這個網絡對圖片進行壓縮所得到的圖片；后面幾行是用其它技術對原圖進行壓縮的結果，可以看到只有第二行使用DBN-DNN的效果最好。
B圖和C圖同樣也是，第一行是原圖；第二行是使用DBN-DNN之后的效果，后面也是使用的是其它技術。我們可以看到較與以前的方法，我們這個結合了DBN-DNN的方法效果是最好的。
前面的實驗是說的圖片壓縮，這里的實驗是將DBN-DNN用到圖片分類，也可以得到一個好的效果。可以看到，中間豎着的0到9表示10個數字。A圖片是使用principal components analysis (PCA)得到的結果，我們可以看到上面的點很密集，點區分的不是很明顯，效果不太好。B圖就是使用DBN-DNN（DBN預訓練之后再使用DNN訓練）之后效果，可以看到每個種類的點區分的比較明顯，分類效果好很多。
下面做的實驗是關於文本分類的問題，B圖使用的是傳統的LSA的方法產生的效果，可以看到顏色比較混亂，分類的效果不是很好。C圖使用的是DBN-DNN的方法，可以看到其顏色區分的很開，分類效果更好。
總結：我們構建一個比較深層的網絡的時候，如果使用了堆疊的RBM的預訓練的方法，就可以使得我們深層的神經網絡得到一個更好的效果。因為深層的網絡的權值的初始值就是在全局最小值的附近，我們再稍加訓練，它就能掉入全局最小值，所以就有一個非常好的效果。