什么是深度信念網絡
深度信念網絡是第一批成功應用深度架構訓練的非卷積模型之一。 在引入深度信念網絡之前，研究社區通常認為深度模型太難優化，還不如使用易於優化的淺層ML模型。2006年，Hinton等研究者在Science上表示，深度信念網絡在MNIST數據集上表現超過帶核函數的支持向量機，以此證明深度架構是能夠成功的。
論文1：Reducing the Dimensionality of Data with Neural Networks
論文地址：https://science.sciencemag.org/content/313/5786/504
論文2：A fast learning algorithm for deep belief nets
論文地址：https://www.cs.toronto.edu/~hinton/absps/fastnc.pdf
盡管現在與其他無監督或生成學習算法相比，深度信念網絡大多已經失去了研究者青睞並很少使用，但它們在深度學習歷史中仍然有非常重要的作用。
此外，如果需要理解DBN，那么首先需要知道什么是受限玻爾茲曼機（RBM）。因為深度信念網絡就是受限玻爾茲曼機的堆疊，並采用一種貪心的方式訓練。
受限玻爾茲曼機
RBM是兩層神經網絡，這些淺層神經網絡是DBN（深度信念網絡）的構建塊。RBM的第一層被稱為可見層或者輸入層，它的第二層叫做隱藏層。RBM之所以加上“受限”，主要是因為不存在層級間的通信。RBM在前傳的過程中看上去和全連接沒什么區別，但實際上它是一種無向圖，所以還有一個反向過程。
除了前傳，RBM以一種無監督的方式通過自身來重建數據。如上圖所示，在重建階段，第一個隱藏層的激活狀態變成了反向傳遞過程中的輸入。它們與每個連接邊相同的權重相乘，就像x在前向傳遞的過程中隨着權重調節一樣。這些乘積的和在每個可見節點處又與可見層的偏置項相加，這些運算的輸出就是一次重建，也就是對原始輸入的一個逼近。
如果能重建出來對應的觀察樣本，那么就表示RBM獲得的隱藏表征非常優質。如下選自Deep Learning書中描述了三種早期的神經網絡。
a) 受限玻爾茲曼機，b) 深度信念網絡，c) 深度玻爾茲曼機。其中帶箭頭表示有向圖，無箭頭表示無向圖。
深度信念網絡
深度信念網絡是一種深層的概率有向圖模型，其圖結構由多層的節點構成。網絡的最底層為可觀測變量，其它層節點都為隱變量。最頂部的連接是無向的，其他層之間的連接是有向的。它的目的主要在獲取可觀測變量下，推斷未知變量的狀態，並調整隱藏狀態以盡可能重構出可觀測數據。
在Hinton一個多小時的演講中，它從信念網絡到受限玻爾茲曼機，從基本思想到理論解析展示了整個深度信念網絡的全景圖。不過Hinton老爺子的演講還挺難懂的，想要了解的同學可以看看完整的PPT。
