（1）感知機模型（雙層神經網絡模型：輸入層和計算單元，瓶頸：XOR問題——線性不可分）
（2）多層神經網絡（解決線性不可分問題——在感知機的神經網絡上多加一層，並利用“后向傳播”（Back-propagation）學習方法，可以解決XOR問題）（1974年，哈佛博士論文）
（3）BP算法訓練的神經網絡：信號正向傳播和誤差反向傳播（修正權值）
缺點：
l 梯度越來越稀疏：從頂層向下，誤差校正信號越來越小
l 收斂到局部最小值：隨機值初始化會導致這種情況的發生（從遠離最優區域開始的時候）
l 只能用有標簽的數據來訓練
（4）生物學實驗
（4）深度學習：首先利用無監督學習對每層進行逐層預訓練（Layers Pre-Training）去學習特征（學到數據本身的結構），每次單獨訓練一層，並將訓練結果作為更高一層的輸入；然后到最上層改用監督學習從上到下進行微調（Fine-tune）去學習模型。
Ps：由於深度學習的第一步不是隨機初始化，而是通過學習輸入的數據結構得到的，因此這個值更接近全局最優。
步驟：模仿大腦的學習（編碼）和重構（解碼）——不是訓練數據到標記的“映射”，而是去學習數據本身內在結構和特征[隱含層也叫做特征探測器（Feature detector）]。（通常隱含層中的神經元數比輸入/輸出層的少，這是為了使神經網絡只學習最重要的特征並實現特征的降維）
1）無監督訓練
2）有監督微調：第一種——只調整分類器；第二種——通過有標簽樣本，微調整個系統。
Deep Learning和 neural network異同
二者的相同在於deep learning采用了神經網絡相似的分層結構，系統由包括輸入層、隱層（多層）、輸出層組成的多層網絡，只有相鄰層節點之間有連接，同一層以及跨層節點之間相互無連接，每一層可以看作是一個logistic regression模型；這種分層結構，是比較接近人類大腦的結構的。
而為了克服神經網絡訓練中的問題，DL采用了與神經網絡很不同的訓練機制。傳統神經網絡中，采用的是back propagation的方式進行，簡單來講就是采用迭代的算法來訓練整個網絡，隨機設定初值，計算當前網絡的輸出，然后根據當前輸出和label之間的差去改變前面各層的參數，直到收斂（整體是一個梯度下降法）。而deep learning整體上是一個layer-wise的訓練機制。這樣做的原因是因為，如果采用back propagation的機制，對於一個deep network（7層以上），殘差傳播到最前面的層已經變得太小，出現所謂的gradient diffusion（梯度彌散）。
BP算法作為傳統訓練多層網絡的典型算法，實際上對僅含幾層網絡，該訓練方法就已經很不理想。深度結構（涉及多個非線性處理單元層）非凸目標代價函數中普遍存在的局部最小是訓練困難的主要來源。
BP算法存在的問題：
（1）梯度越來越稀疏：從頂層越往下，誤差校正信號越來越小；
（2）收斂到局部最小值：尤其是從遠離最優區域開始的時候（隨機值初始化會導致這種情況的發生）；
（3）一般，我們只能用有標簽的數據來訓練：但大部分的數據是沒標簽的，而大腦可以從沒有標簽的的數據中學習；
deep learning訓練過程具體如下：
1）使用自下上升非監督學習（就是從底層開始，一層一層的往頂層訓練）：
采用無標定數據（有標定數據也可）分層訓練各層參數，這一步可以看作是一個無監督訓練過程，是和傳統神經網絡區別最大的部分（這個過程可以看作是feature learning過程）：
具體的，先用無標定數據訓練第一層，訓練時先學習第一層的參數（這一層可以看作是得到一個使得輸出和輸入差別最小的三層神經網絡的隱層），由於模型capacity的限制以及稀疏性約束，使得得到的模型能夠學習到數據本身的結構，從而得到比輸入更具有表示能力的特征；在學習得到第n-1層后，將n-1層的輸出作為第n層的輸入，訓練第n層，由此分別得到各層的參數；
2）自頂向下的監督學習（就是通過帶標簽的數據去訓練，誤差自頂向下傳輸，對網絡進行微調）：
基於第一步得到的各層參數進一步fine-tune（微調）整個多層模型的參數，這一步是一個有監督訓練過程；第一步類似神經網絡的隨機初始化初值過程，由於DL的第一步不是隨機初始化，而是通過學習輸入數據的結構得到的，因而這個初值更接近全局最優，從而能夠取得更好的效果；所以deep learning效果好很大程度上歸功於第一步的feature learning過程。
參考：http://www.cnblogs.com/caocan702/p/5662789.html