作者：Zouxy
version 1.0 2013-04-08
1）該Deep Learning的學習系列是整理自網上很大牛和機器學習專家所無私奉獻的資料的。具體引用的資料請看參考文獻。具體的版本聲明也參考原文獻。
2）本文僅供學術交流，非商用。所以每一部分具體的參考資料並沒有詳細對應。如果某部分不小心侵犯了大家的利益，還望海涵，並聯系博主刪除。
3）本人才疏學淺，整理總結的時候難免出錯，還望各位前輩不吝指正，謝謝。
4）閱讀本文需要機器學習、計算機視覺、神經網絡等等基礎（如果沒有也沒關系了，沒有就看看，能不能看懂，呵呵）。
5）此屬於第一版本，若有錯誤，還需繼續修正與增刪。還望大家多多指點。大家都共享一點點，一起為祖國科研的推進添磚加瓦（呵呵，好高尚的目標啊）。請聯系：zouxy09@qq.com
一、背景
機器學習雖然發展了幾十年，但還是存在很多沒有良好解決的問題：
例如圖像識別、語音識別、自然語言理解、天氣預測、基因表達、內容推薦等等。目前我們通過機器學習去解決這些問題的思路都是
這樣的（以視覺感知為例子）：
從開始的通過傳感器（例如CMOS）來獲得數據。然后經過預處理、特征提取、特征選擇，再到推理、預測或者識別。最后一個部分，也就是機器學習的部分，絕大部分的工作是在這方面做的，也存在很多的paper和研究。
而中間的三部分，概括起來就是特征表達。良好的特征表達，對最終算法的准確性起了非常關鍵的作用，而且系統主要的計算和測試
工作都耗在這一大部分。但，這塊實際中一般都是人工完成的。靠人工提取特征。
截止現在，也出現了不少NB的特征（好的特征應具有不變性（大小、尺度和旋轉等）和可區分性）：例如Sift的出現，是局部圖像特征描述子研究領域一項里程碑式的工作。由於SIFT對尺度、旋轉以及一定視角和光照變化等圖像變化都具有不變性，並且SIFT具有很強的可區
分性，的確讓很多問題的解決變為可能。但它也不是萬能的。
然而，手工地選取特征是一件非常費力、啟發式（需要專業知識）的方法，能不能選取好很大程度上靠經驗和運氣，而且它的調節需
要大量的時間。既然手工選取特征不太好，那么能不能自動地學習一些特征呢？答案是能！Deep Learning就是用來干這個事情的，看它
的一個別名UnsupervisedFeature Learning，就可以顧名思義了，Unsupervised的意思就是不要人參與特征的選取過程。
那它是怎么學習的呢？怎么知道哪些特征好哪些不好呢？思路：模擬人腦視覺機理。
二、人腦視覺原理
1958 年，DavidHubel 和Torsten Wiesel 在 JohnHopkins University，研究瞳孔區域與大腦皮層神經元的對應關系。
神經-中樞-大腦的工作過程，或許是一個不斷迭代、不斷抽象的過程。這里的關鍵詞有兩個，一個是抽象，一個是迭代。從原始信號，做低級抽象，逐漸向高級抽象迭代。人類的邏輯思維，經常使用高度抽象的概念。
例如，從原始信號攝入開始（瞳孔攝入像素 Pixels），接着做初步處理（大腦皮層某些細胞發現邊緣和方向），然后抽象（大腦判定，眼前的物體的形狀，是圓形的），然后進一步抽象（大腦進一步判定該物體是只氣球）。
總的來說，人的視覺系統的信息處理是分級的。從低級的V1區提取邊緣特征，再到V2區的形狀或者目標的部分等，再到更高層，整個目標、目標的行為等。也就是說高層的特征是低層特征的組合，從低層到高層的特征表示越來越抽象，越來越能表現語義或者意圖。而抽象層面越高，存在的可能猜測就越少，就越利於分類。例如，單詞集合和句子的對應是多對一的，句子和語義的對應又是多對一的，語義和意圖的對應還是多對一的，這是個層級體系。
敏感的人注意到關鍵詞了：分層。而Deep learning的deep是不是就表示我存在多少層，也就是多深呢？沒錯。那Deep learning是如何借鑒這個過程的呢？畢竟是歸於計算機來處理，面對的一個問題就是怎么對這個過程建模？
因為我們要學習的是特征的表達，那么關於特征，或者說關於這個層級特征，我們需要了解地更深入點。所以在說Deep Learning之前，我們有必要再啰嗦下特征（呵呵，實際上是看到那么好的對特征的解釋，不放在這里有點可惜，所以就塞到這了）。
小結:
1. 通過機器學習來解決問題的基本思路是（以視覺感知為例子）：傳感器獲得數據、預處理、特征提取、特征選擇，再到推理、預測或者識別。而中間的三部分，概括起來就是特征表達。
2. 良好的特征對最終算法的准確性起了非常關鍵的作用。特征一般可以用人工手動選擇，或者自動選擇。
3. DL的目的就是用來自動選取特征。
4. 那DL是怎么學習到特征的？思路：模擬人腦視覺機理。
5. 人腦視覺機理：兩個關鍵，一個抽象，一個迭代。從原始信號，做低級抽象，逐漸向高級抽象迭代。人類的邏輯思維，經常使用高度抽象的概念。
6. 人的視覺系統的信息處理是分級的。從低級的V1區提取邊緣特征，再到V2區的形狀或者目標的部分等，再到更高層，整個目標、目標的行為等。也就是說高層的特征是低層特征的組合，從低層到高層的特征表示越來越抽象，越來越能表現語義或者意圖。而抽象層面越高，存在的可能猜測就越少，就越利於分類。
7. Deep Learning的關鍵詞：分層。
參考文獻：
1.原文鏈接：http://blog.csdn.net/zouxy09/article/details/8775360，作者zouxy09@qq.com