什么是神經網絡
假如我們要建立房價的預測模型，我們已知模型輸入面積 x 及輸出價格 y ，來預測房價：y = f(x)，我們用一條直線來擬合圖中這些離散點（建立房價與面積的線性模型）。
這個簡單的模型（藍色折線）就是一個最簡單的神經網絡。
該神經網絡的輸入 x 是房屋面積，輸出 y 是房價，中間包含了一個神經元（neuron），即房價預測函數（藍色折線），該神經元的功能就是實現函數f(x)的功能。
除了考慮房屋面積（size）之外，我們還考慮卧室數目（bedrooms），房屋的郵政編碼（zip code/postal code），還有地區財富水平（wealth）。因此，這個神經網絡有四個輸入，分別是size，bedrooms，zip code和wealth。
其中 x1 所在的位置稱之為輸入層，三個神經元所在的位置稱之為中間層或者隱藏層，y 所在的位置稱之為輸出層。這就是基本的神經網絡模型結構。
神經網絡非常擅長計算從 x到y的精准映射。
監督學習
監督學習與非監督學習本質區別就是是否已知訓練樣本的輸出 y，也就是樣本是否含標簽信息。
下面是幾個監督式學習在神經網絡中應用的例子：
1）房價預測：輸入 x 是房屋的各種參數，輸出是房價；
2）在線廣告：輸入 x 是廣告和用戶個人信息，輸出是用戶是否對廣告進行點擊；
3）計算機視覺：輸入 x 是圖片像素值，輸出是圖片所屬的不同類別等；
4）語音識別：輸入 x 是一段語音信號，輸出是文字信息；
5）機器翻譯：輸入 x 是一種語言，輸出是表達相同意思的另一種語言；
6）自動駕駛：輸入 x 一張圖片或者汽車雷達信息等，輸出是相應的路況信息並作出相應的決策等。
不同的情況，一般使用不同的網絡模型：
1）對於一般的監督學習（房價預測和在線廣告），我們使用標准的神經網絡模型；
2）對於計算機視覺處理問題，我們使用CNN（Convolution Neural Network）；
3）對於語音這樣的時序信號處理，我們使用RNN（Recurrent Neural Network）。
數據類型
數據類型一般分為兩種：結構化數據 和 非結構化數據。結構化數據意味着數據的基本數據庫。
結構化數據：例如房價預測中的size，bedrooms，price等；在線廣告中的User Age，Ad ID等。這寫都是結構化數據，意思是每個特征，比如說房屋大小卧室數量，或者是一個用戶的年齡，都有一個很好的定義。
非結構化數據：例如聲音、圖像或者文本等。
尤其是在非結構化數據上，深度學習方法更能展示相對於其他方法的優越性，更能創造出巨大的實用價值。
深度學習飛速發展的要素
如下圖所示，橫坐標 x 表示數據量（Amount of data），縱坐標 y 表示機器學習模型的性能表現（Performance）。
圖中共有 4 條曲線。
1、紅色曲線代表了傳統機器學習算法的表現，它在數據量很大的時候表現很一般；
2、黃色曲線代表了規模較小的神經網絡模型（Small NN），它在數據量較大時候的性能優於傳統的機器學習算法；
3、藍色曲線代表了規模中等的神經網絡模型（Media NN），它在數據量更大的時候的表現比Small NN更好；
4、綠色曲線代表更大規模的神經網絡（Large NN），它在數據量更大的時候的表現比Media NN更好，並且保持了快速上升的趨勢。
可以看出，更復雜的深度學習模型，對海量數據的處理和分析更有效。其原因是：可供使用來訓練的樣本數據量呈幾何級數增加、訓練服務器使用計算力極強的GPU架構以及近年來學術界更多的算法上的創新和改進。