神經網絡即指人工神經網絡，或稱作連接模型，它是一種模仿動物神經網絡行為特征，進行分布式並行信息處理的算法數學模型。這種網絡依靠系統的復雜程度，通過調整內部大量節點之間相互連接的關系，從而達到處理信息的目的。神經網絡用到的算法是向量乘法，采用符號函數及其各種逼近。並行、容錯、可以硬件實現以及自我學習特性，是神經網絡的幾個基本優點，也是神經網絡計算方法與傳統方法的區別所在。
深度學習的概念源於人工神經網絡，含多隱層的多層感知器就是一種深度學習結構。深度學習通過組合低層特征形成更加抽象的高層表示屬性類別或特征，以發現數據的分布式特征表示。基於深信度網提出非監督貪心逐層訓練算法，為解決深層結構相關的優化難題帶來希望，隨后提出多層自動編碼器深層結構。
傳統意義上的多層神經網絡只有輸入層、隱藏層、輸出層，其中隱藏層的層數根據需要而定，沒有明確的理論推導來說明到底多少層合適，多層神經網絡做的步驟是：特征映射到值，特征是人工挑選。
從廣義上說深度學習的網絡結構也是多層神經網絡的一種。深度學習中最著名的卷積神經網絡是由Lecun等人提出的，是第一個真正多層結構學習算法，它利用空間相對關系減少參數數目以提高訓練性能。在原來多層神經網絡的基礎上，加入了特征學習部分，這部分是模仿人腦對信號處理上的分級的。具體操作就是在原來的全連接的層前面加入了部分連接的卷積層與降維層，而且加入的是一個層級：輸入層-卷積層-降維層-卷積層-降維層- ....-隱藏層-輸出層。深度學習做的步驟是：信號->特征->值，特征是由網絡自己選擇。