神經網絡在發展過程中，經歷了3次起伏，這很重要的原因在於神經網絡的優缺點在不同時代得以體現。在理論上講，只包含單層隱藏層神經網絡，可以擬合任何函數，然后這在實際情況中是不常用的。往往采用含多層隱藏層的神經網絡來對數據進行擬合。
一、缺點及有效的措施
1、在早期，由於BP算法還沒有發明，並且當時的計算能力有限，建立的神經網絡規模很小，因此神經網絡的性能也受很大限制。在90年代，發明了BP算法后，便可以采用誤差反向傳播，通過誤差來指導神經網絡的訓練，采用梯度下降優化算法，每次減小預測值和目標值的差別來達到模型的學習。但是，當神經網絡規模逐漸增大，包含的隱藏層逐漸增多，此時采用BP算法的過程中，會出現梯度消失的過程，往往是因為誤差消失而導致的，因此神經網絡前面的權值幾乎不會更新，因此導致了神經網絡擬合數據的准確率受限制。研究者為了保留神經網絡的誤差，提出了不同的策略來保留誤差，使得誤差可以傳遞而不會出現消失的現象。
2、神經網絡模型可變的部分主要有神經網絡的構成，架構（即選擇構建多少層神經網絡，每層多少個隱含結點，每個隱含結點的激活函數如何選擇，層與層之間的連接如何等），一般情況下，在構建好神經網絡后，神經網絡的訓練就變成了層與層之間權重的學習，為了更好的畢竟目標值，設計了許多權重學習算法，包括梯度下降算法，共軛梯度法，擬牛頓法L-BMGS，信賴域方法等。隨着神經網絡規模的不斷擴充，要學習的參數也越來越多，神經網絡的自由度越來越大，這給訓練神經網絡模型帶來了很大的困難。復雜神經網絡的訓練，極易陷入到局部極小值而無法跳出，因此研究者設計了很多訓練方法來盡量避免神經網絡陷入局部極小值。
3、如2所說，隨着神經網絡結構的復雜，神經網絡擬合模型的能力也越來越強大，但這往往會出現過擬合的情況，這在機器學習中使非常致命的問題，即在訓練數據上表現的很好，但是泛化能力卻很差，在未見到的數據上，表現的很差。因此，研究者為了盡可能避免神經網絡過擬合的情況發生，提出了許多方法。
（1）其中非常常規的方法便是增加數據，因此參數的增多，參數空間呈指數變大，要想使得數據完全覆蓋住樣本空間，需要的數據量成指數增加，因此通過增加數據量想很好的避免過擬合現象是不太可能的。
（2）另一種方法，便是在訓練的過程中，讓訓練及時停止，但是這一般需要設置checkpoint來實時監視神經網絡的泛化性能，一般采用交叉驗證的方法來決定神經網絡是否停止訓練。
（3）另一種方法是加regularization項，即對要學習的參數加約束，盡可能的縮小參數空間的取值，這在機器學習中也是十分常見的方法，一般有Lasso正則項，Ridge正則項，或者Elastic項（通過加權來綜合前兩個正則項）。
（4）對於深度神經網絡，由於其特有的結構特性，還可以采用drop out方式來對神經網絡進行簡化，即在每次迭代訓練時，某些結點概率的屏蔽掉，這樣很大程度上避免了神經網咯結點間的協同作用，使得神經網絡更加的多樣性，相當於ensemble多個差異很大的神經網絡，來最終得到泛化能力的提升。
二、優點
1、神經網絡很強大的地方在於完美的擬合能力，可以逼近任何復雜的函數，而且神經網絡的維度可以達到無窮維，這樣其對數據的擬合能力是相當強大的。往往已有的傳統的機器學習方法，在某一定程度上屬於神經網絡的特例。例如SVM，Logistic regression等均可以由神經網絡來完成。
2、神經網絡由於包含了許多隱藏層，而隱藏層又具有許多隱藏結點，這樣便使得神經網絡的表達能力十分強大，這在貝葉斯理論中有很好的體現。即對於受限玻爾茲曼機，通過神經網絡的形式，逐層訓練受限玻爾茲曼機，或者貝葉斯網絡，便可以構建深度玻爾茲曼機，深度貝葉斯網絡，使該網絡的表征能力進一步的提升。在此基礎上，出現了自編碼，使得神經網絡可以無監督的學習數據的特征，尤其是圖片等抽象的特征，對於后續的分類，檢測，分割等提供了很好的特征支持，不需要人為了設定特征，但在某一定程度上，傳統的特征提取方法仍然可以為神經網絡特征的學習提供參考方案。
3、進一步，現在提出的卷積神經網絡，遞歸神經網絡等，進一步改善了神經網絡的性能，使其在特定領域得以更好的應對具體問題，體現出了其強大的能力。卷積神經網絡，在某一定程度上，認為圖像局部間具有很強的關聯，而較遠的區域關聯度不大，因此做了馬爾科夫假設，使得訓練神經網絡更加的容易。
4、神經網絡同樣可以和概率模型相結合，使得神經網絡具有推斷能力，加入了隨機因素，使得神經網絡的推理能力得以提升。
綜上所述，神經網絡有很強大的表征能力，但強大的同時，也存在許多問題，這需要各方面的科學家，學者在這方面共同努力，借鑒生物神經網絡等作為參考，進一步提升神經網絡的性能。
————————————————
原文鏈接：https://blog.csdn.net/nicholas_liu2017/article/details/71250082