第五章 神經網絡
5.1 神經元模型
神經網絡：是由具有適應性的簡單單元組成的廣泛並行互連的網絡，它能夠模擬生物神經系統對真實世界物體所作出的交互反應。
神經網絡中最基本的成分是神經元模型，即上述定義中的“簡單單元”。
把許多個這樣的神經元按一定的層次結構連接起來，就得到了神經網絡。
5.2 感知機與多層網絡
感知機（Perceptron）由兩層神經元組成（輸入層、輸出層），輸入層接收外界輸入信號后傳遞給輸出層，輸出層是M-P神經元，亦稱“閾值邏輯單元”（threshold logic unit）。
感知機能容易的實現邏輯與、或、非運算。
要解決非線性可分問題，需考慮使用多層功能神經元。如下圖中這個簡單的兩層感知機就能解決異或問題。
多層前饋神經網絡（multi-layer feedforward neural networks）
每層神經元與下一層神經元完全互連，神經元之間不存在同層連接，也不存在跨層連接。
5.3 誤差逆傳播
（error BackPropagation，簡稱BP）
算法
BP算法的工作流程：
累積誤差逆傳播（accumulated error backpropagation）算法
只需要一個包含足夠多神經元的隱層，多層前饋網絡就能以任意精度逼近任意復雜度的連續函數。
緩解BP網絡過擬合的策略：
1. 早停（early stopping）
將數據分成訓練集和驗證集，訓練集用來計算梯度、更新連接權和閾值，驗證集用來估計誤差，若訓練集誤差降低但驗證集誤差升高，則停止訓練，同事返回具有最小驗證集誤差的連接權和閾值。
2. 正則化（regularization）
