1、神經網絡：神經網絡的變種目前有很多，如誤差反向傳播（Back Propagation，BP）神經網路、概率神經網絡、卷積神經網絡（Convolutional Neural Network ，CNN-適用於圖像識別）、時間遞歸神經網絡（Long short-term Memory Network ，LSTM-適用於語音識別）等。但最簡單且原汁原味的神經網絡則是多層感知器（Multi-Layer Perception ，MLP），只有理解經典的原版，才能更好的去理解功能更加強大的現代變種。
- MLP
- BP
- CNN
- LSTM(RNN)
- ......
MLP（MLP神經網絡不同層之間是全連接的）:
神經網絡的結構
- 輸入層（input)、隱藏層(hidden layers)、輸出層(output)
- 全連接（上一層的任何一個神經元與下一層的所有神經元都有連接）
- 神經網絡主要有三個基本要素：權重、偏置和激活函數
-
權重：神經元之間的連接強度由權重表示，權重的大小表示可能性的大小
-
偏置：偏置的設置是為了正確分類樣本，是模型中一個重要的參數，即保證通過輸入算出的輸出值不能隨便激活。
-
激活函數：起非線性映射的作用，其可將神經元的輸出幅度限制在一定范圍內，一般限制在（-1~1）或（0~1）之間。最常用的激活函數是Sigmoid函數，其可將（-∞，+∞）的數映射到（0~1）的范圍內。
- 激活函數：tanh、relu、elu、linear、prelu、leaky_relu、softplus
- tanh是Sigmoid函數的變形，tanh的均值是0，在實際應用中有比Sigmoid更好的效果；ReLU是近來比較流行的激活函數，當輸入信號小於0時，輸出為0；當輸入信號大於0時，輸出等於輸入；
- 下層單個神經元的值與上層所有輸入之間的關系可通過如下方式表示，其它以此類推。
- 前向傳播推導過程
神經網絡的訓練和學習