-
神經元neuron（基本計算單元）
xi為輸入，wi為各項輸入的權重，b為偏差，f為激活函數，h為輸出。輸入的加權和，經過激活函數映射為輸出。
- 參數的物理意義：權重（各輸入的重要程度）偏差（該神經元被激活的難易程度≈閾值）
- 激活函數：常見有sigmoid函數，tanh(雙曲正切)函數，線性整流函數ReLu
sigmoid函數 
將加權和縮放到[0,1]，微分形式為 
tanh函數 
將加權和縮放到[-1,1] ，微分形式為
線性整流函數 
分段函數，實際神經網絡中更好用。梯度=0（z<0）,t梯度=1（z>0）
注：分類問題：使用sigmoid函數，label y=0 or 1， 使用tanh函數， label y = -1 or 1.
回歸問題：[0,1];[-1,1]
- 神經網絡模型
神經網絡本質是多個神經元連接組成的層級結構，上一層的輸出為下一層的輸入。
基本概念：輸入層，輸出層，隱藏層略。
基本表示符號略。
前向傳播：上一層的輸出作為本層的輸入，依次逐層向后傳播。
- 代價函數（cost function）
某個樣本的代價：
所有樣本的代價：
第一項為所有樣本代價的平均值，第二項為權重正則化項regularization(權重衰減項weight decay)，避免權重太大引起過擬合.
λ為權重衰減參數。
-
梯度下降法最小化代價函數
- 初始化參數：正態分布初始化參數（如果全部初始化為0，會導致每層的神經元學到相同的函數。）
- 梯度下降法：用優化算法（eg:梯度下降法）最小化代價函數，其中最重要的步驟計算梯度。
- 反向傳播算法計算梯度
<wiz_tmp_tag id="wiz-table-range-border" contenteditable="false" style="display: none;">