-
神经元neuron（基本计算单元）
xi为输入，wi为各项输入的权重，b为偏差，f为激活函数，h为输出。输入的加权和，经过激活函数映射为输出。
- 参数的物理意义：权重（各输入的重要程度）偏差（该神经元被激活的难易程度≈阈值）
- 激活函数：常见有sigmoid函数，tanh(双曲正切)函数，线性整流函数ReLu
sigmoid函数 
将加权和缩放到[0,1]，微分形式为 
tanh函数 
将加权和缩放到[-1,1] ，微分形式为
线性整流函数 
分段函数，实际神经网络中更好用。梯度=0（z<0）,t梯度=1（z>0）
注：分类问题：使用sigmoid函数，label y=0 or 1， 使用tanh函数， label y = -1 or 1.
回归问题：[0,1];[-1,1]
- 神经网络模型
神经网络本质是多个神经元连接组成的层级结构，上一层的输出为下一层的输入。
基本概念：输入层，输出层，隐藏层略。
基本表示符号略。
前向传播：上一层的输出作为本层的输入，依次逐层向后传播。
- 代价函数（cost function）
某个样本的代价：
所有样本的代价：
第一项为所有样本代价的平均值，第二项为权重正则化项regularization(权重衰减项weight decay)，避免权重太大引起过拟合.
λ为权重衰减参数。
-
梯度下降法最小化代价函数
- 初始化参数：正态分布初始化参数（如果全部初始化为0，会导致每层的神经元学到相同的函数。）
- 梯度下降法：用优化算法（eg:梯度下降法）最小化代价函数，其中最重要的步骤计算梯度。
- 反向传播算法计算梯度
<wiz_tmp_tag id="wiz-table-range-border" contenteditable="false" style="display: none;">