1. 对数损失函数
在逻辑回归中使用对数损失函数，也有人称之为对数似然损失函数
其中 h(x)为对该样本类别预测的概率值
2. 平方损失函数
常用于优化最小二乘法，在实际应用中使用均方差损失作为损失函数
3. 指数损失函数（Adaboost）
学习后补充
4.Hinge损失函数（SVM）
学习后补充
5.交叉熵损失函数
由于sigmoid函数的性质，导致σ′(z)在z取大部分值时会很小（如下图标出来的两端，几近于平坦），这样会使得w和b更新非常慢（因为η * a * σ′(z)这一项接近于0）。
当我们用sigmoid函数作为神经元的激活函数时，最好使用交叉熵代价函数来替代方差代价函数，以避免训练过程太慢。