参考知乎：https://www.zhihu.com/question/19723347
这篇博文讲牛顿法讲的非常好：http://blog.csdn.net/itplus/article/details/21896453
梯度下降法用目标函数的一阶偏导、以负梯度方向作为搜索方向，只考虑目标函数
在迭代点的局部性质；牛顿法同时考虑了目标函数的一、二阶偏导数，考虑了梯度变化
趋势，因而能更合适的确定搜索方向加快收敛，但牛顿法也存在以下缺点：
1、对目标函数有严格要求，必须有连续的一、二阶偏导数，海森矩阵必须正定；
2、计算量大，除梯度外，还需计算二阶偏导矩阵及其逆矩阵。
拟牛顿法：http://blog.csdn.net/itplus/article/details/21896619