參考知乎：https://www.zhihu.com/question/19723347
這篇博文講牛頓法講的非常好：http://blog.csdn.net/itplus/article/details/21896453
梯度下降法用目標函數的一階偏導、以負梯度方向作為搜索方向，只考慮目標函數
在迭代點的局部性質；牛頓法同時考慮了目標函數的一、二階偏導數，考慮了梯度變化
趨勢，因而能更合適的確定搜索方向加快收斂，但牛頓法也存在以下缺點：
1、對目標函數有嚴格要求，必須有連續的一、二階偏導數，海森矩陣必須正定；
2、計算量大，除梯度外，還需計算二階偏導矩陣及其逆矩陣。
擬牛頓法：http://blog.csdn.net/itplus/article/details/21896619