無約束優化算法——牛頓法與擬牛頓法（DFP，BFGS，LBFGS）

簡介：最近在看邏輯回歸算法，在算法構建模型的過程中需要對參數進行求解，采用的方法有梯度下降法和無約束項優化算法。之前對無約束項優化算法並不是很了解，於是在學習邏輯回歸之前，先對無約束項優化算法中經典的算法學習了一下。下面將無約束項優化算法的細節進行描述。為了尊重別人的勞動成果，本文的出處是：http://blog.csdn.net/itplus/article/details/21896453

 

、

 

從這里我們可以看出：要想迭代出Xk+1，就只需要計算Dk+1即可。DFP算法是對Dk+1的一個近似計算的算法。BFGS算法是直接近似計算海森矩陣，用B_k+1表示。