故事繼續從選定方向的選定步長講起
首先是下降最快的方向 -- 負梯度方向衍生出來的最速下降法
最速下降法
顧名思義，選擇最快下降。包含兩層意思：選擇下降最快的方向，在這一方向上尋找最好的步長。到達后在下一個點重復該步驟。定方向 選步長 前進...
優化問題的模型：\(min f(x)\) 其中\(f\)至少一階連續可微
令\(g(x)=\triangledown f(x), g_k=\triangledown f(x_k)\)，則最優步長\(\alpha_k=arg min f(x_k + \alpha d_k)\)
根據鏈式法則和一階最優性條件可以得到最優步長的正交性，進行求解即可。
最速下降法全局收斂，計算量與存儲量小，線性收斂，不具備二次終止性
牛頓法
該方法主要應用的是泰勒展開的前三項（到二次項部分）保證其二階導等於0。可以有以下計算公式（又被稱為牛頓方程，這也是方法名字的原因）：
\(\triangledown ^ 2 f(x_k)d + \triangledown f(x_k)=0\)
牛頓方向：\(d_{k} ^ N = -[\triangledown ^2 f(x_k)]^{-1} \triangledown f(x_k)\)
牛頓步：\(x_{k+1}=x_k-G_k ^{-1}g_k\)
注意：把步長和方向和到了一起
牛頓法局部收斂（初始點需要接近最優解集合），計算量和存儲量大（要求二階導），二次收斂，具備二次終止性
線性共軛梯度法
該方法主要是將線性方程組的求解問題轉化為嚴格凸二次規划問題。利用數值迭代方法，沿共軛方向進行線搜索（取搜索方向為當前迭代點的負梯度方向與前一迭代的搜索方向的線性組合）
在線性共軛方向法中，初始點處的搜索方向取為該點的負梯度方向。而后各共軛方向\(d_k\)由第\(k\)次迭代點\(x_k\)處的負梯度\(-g_k\)與已得的共軛向量\(d_{k-1}\)的線性組合來確定。
\(d_k=-g_k+\beta_{k-1}d_{k-1}\)
有以下計算公式：【推導過程先放一放 過段時間補上！】
共軛梯度法初始點任意選取，計算量與存儲量小，線性收斂速率，具有二次終止性。