最優化理論與方法學習筆記
一、引論
1、范數
Frobenius范數：
加權Frobenius范數和加權l2范數（其中M是n x n的對稱正定矩陣）：
橢圓向量范數：
特別，我們有
關於范數的幾個重要不等式是：
2、無約束問題的最優性條件
3、最優化方法的結構
二、一維搜索
1、引論
所謂一維搜索，又稱線性搜索，就是指單變量函數的最優化，它是多變量函數最優化的基礎。
一維搜索的主要結構如下：首先確定包含問題最優解的搜索區間，再采用某種分割技術或插值方法縮小這個區間，進行搜索求解。
確定搜素區間的一種簡單方法叫進退法，其基本思想是從一點出發，按一定步長，試圖確定出函數呈現“高-低-高”的三點。一個方向不成功，就退回來，再沿相反方向尋找。
2、分割方法
3、插值法
牛頓法具有局部二階收斂速度。
三、牛頓法
1、最速下降法（梯度下降法，簡稱梯度法）—— P118
收斂性：線性收斂
2、兩點步長梯度法 —— P127
或 
其中，
收斂性：R-超線性收斂
3、牛頓法 —— P131
對於正定二次函數，牛頓法一步即可達到最優解。對於非二次函數，牛頓法並不能保證經有限次迭代求得最優解，但由於目標函數在極小點附近近似於二次函數，故當初始點靠近極小點時，牛頓法的收斂速度一般是快的。牛頓法具有局部收斂性和二階收斂速度。
應該注意的是，當初始點遠離最優解時，Gk不一定正定。牛頓方向不一定是下降方向，其收斂性不能保證。這說明恆取步長因子為1的牛頓法是不合適的，應該在牛頓法中采用某種一維搜索來確定步長因子。但是應該強調，僅當步長因子{ ak }收斂到1時，牛頓法才是二階收斂的。這時牛頓法的迭代公式為
其中ak是一維搜索產生的步長因子。
這種帶步長因子的牛頓法是總體收斂的。
4、修正牛頓法 —— P136
牛頓法面臨的主要困難是Hesse矩陣Gk不正定。這時候二次模型不一定有極小點，甚至沒有平穩點。當Gk不定時，二次模型函數是無界的。