本篇是對自己學習《最優化方法》的一些脈絡、思路的記載，也有可能會有一點點思考。
貫穿本學期課程的主要內容實際上是泰勒公式和線性系統的擇一性。當然主要是因為線性情況比較好求解，且任何函數取局部都可以線性近似，解決線性問題具有一般意義。
泰勒公式
一般來講 ，泰勒公式展開只需要用到二階即可。其本質意義在於用多項式函數來逼近函數，求導，一階即為切線近似。【推導原理：保證導數相等且經過這一點】
線性系統的擇一性
Farkas 引理：設A為m×n矩陣，c為n維列向量，則\(Ax≤0，c^Tx＞0\)有解的充要條件是\(A^Ty=c, y≥0\)無解。
Gordan定理：設A為m×n矩陣，那么\(Ax<0\)有解的充要條件是不存在非零向量\(y≥0\)，使得\(A^Ty=0\)。
引理1：若系統\(Ax<0, Bx=0\)無解，則系統\(A^Ty+B^Tz=0,y≥0\)，且\(y≠0\)或\(z≠0\)有解。
這三條引理貫穿線性規划問題的求解思想，只要理解了這三條，沿着這個軌跡走就很容易理解KKT條件、拉格朗日函數、單純形法、對偶之間的思想和聯系！
思考路徑
-
在應用泰勒展開時，需要對其導數進行計算。首先需要判斷一個函數是否一階二階可微和具體值。
需要求的函數千變萬化，一般變化規則是：從一維函數到高維函數，普通函數到向量函數
一階：導數（此時梯度和導數等價）
二階：Hesse矩陣（用的是偏導數）
向量函數的一階：Jacobi矩陣 梯度向量構成的矩陣【二階同理，相當於對多個函數求二階導】 -
在確定該函數可以用多項式函數逼近時，需要將考慮問題的范圍不斷縮小，找到性質比較好的問題進行求解，然后進行推廣或近似。故有凸集的定義和性質（升縮交運算封閉）
凸集最明顯的特征在於連接集合中任意兩個點，線段上的點依然屬於該集合。這樣的特性保證了所有集合里的點可以在“同一邊”，可以當成是凸集分離定理的一種形象理解。
在驗證一個集合是否為凸集時可以采用上述定義驗證，也可以利用凸集與凸集之交仍為凸集通過一些比較明顯的凸集進行判斷（常用的凸集有：超平面、半空間和射線等） -
在刻畫凸集時，一般需要點和方向。這催生了極點和極方向的概念。在方向的問題探討上，涉及到了一點一方向即錐（射線 正向伸縮）；
方向：沿着這個向量的方向走，所有的點都在集合內。【有限集無方向】
極方向：其它方向表示不出來的方向（可理解為最邊上那個方向）
極點：不存在兩個點的連線經過這個點（可理解為邊界交點）通過極點和極方向就可以對凸集進行刻畫。
有限個半空間的交是多面集；極點、極方向（邊界方向，不能被表出） -
集合加上對應映射就是函數，所以之后介紹凸函數的判別方法：
· 定義式（被切線托起來，線性逼近的值小於函數真值）\(f(x)≥f(y)+f'(y)(x-y)+...\)
· 最優性條件：凸函數，一階導為0，則為最小值點。
· 二階判別條件：在\(x\)處的Hesse矩陣是半正定的（二階可微函數），若為正定則\(f(x)\)為嚴格凸函數。
這三條判別條件的主要思想在於切線托起曲線，函數值大於切線值，即泰勒公式左邊減右邊需為正。 -
根據凸函數的水平集性質，在凸集上找凸函數的最優解一定能找到。
也就衍生了凸規划的定義：
凸規划的性質：
· 凸規划問題的任一局部最優解為全局最優解
· 凸規划問題的解集為凸集
· 嚴格凸規划問題若存在最優解，則最優解唯一。【嚴格凸規划並不一定存在最優解】
· 凸規划問題的全局最優解與穩定點等價
· 凸規划問題的KKT點為其全局最優解
由此，問題結構搭建基本完畢，接下來主要解決如何找到凸函數的最小值問題。先從最簡單的無約束優化問題切入。
-
無約束優化最優性條件
主要思想是局部不動達到穩定，可認為達到了局部最優解。在凸函數這種極好的性質下，局部最優就是全局最優。帶上泰勒公式理解即可。
尋找最值的搜索給定步長和方向判斷趨勢直到梯度為可認為找到了局部最優解（若為凸函數則是全局最優解）
· 局部最優解的一階必要條件：若是局部最優解，則一階導為0（反之 導數為0不一定是局部最優解；必要條件的意思是 必須要滿足才有可能成立，但滿足也不一定成立）
· 局部最優解的二階必要條件：若是局部最優解，則二階導為0，Hesse矩陣半正定。
· 二階充分條件：若一階導為0，二階導正定，則是嚴格局部最優解。若二階導為半正定，則是局部最優解。
· 無約束規划充要的最優性條件：一階導為0 -
對最小二乘問題和正則化策略的理解。