一、Hassion矩陣定義
實值函數f(x)相對於n×1實向量x的二階偏導是一個由n2個二階偏導組成的矩陣，即（Hassion矩陣）：
根據定義，Hessian矩陣的第i行第j列是梯度 ∂f(x)/∂xi=∇xif(x)第j個分量的梯度，即：
Hessian矩陣求法：
（1）求實值函數f(x)關於向量變元x的偏導數，得到實值函數的梯度 ∂f(x)∂x/∂f(x)∂x；
（2）再求梯度 ∂f(x)/∂x相對於1×n行向量xT的偏導數，得到梯度的梯度即Hessian矩陣。
二、局部極小點的條件
根據定義確定某個點x*是否為目標函數的局部極小點，需要將目標函數在該點的取值與函數在該點領域里所有點的取值進行比較。這顯然是不實際的做法。然而，如果f(x)是二次連續可微分的話，直接通過檢驗梯度∇xf(x∗)和Hessian矩陣∇x2f(x∗), 即可判斷點x∗是否為局部極小點（甚至是嚴格局部極小點）。若(Δx)TΔx很小， 即函數f(x)的二階Taylor級數展開為：
定理：假設 ∇2xf(x)∇x2f(x)在 x∗x∗的開鄰域內連續，並且
則 x∗是函數f(x)的嚴格局部極小點。式中 ∇x2f(x∗)>0表示Hessian矩陣 ∇x2f(x∗)正定。（具體即 (Δx)T∇x2f(x)Δx>0）
證明：由函數f(x)的二階Taylor級數展開 f(x∗+Δx)=f(x∗)+(Δx)T∇xf(x∗)+1/2(Δx)T∇2xf(x∗)Δx，且 ∇xf(x∗)=0, (Δx)T∇2xf(x∗)Δx>0可得：f(x∗+Δx)>f(x∗)，所以 x∗是函數f(x)的嚴格局部極小點。
應當注意的是，該二階充分條件並不是必要條件：有的點 x∗可能是函數f(x)的嚴格局部極小點，但是在該點的Hessian矩陣卻不是正定的。例如，觀察知，點 x=0是函數 f(x)=(xTx)2的嚴格局部極小點，但是Hessian矩陣
在嚴格局部極小點 x=0處為零矩陣，不是正定矩陣。
定理：凸函數f(x)的任何局部極小點x∗都是該函數的一個全局極小點。
證明：假設x∗是局部極小點，但不是一個全局極小點。於是，可以求出一點z∈R滿足f(z)<f(x∗).考慮從x∗到z的線段上的點x,則
根據凸函數的性質，有
則當 x趨近於x∗時，有 f(x)<f(x∗),所以 x∗不是局部極小點，與假設矛盾。因此，局部極小點 x∗必定時一個全局極小點。
轉載於：https://blog.csdn.net/Flying_sfeng/article/details/81196582