Hessian矩陣【轉】

http://blog.sina.com.cn/s/blog_7e1ecaf30100wgfw.html

在數學中，海塞矩陣是一個自變量為向量的實值函數的二階偏導數組成的方塊矩陣，一元函數就是二階導，多元函數就是二階偏導組成的矩陣。求向量函數最小值時可以使用，矩陣正定是最小值存在的充分條件。經濟學中常常遇到求最優的問題，目標函數是多元非線性函數的極值問題，尚無一般的求解方法，但判定局部極小值的方法就是用hessian矩陣：

在x0點上，hessian矩陣是負定的，且各分量的一階偏導數為0，則x0為極大值點。

在x0點上，hessian矩陣式正定的，且各分量的一階偏導數為0，則x0為極小值點。

矩陣是負定的充要條件是各個特征值均為負數。

矩陣是正定的充要條件是各個特征值均為正數。

函數如下：

如果f所有的二階導數都存在，那么f的海塞矩陣即為：H(f)_ij(x) = D_iD_jf(x)，即

（也有人把海色定義為以上矩陣的行列式）海賽矩陣被應用於牛頓法解決的大規模優化問題。

 

性質

對稱性：如果函數f在D區域內二階連續可導，那么f海塞矩陣H（f）在D內為對稱矩陣。原因是：如果函數f連續，則二階偏導數的求導順序沒有區別，即：

則對於海塞矩陣H（f）,有，所以為對稱矩陣。

多元函數極值的判定

如果實值多元函數二階連續可導，並且在臨界點M(x_i)(其中i=1,2,...,n，並且X_i已知)處梯度（一階導數）等於0，即，則M為駐點。僅通過一階導數無法判斷在臨界點M處是極大值還是極小值。

記f在M點處的黑塞矩陣為H(M)。由於f在M點處連續，所以H(M)是一個的對稱矩陣，對於H(M),由如下結論：

• 如果H(M)是 正定矩陣，則臨界點M處是一個局部的極小值。
• 如果H(M)是 負定矩陣，則臨界點M處是一個局部的極大值。
• 如果H(M)是 不定矩陣，則臨界點M處不是極值。