最優化局部極小點的條件（二）

 回憶一下關於 元實值函數的 的求導問題，函數 的一階導數 為

                                                


函數 的梯度 正好是導數 的轉置，即；函數 的二階導數，也稱為hessian矩陣，可表示為：
 

                                               

 

對於向量 , 和約束集中的某個點 ，如果存在一個實數 使得對於所有 ， 仍然在約束集內，即 ，則稱 為 處的可行方向！


為 元實值函數 在 處的可行方向，則函數 沿方向 的方向導數可表示為

                                               

                          
這也是一個實值函數，如果 ，那么方向導數 表示的是函數 的值在 處沿方向 的增長率。為了計算方向導數，假定 和 已知，這樣就變成了關於的函數，有

                                             

      

應用鏈式法則，可得

                   

由此可見，當 是一個單位向量( )時，函數f的值在 處沿方向 的增長率可以用內積 表示。

一階必要條件：多元實值函數 在約束集 上一階連續可微，即 ，約束集 是的子集。如果是函數 在 上的局部極小點，則對於 處的任意可行方向 ，都有

                                                  

成立。

推論 ：局部極小點位於約束集內部時的一階必要條件：多元實值函數 在約束集 上一階連續可微，即 ，約束集 是 的子集，如果 是函數 在 上的局部極小點，且是 的內點，則有
 

                                                 

成立。

局部極小點的二階必要條件：多元實值函數 在約束集 上二階連續可微，即， 約束集 是 的子集 ， 如果 是函數 在 上的局部極小點 ， 是 處的一個可行方向，且 ，則有
 

                                                

其中，H為函數f的hessian矩陣。

推論：局部極小點位於約束集內部時的二階必要條件： 多元實值函數 在約束集 上二階連續可微，即， 約束集 是 的子集 ， 如果 是函數 在 上的局部極小點，且是 的內點，則有

                                                
                       
hessian矩陣 半正定，也就是說，對於所有的向量 ，都有

                                                

局部極小點的二階充分條件（局部極小點為內點）：多元實值函數 在約束集上二階連續可微，即 ， 是約束集的一個內點，如果同時滿足

1    

2   

則 是函數 的一個嚴格局部極小點

-------------------------------------------------------------------------------

轉載請注明出處 博客園 刺蝟的溫馴 

本文鏈接 http://www.cnblogs.com/chenying99/p/5081426.html