轉載自：http://jacoxu.com/jacobian%E7%9F%A9%E9%98%B5%E5%92%8Chessian%E7%9F%A9%E9%98%B5/

在網上看到的一篇不錯的關於雅克比矩陣，海森矩陣和牛頓法的介紹，非常的簡單易懂，並且有Hessian矩陣在牛頓法上的應用。

 

Jacobian矩陣和Hessian矩陣

 

發表於 2012 年 8 月 8 日

 

1. Jacobian

在向量分析中, 雅可比矩陣是一階偏導數以一定方式排列成的矩陣, 其行列式稱為雅可比行列式. 還有, 在代數幾何中, 代數曲線的雅可比量表示雅可比簇：伴隨該曲線的一個代數群, 曲線可以嵌入其中. 它們全部都以數學家卡爾·雅可比(Carl Jacob, 1804年10月4日－1851年2月18日)命名；英文雅可比量”Jacobian”可以發音為[ja ˈko bi ən]或者[ʤə ˈko bi ən].

雅可比矩陣

雅可比矩陣的重要性在於它體現了一個可微方程與給出點的最優線性逼近. 因此, 雅可比矩陣類似於多元函數的導數.

 

雅可比行列式

如果m = n, 那么FF是從n維空間到n維空間的函數, 且它的雅可比矩陣是一個方塊矩陣. 於是我們可以取它的行列式, 稱為雅可比行列式.

在某個給定點的雅可比行列式提供了 在接近該點時的表現的重要信息. 例如, 如果連續可微函數FF在pp點的雅可比行列式不是零, 那么它在該點附近具有反函數. 這稱為反函數定理. 更進一步, 如果pp點的雅可比行列式是正數, 則FF在pp點的取向不變；如果是負數, 則FF的取向相反. 而從雅可比行列式的絕對值, 就可以知道函數FF在pp點的縮放因子；這就是為什么它出現在換元積分法中.

對於取向問題可以這么理解, 例如一個物體在平面上勻速運動, 如果施加一個正方向的力FF, 即取向相同, 則加速運動, 類比於速度的導數加速度為正；如果施加一個反方向的力FF, 即取向相反, 則減速運動, 類比於速度的導數加速度為負.

2. 海森Hessian矩陣

在數學中, 海森矩陣(Hessian matrix或Hessian)是一個自變量為向量的實值函數的二階偏導數組成的方塊矩陣, 此函數如下：

2), 最優化

在最優化的問題中, 線性最優化至少可以使用單純形法(或稱不動點算法)求解, 但對於非線性優化問題, 牛頓法提供了一種求解的辦法. 假設任務是優化一個目標函數ff, 求函數ff的極大極小問題, 可以轉化為求解函數ff的導數f′=0f′=0的問題, 這樣求可以把優化問題看成方程求解問題(f′=0f′=0). 剩下的問題就和第一部分提到的牛頓法求解很相似了.

這次為了求解f′=0f′=0的根, 把f(x)f(x)的泰勒展開, 展開到2階形式：