梯度向量
定義：
目標函數f為單變量，是關於自變量向量x=(x1,x2,…,xn)T的函數，
單變量函數f對向量x求梯度，結果為一個與向量x同維度的向量，稱之為梯度向量；
1. Jacobian
在向量分析中, 雅可比矩陣是一階偏導數以一定方式排列成的矩陣, 其行列式稱為雅可比行列式. 還有, 在代數幾何中, 代數曲線的雅可比量表示雅可比簇：伴隨該曲線的一個代數群, 曲線可以嵌入其中.
雅可比矩陣
定義：
目標函數f為一個函數向量，f=(f1(x),f2(x),…fm(x))T;其中，自變量x=(x1,x2,…,xn)T；函數向量f對x求梯度，結果為一個矩陣；行數為f的維數；列數位x的維度，稱之為Jacobian矩陣；其每一行都是由相應函數的梯度向量轉置構成的；
雅可比矩陣的重要性在於它體現了一個可微方程與給出點的最優線性逼近. 因此, 雅可比矩陣類似於多元函數的導數.
【注】：梯度向量Jacobian矩陣的一個特例；
當目標函數為標量函數時，Jacobian矩陣是梯度向量；
2. 海森Hessian矩陣
在數學中, 海森矩陣(Hessian matrix或Hessian)是一個自變量為向量的實值函數的二階偏導數組成的方塊矩陣, 此函數如下：
(也有人把海森定義為以上矩陣的行列式)海森矩陣被應用於牛頓法解決的大規模優化問題.
實際上，Hessian矩陣是梯度向量g(x)對自變量x的Jacobian矩陣：
海森矩陣在牛頓法中的應用
2), 最優化
在上面討論的是2維情況, 高維情況的牛頓迭代公式是：
參考：https://www.cnblogs.com/ChenKe-cheng
文獻： 牛頓法和Hessian矩陣