Hessian矩陣的幾何意義

就像高中用二階導數來判斷一維二次函數的凹凸走向一樣，Hessian矩陣不過是用來判斷多維函數在某一指定點的凹凸性而已，看完這個博客想必你會立馬恍然大悟，文章篇幅不大，還請耐心看完全程。

1. 基礎一：什么是行列式

這個想必大家都懂得，以二維矩陣為例：

2.基礎二：特征值和特征向量

矩陣最大的應用之一就是在幾何變換上，比如旋轉，平移，反射，以及倍數變大或變小。
舉例：
$X=\left [\begin{matrix}3&-1 \end{matrix}\right]$
$\left[\begin{matrix} 2&0\\0&2\end{matrix} \right]*X$
$\left[\begin{matrix}6&-2\end{matrix} \right]$
可以看出，相等於把矩陣X每個元素都擴大了2倍。
再比如，給定一個普通矩陣
$\left[\begin{matrix} 2&3\\5&4\end{matrix} \right]$
這個矩陣看上去很普通，但是如果乘以
$\left[\begin{matrix} 3\\5\end{matrix} \right]$
可以得到
$\left[\begin{matrix} 21\\35\end{matrix} \right]$
就好比乘以了一個標量7。此時我們便得到了一個特征向量以及特征值。對於分析Hessian矩陣，特征向量不是很重要，但是特征值很重要

3.基礎三：求解特征值

簡單粗暴，沒什么解釋的，就這么求的方法為：
$\left|\left[\begin{matrix}a&b\\c&d\end{matrix}\right]-\left[\begin{matrix}x&0\\0&x\end{matrix}\right]\right|=0$
$\left|\begin{matrix}a-x&b\\c&d-x\end{matrix}\right|=0$
我們已經復習過了求行列式的方法，所以上述行列式不難求。
舉例，求 $\left[\begin{matrix}2&3\\5&4\end{matrix}\right]$的特征值，你會得到 $\left[\begin{matrix}2-x&3\\5&4-x\end{matrix}\right]$
計算行列式(determinant)可得
$(2-x)(4-x)-15=0\\8-6x+x^2-15=0\\x^2-6x-7=0\\(x-7)(x+1)=0\\x=7/-1$
7或者-1就是我們要求的特征值。

4.應用：特征值的含義

Hessian矩陣我們已經知道是二階導數矩陣，有時候二階導數仍然帶有未知數，所以求給定點的Hessian矩陣才有意義，給定坐標后，Hessain矩陣變成常數矩陣，然后就可以求其特征值

1. 如果Hessian矩陣所有特征值均為正：開口向上凹的點
   
2. 如果均為負：開口向下凹的點
   
3. 如果有正有負：存在鞍點
   
4. 如果有一項為0：不確定情況。

5.結論

Hessain矩陣的幾何意義就是判斷點的凹凸性，基於Hessian矩陣的牛頓法，只適用於所有特征值均為正的情況。
（本文翻譯自Bing搜索某一鏈接，如有侵權，請立即聯系我，我會立刻刪除，謝謝☺）