1. 矩陣的意義
這篇文章對矩陣的含義做了清晰的解釋，以 \(Ma=b\)為例介紹矩陣M的含義
- 從變換的角度來說，矩陣M可以理解為對向量 a做變換得到了 b
- 從坐標系的角度來說，M可以理解成是一個坐標系（常用的坐標是笛卡爾坐標系，即 \(I\)），向量a就是在M這個坐標系下的坐標，a對應到\(I\)坐標系下的坐標是向量 b。
所以本質上說a和b是等價的，就好像我們給一個人拍照，站在樓上拍照和爬着拍照，角度不一樣，但是拍的東西都是同一個東西，唯一的差別就是坐標系的不同。
2. 特征值和特征向量的意義
基於上面的解釋后，我們再來看特征值和特征向量的定義:
設 A 是n階方陣，如果存在數m和非零n維列向量 x，使得 Ax=mx 成立，則稱 m 是A的一個特征值（characteristic value)或本征值（eigenvalue)。
那特征值和特征向量具體是什么含義呢？
我們假設矩陣A的某個特征值為 m1, 對應的特征向量是 x1。根據定義和上面對矩陣的理解可以知道，x1是以A為坐標系的坐標向量，將其變換到以\(I\)為坐標系后得到的坐標向量 與 它原來的坐標向量 永遠存在一個 m1 倍的伸縮關系。
為了方便理解舉一個簡單的例子，假如矩陣A如下，可以看到它的特征值有2個，分別是1,100，分別對應2個特殊的特征向量，即 [1,0],[0,1]。
所以矩陣A左乘任意的一個向量x，其實都可以理解成是把向量x沿着這2個特征向量的方向進行伸縮，伸縮比例就是對應的特征值。可以看到這2個特征值差別是很大的，最小的只有1，最大的特征值為100。
看下圖的例子，矩陣A和向量 [1,1]相乘得到 [1,100]，這表示原來以A為坐標系的坐標[1,1]，經過轉換到以\(I\)為坐標系后 坐標變成了 [1,100]。我們直觀地理解就是矩陣A把向量[1,1]更多地往y軸方向拉伸。
假如A是多維(n)矩陣，且有n個不同的特征值，那么就可以理解成這個矩陣A和一個向量x相乘其實就是把向量x往n個特征向量的方向進行拉伸，拉伸比例是對應的特征值。那這樣有什么作用呢？
3. 特征值和特征向量的應用
意義就在於如果我們知道了特征值的大小，有時為了減少計算了，我們可以只保留特征值較大的，比如上面的圖片中，我們可以看到變換后的向量x軸適合原來一樣的，而y軸方向拉伸了100倍，所以通常為了實現壓縮算法，我們可以只保留y軸方向的變換即可。
對應到高維情況也是類似的，多維矩陣會把向量沿着多個方向拉伸，有的方向可能拉伸幅度很小，而有的很大，我們只需要保留幅度大的即可達到壓縮的目的。