特征向量與特征值
我們考慮任何一個線性變換都可以等同於乘上一個矩陣。
但是乘上一個矩陣的復雜度是 \(O(n^2)\) 的，所以我們需要考慮更優秀的做法。
考慮線性變換的矩陣 \(A\) 和一個列向量 \(\alpha\) 。
我們可以找出一個常量 \(\lambda\) 和向量 \(\alpha\)使得上式成立，那么我們稱 \(\alpha\) 就是這個線性變換的特征向量，\(\lambda\) 就是它的特征值。
由上式易得：
我們要使得 \(\alpha\ne \vec{0}\) ，所以就要使得 \(\text{det}(A-\lambda I)=0\) ，因為我們不能使得等式兩邊同乘 \((A-\lambda I)^{-1}\) ，得到 \(\alpha=\vec{0}\) 。
這樣的話我們就可以計算出特征值了，然后利用特征值就可以直接計算出特征向量（不唯一，且不一定線性無關）了。
我們能否保證不同特征值計算出來的特征向量是線性無關的？
這里摘取了一篇知乎里的證明，是根據定義入手，考慮幾何意義，最后得出不相同。
“特征”本與向量無關，只與矩陣的構造有關，它講的是，在某一個“方向”上(這個方向完全由矩陣的構造決定，也就是由矩陣里幾個列向量的相對關系決定了)，會出現在經過y=Ax的運算(變換)后，y的方向居然與x的共線。這個情況不是普遍的，而是特別的，所以，這就是一個特別的方向。所有在這個方向上的(也就是在這一根直線上的)的向量，就都被稱之為特征向量了(在這個特別方向上的向量)。如果你選的x在這個方向(直線)上，它就是一個特征向量。這時，y=Ax就會簡化成y=λx，矩陣A與向量x相乘的效果就如同用一個系數λ去乘以x。同樣，這時的y也是一個特征向量。
用矩陣A乘以向量x，通常會得到一個長度和方向都與x不同的向量y，而在這個特別的方向上取的x(x里的數字之間取到了這個特定的比例)，獲得的y就是λx了，y對x就只有長短的不同，但一定是在一根線上的。而二者長短的比例就是λ，被稱為特征值。
但是，一個矩陣會不只有一個特別方向(但最多不超過矩陣的秩)，在不同的特別方向上，各有無數的特征向量。而在不同的特別方向上，特質值(y,x的長度比)有可能相同(比較少見)，也可能不同。不同特別方向上的 特征值沒有啥關聯性，即便它們相同了，也還是分別在不同的特別方向上的y與x之間的長度比。
作者：天下無難課
鏈接：https://www.zhihu.com/question/400720726/answer/1276734553
來源：知乎
著作權歸作者所有。商業轉載請聯系作者獲得授權，非商業轉載請注明出處。
這樣的話，我們就可以將一個線性變換（即列向量左乘一個矩陣）快速實現，如果我們提前知道了他的特征向量。
因為你發現求特征向量的過程和用特征向量分解最后的列向量的過程都是一個高斯消元，所以還不如 \(O(n^2)\) 。
但是如果能夠提前構造優秀的特征向量就可以快速實現了，所以還是沒有什么大用。