線性變換就是矩陣的變換，而任何矩陣的變換可以理解為 一個正交變換+伸縮變換+另一個正交變換。（正交變換可以暫時理解為 不改變大小以及正交性的旋轉/反射 等變換）A*P = y*P ，y就是特征值，P是特征向量，矩陣A做的事情無非是把P沿其P的方向拉長/縮短了一點（而不是毫無規律的多維變換）。y描述沿着這個方向上拉伸的比例。
對於滿秩的n*n方陣，做特征值變換，非滿秩的矩陣，做奇異值變換，差別在於前者是個對角陣，后者形成對角陣和零矩陣合成的矩陣。
下面是更直觀的例子（轉自知乎https://www.zhihu.com/question/21082351）：
- 平面內引入直角坐標系之后，二維空間內所有的向量都可以用兩個基向量i=(1,0)和j=(0,1)的線性組合來表示，例如a=(4,6)，可以表示為a=4i+6j。
- 但是也可以由i=(2,0)和j=(0,2)兩個向量來表示，例如a=2i+3j。
- 還可以由i=(1,1)和j=(1,-1)來表示，例如a=5i-1j。
- 或者由i=(1,0)和j=(1,-1)表示，例如a=10i-6j。
- 在1的基礎上，我們還可以將a表示為i=(1,0),j=(0,1),k=(1,1)三個向量的線性組合，也就是a=4i+6j+0k或者a=0i+2j+4k或者a=2i+4j+2k等等等等我舉不完了。這其中k=i+j。
通過上面的舉例我們可以總結出幾條。
- 由5點到4點，將多余的基向量k去掉，得到最大線性無關向量組。
- 由4點到3點，將兩個基向量的夾角變成直角，實現正交化。
- 由3點到2點，將構成正交的兩個基向量旋轉，使其與坐標軸重合，實現對角化。
- 由2點到1點，通過伸縮將兩個基向量的長度變成單位長度，實現規范化。
通過上面的幾個步驟，我們可以看出，任何一組向量構成的坐標系，都可以通過化簡，正交，對角，規范的過程，將任何亂七八糟莫名其妙的坐標系變換成笛卡爾坐標系。那這么做有什么用呢？到這里我開了一下腦洞：
假如說，平面內有兩個橢圓，將直角坐標系的原點放在一個橢圓的長軸和短軸交點處，這樣就可以得到這個橢圓的標准方程，就是高中課本上那個。由於這兩個橢圓的位置相對，這樣一來另一個橢圓的位置也就定下來了，可惜很難看，長得很歪，很難用方程表示。這時就可以以這個橢圓為原點再建立一個坐標系，並且在這個坐標系下用標准方程表示出來，這樣兩個橢圓都有了方程來表示，問題就化簡為了兩個坐標系之間的關系，這時再用矩陣來運算就好了。可惜這里不能畫矩陣，關於矩陣的好多問題都不能解釋。