矩陣論是對線性代數的延伸，很有必要深入研究。研究矩陣論可以加深對PCA，SVD,矩陣分解的理解，尤其是第一章入門的線性空間的理解，在知識圖譜向量化，self_attention等論文中會涉及大量的矩陣論的知識。本文對此做一個總結，分為以下結構:
第一部分：矩陣的線性空間，矩陣的意義;
第二部分：矩陣的范數理解，self_attention以及transD論文核心技術解讀;
第三部分：矩陣的分解以及PCA，SVD
1.線性空間，矩陣的意義
這部分內容是理解矩陣的基礎也是最關鍵的部分。對於線性空間的基本概念不必多解釋，都說矩陣的本質是線性變換，這里有必要總結一下。一般而言，矩陣乘以向量后結果仍然是向量，相當於對向量進行了變換。這個變換包括方向和幅度，方向指的是坐標軸，幅度一般值向量的特征值。舉一個最直觀的例子：
比如說下面的一個矩陣： 
它其實對應的線性變換是下面的形式：
因為這個矩陣M乘以一個向量(x,y)的結果是：
上面的矩陣是對稱的，所以這個變換是一個對x，y軸的方向一個拉伸變換（每一個對角線上的元素將會對一個維度進行拉伸變換，當值>1時，是拉長，當值<1時時縮短），當矩陣不是對稱的時候，假如說矩陣是下面的樣子：
它所描述的變換是下面的樣子：
上面的M矩陣，其實已經是特征值了，呵呵。下面從最專業的矩陣論理論，具體解釋矩陣的本質。前面的變換其實是對向量的左邊進行拉伸或者旋轉，所以先介紹一下在矩陣論中坐標軸，坐標系和坐標的概念。
對於線性空間Vn ，空間的基e1,e2,……是一組非線性相關向量，就是這些向量組成的行列式不為0。空間中的任一向量都可以寫成這些基的線性組合，這些組合系數稱之為向量的坐標。空間的基對應空間的坐標系，坐標是對應在坐標系中的。那么一個變換矩陣應該如何理解呢？現有空間里的一個向量x,Tx為向量的象，也就是經過變換后的向量。現推導如下：
首先半正定矩陣定義為: 
其中X 是向量，M 是變換矩陣
我們換一個思路看這個問題，矩陣變換中，MX代表對向量 X進行變換，我們假設變換后的向量為Y，記做Y = MX。於是半正定矩陣可以寫成：
這個是不是很熟悉呢？ 他是兩個向量的內積。 同時我們也有公式：
||X||, ||Y||代表向量 X,Y的長度，
是他們之間的夾角。 於是半正定矩陣意味着
, 這下明白了么？正定、半正定矩陣的直覺代表一個向量經過它的變化后的向量與其本身的夾角小於等於90度。
下面從上面推導的過程來理解，考慮矩陣的特征值：
若所有特征值均不小於零，則稱為半正定。
若所有特征值均大於零，則稱為正定。
矩陣經過特征值分解后的特征值是一個對角陣，就是原空間某一個基在變換后的空間的長度變化系數，大於0表示方向一致，小於0表示方向相反，每個向量都會經過變換矩陣A的每列系數組合變換，而A經過分解后分為特征值和坐標軸兩部分，每個特征值表明了基的自身變換方向與幅度，>0表明同向變換。如果每個特征值都>0的話，由於向量是由空間的基線性組合而成最終導致變換后的向量與原向量同向變化。
2.矩陣的范數
矩陣的范數和向量的范數沒有太大的不同，唯一添加的就是相容性。證明的矩陣的范數時只需證明4條就可以了。通常所說的矩陣一階范數指的是列和范數，即取每列絕對值之和最大的數。矩陣的F范數應用是很廣的。類似於用向量的歐式距離，把一個mxn的矩陣看成是碾平的向量，取歐氏距離即可。在self_attention論文中，核心就是矩陣的F范數結構化約束。有興趣可以讀一讀並復現論文，用在工程之中。在知識圖譜的transD論文里關於entity和relation的相互投影問題以及h和t不在一個空間的問題，可以很好地用矩陣論來解釋。
3.矩陣的QR分解以及PCA,SVD
矩陣的QR分解理論對PCA和SVD具有非常好的指導意義。矩陣論里面非常好地闡釋了QR分解和SVD的關系，這里不做推導了。PCA其實是SVD的外部封裝。特征值分解和奇異值分解在機器學習領域都是屬於滿地可見的方法。兩者有着很緊密的關系，特征值分解和奇異值分解的目的都是一樣，就是提取出一個矩陣最重要的特征。先談談特征值分解吧：
如果說一個向量v是方陣A的特征向量，將一定可以表示成下面的形式：
這時候λ就被稱為特征向量v對應的特征值，一個矩陣的一組特征向量是一組正交向量。特征值分解是將一個矩陣分解成下面的形式：
其中Q是這個矩陣A的標准正交特征向量系組成的矩陣，Σ是一個對角陣，每一個對角線上的元素就是一個特征值。這個結論其實是QR分解的一個推廣，這個公式更能直觀地解釋第一部分關於半正定矩陣的解釋。我們來看看奇異值分解和PCA的關系吧：
矩陣論中關於奇異值的講解，比網上其他的博客要正統很多。