長方矩陣與正定矩陣

　　我們之前一直在討論方陣，但大量的實際問題應用到了長方矩陣，比如在最小二乘中用到了A^TA。

　　如果A是一個m×n的長方矩陣，那么A^TA是一個對稱矩陣，當然也是方陣，我們感興趣的是A^TA的正定性。對於A^TA來說，我們對它的特征向量和行列式一無所知，需要根據x^T(A^TA)x > 0來判斷其正定性：

　　當且僅當Ax=0時，上式等於0，因此只需要看看什么時候Ax=0。

　　我們在矩陣零空間中討論過，對於一個m×n的長方矩陣來說，如果是矩陣是列滿秩，m > n，那么該矩陣的零空間只有零向量。因此，當A是列滿秩的矩陣時，僅當x=0時Ax=0，此時對於任意非零向量，一定有x^T(A^TA)x > 0，A是正定的。

相似矩陣

　　A和B都是n×n的方陣，若存在可逆矩陣M，使得B=M^-1AM，則稱A和B互為相似矩陣，記作A~B。

相似矩陣與特征值

　　實際上我們早就見過相似矩陣。如果A有n個線性無關的特征向量，則A可以對角化為A=SΛS^-1，相當於S^-1AS=Λ，A和其特征值矩陣Λ互為相似矩陣，這里的M=S，是特征向量矩陣。實際上A的相似矩陣有很多，我們可以用任意可逆矩陣M代替S，從而求得其他的相似矩陣，Λ是眾多相似矩陣中最簡潔的一個。

　　召喚一個矩陣：

　　Λ和A互為相似矩陣。如果取另一組可逆矩陣，可以得到A的另一個相似矩陣：

　　觀察B會發現，它的跡是4（特征向量之和），行列式是3（特征向量之積），這暗示我們B的特征向量和A相同。實際上這正是相似矩陣的特性：相似矩陣具有同樣的特征值。實際上所有特征是是3和1的二階矩陣都是A的相似矩陣。

　　為什么相似矩陣會出現相同的特征值呢？現在設A和B互為相似矩陣，B=M^-1AM，根據特征方程：

　　現在出現了新的特征方程，B的特征向量是M^-1x，特征值是λ，和A的特征值一致。當然，別指望特征向量也相同，如果特征向量也相同，就變成了完全相等的同一個矩陣。

相似矩陣的性質

對於B=M^-1AM

　　設A，B和C是任意同階方陣，則有：

　　（1）反身性：A~A

　　（2）對稱性：若A~B，則B~A

　　（3）傳遞性：若A~B，B~C，則A~C

　　（4）若A~B，則二者的特征值相同、行列式相同、秩相同、跡相同。

　　（5）若A~B，且A可逆，則B也可逆，A^-1~B^-1。

特征值相等的情況

　　當A的所有特征值互不相同時，A必然存在n個線性無關的特征向量，此時A能夠對角化；如果存在完全相等的特征值，是否能夠對角化就不好說了，需要另行判斷，我們對這類矩陣的相似矩陣同樣感興趣。

　　上面的對角矩陣有兩個相同的特征值：λ₁=λ₂=4，如果A有相似矩陣，我們看看這個相似矩陣是什么：

　　此時A的相似矩陣是A本身，類似A這種特征值重復的對角矩陣，它們只和自己相似。

　　另一種特征值相同的矩陣則可能有很多相似矩陣，兩個特征值都是4的這類矩陣中最簡潔的是：

　　這個矩陣無法對角化，如果它能對角化，那么：

　　這顯然是不成立的。類似A的矩陣雖然有完全相同的特征向量，但無法對角化，比如把右上角的元素1改成其他值。其中A是這類矩陣中最簡單的一個，稱為諾爾當標准型。

諾爾當標准型

　　諾爾當指出，對於特征值完全相同的方陣A，就算不能對角化，也一定能夠通過變換得到與對角矩陣很接近的諾爾當標准型。具體來說，對於方陣A，一定有同樣規模的可逆矩陣P，使得P^-1AP=J，J是諾爾當標准型。

　　諾爾當標准型到底是個啥？舉個例子：

　　上面的矩陣就是諾爾當標准型，其中空白區域的元素全是0，每一個紅色方塊是一個諾爾當塊。每個諾爾當塊都要滿足兩個性質：主對角線元素完全相同（特征值完全相同），主對角線上方的次對角線元素全為1（如果有次對角線的話）。上面的矩陣是5個諾爾當塊構成的，其中[4]比較特別，它只有主對角線，沒有次對角線，是大小為1的諾爾當塊。

　　若爾當標准型是由若干個若爾當塊按對角排列組成的准對角矩陣。

　　有時候，諾爾當標准型不是那么容易辨別。來看幾個諾爾當標准型：