一、接着上一節說正定矩陣
所謂正定，就是$x^TAx > 0$（$except \space for \space x = 0$）成立，我們通常也可以通過特征值，主元，行列式來判斷
雖然我們知道了什么是正定矩陣，如何判斷正定矩陣，那么正定矩陣是從何而來的呢？主要來自：最小二乘法
實際上，大量的物理問題需要用長方形矩陣來描述，我們知道最小二乘法的關鍵是矩陣：$A^TA$，我們希望證明這是正定矩陣
如果我們知道矩陣$A, B$都是正定的，那么矩陣$A+B$是否是正定的呢？我們只需要證明：$x^T(A+B)x > 0$，我們知道：
$x^TAx > 0$
$x^TBx > 0$
兩式相加，即可證明$x^T(A+B)x > 0$，因此矩陣$A+B$正定
下面我們來證明最小二乘法的關鍵矩陣是否正定：假設矩陣$A_{m*n}$（不是對稱矩陣，所以不是正定的）但我們知道：$A^TA$是方陣，並且對稱，我們只需要證明下面的式子恆大於0：
$x^T(A^TA)x > 0$
證明：$x^T(A^TA)x = (Ax)^T(Ax) = |Ax|^2 >= 0$，矩陣乘以向量得到向量，向量的平方相當於求向量的模長，只要$x$不等於0，那么上面的式子恆大於0
二、相似矩陣
假設矩陣為：$A_{n*n}, B_{n*n}$，不要再把他當做對稱矩陣，就是普通的方陣，$A, B$相似的意思是：存在某個可逆矩陣$M^{-1}$，使得下式成立
$B = M^{-1}AM$，可能你會覺得該式子來得比較突然，這樣組合有什么意義
其實上面的式子，你應該不陌生，還記得下面的公式吧，矩陣對角化：
$A = S\Lambda S^{-1}, \Lambda = S^{-1}AS$
這說明$\Lambda$和$A$相似，$S$就是上面的$M$，但是如果$M$不取$S$，用其他矩陣的話，$M^{-1}AM$的結果就不是對角化矩陣$\Lambda$，而是新的相似於$A$的矩陣
其實改變$M$，只要可逆，就會得到很多與$A$相似的矩陣，他們和$\Lambda$一樣與$A$相似，這些與$A$相似的矩陣應該歸為一類，只是$\Lambda$是這些相似矩陣中最為簡潔的一個：因為其為對角化矩陣
我們為什么會對相似矩陣感興趣呢？因為他們有共同的性質-他們的特征值都相同，我們來舉例
$A = \left[\begin{array}{ll}{2} & {1} \\ {1} & {2}\end{array}\right]$，其特征值為$3, 1$
其對角化矩陣為：$\Lambda = \left[\begin{array}{ll}{3} & {0} \\ {0} & {1}\end{array}\right]$，其特征值為$3, 1$
我們再隨便取一個$M = \left[\begin{array}{ll}{1} & {4} \\ {0} & {1}\end{array}\right]$
$M$的逆矩陣為：$M^{-1} = \left[\begin{array}{ll}{1} & {-4} \\ {0} & {1}\end{array}\right]$
$B = M^{-1}AM = \left[\begin{array}{ll}{1} & {-4} \\ {0} & {1}\end{array}\right]\left[\begin{array}{ll}{2} & {1} \\ {1} & {2}\end{array}\right]\left[\begin{array}{ll}{1} & {4} \\ {0} & {1}\end{array}\right]=\left[\begin{array}{ll}{-2} & {-15} \\ {1} & {6}\end{array}\right]$，其特征值為$3, 1$
再取其他$M$，會得到新的矩陣，和$A$相似，這些相似矩陣都有相同的特征值$3, 1$
那么為什么相似矩陣會有相同的特征值呢？我們來證明一下
首先，$Ax = \lambda x$，我們知道：$B = M^{-1}AM$，我們把$MM^{-1}$添加到$Ax$中間：
$AMM^{-1}x = \lambda x$
等式兩側同乘$M^{-1}$：$M^{-1}AMM^{-1}x = M^{-1} \lambda x$，$B$出現啦
$BM^{-1}x = \lambda M^{-1}x$，我們把$M^{-1}x$當作新的向量，並命名為$z$，則
$Bz = \lambda z$，所以$\lambda$也是$B$的特征值，同時我們知道：$M^{-1}$乘以$A$的特征向量是$B$的特征向量
注意：相似矩陣的特征值相同，但特征向量不同，比如一個是$x$，一個是$z$，即$M^{-1}x$，特征向量不會相同的，如果特征值和特征向量都相同，那么不叫相似矩陣了，他們就是相同的矩陣
三、特殊情況
上面二中所講的例子，正好是兩個特征值不相等（一個是3，一個是1）的情況，也就是原矩陣$n$個特征向量線性無關，可以對角化。
但是我們不能排除如果特征值相等（也就是特征向量存在相關性），特征值相等的矩陣求相似矩陣，還可以分為兩種情況，我們還是以$2*2$矩陣為例：
1）相似矩陣只有原矩陣一個（孤零零的一個人），也可以說不存在相似矩陣，因為只有自己一個，如：
$A = \left[\begin{array}{ll}{4} & {0} \\ {0} & {4}\end{array}\right]$，其特征值為$4, 4$
我們發現：$B = M^{-1}\left[\begin{array}{ll}{4} & {0} \\ {0} & {4}\end{array}\right]M=M^{-1}4IM=4I=A$
無論$M$取何矩陣，最后與$A$相似的矩陣只有原矩陣自己一個
2）另外一種特征值相同，不可以對角化，如：
$\left[\begin{array}{ll}{4} & {1\space or \space something \space other} \\ {0} & {4}\end{array}\right]$
我們發現上面的矩陣特征值相同，均為$4$，該家族中最好的矩陣是右上角那個值是1,，而這種形式被稱為若爾當標准型(Jordan Form)，這是該家族中最簡潔的，最接近對角陣的一個。也就是說雖然原矩陣不可以對角化，但是可以找到最接近對角化矩陣的一個
我們來看看這個家族（相似矩陣）的幾個成員：
$\left[\begin{array}{ll}{4} & {1} \\ {0} & {4}\end{array}\right],\left[\begin{array}{ll}{5} & {1} \\ {-1} & {3}\end{array}\right],\left[\begin{array}{ll}{4} & {0} \\ {17} & {4}\end{array}\right],......$
是不是第一個最接近對角化矩陣呢
這些矩陣都是相似的，只要找到合適的$M$，都可以證明一個矩陣相似於另一個
但要注意：一般矩陣很難化成若爾當標准型，因為若爾當標准型依賴於特征值嚴格相等
3）下面還有一點沒看懂，有空再補充