幾種矩陣分解算法： LU分解，Cholesky分解，QR分解，SVD分解，Jordan分解

(226條消息) 幾種矩陣分解算法： LU分解，Cholesky分解，QR分解，SVD分解，Jordan分解_mucai1的專欄-CSDN博客_矩陣的qr分解

(226條消息) 基於QR分解與Jacobi方法的SVD分解_chenaiyanmie的博客-CSDN博客_jacobi分解

 

目錄

1.LU分解

2. LDLT分解法

3. Cholesky分解的形式

4. QR分解

5.SVD分解

5.1 SVD與廣義逆矩陣

6. Jordan 分解

參考文章：

---

                                                                                                                                                        ---------我只是搬運工，匯總在此

1.LU分解

       假定我們能把矩陣A寫成下列兩個矩陣相乘的形式：A=LU，其中L為下三角矩陣，U為上三角矩陣。這樣我們可以把線性方程組Ax= b寫成

      Ax= (LU)x = L(Ux) = b。令Ux = y，則原線性方程組Ax = b可首先求解向量y 使Ly = b，然后求解 Ux = y，從而達到求解線性方程組Ax= b的目的。

 

2. LDLT分解法

實際問題中，當求解方程組的系數矩陣是對稱矩陣時，則用下面介紹的LDLT分解法可以簡化程序設計並減少計算量。

從定理可知，當矩陣A的各階順序主子式不為零時，A有唯一的Doolittle分解A= LU。矩陣U的對角線元素Uii 不等於0，將矩陣U的每行依次提出，

定理：若對稱矩陣A的各階順序主子式不為零時，則A可以唯一分解為A= LDLT，這里

LT為L的轉置矩陣。

當A有LDLT分解時，利用矩陣運算法則及相等原理易得計算ljk和dk的公式為

3. Cholesky分解

 

Cholesky分解是一種分解矩陣的方法, 在線形代數中有重要的應用。Cholesky分解把矩陣分解為一個下三角矩陣以及它的共軛轉置矩陣的乘積（那實數界來類比的話，此分解就好像求平方根）。與一般的矩陣分解求解方程的方法比較，Cholesky分解效率很高。

Cholesky分解的條件

一、Hermitianmatrix：矩陣中的元素共軛對稱（復數域的定義，類比於實數對稱矩陣）。Hermitiank意味着對於任意向量x和y，(x*)Ay共軛相等

二、Positive-definite：正定（矩陣域，類比於正實數的一種定義）。正定矩陣A意味着，對於任何向量x，(x^T)Ax總是大於零(復數域是(x*)Ax>0)

Cholesky分解的形式

可記作A = L L*。其中L是下三角矩陣。L*是L的共軛轉置矩陣。

可以證明，只要A滿足以上兩個條件，L是唯一確定的，而且L的對角元素肯定是正數。反過來也對，即存在L把A分解的話，A滿足以上兩個條件。

•     Hermitianmatrix：矩陣中的元素共軛對稱（復數域的定義，類比於實數對稱矩陣）。Hermitiank意味着對於任意向量x和y，(x*)Ay共軛相等
•    Positive-definite：正定（矩陣域，類比於正實數的一種定義）。正定矩陣A意味着，對於任何向量x，(x^T)Ax總是大於零(復數域是(x*)Ax>0)

如果A是半正定的（semi-definite），也可以分解，不過這時候L就不唯一了。

特別的，如果A是實數對稱矩陣，那么L的元素肯定也是實數。

另外，滿足以上兩個條件意味着A矩陣的特征值都為正實數，因為Ax = lamda * x,

(x*)Ax = lamda * (x*)x > 0, lamda > 0

4. QR分解

• 矩陣的QR分解是指，可以將矩陣A分級成一個正交陣Q和一個上三角矩陣R的乘積。實際中，QR分解經常被用來解線性最小二乘問題

。

• 對於非方陣的m∗n(m≥n)m∗n(m≥n)階矩陣A也可能存在QR分解。這時Q為m*m階的正交矩陣，R為m*n階上三角矩陣。這時的QR分解不是完整的(方陣)，因此稱為約化QR分解(對於列滿秩矩陣A必存在約化QR分解)。同時也可以通過擴充矩陣A為方陣或者對矩陣R補零，可以得到完全QR分解。

5.SVD分解

 對任意矩陣，都能被奇異值分解為

   

   其中是的正交矩陣，是的正交矩陣，是由個沿對角線從大到小排列的奇異值

   組成的方陣，就是矩陣的秩。奇異值分解是一種正交矩陣分解法。

    更多解釋參考4.

   SVD分解常用在信息壓縮，以及求廣義逆：

5.1 SVD與廣義逆矩陣

       在認識矩陣的廣義逆之前，先來回顧一下方陣的逆。

       對於一個的方陣，如果存在一個矩陣，使得，那么方陣的逆為。

       那么對於非方陣來說情況又是怎樣的？ 比如對於的矩陣，它的逆是怎樣計算的？這就是我將要    討論的廣義逆矩陣。   矩陣的廣義逆由Moore在1920年提出，后來在1955年經過Penrose發展得到如下定義    對任意復數矩陣，如果存在的矩陣，滿足

   

   則稱為的一個Moore-Penrose逆，簡稱廣義逆，記為。並把上面四個方程叫做Moore-Penrose    方程，簡稱M-P方程。 

   由於M-P的四個方程都各有一定的解釋，並且應用起來各有方便之處，所以出於不同的目的，常常考慮滿足

   部分方程的，叫做弱逆，弱逆不唯一。為了引用方便，下面給出廣義逆矩陣的定義

   對於的矩陣，若存在的矩陣，滿足M-P方程中的全部或者其中的一部分，則稱為

   的廣義逆矩陣。

   實際上有結論：如果滿足M-P方程中的全部四個條件，那么得到的矩陣是唯一的，如果只滿足部分條件，

   那么得到的矩陣不唯一。也就是說一個矩陣的Moore-Penrose逆是唯一的。

   而廣義逆的計算可以利用的SVD分解得到，假設矩陣的SVD分解為

   

   那么，不難驗證

   

   有了廣義逆矩陣，那么就可以用來求解線性方程組，假設現在已經知道了矩陣的廣義逆，

   如果矩陣的秩是，則其唯一解是，如果秩小於，則有無窮多組解，其中最小范數解仍然是

   ，通常我們關心的也就是這個解。

 

6. Jordan 分解

 

但運行速度從快到慢為： 
LU分解 > Qr分解 > 求逆

參考文章：

1. https://blog.csdn.net/zhouliyang1990/article/details/21952485
2. https://blog.csdn.net/qq_30981697/article/details/71545519
3. https://blog.csdn.net/renhaofan/article/details/80740697
4. https://blog.csdn.net/billbliss/article/details/78579308
5. https://blog.csdn.net/xuehuafeiwu123/article/details/53321730