第三課 矩陣和線性代數

SVD 奇異值分解

Amxn = Umxm ∑_mxn V_nxn

奇異值分解（Singular Value Decompositionm,簡稱SVD）是在機器學習領域應用較為廣泛的算法之一，也是學習機器學習算法繞不開的基石之一。

奇異值分解（SVD）通俗一點講就是將一個線性變換分解為兩個線性變換，一個線性變換代表旋轉，一個線性變換代表拉伸。

注：SVD是將一個矩陣分解成兩個正交矩陣和一個對角矩陣，我們知道正交矩陣對應的變換是旋轉變換，對角矩陣對應的變換是伸縮變換。

 

 

一、線性代數

定義：方陣的行列式

　　1>1階方陣的行列式為該元素本身

　　2>n階方陣的行列式等於它的任一行(或列)的各元素與其對應的代數余子式乘積之和

 

方陣的行列式

　　1>1x1的方陣，其行列式等於該元素本身

　　

　　2>2x2的方陣，其行列式用主對角線元素乘積減去次對角線元素的乘積

　　

　　3>3x3的方陣

　　

 

代數余子式

　　在n階行列式中，把(i,j)元素a_ij所在的第i行和第i列划去后，留下來的n-1階行列式叫做元素a_ij的余子式，記作M_ij

　　代數余子式：

　　　　A_ij = (-1)^i+jM_ij

　　

 

伴隨矩陣

　　對於nxn方陣的任意元素a_ij都有各自的代數余子式，A_ij = (-1)^i+jM_ij，

 

 

逆矩陣

　　設A是一個n階矩陣，若存在另一個n階矩陣B，使得： AB=BA=E ，則稱方陣A可逆，並稱方陣B是A的逆矩陣

　　

　　

　　

 

矩陣的乘法

　　矩陣的乘法就是矩陣A的第一行乘以矩陣B的第一列，各個元素對應相乘然后求和作為第一元素的值。

　　矩陣只有當左邊矩陣的列數等於右邊矩陣的行數時,它們才可以相乘,乘積矩陣的行數等於左邊矩陣的行數,乘積矩陣的列數等於右邊矩陣的列數 。

　　

　　擴展：矩陣模型

　　

 矩陣和向量的乘法

　　A為mxn的矩陣，X為nx1的列向量，則AX為mx1的列向量

　　

 

矩陣的秩

 

 系數矩陣

 

 

正交陣

　　若n階矩陣A滿足A^TA = I，稱A為正交矩陣，簡稱正交陣

　　　　A是正交陣的充要條件：A的列(行)向量都是單位向量，且兩兩正交

　　A是正交陣，X為向量，則AX稱為正交變換。

　　　　正交變換不改變向量長度

 

二、特征值和特征向量

　　A是n階矩陣，若數λ和n維非0列向量x滿足Ax = λx，那么，

數λ稱為A的特征值，x稱為A的對應於特征值λ的特征向量

 

　

　　拓展：

　　　　設A為n階對稱陣，則必有正交陣P，使得

　　　　　　P^-1AP = P^TAP = Λ

　　　　1>Λ是以A的n個特征值為對角元的對角陣

　　　　2>該變換稱為"合同變換"，A和Λ互為合同矩陣