正交矩陣，酉矩陣，正規矩陣 概念

理清概念，在機器學習的公式推導中常常用到。比如SVD, LDA

• 酉變換，正交變換
• 正規矩陣
• 酉矩陣
• 正交矩陣
• 對角化
• 對角陣
• 正定陣

正交變換

• 正交變換是保持圖形形狀和大小不變的幾何變換，包含旋轉，軸對稱及上述變換的復合。
• 例子：
  • 　tbd

正規矩陣

• $A^* A = A A^*$ A 乘以自己的共軛轉置（$A^*$) 等於 （$A^*$) 乘以自己，A是方塊陣。
• 如果A是實系數矩陣，則$A^*= A^T  $，從而條件簡化為 $A^T A=A A^T$ 
  
• 任意正規矩陣 都可以經過 正交變換 變成 對角矩陣，反過來，可以經過一個 正交變換 成為對角矩陣的矩陣 都是正規矩陣
• 矩陣的正規性是檢驗矩陣是否可對角化的一個簡便方法
• 在復系數矩陣中，所有 酉矩陣 都是 正規的；在實系數 矩陣中，正交矩陣 都是正規矩陣
• 例子：
  • 　　
  • .

酉矩陣

• 特殊的正規矩陣 $U^* U = U U^* = I_n$
• $U, U^* $都是酉矩陣
• 酉矩陣的特征值都是模為1的復數，即分布在復平面的單位圓上，因此酉矩陣行列式的值也為1
• 酉矩陣 與對角陣關系 $U = V \Sigma V^* $ V 是酉矩陣，$\Sigma$ 是主對角線上元素絕對值為1的對角陣
• 例子

正交矩陣 orthogonal matrix

• 方塊矩陣，元素是實數，行與列都是正交的單位向量，他的轉置矩陣是其 逆矩陣
• $Q^-1 = Q^T <=> Q^-1  Q^T = I $
• 行列式 必為 +1 或 -1
• 正交矩陣是實數特殊化的酉矩陣，因此總是正規矩陣。
• 例子
  • 
  •  針對x軸反射。
  •  旋轉反演（rotoinversion）:軸 (0,-3/5,4/5)，角度90°。

對角陣

• 對角矩陣（英語：diagonal matrix）是一個主對角線之外的元素皆為0的矩陣。對角線上的元素可以為0或其他值。

三角陣

• 在線性代數中，三角矩陣是方形矩陣的一種，因其非零系數的排列呈三角形狀而得名。三角矩陣分上三角矩陣和下三角矩陣兩種。

用途

• 三角矩陣可以看做是一般方陣的一種簡化情形。比如，由於帶三角矩陣的矩陣方程容易求解，在解多元線性方程組時，總是將其系數矩陣通過初等變換化為三角矩陣來求解；
• 又如三角矩陣的行列式就是其對角線上元素的乘積，很容易計算。有鑒於此，在數值分析等分支中三角矩陣十分重要。一個可逆矩陣A可以通過LU分解變成一個下三角矩陣L與一個上三角矩陣U的乘積。LU =>Low, Upper. LDU => L, Diagonal, U

對角化

• 如果一個方塊矩陣 A 相似於對角矩陣，也就是說，如果存在一個可逆矩陣 P 使得 P ⁻¹AP 是對角矩陣，則它就被稱為可對角化的。
• 可對角化矩陣和映射在線性代數中有重要價值，因為對角矩陣特別容易處理: 它們的特征值和特征向量是已知的，且其次方可通過計算對角元素同樣的次方來獲得。
• 在域 F 上的 n × n 矩陣 A 是可對角化的，當且僅當它的特征空間的維度等於 n，
• 它為真當且僅當存在由 A 的特征向量組成的 Fⁿ 的基。
• 如果找到了這樣的基，可以形成有基向量作為縱列的矩陣 P，而 P ^-1AP 將是對角矩陣。
• 這個矩陣的對角元素是 A 的特征值。
• wiki中有對角化方法

正定陣

• 一個n×n的實對稱矩陣M是正定的，當且僅當對於所有的非零實系數向量z，都有z^TMz > 0。
• 正定矩陣的性質類似復數中的正實數。