正交矩陣
標准正交基
看看我們平時使用的二維或者三維坐標系的基向量, 它們都是標准正交基. 雖然我們可能沒有想過為什么要這樣做, 不過我們都在享受它所帶來的簡潔和方便. 下面我們就來一窺其面貌.
\(\square\) 向量空間 S 的標准正交基滿足如下條件的一組基,
\[q_i^Tq_j = \begin{cases} 0, \quad i \not= j \\ 1, \quad i = j \end{cases} \]
並且, 通過施密特正交化, 我們可以將任意向量空間 S 的一組基化為一組標准正交基.
使用標准正交基會我們帶來怎樣的好處呢?
我們想象將任意一個 n 維向量 \(v\) 用向量空間 \(R^n\) 的一組非標准正交基 $a_1,a_2, \cdots, a_n $ 表示, $$A = [a_1,a_2, \cdots, a_n ]$$, 就要求解方程 \(Ax = v\), 求得解 \(x\), 即表示 \(v\) 在基 \(a_1,a_2, \cdots, a_n\) 中的表示方式 這是個不直觀且復雜的表示方式. 我們看看如果使用一組標准正交基 \(q_1, q_2,\cdots,q_n\), v 的坐標該如何求得.
\[\begin{align*} \forall \space v &= x_1q_1 + x_2q_2+ \cdots+ x_nq_n \\ q_i^Tv &= x_1q_i^Tq_1 + \cdots+x_iq_i^Tq_i + \cdots + x_nq_i^Tq_n \\ &=x_iq_i^Tq_i = x_i, i=1,2,\cdots,n \\ x_i&=q_i^Tv, \quad i=1,2,\cdots,n \end{align*} \]
可以看到向量在 標准正交基 上的投影(即坐標表示)極其簡單, 坐標即為向量 \(v\) 和 正交基的內積組成, 很簡單而直觀.
\(\square\) 正交矩陣（orthogonal matrix）是一個方陣 Q，其元素為實數，而且行與列皆為正交的單位向量，使得該矩陣的轉置矩陣為其逆矩陣：
\[{\displaystyle Q^{T}=Q^{-1}\Leftrightarrow Q^{T}Q=QQ^{T}=I.\,\!} \]
正交矩陣的行列式值必定為 +1 或 -1，因為：
\[\begin{align*} |I| = |Q^{T}Q| = |(Q^{T}||Q|=|Q|^{2} = 1 \Rightarrow |Q|=\pm 1 \end{align*} \]
下面是正交矩陣的一些重要的性質：
- 作為一個線性映射，正交矩陣保持向量尺寸和向量間夾角不變;
\[\begin{align*} \forall v_1, v_2, \quad u_1 &= Qv_1, \quad u_2 = Qv_2 \\ {\| u_i\|}^2 &= u_i^T u_i =({ Qv_i})^T({ Qv_i}) \\ &= v_i^Tv_i = {\|v_i \|^2} \quad i=1,2 \\ &\Rightarrow \|u_1 \| = \|v_1 \|,\space \|u_2 \| = \|v_2 \|\quad \\ \cos<u_1, u_2> &= \frac{u_1^Tu_2}{\|u_1 \|\|u_2 \|} = \frac{v_1^T(Q^TQ)v_2}{\|v_1 \|\|v_2 \|} \\ &= \frac{v_1^Tv_2}{\|v_1 \|\|v_2 \|} = \cos<v_1, v_2> \end{align*} \]
- 行列式值為 +1 的正交矩陣，稱為特殊正交矩陣，它是一個旋轉矩陣;
- 所有 \({\displaystyle n\times n}\) 的正交矩陣形成一個群，稱為正交群。亦即，正交矩陣與正交矩陣的乘積也是一個正交矩陣。
- 所有特殊正交矩陣形成一個子群，稱為特殊正交群。亦即，旋轉矩陣與旋轉矩陣的乘積也是一個旋轉矩陣。
旋轉矩陣

二維旋轉矩陣定義如下
\[\begin{align*} Q &=\begin{bmatrix} cos\theta & cos (\frac{\pi}{2} + \theta) \\ sin\theta & sin(\frac{\pi}{2} + \theta) \end{bmatrix} \\ &= \begin{bmatrix} cos\theta & -sin\theta \\ sin\theta & cos\theta \end{bmatrix} \end{align*} \]

\(\bigstar\) 更多變換矩陣知識
置換矩陣
置換矩陣用於交換矩陣的行或列, 形式為是行或者列發生交換的單位矩陣.
\[{\begin{bmatrix}0&0&0&1\\0&0&1&0\\1&0&0&0\\0&1&0&0\end{bmatrix}} \]
\(n\) 階矩陣的置換矩陣群有 \(n!\)個
反射矩陣
若一坐標 \((x, y)\) 沿直線 \({y=(\tan \color {red} \theta )x}\) 進行反射(理解如同光反射)，則其鏡像 \((x', y')\) 可用以下公式求得：
\[{\displaystyle {\begin{pmatrix}x'\\y'\end{pmatrix}}={\begin{pmatrix}cos2\theta &sin2\theta \\sin2\theta &-cos2\theta \end{pmatrix}}{\begin{pmatrix}x\\y\end{pmatrix}}} \]

投影矩陣
正交矩陣 Q 的投影矩陣為 \(P = Q(Q^TQ)^{-1}Q^T = QQ^T\)
\[Q^TQ \hat{x} = Q^Tb \\ \hat{x} = Q^Tb \Rightarrow \hat{x_i} = q_i^Tb_i \]
正交函數
\(\square\) 在三角函數系中任何不同的兩個函數的乘積在區間 [-π,π] 上的積分等於0，則稱這樣的三角函數組成的體系叫正交函數系。
例如：
\[{1,cosx,sinx,cos2x,sin2x, \dots ,cos(nx),sin(nx), \dots} \\ \begin{cases} \int_0^{2\pi} \cos (mx) \sin(nx) dx= 0 \\ \int_0^{2\pi} \sin (mx) \sin(nx) dx= 0 \\ \int_0^{2\pi} \cos (mx) \cos(nx) dx= 0 \\ \end{cases} \]
傅里葉級數
\[f(x) = a_0 + a_1\cos x + b_1 \sin x + a_2 \cos x + b_2 \sin x + \cdots \\ \begin{cases} \int_0^{2\pi} \cos(kx)f(x) dx = a_k\pi \Rightarrow a_k = \frac{1}{\pi}\int_0^{2\pi} \cos(kx)f(x) dx \\ \int_0^{2\pi} \sin(kx)f(x) dx = b_k\pi \Rightarrow b_k = \frac{1}{\pi}\int_0^{2\pi} \sin(kx)f(x) dx \\ \int_0^{2\pi} f(x) dx = a_0\pi \Rightarrow a_0 = \frac{1}{\pi}\int_0^{2\pi} f(x) dx \end{cases} \]
典型矩陣
秩 1 矩陣
\[A = \begin{bmatrix} 1 & 2 & 3 \\ 2 & 4 & 6 \end{bmatrix} =\begin{bmatrix} 1 \\ 2 \end{bmatrix}\begin{bmatrix} 1 & 2 & 3 \end{bmatrix} \\ \]
所有的秩1矩陣都可以表示為 \(A = UV^T, U, V是列向量\)
正定矩陣
矩陣 A 是實對稱矩陣且滿足
\(x^TAx > 0, \quad \forall x \not= 0\)
則稱 A 為正定矩陣
\(\square\) 判定條件
- 主子式都大於 0
- 特征值都大於 0
- 主元都大於 0
- \(x^TAx\) 大於 0
給予正定矩陣 A
\[\begin{align*} A &= \begin{bmatrix} 2 & 6 \\ 6 & 20 \end{bmatrix} \\ f(x_1,x_2) &= x^TAx = [x_1 \quad x_2]\begin{bmatrix} 2 & 6 \\ 6 & 20 \end{bmatrix}\begin{bmatrix} x_1 \\ x_2 \end{bmatrix} \\ &= 2x_1^2 + 12x_1x_2+20x_2^2 \\ &= 2(x_1+3x_2)^2 + 2x_2^2 > 0 \quad \leftarrow 二次型 \end{align*} \]
上述 \(f(x_1,x_2)\) 極小值點為 \((0, 0)\), 極小值為 0
微積分中極小值判定條件
\[\frac{df}{dx} = 0 \quad 且\quad \frac{d^2f}{dx^2} > 0 \]
等價於 矩陣的正定
比如
矩陣 A
\[A =\begin{bmatrix} 2 & -1 & 0 \\ -1 & 2 & -1 \\ 0 & -1 & 2 \end{bmatrix} \\ \lambda_1 = 2-\sqrt2, \lambda_2 = 2, \lambda_3 = 2+\sqrt2, \]
矩陣 A 的二次型是一個橢球體, 長軸, 中軸, 短軸的方向由特征向量決定, 長由特征值決定.
性質
- A, B 都是正定, 則 A + B 正定, $x^T(A+B)x = x^TAx + x^TBx > 0 $
相似矩陣
\(\square\) 方陣 \(A^{n\times n}\), \(B^{n\times n}\) 相似, 即 存在可逆矩陣 \(M\) 使得
\[B = M^{-1}AM \]
如
\[A = \begin{bmatrix} 2 & 1 \\ 1 & 2 \end{bmatrix} \sim \begin{bmatrix} 1 & 0 \\ 0 & 3 \end{bmatrix} \sim \begin{bmatrix} -2 & -15 \\ 1 & 6 \end{bmatrix} \]
矩陣
\[M^{-1}AM \]
暗示着一種數學上的轉移, 中間矩陣 \(A\) 代表一種線性變換, 而外側的兩個矩陣代表着轉移作用, 也就是視角的轉換. 矩陣的乘積仍然代表着同一個變換, 只不過是從其他人的角度來看的(即基變換 M 對應的矩陣).
性質
\[\begin{align*} B &= M^{-1} AM ,\quad Ax = \lambda x \Rightarrow\\ Ax &= AIx = AMM^{-1}x= \lambda x\\ M^{-1}(AMM^{-1}x) &=M^{-1}(\lambda x)= (M^{-1}AM)(M^{-1}x) \\ B(M^{-1}x) &=\lambda (M^{-1}x) \\ 令y = M^{-1}x&\Rightarrow By = \lambda y \end{align*} \]
即矩陣 \(A \sim B\), A, B 特征值一樣, 矩陣 B 的特征向量是矩陣 A 的特征向量的線性變換 \(y = M^{-1}x\)
復數矩陣
復向量
設有復數空間 向量 \(z \in C^n, \space z = \begin{bmatrix} z_1\\z_2\\ \vdots \\z_n\end{bmatrix} ,\space \bar{z}^T = [\bar z_1\space \bar z_2 \space \cdots \space \bar z_n],\) 記 $ {\bar z}^{T} $ 為 \(z^H\),
\(\square\) \(z\) 模長定義為 \(\|z\| = \sqrt {z^Hz}\)
\[\|z\|^2 = {z}^{H}z=[\bar z_1\space \bar z_2 \space \cdots \space \bar z_n]\begin{bmatrix} z_1\\z_2\\ \vdots \\z_n\end{bmatrix} \]
\(\square\) 內積定義 $$< x, y> =\bar{y}^Tx = y^Hx$$
比如
\[q_1 = [1,i.-1,-i]^T\\ q_2 = [1,-i,-1,i]^T \\ <q_1,q_2> = q_1^H q_2 =[1,-i,-1,i][1,-i,-1,i]^T=0 \]
復數矩陣
\(\square\) 復空間中的對稱矩陣
\[A^H = A, \quad 其中 A^H = {\bar A}^T \]
稱為 \(Hermitian\) 矩陣
比如
\[A^H = A=\begin{bmatrix} 2 &{3+i}\\3-i&5 \end{bmatrix} \]
\(\square\) 復空間中的標准正交基 $ q_1,q_2,\cdots,q_n$
\[q_i^Hq_j = \begin{cases} 0, \quad i \not= j \\ 1, \quad i =j \end{cases} \]
\(\square\) 復空間中正交矩陣 \(Q = [q_1,q_2,\cdots,q_n], \space Q\in C^{ \space n\times n}\)
\[Q^HQ =QQ^H =I \]
稱為酉矩陣.
比如 傅里葉矩陣
