正交矩阵
标准正交基
看看我们平时使用的二维或者三维坐标系的基向量, 它们都是标准正交基. 虽然我们可能没有想过为什么要这样做, 不过我们都在享受它所带来的简洁和方便. 下面我们就来一窥其面貌.
\(\square\) 向量空间 S 的标准正交基满足如下条件的一组基,
\[q_i^Tq_j = \begin{cases} 0, \quad i \not= j \\ 1, \quad i = j \end{cases} \]
并且, 通过施密特正交化, 我们可以将任意向量空间 S 的一组基化为一组标准正交基.
使用标准正交基会我们带来怎样的好处呢?
我们想象将任意一个 n 维向量 \(v\) 用向量空间 \(R^n\) 的一组非标准正交基 $a_1,a_2, \cdots, a_n $ 表示, $$A = [a_1,a_2, \cdots, a_n ]$$, 就要求解方程 \(Ax = v\), 求得解 \(x\), 即表示 \(v\) 在基 \(a_1,a_2, \cdots, a_n\) 中的表示方式 这是个不直观且复杂的表示方式. 我们看看如果使用一组标准正交基 \(q_1, q_2,\cdots,q_n\), v 的坐标该如何求得.
\[\begin{align*} \forall \space v &= x_1q_1 + x_2q_2+ \cdots+ x_nq_n \\ q_i^Tv &= x_1q_i^Tq_1 + \cdots+x_iq_i^Tq_i + \cdots + x_nq_i^Tq_n \\ &=x_iq_i^Tq_i = x_i, i=1,2,\cdots,n \\ x_i&=q_i^Tv, \quad i=1,2,\cdots,n \end{align*} \]
可以看到向量在 标准正交基 上的投影(即坐标表示)极其简单, 坐标即为向量 \(v\) 和 正交基的内积组成, 很简单而直观.
\(\square\) 正交矩阵（orthogonal matrix）是一个方阵 Q，其元素为实数，而且行与列皆为正交的单位向量，使得该矩阵的转置矩阵为其逆矩阵：
\[{\displaystyle Q^{T}=Q^{-1}\Leftrightarrow Q^{T}Q=QQ^{T}=I.\,\!} \]
正交矩阵的行列式值必定为 +1 或 -1，因为：
\[\begin{align*} |I| = |Q^{T}Q| = |(Q^{T}||Q|=|Q|^{2} = 1 \Rightarrow |Q|=\pm 1 \end{align*} \]
下面是正交矩阵的一些重要的性质：
- 作为一个线性映射，正交矩阵保持向量尺寸和向量间夹角不变;
\[\begin{align*} \forall v_1, v_2, \quad u_1 &= Qv_1, \quad u_2 = Qv_2 \\ {\| u_i\|}^2 &= u_i^T u_i =({ Qv_i})^T({ Qv_i}) \\ &= v_i^Tv_i = {\|v_i \|^2} \quad i=1,2 \\ &\Rightarrow \|u_1 \| = \|v_1 \|,\space \|u_2 \| = \|v_2 \|\quad \\ \cos<u_1, u_2> &= \frac{u_1^Tu_2}{\|u_1 \|\|u_2 \|} = \frac{v_1^T(Q^TQ)v_2}{\|v_1 \|\|v_2 \|} \\ &= \frac{v_1^Tv_2}{\|v_1 \|\|v_2 \|} = \cos<v_1, v_2> \end{align*} \]
- 行列式值为 +1 的正交矩阵，称为特殊正交矩阵，它是一个旋转矩阵;
- 所有 \({\displaystyle n\times n}\) 的正交矩阵形成一个群，称为正交群。亦即，正交矩阵与正交矩阵的乘积也是一个正交矩阵。
- 所有特殊正交矩阵形成一个子群，称为特殊正交群。亦即，旋转矩阵与旋转矩阵的乘积也是一个旋转矩阵。
旋转矩阵

二维旋转矩阵定义如下
\[\begin{align*} Q &=\begin{bmatrix} cos\theta & cos (\frac{\pi}{2} + \theta) \\ sin\theta & sin(\frac{\pi}{2} + \theta) \end{bmatrix} \\ &= \begin{bmatrix} cos\theta & -sin\theta \\ sin\theta & cos\theta \end{bmatrix} \end{align*} \]

\(\bigstar\) 更多变换矩阵知识
置换矩阵
置换矩阵用于交换矩阵的行或列, 形式为是行或者列发生交换的单位矩阵.
\[{\begin{bmatrix}0&0&0&1\\0&0&1&0\\1&0&0&0\\0&1&0&0\end{bmatrix}} \]
\(n\) 阶矩阵的置换矩阵群有 \(n!\)个
反射矩阵
若一坐标 \((x, y)\) 沿直线 \({y=(\tan \color {red} \theta )x}\) 进行反射(理解如同光反射)，则其镜像 \((x', y')\) 可用以下公式求得：
\[{\displaystyle {\begin{pmatrix}x'\\y'\end{pmatrix}}={\begin{pmatrix}cos2\theta &sin2\theta \\sin2\theta &-cos2\theta \end{pmatrix}}{\begin{pmatrix}x\\y\end{pmatrix}}} \]

投影矩阵
正交矩阵 Q 的投影矩阵为 \(P = Q(Q^TQ)^{-1}Q^T = QQ^T\)
\[Q^TQ \hat{x} = Q^Tb \\ \hat{x} = Q^Tb \Rightarrow \hat{x_i} = q_i^Tb_i \]
正交函数
\(\square\) 在三角函数系中任何不同的两个函数的乘积在区间 [-π,π] 上的积分等于0，则称这样的三角函数组成的体系叫正交函数系。
例如：
\[{1,cosx,sinx,cos2x,sin2x, \dots ,cos(nx),sin(nx), \dots} \\ \begin{cases} \int_0^{2\pi} \cos (mx) \sin(nx) dx= 0 \\ \int_0^{2\pi} \sin (mx) \sin(nx) dx= 0 \\ \int_0^{2\pi} \cos (mx) \cos(nx) dx= 0 \\ \end{cases} \]
傅里叶级数
\[f(x) = a_0 + a_1\cos x + b_1 \sin x + a_2 \cos x + b_2 \sin x + \cdots \\ \begin{cases} \int_0^{2\pi} \cos(kx)f(x) dx = a_k\pi \Rightarrow a_k = \frac{1}{\pi}\int_0^{2\pi} \cos(kx)f(x) dx \\ \int_0^{2\pi} \sin(kx)f(x) dx = b_k\pi \Rightarrow b_k = \frac{1}{\pi}\int_0^{2\pi} \sin(kx)f(x) dx \\ \int_0^{2\pi} f(x) dx = a_0\pi \Rightarrow a_0 = \frac{1}{\pi}\int_0^{2\pi} f(x) dx \end{cases} \]
典型矩阵
秩 1 矩阵
\[A = \begin{bmatrix} 1 & 2 & 3 \\ 2 & 4 & 6 \end{bmatrix} =\begin{bmatrix} 1 \\ 2 \end{bmatrix}\begin{bmatrix} 1 & 2 & 3 \end{bmatrix} \\ \]
所有的秩1矩阵都可以表示为 \(A = UV^T, U, V是列向量\)
正定矩阵
矩阵 A 是实对称矩阵且满足
\(x^TAx > 0, \quad \forall x \not= 0\)
则称 A 为正定矩阵
\(\square\) 判定条件
- 主子式都大于 0
- 特征值都大于 0
- 主元都大于 0
- \(x^TAx\) 大于 0
给予正定矩阵 A
\[\begin{align*} A &= \begin{bmatrix} 2 & 6 \\ 6 & 20 \end{bmatrix} \\ f(x_1,x_2) &= x^TAx = [x_1 \quad x_2]\begin{bmatrix} 2 & 6 \\ 6 & 20 \end{bmatrix}\begin{bmatrix} x_1 \\ x_2 \end{bmatrix} \\ &= 2x_1^2 + 12x_1x_2+20x_2^2 \\ &= 2(x_1+3x_2)^2 + 2x_2^2 > 0 \quad \leftarrow 二次型 \end{align*} \]
上述 \(f(x_1,x_2)\) 极小值点为 \((0, 0)\), 极小值为 0
微积分中极小值判定条件
\[\frac{df}{dx} = 0 \quad 且\quad \frac{d^2f}{dx^2} > 0 \]
等价于 矩阵的正定
比如
矩阵 A
\[A =\begin{bmatrix} 2 & -1 & 0 \\ -1 & 2 & -1 \\ 0 & -1 & 2 \end{bmatrix} \\ \lambda_1 = 2-\sqrt2, \lambda_2 = 2, \lambda_3 = 2+\sqrt2, \]
矩阵 A 的二次型是一个椭球体, 长轴, 中轴, 短轴的方向由特征向量决定, 长由特征值决定.
性质
- A, B 都是正定, 则 A + B 正定, $x^T(A+B)x = x^TAx + x^TBx > 0 $
相似矩阵
\(\square\) 方阵 \(A^{n\times n}\), \(B^{n\times n}\) 相似, 即 存在可逆矩阵 \(M\) 使得
\[B = M^{-1}AM \]
如
\[A = \begin{bmatrix} 2 & 1 \\ 1 & 2 \end{bmatrix} \sim \begin{bmatrix} 1 & 0 \\ 0 & 3 \end{bmatrix} \sim \begin{bmatrix} -2 & -15 \\ 1 & 6 \end{bmatrix} \]
矩阵
\[M^{-1}AM \]
暗示着一种数学上的转移, 中间矩阵 \(A\) 代表一种线性变换, 而外侧的两个矩阵代表着转移作用, 也就是视角的转换. 矩阵的乘积仍然代表着同一个变换, 只不过是从其他人的角度来看的(即基变换 M 对应的矩阵).
性质
\[\begin{align*} B &= M^{-1} AM ,\quad Ax = \lambda x \Rightarrow\\ Ax &= AIx = AMM^{-1}x= \lambda x\\ M^{-1}(AMM^{-1}x) &=M^{-1}(\lambda x)= (M^{-1}AM)(M^{-1}x) \\ B(M^{-1}x) &=\lambda (M^{-1}x) \\ 令y = M^{-1}x&\Rightarrow By = \lambda y \end{align*} \]
即矩阵 \(A \sim B\), A, B 特征值一样, 矩阵 B 的特征向量是矩阵 A 的特征向量的线性变换 \(y = M^{-1}x\)
复数矩阵
复向量
设有复数空间 向量 \(z \in C^n, \space z = \begin{bmatrix} z_1\\z_2\\ \vdots \\z_n\end{bmatrix} ,\space \bar{z}^T = [\bar z_1\space \bar z_2 \space \cdots \space \bar z_n],\) 记 $ {\bar z}^{T} $ 为 \(z^H\),
\(\square\) \(z\) 模长定义为 \(\|z\| = \sqrt {z^Hz}\)
\[\|z\|^2 = {z}^{H}z=[\bar z_1\space \bar z_2 \space \cdots \space \bar z_n]\begin{bmatrix} z_1\\z_2\\ \vdots \\z_n\end{bmatrix} \]
\(\square\) 内积定义 $$< x, y> =\bar{y}^Tx = y^Hx$$
比如
\[q_1 = [1,i.-1,-i]^T\\ q_2 = [1,-i,-1,i]^T \\ <q_1,q_2> = q_1^H q_2 =[1,-i,-1,i][1,-i,-1,i]^T=0 \]
复数矩阵
\(\square\) 复空间中的对称矩阵
\[A^H = A, \quad 其中 A^H = {\bar A}^T \]
称为 \(Hermitian\) 矩阵
比如
\[A^H = A=\begin{bmatrix} 2 &{3+i}\\3-i&5 \end{bmatrix} \]
\(\square\) 复空间中的标准正交基 $ q_1,q_2,\cdots,q_n$
\[q_i^Hq_j = \begin{cases} 0, \quad i \not= j \\ 1, \quad i =j \end{cases} \]
\(\square\) 复空间中正交矩阵 \(Q = [q_1,q_2,\cdots,q_n], \space Q\in C^{ \space n\times n}\)
\[Q^HQ =QQ^H =I \]
称为酉矩阵.
比如 傅里叶矩阵
