將學習到什么
范數可以看成 Euclid 長度的一種推廣，范數在有關數值計算的算法分析以及估計中自然出現。本部分介紹其定義、內積導出的范數和相關的例子.
定義
實的或者復的向量空間上的范數的四條公理如下所示：
定義 1： 設 \(V\) 是域 \(\mathbf{F}\)（\(\mathbf{F}=\mathbb{R}\) 或者 \(\mathbb{C}\)）上的一個向量空間. 函數 \(\lVert \cdot \rVert : V \rightarrow \mathbb{R}\) 稱為是一個范數，有時也稱為向量范數，如果對所有 \(x,y \in V\) 以及所有 \(c\in \mathbf{F}\)）,
(1) $\lVert x \rVert \geqslant 0 $，非負性
(1a) $\lVert x \rVert = 0 $ 當且僅當 \(x=0\)，正性
(2) $\lVert cx \rVert = \lvert c \rvert \lVert x \rVert $，齊性
(3) \(\lVert x+y \rVert \leqslant \lVert x \rVert+ \lVert y \rVert\)，三角不等式
這四個公理表達了平面上的 Euclid 長度的某些熟知的性質. Euclid 長度也有一些性質不能由這四條推出，比如平行四邊形恆等式. 三角不等式表示的范數有次加性. 滿足定義 1 中公理 (1)、(2) 以及 (3) 的函數 \(\lVert \cdot \rVert : V \rightarrow \mathbb{R}\) 稱為半范數. 非零向量的半范數有可能為零.
引理 2 ： 如果 \(\lVert \cdot \rVert\) 是在一個實的或者復的向量空間 \(V\) 上的一個半向量范數，那么對所有 \(x,y \in V\) 都有 \(\lvert \lVert x \rVert - \lVert y \rVert \rvert \leqslant \lVert x-y \rVert\).
證明：用 \(y=x+(y-x)\) 和 \(x=y+(x-y)\) 結合三角不等式推出.
與 \(\mathbb{R}^n\) 或者 \(\mathbb{C}^n\) 上的 Euclid 長度相關聯的是向量 \(y\) 關於 \(x\) 的 Euclid 內積 \(y^*x\)，它與兩個向量之間的“角度”有某種關系：如果 \(y^*x=0\)，則 \(x\) 與 \(y\) 正交.
定義 3： 設 \(V\) 是域 \(\mathbf{F}\)（\(\mathbf{F}=\mathbb{R}\) 或者 \(\mathbb{C}\)）上的一個向量空間. 函數 \(\langle \cdot, \cdot \rangle\)：\(V \times V \rightarrow \mathbf{F}\) 稱為一個內積，如果對所有 \(x,y,z \in V\) 以及所有 \(c \in \mathbf{F}\)，
(1) \(\langle x, x \rangle \geqslant 0\)，非負性
(1a) \(\langle x, x \rangle = 0\) 當且僅當 \(x=0\)，正性
(2) \(\langle x+y, z \rangle = \langle x, z \rangle +\langle y, z \rangle\)，加性
(3) $\langle cx, y \rangle = c \langle x,y \rangle $，齊性
(4) $\langle x, y \rangle = \overline{\langle y, x \rangle} $， Hermite 性質
公理 (2)、(3) 以及 (4) 表明 \(\langle \cdot, \cdot \rangle\) 是一個半雙線性函數，公理 (1a) 以及 (1) 要求當 \(x \neq 0\) 時有 \(\langle x, x \rangle > 0\). \(\mathbb{C}^n\) 上的 Euclid 上的內積 $\langle x, y \rangle = y^*x $ 滿足內積五條公理.
設 \(a,b,c,d \in \mathbf{F}\) 以及 \(x,y,w,z \in \mathbf{F}^n\). 從定義 3 中的五條公理推導出下面的性質：
(a) \(\langle x, cy \rangle = \bar{c} \langle x, y \rangle\)
(b) \(\langle x, y+z \rangle = \langle x, y \rangle +\langle x, z \rangle\)
(c) \(\langle ax+by, cw+dz \rangle = a\bar{c}\langle x, w \rangle + b\bar{c}\langle y, w \rangle + a\bar{d}\langle x, z \rangle + b\bar{d}\langle y, z \rangle\)
(d) \(\langle x, \langle x, y\rangle y\rangle = \lvert \langle x,y \rangle \rvert ^2\)
(e) 對所有 \(y \in V\) 都有 $\langle x, y \rangle = 0 $ 的充分必要條件是 \(x=0\).
性質 (a)~(d) 為所有的半雙線性函數所具有，只有性質 (e) 依賴公理 (1) 以及 (1a). Cauchy-Schwarz 不等式是所有內積的一個重要性質.
定理 4（Cauchy-Schwarz 不等式）： 設 \(\langle \cdot, \cdot \rangle\) 是域 \(\mathbf{F}\)（\(\mathbf{F}=\mathbb{R}\) 或者 \(\mathbb{C}\)）上向量空間 \(V\) 上的一個內積. 那么
\begin{align}
\lvert \langle x,y \rangle \rvert ^2 \leqslant \langle x, x \rangle \langle y, y \rangle , \quad \text{對所有}\,\, x,y \in V
\end{align}
其中的等式當且僅當 \(x\) 與 \(y\) 線性相關時成立，即當且僅當對某個 \(\alpha \in \mathbf{F}\) 有 \(x=\alpha y\) 或者 \(y=\alpha x\) 時成立.
推論 5： 如果 \(\langle \cdot , \cdot \rangle\) 是實的或者復的向量空間 \(V\) 上的內積，那么由 \(\lVert x \rVert = \langle x, x \rangle ^{1/2}\) 定義的函數 \(\lVert \cdot \rVert\)：\(V \rightarrow [0,\infty)\) 是 \(V\) 上的一個范數.
如果 \(\langle \cdot , \cdot \rangle\) 是實的或者復的向量空間 \(V\) 上的內積，\(V\) 上的函數 \(\lVert x \rVert = \langle x, x \rangle ^{1/2}\) 稱為從內積導出的，推論 5 確保 $\lVert \cdot \rVert $ 是 \(V\) 上的一個范數.
滿足定義 3 中的內積定理 (1)、(2)、(3) 以及 (4) 但不一定滿足公理 (1a) 的函數 \(\langle \cdot , \cdot \rangle\)：\(V \times V \rightarrow \mathbf{F}\) 稱為一個半內積，它是這樣的一個半雙線性函數：對所有 \(x\in V\) 滿足 \(\langle x, x \rangle \geqslant 0\). 有關內積的一個重要的事實是：與內積一樣，它們滿足 Cauchy-Schwarz 不等式.
定理 6： 設 \(\langle \cdot , \cdot \rangle\) 是域 \(\mathbf{F}\)（\(\mathbf{F}=\mathbb{R}\) 或者 \(\mathbb{C}\)）上一個向量空間 \(V\) 上的半內積. 那么對所有 \(x,y \in V\) 有 $ \lvert \langle x,y \rangle \rvert ^2 \leqslant \langle x, x \rangle \langle y, y \rangle $，且由 \(\lVert x \rVert = \langle x, x \rangle ^{1/2}\) 定義的函數 \(\lVert \cdot \rVert\)：\(V \rightarrow [0,\infty)\) 是 \(V\) 上的一個半范數.
范數的例子與內積的例子
向量 \(x=[x_1 \cdots x_n]^T \in \mathbb{C}^n\) 的 Euclid 范數（\(l_2\) 范數）
\begin{align}
\lVert x \rVert _2 = (\lvert x_1 \rvert ^2 + \cdots + \lvert x_n \rvert ^2)^{1/2}
\end{align}
可能是最為熟知的范數，因為 \(\lVert x-y \rVert _2\) 度量的是兩個點 \(x,y \in \mathbb{C}^n\) 之間的標准的 Euclid 距離. 它是由 Euclid 內積（即 \(\lVert x \rVert _2 = \langle x, x\rangle ^{1/2} = (x^*x)^{1/2}\) ）導出的，且它是酉不變的：對所有的 \(x \in \mathbb{C}^n\) 以及每個酉矩陣 \(U \in M_n\) 都有 \(\lVert Ux \rVert _2=\lVert x \rVert _2\). 事實上， Euclid 范數的正的純量倍數是 \(\mathbb{C}^n\) 上僅有的酉不變的范數.
\(\mathbb{C}^n\) 上的和范數（\(l_1\) 范數）是
\begin{align}
\lVert x \rVert _1 = \lvert x_1 \rvert + \cdots + \lvert x_n \rvert
\end{align}
這個范數也稱為曼哈頓范數，也稱為出租車范數，因為它模擬的是出租車在垂直的街道以及大道組成的網絡上穿越的距離. 它是 \(\mathbb{C}^n\) 上的范數，卻不是由內積導出的且不滿足平行四邊形恆等式.
\(\mathbb{C}^n\) 上的最大值范數（\(l_{\infty}\) 范數）定義為
\begin{align}
\lVert x \rVert _{\infty} = \max \{ \lvert x_1 \rvert ,\cdots, \lvert x_n \rvert \}
\end{align}
\(l_{\infty}\) 范數不是由內積導出的.
\(\mathbb{C}^n\) 上的 \(l_p\) 范數定義為
\begin{align}
\lVert x \rVert _p = (\lvert x_1 \rvert ^p + \cdots + \lvert x_n \rvert ^p)^{1/p},\quad p \geqslant 1
\end{align}
\(\mathbb{C}^n\) 上一個重要的離散的范數族填補了和范數與最大值范數之間的空隙. 對每一個 \(k=1,\cdots,n\), 向量 \(x\) 的 \(k\) 范數是通過將 \(x\) 的元素的絕對值按照非增次序排列，並將 \(k\) 個最大的值相加所得到的，即
\begin{align}
\lVert x \rVert _{[k]} = \lvert x_{i_1} \rvert + \cdots + \lvert x_{i_k} \rvert, \quad \text{其中} ,, \lvert x_{i_k} \rvert \geqslant \cdots \geqslant \lvert x_{i_n} \rvert
\end{align}
\(k\) 范數在酉不變矩陣范數的理論中起着重要的作用. 可以驗證：對每一個 \(k=1,2,\cdots,\)，$\lVert \cdot \rVert _{[k]} $ 都是 \(\mathbb{C}^n\) 上的范數，且 \(\lVert \cdot \rVert _{\infty}= \lVert \cdot \rVert _{[1]} \leqslant \lVert \cdot \rVert _{[2]} \leqslant \cdots \leqslant \lVert \cdot \rVert _{[n]} = \lVert \cdot \rVert _1\).
\(\mathbb{C}^n\) 上任意一個范數都可以通過一組基用來定義 \(n\) 維實的或者復的向量空間 \(V\) 上的范數． 如果 \(\mathscr{B}=\{b^{(1)}, \cdots, b^{(n)}\}\) 是 \(V\) 的一組基，又如果將 \(x=\sum_{i=1}^nx_ib^{(i)}\) 表示為基向量的線性組合，那么映射 \(x \rightarrow [x]_{\mathscr{B}}=[x_1\cdots x_n]^T\in \mathbb{C}^n\) 就是 \(V\) 到 \(\mathbb{C}^n\) 上的一個同構. 如果 \(\lVert \cdot \rVert\) 是 \(\mathbb{C}^n\) 上任意一個給定的范數，那么 \(\lVert x \rVert_{\mathscr{B}}=\lVert [x]_{\mathscr{B}}\rVert\) 就是 \(V\) 上的范數.
設 \(S\in M_{m,n}\) 是列滿秩的，故有 \(m\geqslant n\). 設 \(\lVert \cdot \rVert\) 是 \(\mathbb{C}^n\) 上一個給它的范數，並對 \(x \in \mathbb{C}^n\) 定義 \(\lVert x\rVert _S=\lVert Sx \rVert\)，那么，\(\lVert x\rVert _S\) 是 \(\mathbb{C}^n\) 上一個范數.
應該知道什么
- 掌握相關定義
- Cauchy-Schwarz 不等式
- Euclid 范數的正的純量倍數是 \(\mathbb{C}^n\) 上僅有的酉不變的范數
- \(\mathbb{C}^n\) 上任意一個范數都可以通過一組基用來定義 \(n\) 維實的或者復的向量空間 \(V\) 上的范數