將學習到什么
范數的代數性質描述了構造新范數的方法，解析性質描述了兩個不同的范數之間可能存在的關系.
代數性質
從給定的范數出發，可以用若干種方法構造出新的范數，比如兩個范數的和是一個范數、一個范數的任意正的倍數還是范數、由已知兩個范數取最大值構造的函數也是范數，這些結論全都是如下結果的特例.
定理 1：設 \(\lVert \cdot \rVert _{\alpha_1}, \cdots, \lVert \cdot \rVert _{\alpha_m}\) 是域 \(\mathbf{F}\)（\(\mathbf{F}=\mathbb{R}\) 或者 \(\mathbb{C}\)）上的向量空間 \(V\) 上給定的范數，又令 $\lVert \cdot \rVert $ 是 \(\mathbb{R}^m\) 上一個滿足 \(\lVert y \rVert \leqslant \lVert y+z \rVert\)（對所有非負元素的向量 \(y,z \in \mathbb{R}^m\)）的范數. 那么，由 \(f(x)=\lVert [ \lVert x \rVert_{\alpha_1},\cdots, \lVert x \rVert _{\alpha_m}]^T \rVert\) 所定義的函數 \(f\)：\(V \rightarrow \mathbb{R}\) 是 \(V\) 上的一個范數.
定理中關於范數 $\lVert \cdot \rVert $ 的單調性的假設是確保所構造的函數 \(f\) 滿足三角不等式所需要的. 每一個 \(l_p\) 范數都有這個單調性. 但是某些范數沒有這個性質.
解析性質
在一個實的或者復的向量空間上許多不同的實值函數都能滿足范數的公理，對某個給定的目的來說，一個范數有可能比另一個范數更方便或者更合適. 在實際應用中，可以建立起一套理論的范數與在一種給定的情形最容易計算的范數可能並不相同. 這樣一來，重要的就是要知曉兩個不同的范數之間可能存在的關系. 幸運的是，在有限維的情形下，所有范數在某種加強的意義下都是“等價的”.
分析中一個基本概念是序列的收斂性. 在賦范線性空間中，我們有如下的收斂性定義.
定義 2：設 \(V\) 是有給定范數 $\lVert \cdot \rVert $ 的一個實的或者復的向量空間. 我們稱 \(V\) 中一個向量序列 \(\{x^{(k)}\}\) 關於 $\lVert \cdot \rVert $ 收斂於一個向量 \(x \in V\)，當且僅當 \(\lim_{k \rightarrow \infty} \lVert x^{(k)} -x\rVert=0\). 如果 \(\{x^{(k)}\}\) 關於 $\lVert \cdot \rVert $ 收斂於 $x $，我們就寫成關於 $\lVert \cdot \rVert $ 有 \(\lim_{k \rightarrow \infty}x^{(k)} =x\).
序列的極限如果存在，就是唯一的，也就是說向量序列不可能收斂於兩個不同的極限. 一個向量序列有可能關於一個范數收斂，而關於另一個范數不收斂（這種情況在有限維賦范線性空間中不可能出現）.
引理 3： 設 $\lVert \cdot \rVert $ 是域 \(\mathbf{F}\)（\(\mathbf{F}=\mathbb{R}\) 或者 \(\mathbb{C}\)）上的向量空間 \(V\) 上一個范數，\(m \geqslant 1\) 是一個給定的正整數，\(x^{(1)},x^{(2)},\cdots, x^{(m)} \in V\) 是給定的向量，又對任意的 \(z=[z_1 \cdots z_m]^T \in \mathbf{F}^m\) 定義 \(x(z) = z_1x^{(1)}+ z_2x^{(2)} + \cdots + z_mx^{(m)}\). 那么，由
\begin{align}
g(z) = \lVert x(z) \rVert = \lVert z_1x^{(1)}+ z_2x^{(2)} + \cdots + z_mx^{(m)} \rVert
\end{align}
所定義的函數 \(g\)：\(\mathbf{F}^m \rightarrow \mathbb{R}\) 就是 \(\mathbf{F}^m\) 上關於 Euclid 范數一致連續的函數.
上一個引理中的賦范線性空間 \(V\) 不一定是有限維的. 然而， \(V\) 的有限維度對於下面的基本結果是極其重要的.
定理 4： 設 \(f_1\) 與 \(f_2\) 是域 \(\mathbf{F}\)（\(\mathbf{F}=\mathbb{R}\) 或者 \(\mathbb{C}\)）上一個有限維向量空間 \(V\) 上的實值函數，設 \(\mathscr{B}=\{x^{(1)},\cdots, x^{(n)}\}\) 是 \(V\) 的一組基，又設對所有 \(z=[z_1 \quad \cdots \quad z_n]^T \in \mathbf{F}^n\) 有 \(x(z) = z_1x^{(1)}+ z_2x^{(2)} + \cdots + z_nx^{(n)}\). 假設 \(f_1\) 與 \(f_2\) 是
(a) 正的：對所有 \(x \in V\) 有 \(f_i(x) \geqslant 0\)，又設 \(f_i(x) = 0\) 當且僅當 \(x=0\)
(b) 齊性的：對所有 \(\alpha \in \mathbf{F}\) 以及所有 \(x \in V\) 有 \(f_i(\alpha x) =\lvert \alpha \rvert f_i(x)\)
(c) 連續的：\(f_1(x(z))\) 在 \(\mathbf{F}^n\) 上關於 Euclid 范數是連續的
那么就存在有限的正常數 \(C_m\) 以及 \(C_M\)，使得
\begin{align}
C_m f_1(x) \leqslant f_2(x) \leqslant C_Mf_1(x),\quad \text{對所有}\,\, x \in V
\end{align}
如果一個有限維實的或者復的向量空間上的實值函數滿足上述定理陳述的正性、齊性以及連續性這三個假設，它就稱為一個准范數. 當然，准范數的最重要的例子是范數，引理 3 是說，每個范數都滿足定理 4 中的連續性假設 (c). 滿足三角不等式的准范數是范數.
推論 5：設 \(\lVert \cdot \rVert _{\alpha}\) 以及 \(\lVert \cdot \rVert _{\beta}\) 是有限維實的或者復向量空間 \(V\) 上給定的范數. 那么就存在有限的正常數 \(C_m\) 與 \(C_M\)，使得對所有 \(x \in V\) 都有 \(C_m \lVert \cdot \rVert _{\alpha} \leqslant \lVert \cdot \rVert _{\beta} \leqslant C_M \lVert \cdot \rVert _{\alpha}\) .
推論 5 的一個重要的推論是如下事實：有限維復向量空間中向量序列的收斂性與所采用的范數無關.
推論 6： 如果 \(\lVert \cdot \rVert _{\alpha}\) 以及 \(\lVert \cdot \rVert _{\beta}\) 是有限維實的或者復向量空間 \(V\) 上給定的范數. 又如果 \(x^{(k)}\) 是 \(V\) 中一列給定的向量，那么，關於 \(\lVert \cdot \rVert _{\alpha}\) 有 \(\lim_{k \rightarrow \infty}x^{(k)} =x\) 的充分必要條件是：關於 \(\lVert \cdot \rVert _{\beta}\) 有 \(\lim_{k \rightarrow \infty}x^{(k)} =x\).
證明：由於對所有 \(k\) 都有 \(C_m \lVert x^{(k)}-x \rVert _{\alpha} \leqslant \lVert x^{(k)}-x \rVert _{\beta} \leqslant C_M \lVert x^{(k)}-x \rVert _{\alpha}\)，由此推出：當 $k \rightarrow \infty $ 時有 \(\lVert x^{(k)}-x \rVert _{\alpha} \rightarrow 0\) 成立的充分必要條件是當 $k \rightarrow \infty $ 時有 \(\lVert x^{(k)}-x \rVert _{\beta} \rightarrow 0\).
定義 7： 實的或者復向量空間上兩個給定的范數稱為等價的，如果只要一個向量序列 \(x^{(k)}\) 關於其中一個范數收斂於一個向量 \(x\)，那么它就關於另一個范數也收斂於 \(x\)
推論 6 確保對有限維實或者復向量空間，所有的范數都是等價的. 對無限維向量空間來說，情況是非常不同的.
由於 \(\mathbb{R}^n\) 或 \(\mathbb{C}^n\) 上所有的范數都等價於 \(\lVert \cdot \rVert _{\infty}\)，對給定的一列向量 \(x^{(k)}=[x_i^k]_{i=1}^n\)，關於任何范數都有 \(\lim_{k \rightarrow \infty}x^{(k)} =x\) 的充分必要條件是：對每個 \(i=1,\cdots, n\) 都有 \(\lim_{k \rightarrow \infty}x_i^{(k)} =x_i\). 另一個重要事實是：單位球以及單位球面關於 \(\mathbb{R}^n\) 或 \(\mathbb{C}^n\) 上任意的准范數或者范數永遠都是緊的. 由此，在這樣一個單位球或者單位球面上的連續的實值或者復值函數都是有界的. 如果它是實值函數的話，它還取到它的最大以及最小值.
推論 8：設 \(V=\mathbf{F}^n\)（\(\mathbf{F}=\mathbb{R}\) 或者 \(\mathbb{C}\)），並設 \(f(\cdot)\) 是 \(V\) 上的一個准范數或者范數. 那么集合 \(\{ x：f(x) \leqslant 1 \}\) 與 \(\{ x：f(x) = 1 \}\) 是緊集.
有時我們會遇到確定一個給定的序列 \(x^{(k)}\) 究竟是否收斂這樣的問題. 為此，重要的是要有一個收斂的判別法，這個差別法里不明顯含有該序列的極限（如果它存在的話）. 如果有這樣的一個極限，那么，當 \(k,j \rightarrow \infty\) 時就有
\begin{align}
\lVert x^{(k)}-x^{(j)} \rVert = \lVert x^{(k)}-x+x-x^{(j)} \rVert \leqslant \lVert x^{(k)}-x \rVert + \lVert x-x^{(j)} \rVert \rightarrow 0
\end{align}
這就是下述定義之動因.
定義 9： 向量空間 \(V\) 中一個序列 \(x^{(k)}\) 稱為是關於范數 $\lVert \cdot \rVert $ 的一個 Cauchy 序列，如果對每個 \(\varepsilon >0\)，都存在一個正整數 \(N(\varepsilon)\)，使得只要 \(k_1,k_2 \geqslant N(\varepsilon)\) 就有 \(\lVert x^{(k_1)}-x^{(k_2)} \rVert \leqslant \varepsilon\).
定理 10： 設 \(\lVert \cdot \rVert\) 是有限維實或者復向量空間 \(V\) 上的一個給定的范數，又設 \(x^{(k)}\) 是 \(V\) 中一個給定的向量序列. 序列 \(x^{(k)}\) 收斂於 \(V\) 中一個向量，當且僅當它關於范數 \(\lVert \cdot \rVert\) 是一個 Cauchy 序列.
一個序列是 Cauchy 序列，當且僅當它收斂於某個實的或者復的純量. 這個結論是實數域或者復數域的一個基本性質. 這個性質稱為實數域以及復數域的完備性. 我們剛剛證明了：完備性可以延拓到關於任何范數的有限維實或者復向量空間. 不幸的是，無限維賦范線性空間可能沒有完備性.
定義 11：一個賦范線性空間 \(V\) 稱為關於它的范數 \(\lVert \cdot \rVert\) 是完備的，如果 \(V\) 中每一個關於 \(\lVert \cdot \rVert\) 是 Cauchy 序列的序列都收斂於 \(V\) 的一個點.
對偶范數
利用 \(\mathbb{R}^n\) 或者 \(\mathbb{C}^n\) 上任何范數或者准范數的單位球都是緊集這一事實，我們可以引進另外一個有用的方法，此外可以利用 Euclid 內積從老的范數生成新的范數.
定義 12： 設 \(f(\cdot)\) 是 \(V=\mathbf{F}^n\)（\(\mathbf{F}=\mathbb{R}\) 或者 \(\mathbb{C}\)）上的一個准范數. 那么函數
\begin{align}
f^D(y) = \max\limits_{f(x)=1} \mathrm{Re} \langle x, y \rangle = \max\limits_ {f(x)=1} \mathrm{Re} \,\,y^*x
\end{align}
稱為 \(f\) 的對偶范數.
對偶范數是 \(V\) 上一個具有良好定義的函數，因為對每個固定的 \(y \in V\)，$ \mathrm{Re} \,\,y^*x$ 都是 \(x\) 的連續函數，且集合 \(\{x：f(x)=1\}\) 是緊的. Weierstrass 定理確保 $ \mathrm{Re} \,\,y^*x$ 的最大值能在這個集合中的某個點取到. 對偶范數的一種等價的、有時用起來方便的另一種表達方式是
\begin{align}
f^D(y) = \max\limits_{f(x)=1} \lvert y^*x \rvert = \max\limits_{x \neq 0} \frac{\lvert y^*x \rvert}{f(x)}
\end{align}
函數 \(f^D(\cdot)\) 顯然是齊次的. 值得注意的是，即使 \(f(\cdot)\) 不服從三角不等式，\(f^D(\cdot)\) 也總是服從的. 准范數的對偶范數是正的、齊次的，且滿足三角不等式，所以它是一個范數. 特別地，范數的對偶范數恆為一個范數. 下面的引理中給出對偶范數的一個簡單的不等式，它是 Cauchy-Schwarz 不等式的一個自然的推廣.
引理 13： 設 \(f(\cdot)\) 是 \(V=\mathbf{F}^n\)（\(\mathbf{F}=\mathbb{R}\) 或者 \(\mathbb{C}\)）上的一個准范數. 那么對所有 \(x,y \in V\) 我們有
\begin{align}
\lvert y^*x \rvert \leqslant f(x)f^D(y)
\end{align}
以及
\begin{align}
\lvert y^*x \rvert \leqslant f^D(x)f(y)
\end{align}
證明：如果 \(x\neq 0\)，那么
\begin{align}
\lvert y^* \frac{x}{f(x)} \rvert \leqslant \max\limits_{f(x)=1} \lvert y^*x \rvert = f^D(y)
\end{align}
從而 \(\lvert y^*x \rvert \leqslant f(x)f^D(y)\). 當然，這個不等式對 \(x=0\) 也成立. 第二個不等式由第一個推出，這是因為 \(\lvert y^*x \rvert = \lvert x^*y\rvert\).
辨認出與某些熟悉的范數對偶的范數是有益的. 例如
\begin{align}
\lVert \cdot \rVert _1^D = \lVert \cdot \rVert_{\infty}, \quad \lVert \cdot \rVert_{\infty}^D=\lVert \cdot \rVert_1,\quad \lVert \cdot \rVert_2^D = \lVert \cdot \rVert_2
\end{align}
與
\begin{align}
\lVert \cdot \rVert_p^D = \lVert \cdot \rVert_q, \quad \text{其中}\,\, \frac{1}{p} + \frac{1}{q}=1, \quad p \geqslant 1
\end{align}
引理 14： 設 \(f(\cdot)\) 與 \(g(\cdot)\) 是 \(V=\mathbf{F}^n\)（\(\mathbf{F}=\mathbb{R}\) 或者 \(\mathbb{C}\)）上的准范數，又設給定 \(c >0\). 那么
(a) \(cf(\cdot)\) 是 \(V\) 上的准范數，且它的對偶范數是 \(c^{-1}f^D(\cdot)\)；
(b) 如果對所有 \(x\in V\) 都有 \(f(x) \leqslant g(x)\)，那么對所有 \(y \in V\) 都有 \(f^D(y) \geqslant g^D(y)\).
定理 15： 設 \(f(\cdot)\) 與 \(g(\cdot)\) 是 \(V=\mathbf{F}^n\)（\(\mathbf{F}=\mathbb{R}\) 或者 \(\mathbb{C}\)）上的范數，又設給定 \(c>0\). 那么對所有 \(x\in V\) 都有 \(\lVert x \rVert = c\lVert x \rVert ^D\) 成立的充分必要條件是 \(\lVert \cdot \rVert = \sqrt{c}\lVert x \rVert _2\). 特別地，\(\lVert \cdot \rVert = \lVert x \rVert ^D\) 成立的充分必要條件是 \(\lVert x \rVert = \lVert x \rVert _2\).
\(\mathbb{R}^n\) 或者 \(\mathbb{C}^n\) 上的每一個 \(k\) 范數以及每一個 \(l_p\) 范數都具有如下的性質：向量的范數僅與其元素的絕對值有關且還是 \(x\) 的元素的絕對值的非減函數. 這兩個性質並非是不相干的.
定義 16： 如果 \(x=[x_i] \in V=\mathbf{F}^n\)（\(\mathbf{F}=\mathbb{R}\) 或者 \(\mathbb{C}\)），設 \(\lvert x \rvert = [\lvert x_i \rvert]\) 表示 \(x\) 逐個元素的絕對值. 我們說 \(\lvert x \rvert \leqslant \lvert y \rvert\)，如果對所有 \(i=1,\cdots,n\) 都有 \(\lvert x_i \rvert \leqslant \lvert y_i \rvert\). \(V\) 上的范數稱為是
(a)單調的，如果 \(\lvert x \rvert \leqslant \lvert y \rvert\) 蘊含對所有 \(x,y \in V\) 都有 \(\lVert x \rVert \leqslant \lVert y \rVert\)；
(b)絕對的，如果對所有 \(x \in V\) 都有 \(\lVert x \rVert = \lVert \lvert x \rvert \rVert\).
定理 17：設 \(\lVert \cdot \rVert\) 是 \(V=\mathbf{F}^n\)（\(\mathbf{F}=\mathbb{R}\) 或者 \(\mathbb{C}\)）上一個范數.
(a) 如果 \(\lVert \cdot \rVert\) 是絕對的，那么對所有 \(y \in V\) 都有
\begin{align}
\lVert y \rVert ^D = \max\limits_{x \neq 0} \frac{\lvert y \rvert ^T \lvert x \rvert}{\lVert x \rVert}
\end{align}
(b) 如果 \(\lVert \cdot \rVert\) 是絕對的，那么 \(\lVert \cdot \rVert^D\) 是絕對的且是單調的.
(c) 范數 \(\lVert \cdot \rVert\) 是絕對的，當且僅當它是單調的.
證明：(a)假設 \(\lVert \cdot \rVert\) 是絕對的. 對一個給定的 \(y=[y_k] \in \mathbb{C}^n\)，任意的 \(x=[x_k] \in \mathbb{C}^n\) 以及任意的 \(z=[z_k] \in \mathbb{C}^n\)，其中 \(\lvert z \rvert = \lvert x \rvert\)，我們有 \(\lvert y^*z \rvert = \lvert \sum\limits_{k=1}^n \bar{y}_kz_k \rvert \leqslant \sum\limits_{k=1}^n \lvert y_k \rvert \lvert z_k \rvert = \lvert y \rvert^T\lvert z \rvert = \lvert y \rvert^T \lvert x \rvert\)，其中等式對 \(z_k = \mathrm{e}^{\mathrm{i}\theta_k} x_k\) 成立，如果我們選取實參數 \(\theta_1,\cdots, \theta_n\) 使得 \(\mathrm{e}^{\mathrm{i}\theta_k} \bar{y}_kz_k\) 是非負實數. 從而有
\begin{align} \label{e20}
\lVert y \rVert ^D =\max\limits_{x \neq 0} \frac{\lvert y^*x \rvert}{\lVert x \rVert} =\max\limits_{x \neq 0}\max\limits_{\lvert z \rvert = \lvert x \rvert} \frac{\lvert y^*z \rvert}{\lVert z \rVert} =\max\limits_{x \neq 0} \frac{\lvert y \rvert ^T \lvert x \rvert}{\lVert x \rVert}
\end{align}
(b) 如果 \(\lVert \cdot \rVert\) 是絕對的，表達式 \ref{e20} 表明：對所有 \(y \in \mathbb{C}^n\) 都有 \(\lVert y \rVert ^D=\lVert \lvert y \rvert \rVert ^D\). 此外，如果 $ \lvert z \rvert \leqslant \lvert y \rvert$，那么
\begin{align}
\lVert z \rVert ^D = \max\limits_{x \neq 0} \frac{\lvert z \rvert ^T \lvert x \rvert}{\lVert x \rVert} \leqslant \max\limits_{x \neq 0} \frac{\lvert y \rvert ^T \lvert x \rvert}{\lVert x \rVert} = \lVert y \rVert ^D
\end{align}
所以 \(\lVert \cdot \rVert ^D\) 是單調的.
(c) 如果 \(\lVert \cdot \rVert\) 是單調的，且 \(\lvert y \rvert = \lvert x \rvert\)，那么有 \(\lvert y \rvert \leqslant \lvert x \rvert\) 以及 \(\lvert y \rvert \geqslant \lvert x \rvert\)，所以 \(\lVert y \rVert \leqslant \lVert x \rVert\)，\(\lVert y \rVert \geqslant \lVert x \rVert\)，故而 \(\lVert y \rVert = \lVert x \rVert\). 反之，假設 \(\lVert \cdot \rVert\) 是絕對的. 設 \(k \in \{1,\cdots, n \}\) 以及 \(\alpha \in [0,1]\). 那么
\begin{align}
&\quad \lVert [x_1 \quad \cdots \quad x_{k-1} \quad \alpha x_k \quad x_{k+1} \quad \cdots \quad x_n]^T \rVert \notag \\
&= \lVert \frac{1}{2}(1-\alpha) [x_1 \quad \cdots \quad x_{k-1} \quad -x_k \quad x_{k+1} \quad \cdots \quad x_n]^T + \frac{1}{2}(1-\alpha)x + \alpha x \rVert \notag \\
&\leqslant \frac{1}{2}(1-\alpha) \lVert [x_1 \quad \cdots \quad x_{k-1} \quad -x_k \quad x_{k+1} \quad \cdots \quad x_n]^T \rVert + \frac{1}{2}(1-\alpha)\lVert x \rVert + \alpha \lVert x \rVert \notag \\
& = \frac{1}{2}(1-\alpha)\lVert x \rVert + \frac{1}{2}(1-\alpha)\lVert x \rVert + \alpha \lVert x \rVert = \lVert x \rVert \notag
\end{align}
由此推出，對每一個 \(x \in \mathbb{C}^n\) 以及對 \(\alpha_k \in [0,1]\)（ \(k=1,\cdots, n\)）的所有選取都有 \(\lVert [\alpha_1 x_1 \quad \cdots \quad \alpha_n x_n]^T \rVert \leqslant \lVert x \rVert\). 如果 \(\lvert y \rvert \leqslant \lvert x \rvert\)，那么存在 \(\alpha_k \in [0,1]\) 使得 \(\lvert y_k \rvert = \alpha_k \lvert x_k \rvert\)，\(k=1,\cdots, n\)，故而 \(\lVert y \rVert \leqslant \lVert x \rVert\).
應該知道什么
- 從給定的范數出發，可以用若干種方法構造出新的范數
- 在有限維的情形下，所有范數在某種加強的意義下都是等價
- 准范數的對偶范數是范數