范數

目錄

• 向量范數（vector norm）
  • 向量的 1-范數
  • 向量的 2-范數
  • 向量的負無窮范數
  • 向量的正無窮范數
• 矩陣范數（matrix norm）
  • 矩陣的 1-范數
  • 矩陣的 2-范數
  • 矩陣的 ∞-范數
  • 矩陣的 核范數
  • 矩陣的 L0范數
  • 矩陣的 L1范數
  • 矩陣的 F范數(L2范數)
  • 矩陣的L21范數

---

返回 我的研究方向(Research Interests)

---

向量范數（vector norm）

我們定義一個向量：

\[a = \left [ -5, 6, 8, -10 \right ] \]

向量的 1-范數

向量的各個元素的絕對值之和

對於上述向量 a 的1范數就是：\(||a||_{1} =|-5|+|6|+|8|+|-10| = 29\)

向量的 2-范數

向量的每個元素的平方和，再開平方根

對於上述向量 a 的2范數就是：\(||a||_{2} =\sqrt{(-5)^2 + (6)^2 + (8)^2 + (-10)^2} = 15\)

向量的負無窮范數

向量的所有元素的絕對值中最小的

對於上述向量 a 的負無窮范數就是：\(||a||_{-∞} = min\left \{ |-5|,|6|,|8|,|-10| \right \} =5\)

向量的正無窮范數

向量的正無窮范數，也指無窮范數
向量的所有元素的絕對值中最大的

對於上述向量 a 的正無窮范數就是：\(||a||_{+∞} = max\left \{ |-5|,|6|,|8|,|-10| \right \} =10\)

矩陣范數（matrix norm）

我們定義一個矩陣：

\[ A = \begin{bmatrix} 1 & -2 \\ -3 & 4 \end{bmatrix} \]

矩陣的 1-范數

矩陣的 1-范數，也叫 A的列范數
矩陣的每一列上的元素絕對值先求和，再從中取個最大的（列的和 的最大）

對於上述矩陣 A 的 1-范數就是：

\[||A||_1 = max\left \{ |1|+|-3| ， |-2|+|4| \right \} =max\left \{ 4， 6 \right \} = 6 \]

矩陣的 2-范數

矩陣\(A^TA\)的最大特征值開平方根

\[||A||_2 = (A^TA的最大特征值)^{\frac{1}{2}} \]

\[\begin{bmatrix} 1 & -3 & \\ -2 & 4 & \end{bmatrix} \begin{bmatrix} 1 & -2 & \\ -3 & 4 & \end{bmatrix}= \begin{bmatrix} 10 & -14 & \\ -14 & 20 & \end{bmatrix} \]

則它的特征方程為：

\[|\lambda I-A^TA| = \begin{vmatrix} \lambda-10 & 14 \\ 14 & \lambda-20 \end{vmatrix}=\lambda^2-30\lambda+4=0 \]

此方程的根為矩陣 \(A^TA\) 的特征值，解得

\[\lambda_1 = 15+\sqrt{221}，\lambda_2 = 15-\sqrt{221} \]

因此，取最大，即非負的\(\lambda_1\)

\[||A||_2 = (15+\sqrt{221})^{\frac{1}{2}} \approx 5.46 \]

矩陣的 ∞-范數

矩陣的 1-范數，也叫 A的列范數
矩陣的每一列上的元素絕對值先求和，再從中取個最大的（列的和 的最大）

對於上述矩陣 A 的 1-范數就是：

\[||A||_∞ = max\left \{ |1|+|-2| ， |-3|+|4| \right \} =max\left \{ 3， 7 \right \} = 7 \]

矩陣的 核范數

機器學習的低秩，稀疏等一些地方用到的范數，一般有核范數，L0范數，L1范數（有時也叫1范數），L21范數（有時也叫2范數），F范數等，上述范數都是為了解決實際問題中的困難而提出的新的范數定義，不同於前面的矩陣范數

矩陣的奇異值（將矩陣svd分解）之和，這個范數可以用來低秩表示（因為最小化核范數，相當於最小化矩陣的秩——低秩）

矩陣SDV分解:

矩陣的 L0范數

矩陣的非0元素的個數，通常用它來表示稀疏，L0范數越小0元素越多，也就越稀疏

對於上述矩陣 A 的 L0范數就是：

\[ A = \begin{bmatrix} 1 & -2 \\ -3 & 4 \end{bmatrix} \]

\[A的L0范數=4 \]

矩陣的 L1范數

矩陣中的每個元素絕對值之和，它是L0范數的最優凸近似，因此它也可以表示稀疏

對於上述矩陣 A 的 L1范數就是：10

矩陣的 F范數(L2范數)

矩陣的各個元素平方之和再開平方根，它通常也叫做矩陣的L2范數，它的有點在它是一個凸函數，可以求導求解，易於計算

對於上述矩陣 A 的 L1范數就是：\(\sqrt{30}\)

矩陣的L21范數

矩陣先以每一列為單位，求每一列的F范數（也可認為是向量的2范數），然后再將得到的結果求L1范數（也可認為是向量的1范數），很容易看出它是介於L1和L2之間的一種范數

參考：

[1] 機器學習-降維算法(MDS算法):https://blog.csdn.net/lyn5284767/article/details/81456456