【范數定義】
非負實值函數（非線性）
1）非負性： || a || >= 0
2）齊次性： || ka || = |k| ||a||
3）三角不等式： || a + b || <= || a || + || b ||
注：完備的線性賦范空間稱為巴拿赫空間（Banach Space）
【向量范數】
lp范數（p范數）： || x ||p = ( Σ |xi|p )1/p ( p = 1 ~ ∞ )
- l1范數 ( p = 1 )， || x ||1 = Σ |xi|
- l2范數 ( p = 2 )， || x ||1 = ( Σ |xi|2 )1/2 （Euclidean Norm）
- l∞范數 ( p = ∞ )， || x ||∞ = maxi { |xi| }
【矩陣范數】
Frobenius Form：|| A ||F = ( tr( AHA ) )1/2
譜范數：|| A ||2 = ( lamdamax( AHA ) )1/2 ( A的最大奇異值，或者AHA的最大特征值 )
【相容矩陣范數】
對於Cmxn上的矩陣范數 || • ||，滿足 || AB || <= || A || || B ||
- Frobenius Form是相容范數 （但不是算子范數）
【算子范數】
設 || • ||u 和 || • ||v 分別是Cm和Cn上的向量范數，則導出Cmxn上的矩陣范數 || • ||uv， || A ||uv = max { || Ax ||u } , s.t. || x ||v = 1
- 譜范數由向量范數 || • ||2 導出
- 算子范數是相容范數
【對偶范數（dual norm）】
定義：
令 || • ||為Rn上的范數，定義對偶范數 || • ||* 為： || z ||* = sup { zTx }, s.t. ||x|| <= 1
性質：
lp范數的對偶范數是lq范數，其中1/p + 1/q = 1
證明： 通過Holder不等式證明 |
- l2范數的對偶范數是l2范數
- l1范數的對偶范數是l∞范數