范數（norm），什么是范數,如何理解他的作用（轉）

在學習正則化時經常碰到 范數（norm）這個概念，所以想去了解一下這個到底是什么東東，他在機器學習等領域發揮了什么作用額。

參考了網絡上多位大神的文章，記錄一下自己的理解，以備后續查閱。

 

       范數（Norm）是一個函數，其賦予某個向量空間（或矩陣）中的每個向量以長度或大小。所以實際就是一個函數，用來表示向量空間或者矩陣中的向量的大小的，只不過表示的方式不一樣所以也就有了什么L0 L1  L2 和更加一般的Lp范數。對於零向量，另其長度為零。直觀的說，向量或矩陣的范數越大，則我們可以說這個向量或矩陣也就越大。經常見到向量范數和矩陣范數，||x||, 和||X||,其中x和X分別表示向量和矩陣。微信上有個公眾號感覺解讀的很好，貼過來。主要參考這兩篇文章，注明出處

向量范數：https://mp.weixin.qq.com/s/bfASw9wvFzKUmvLYckYIFQ

矩陣范數：https://mp.weixin.qq.com/s/Q8qRgNrNdesjc7RrLhaK6A

 

 

既然講范數，那就按照慣例，給出常用范數的定義----(不用知道他們都是什么，就知道有這么個名詞先，慢慢一點點的理解)

一般將任意向量  的  -范數定義為

根據  -范數的定義，當  ，我們就有了  -范數，即

   -------表示向量  中非0元素的個數

 

根據  -范數的定義，當  時，任意向量  的  -范數為

 

 

 

先說向量范數：  向量范數的定義

 

 看一眼這個城市的地圖，如果我們要測量兩點之間的距離，在地圖坐標系里我們可以直接按照藍線計算，但是在城市里實際車開過的距離應該是紅線。所以距離可以表示成，這個距離被稱為曼哈頓（Manhattan）距離，或者taxicar距離德等，反正就是指在城市中taxi走的距離。

 

 

 

 然后，數學家將這種特殊的情況推廣到一般去，

（閔可夫斯基距離）

 

 常用的范數，也就是上式定義的p=1,p=2,和p=∞時，p=∞也有自己的名字--切比雪夫距離；

下圖展示了p取不同的值時各個范數下單位向量終點的軌跡（這個圖還是很有意思的）

 

向量范數就到這里，關於矩陣范數的可以去看上面提到的公眾號文章。

-----------------------------------------------------------------------------------------------------------------------------------------------