L0范數 表示向量中非零元素的個數
L1范數 表示向量x中非零元素的絕對值之和。L1范數有很多的名字,例如我們熟悉的曼哈頓距離、最小絕對誤差等。
使用L1范數可以度量兩個向量間的差異,如絕對誤差和(Sum of Absolute Difference):
一個例子,如下展示了兩個二維向量(x1、x2)的L1范數。
L2范數 表示向量元素的平方和再開平方,我們用的最多的度量距離歐氏距離就是一種L2范數。在回歸里面,有人把有它的回歸叫“嶺回歸”(Ridge Regression),有人也叫它“權值衰減weight decay”。
像L1范數一樣,L2也可以度量兩個向量間的差異,如平方差和(Sum of Squared Difference):
一個例子,如下展示了兩個二維向量(x1、x2)的L2范數。
L2范數通常會被用來做優化目標函數的正則化項,防止模型為了迎合訓練集而過於復雜造成過擬合的情況,從而提高模型的泛化能力。
L-∞范數 它主要被用來度量向量元素的最大值。也叫切比雪夫距離
范數=點到坐標零點的距離
切比雪夫距離,通俗來講就是兩個向量在每個維度上差值的最大值。
一個例子,如下展示了兩個二維向量(x1、x2)的L2范數(切比雪夫距離)。