很長時間一直沒有明白真實的含義，十一期間補充一下這方面的知識。
l0 范數是 ||x||0 = xi (xi不等於0)代表非0數字的個數，[1,2,3,4,5] 非0個數為5，[0,1,2,0,3]非0 個數為3
l1范數是||x||1=Σ|xi| x與0之間的曼哈頓距離，[1,2,3,-2,-1] =1+2+3+2+1 =9,為個數字的絕對值的和。
l2范數是||x||2=Σ|xi|^2為x與0之間的歐式距離，[1,2,-3]=1^2+2^2+(-3)^2=1+4+9=14,為各個數字的平方和在開方。
lp范數是||x||p=√∑（xi）^p。控制模型復雜度減少過擬合。一般在損失函數中加入懲罰項。
l1和l2為什么可以減少過擬合。模型復雜就是因為w參數較多，所以模型比較復雜。w=[w1,w2,w3,w4,w5,....,wn]讓其中某些為0，某些不為0，那就是l0范數
目標函數為： min J(wxi,y） s.t |w|0<=C 最優問題無法解決。|w|1和|w|2可以限制小於常數C
構造拉格朗日函數 L（w，α） = J（wxi,y）+α(|w|1-C） L（w，α） = J（wxi,y）+α(|w|2-C）=J(wxi;y)+α|w|2-αC=minJ(wxi,y)+α|w|2
如果是二維的話既要最小化損失函數，又要簡化后面的懲罰項，當時1范數的時候，當w1，w2是兩個坐標所以就是一個斜倒正的正方形可以清晰的看出w1或者w2為0.
當二范數的時候，就是圓和等高線的交集。