L1正則化比L2正則化更易獲得稀疏解的原因


  我們知道L1正則化和L2正則化都可以用於降低過擬合的風險,但是L1正則化還會帶來一個額外的好處:它比L2正則化更容易獲得稀疏解,也就是說它求得的w權重向量具有更少的非零分量。

  為了理解這一點我們看一個直觀的例子:假定x有兩個屬性,於是無論是采用L1正則化還是采用L2正則化,它們解出的w權重向量都具有兩個分量,即w1,w2;我們將其作為兩個坐標軸,然后在這個二維空間中繪制

平方誤差取值相同的連線,再分別繪制出L1范數和L2范數的等值線,那么我們的解就是平方誤差等值線和范數等值線的焦點。從圖上(機器學習 周志華 第十一章 圖11.2)我們可以看出L1范數和平方誤差等值曲線的交點

經常落在坐標軸上,而L2范數和平方誤差等值曲線的交點只是分量比較小。所以我們說L1正則化比L2正則化更容易獲得稀疏解,因為L1正則化的權重向量的分量為零的可能性更大。


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM