L1正则在0处不可导怎么办?


一般是采用PGD,近端梯度下降法,或者ADMM,交替方向乘子法解决。
本文推导了PGD算法,参考西瓜书,补充了西瓜书的推导过程,回顾了凸优化上课的讲义,推导了利用利普西茨条件的函数二阶泰勒展开式。
我推导后认为西瓜书上的利普西茨条件,符号应该改为模才对。
ADMM算法请参考Boyd的小册子Distributed Optimization and Statistical Learning via the Alternating Direction Method of Multipliers


免责声明!

本站转载的文章为个人学习借鉴使用,本站对版权不负任何法律责任。如果侵犯了您的隐私权益,请联系本站邮箱yoyou2525@163.com删除。



 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM