一般是采用PGD，近端梯度下降法，或者ADMM，交替方向乘子法解決。 本文推導了PGD算法，參考西瓜書，補充了西瓜書的推導過程，回顧了凸優化上課的講義，推導了利用利普西茨條件的函數二階泰勒展開式。 我 ...

1. 簡單列子： 一個損失函數L與參數x的關系表示為： 則 加上L2正則化，新的損失函數L為：（藍線） 最優點在黃點處，x的絕對值減少了，但依然非零。 如果加上L1正則化，新的損失函數L ...

什么是L1/L2/L3 Cache? Cache Memory也被稱為Cache，是存儲器子系統的組成部分，存放着程序經常使用的指令和數據，這就是Cache的傳統定義。從廣義的角度上看，Cache是快設備為了緩解訪問慢設備延時的預留的Buffer，從而可以在掩蓋訪問延時的同時，盡可能地提高 ...

讀了博主https://blog.csdn.net/a493823882/article/details/80569888的文章做簡要的記錄。 范數可以當作距離來理解。 L1范數： 曼哈頓距離，公式如下： ，機器學習中的L1范數應用形式為：，為L1范數。 L2范數： 歐式距離 ...

L1范數與L2范數​ ​ L1范數與L2范數在機器學習中，是常用的兩個正則項，都可以防止過擬合的現象。L1范數的正則項優化參數具有稀疏特性，可用於特征選擇；L2范數正則項優化的參數較小，具有較好的抗干擾能力。 1. 防止過擬合 ​ L2正則項優化目標函數時，一般傾向於構造構造較小參數，一般 ...

當預測值與目標值相差很大時，L2 Loss的梯度為(x-t)，容易產生梯度爆炸，L1 Loss的梯度為常數，通過使用Smooth L1 Loss，在預測值與目標值相差較大時，由L2 Loss轉為L1 Loss可以防止梯度爆炸。 L2 loss的導數（梯度）中包含預測值與目標值的差值 ...

L1，L2正則都可以看成是 條件限制，即 $\Vert w \Vert \leq c$ $\Vert w \Vert^2 \leq c$ 當w為2維向量時，可以看到，它們限定的取值范圍如下圖： 所以它們對模型的限定不同 而對於一般問題來說，L1 正則往往取到 ...

引自：https://zhuanlan.zhihu.com/p/83131026 1、L1 loss 在零點不平滑，用的較少 ，、一般來說，L1正則會制造稀疏的特征，大部分無用特征的權重會被置為02、Smooth L1 Loss 修改零點不平滑問題 ， L1-smooth比L ...