次梯度方法 次梯度方法(subgradient method)是傳統的梯度下降方法的拓展，用來處理不可導的凸函數。它的優勢是比傳統方法處理問題范圍大，劣勢是算法收斂速度慢。但是，由於它對不可導函數有很好的處理方法，所以學習它還是很有必要的。 次梯度（subgradient） 1. ...

Start with the SVD decomposition of $x$: $$x=U\Sigma V^T$$ Then $$\|x\|_*=tr(\sqrt{x^Tx})=tr(\sqrt ...

在上一篇博客中，我們介紹了次梯度，本篇博客，我們將用它來求解優化問題。 優化目標函數： $min \frac{1}{2} ||Ax-b||_2^2+\mu ||x||_1$ 已知$A, b$，設定一個$\mu$值，此優化問題表示用數據矩陣$A$的列向量的線性組合去擬合目標向量$b$，並且解 ...

拉格朗日 次梯度法(轉) https://blog.csdn.net/robert_chen1988/article/details/41074295 對於非線性約束問題： 若非線性約束難於求導，則不能用K-T求解該問題，可考慮用拉格朗日次梯度法 ...

Using subgradient method to solve lasso problem The problem is to solve: \[\underset{\beta}{\op ...

一個最簡單的例子：f(x,y)=x+y 那么全微分df=dx+dy 因為這個f(x,y)對x和y都是線性的，所以df=dx+dy對大的x和y變化也成立。 將x和y方向分開看，x方向每增加dx=1（y不變），f(x,y)增加df=1；y方向每增加dy=1（x不變），f(x,y)也增加df ...

微分方程中有兩個地方用到齊次： 1、形如y'=f(y/x)的方程稱為“齊次方程”，這里是指方程中每一項關於x、y的次數都是相等的，這個是指dy/dx是0次齊次函數。 2、形如y''+py'+qy=0的方程稱為“齊次線性方程”，這里“齊次”是指方程中每一項關於未知函數y及其導數y',y ...

核心： 注意： dx==der ta x 微分的定義： 微分的幾何意義： 寫法： 微分的基本法則： 直接 先求導數 然后就那樣 復合函數求微分同理 求原函數： 直接看形式，最后 / 或者 X +C ...