次梯度方法 次梯度方法(subgradient method)是传统的梯度下降方法的拓展，用来处理不可导的凸函数。它的优势是比传统方法处理问题范围大，劣势是算法收敛速度慢。但是，由于它对不可导函数有很好的处理方法，所以学习它还是很有必要的。 次梯度（subgradient） 1. ...

Start with the SVD decomposition of $x$: $$x=U\Sigma V^T$$ Then $$\|x\|_*=tr(\sqrt{x^Tx})=tr(\sqrt ...

在上一篇博客中，我们介绍了次梯度，本篇博客，我们将用它来求解优化问题。 优化目标函数： $min \frac{1}{2} ||Ax-b||_2^2+\mu ||x||_1$ 已知$A, b$，设定一个$\mu$值，此优化问题表示用数据矩阵$A$的列向量的线性组合去拟合目标向量$b$，并且解 ...

拉格朗日 次梯度法(转) https://blog.csdn.net/robert_chen1988/article/details/41074295 对于非线性约束问题： 若非线性约束难于求导，则不能用K-T求解该问题，可考虑用拉格朗日次梯度法 ...

Using subgradient method to solve lasso problem The problem is to solve: \[\underset{\beta}{\op ...

一个最简单的例子：f(x,y)=x+y 那么全微分df=dx+dy 因为这个f(x,y)对x和y都是线性的，所以df=dx+dy对大的x和y变化也成立。 将x和y方向分开看，x方向每增加dx=1（y不变），f(x,y)增加df=1；y方向每增加dy=1（x不变），f(x,y)也增加df ...

微分方程中有两个地方用到齐次： 1、形如y'=f(y/x)的方程称为“齐次方程”，这里是指方程中每一项关于x、y的次数都是相等的，这个是指dy/dx是0次齐次函数。 2、形如y''+py'+qy=0的方程称为“齐次线性方程”，这里“齐次”是指方程中每一项关于未知函数y及其导数y',y ...

核心： 注意： dx==der ta x 微分的定义： 微分的几何意义： 写法： 微分的基本法则： 直接 先求导数 然后就那样 复合函数求微分同理 求原函数： 直接看形式，最后 / 或者 X +C ...