在上一篇博客中，我们介绍了次梯度，本篇博客，我们将用它来求解优化问题。
优化目标函数：
$min \frac{1}{2} ||Ax-b||_2^2+\mu ||x||_1$
已知$A, b$，设定一个$\mu$值，此优化问题表示用数据矩阵$A$的列向量的线性组合去拟合目标向量$b$，并且解向量$x$需要尽量稀疏(因为L1范数限制)。
目标函数的次梯度$g$为：
次梯度迭代算法：$x_{k+1} = x_k - \frac{\alpha g}{\sqrt{g^Tg}}$，下面代码中我们取系数$\alpha=0.01$，但是张贤达的《矩阵分析与应用》第四章第5节第4小节指出，序列$\{\alpha_k\}_{k=0}^\infty$必须递减：$k \rightarrow \infty, \alpha_k \rightarrow 0$. 下面的代码实践中，我们发现$\alpha$一直取0.01，目标函数也能收敛。
需注意的是，次梯度算法不属于梯度下降法，因为次梯度算法不能保证$f(x_k)<f(x_{k-1})$。
代码实现：
import numpy as np
import matplotlib.pyplot as plt
m = 64
n = 128
A = np.random.randn(m, n) # 随机生成数据矩阵
b = np.random.randn(m, 1) # 随机生成目标向量
epoch = 150
v = 5e-1 # v为题目里面的mu
y = []
def f(x):
'''目标函数'''
return 1/2*np.dot((np.dot(A, x)-b).T, (np.dot(A, x)-b)) + v*sum(abs(x))
def g(x):
'''次梯度，L1范数的次梯度直接用符号函数代替'''
return np.dot(np.dot(A.T, A), x) - np.dot(A.T, b) + v*np.sign(x)
x0 = np.zeros((n, 1)) # 初始化解向量x
for i in range(epoch):
y.append(f(x0)[0, 0]) # f(x0)是二维数据
grad = g(x0)
s = 0.01/np.sqrt(np.dot(grad.T, grad))
x1 = x0 - s[0]*grad
x0 = x1
plt.plot(range(epoch), y)
plt.show()
运行结果：
可以看到，收敛效果不错。
-------------------------------------------------------------------------------------------------------------------------------
$\mu$值的影响分析
目标函数中，第一项衡量拟合的质量，第二项衡量解向量$x$的稀疏程度，$\mu$值平衡这两项的重要性，改变$\mu$值，对解向量有一定影响：
这两个图是解向量$x=(x_1, x_2, ..., x_{128})$的值图，比较这两图可以看到，$\mu$越大，解向量$x=(x_1, x_2, ..., x_{128})$越多分量为零，即越稀疏。
参考资料：subgradient(次梯度算法)