在上一篇博客中，我們介紹了次梯度，本篇博客，我們將用它來求解優化問題。
優化目標函數：
$min \frac{1}{2} ||Ax-b||_2^2+\mu ||x||_1$
已知$A, b$，設定一個$\mu$值，此優化問題表示用數據矩陣$A$的列向量的線性組合去擬合目標向量$b$，並且解向量$x$需要盡量稀疏(因為L1范數限制)。
目標函數的次梯度$g$為：
次梯度迭代算法：$x_{k+1} = x_k - \frac{\alpha g}{\sqrt{g^Tg}}$，下面代碼中我們取系數$\alpha=0.01$，但是張賢達的《矩陣分析與應用》第四章第5節第4小節指出，序列$\{\alpha_k\}_{k=0}^\infty$必須遞減：$k \rightarrow \infty, \alpha_k \rightarrow 0$. 下面的代碼實踐中，我們發現$\alpha$一直取0.01，目標函數也能收斂。
需注意的是，次梯度算法不屬於梯度下降法，因為次梯度算法不能保證$f(x_k)<f(x_{k-1})$。
代碼實現：
import numpy as np
import matplotlib.pyplot as plt
m = 64
n = 128
A = np.random.randn(m, n) # 隨機生成數據矩陣
b = np.random.randn(m, 1) # 隨機生成目標向量
epoch = 150
v = 5e-1 # v為題目里面的mu
y = []
def f(x):
'''目標函數'''
return 1/2*np.dot((np.dot(A, x)-b).T, (np.dot(A, x)-b)) + v*sum(abs(x))
def g(x):
'''次梯度，L1范數的次梯度直接用符號函數代替'''
return np.dot(np.dot(A.T, A), x) - np.dot(A.T, b) + v*np.sign(x)
x0 = np.zeros((n, 1)) # 初始化解向量x
for i in range(epoch):
y.append(f(x0)[0, 0]) # f(x0)是二維數據
grad = g(x0)
s = 0.01/np.sqrt(np.dot(grad.T, grad))
x1 = x0 - s[0]*grad
x0 = x1
plt.plot(range(epoch), y)
plt.show()
運行結果：
可以看到，收斂效果不錯。
-------------------------------------------------------------------------------------------------------------------------------
$\mu$值的影響分析
目標函數中，第一項衡量擬合的質量，第二項衡量解向量$x$的稀疏程度，$\mu$值平衡這兩項的重要性，改變$\mu$值，對解向量有一定影響：
這兩個圖是解向量$x=(x_1, x_2, ..., x_{128})$的值圖，比較這兩圖可以看到，$\mu$越大，解向量$x=(x_1, x_2, ..., x_{128})$越多分量為零，即越稀疏。
參考資料：subgradient(次梯度算法)