問題:
壓縮感知中算法會通過L0,L1范數建立的數學模型得到一個稀疏解,那么為什么L0,L1范數會導致一個稀疏解呢?
分析與解釋:
1、范數
常見的有L0范數、L1范數、L2范數,經常要將L0范數等價為L1范數去求解,因為L1范數求解是一個凸優化問題,而L0范數求解是一個NP難問題。
(關於NP問題:參考閱讀http://www.cnblogs.com/AndyJee/p/5048556.html)
L0范數指的是x中非零元素的個數,即x的稀疏度,如果x是K稀疏的,則L0范數等於K;
L1范數指的是x中所有元素模值的和;
L2范數指的是x中所有元素模值平方的和再開方,它代表着距離的概念;
還有無窮范數,指的是x中元素模的最大值。
2、稀疏性
在壓縮感知里經常提到 "K稀疏" 的概念,這個是很容易理解的:也就是對於長度為N的向量(實際上是指一個N維離散離值信號)來說,它的N個元素值只有K個是非零的,其中K<<N,這時我們稱這個向量是K稀疏的或者說是嚴格K稀疏的;實際中要做到嚴格K稀疏不容易,一般來說,只要除了這K個值其它的值很小很小,我們就認為向量是稀疏的,這時區別於嚴格K稀疏且就叫它K稀疏吧。
為什么要談稀疏這個問題呢?因為如果信號是稀疏的,則它是可壓縮的,也就是說里面那么多零,我只記錄那些非零值及它的位置就好了。
當然,現實中的信號本身一般並不是稀疏的,但經過一個變換后,在一組基上面是稀疏的,這就是信號的稀疏表示。
稀疏性是壓縮感知的前提。
3、范數與稀疏性
壓縮感知的數學模型表示:
數學模型求解的幾何表示:
AX=b:表示空間中的一條直線;
||X||p:表示空間中的Lp球;
當0<p<1時,Lp球是內凸的,當球的半徑逐漸增加時與直線的交點將位於坐標軸上,而坐標軸上的點是稀疏的(除了該所在坐標軸的坐標值不為0外,其他均為0);
當p=1時,Lp球是菱狀,在一定條件下會導致一個稀疏解,即相交於坐標軸上;(這也許是壓縮感知中L0模型在一定條件下等價於L1模型的形象解釋吧)
當p>1時,Lp球是外凸的,當逐漸膨脹時與直線的切點一定不位於坐標軸上,即此時的解是不稀疏的。如圖中的L2球。