淺談壓縮感知(十):范數與稀疏性


問題:

壓縮感知中算法會通過L0,L1范數建立的數學模型得到一個稀疏解,那么為什么L0,L1范數會導致一個稀疏解呢?

分析與解釋:

1、范數

常見的有L0范數、L1范數、L2范數,經常要將L0范數等價為L1范數去求解,因為L1范數求解是一個凸優化問題,而L0范數求解是一個NP難問題。

(關於NP問題:參考閱讀http://www.cnblogs.com/AndyJee/p/5048556.html

L0范數指的是x中非零元素的個數,即x的稀疏度,如果x是K稀疏的,則L0范數等於K;

L1范數指的是x中所有元素模值的和;

L2范數指的是x中所有元素模值平方的和再開方,它代表着距離的概念;

還有無窮范數,指的是x中元素模的最大值。

2、稀疏性

在壓縮感知里經常提到 "K稀疏" 的概念,這個是很容易理解的:也就是對於長度為N的向量(實際上是指一個N維離散離值信號)來說,它的N個元素值只有K個是非零的,其中K<<N,這時我們稱這個向量是K稀疏的或者說是嚴格K稀疏的;實際中要做到嚴格K稀疏不容易,一般來說,只要除了這K個值其它的值很小很小,我們就認為向量是稀疏的,這時區別於嚴格K稀疏且就叫它K稀疏吧。

為什么要談稀疏這個問題呢?因為如果信號是稀疏的,則它是可壓縮的,也就是說里面那么多零,我只記錄那些非零值及它的位置就好了。

當然,現實中的信號本身一般並不是稀疏的,但經過一個變換后,在一組基上面是稀疏的,這就是信號的稀疏表示。

稀疏性是壓縮感知的前提。

3、范數與稀疏性

壓縮感知的數學模型表示:

數學模型求解的幾何表示:

AX=b:表示空間中的一條直線;

||X||p:表示空間中的Lp球;

當0<p<1時,Lp球是內凸的,當球的半徑逐漸增加時與直線的交點將位於坐標軸上,而坐標軸上的點是稀疏的(除了該所在坐標軸的坐標值不為0外,其他均為0)

當p=1時,Lp球是菱狀,在一定條件下會導致一個稀疏解,即相交於坐標軸上;(這也許是壓縮感知中L0模型在一定條件下等價於L1模型的形象解釋吧)

當p>1時,Lp球是外凸的,當逐漸膨脹時與直線的切點一定不位於坐標軸上,即此時的解是不稀疏的。如圖中的L2球。


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM