壓縮感知中的數學知識:稀疏、范數、符號arg min


轉自:http://blog.csdn.net/jbb0523/article/details/40262629

1、稀疏:什么是K稀疏呢?

在壓縮感知里經常提到 “K稀疏” 的概念,這個是很容易理解的:也就是對於長度為N的向量(實際上是指一個N維離散離值信號)來說,它的N個元素值只有K個是非零的,其中K<<N,這時我們稱這個向量是K稀疏的或者說是嚴格K稀疏的;實際中要做到嚴格K稀疏不容易,一般來說,只要除了這K個值其它的值很小很小,我們就認為向量是稀疏的,這時區別於嚴格K稀疏且就叫它K稀疏吧。

為什么要談稀疏這個問題呢?因為如果信號是稀疏的,則它是可壓縮的,也就是說里面那么多零,我只記錄那些非零值及它的位置就好了。

當然,現實中的信號本身一般並不是稀疏的,但經過一個變換后,在一組基上面是稀疏的,這就是信號的稀疏表示。

稀疏性是壓縮感知的前提。

2、范數||x||p

常見的有l0范數、l1范數、l2范數,經常要將l0范數等價為l1范數去求解,因為l1范數求解是一個凸優化問題,而l0范數求解是一個NP難問題,這些后面慢慢再說。

l0范數指的是x中非零元素的個數,即x的稀疏度,如果x是K稀疏的,則l0范數等於K;

l1范數指的是x中所有元素模值的和

l2范數指的是x中所有元素模值平方的和 再開方,這個帶公式就可以了,它代表着距離的概念

還有無窮范數,指的是x中元素模的最大值

3、符號arg min

壓縮感知中常見如下表示:

 

s.t. 表示 受約束於,是“subject to”的縮寫。

為了說明argmin的含義,可以參見Wikipedia中對argmax的解釋:

argmax : In mathematics, arg max stands for the argument of the maximum, that is to say, the set of points of the given argument for which the given function attains its maximum value.

即求當滿足約束條件時,使函數達到最大值的x

 

舉三個例子自己體會一下就可以了:

 

argmin與其類似,琢磨一下就是了。

下面轉一段話:(max 和 argmax的區別

y = f(t) 是一般常見的函數式,如果給定一個t值,f(t)函數式會賦一個值給y。
y = max f(t) 代表:y 是f(t)函式所有的值中最大的output。
y = arg max f(t) 代表:y 是f(t)函式中,會產生最大output的那個參數t。
看起來很模糊,舉個例子應該比較好理解:
假設有一個函式 f(t),t 的可能范圍是 {0,1,2},f(t=0) = 10 ; f(t=1) = 20 ; f(t=2) = 7,那分別對應的y如下:
y = max f(t) = 20
y= arg max f(t) = 1

 

這一塊要好好說一說,因為這是壓縮感知最基本的表示,是最常見的,但在不同的論文里面表示是不統一的:

a)焦李成,楊淑媛,劉芳,侯彪.壓縮感知回顧與展望[J].電子學報,2011,39(7):1651-1662.

b)石光明,劉丹華,高大化,劉哲,林傑,王良君.壓縮感知理論及其進展[J].電子學報,2009,37(5):1070-1081.

 

c)楊海蓉,張成,丁大為,韋穗.壓縮傳感理論與重構算法[J].電子學報,2011,39(1):142-148.

 

在壓縮感知理論方面,不管是用min還是argmin(文獻ab與文獻c區別),不管min下面有沒有變量(文獻a與文獻b區別),其實表達的意思都是一樣的:

如果用0范數,則是求得滿足后面約束條件的最稀疏的x(θ)

如果用1范數,則是求得滿足后面約束條件的元素模值和最小的x(θ);

 

當然兩種求法在滿足一定條件下(RIP)是等價的,RIP又是另一回事了,慢慢以后再說吧。

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM