瑞麗熵(renyi entropy)


信息論中Rényi熵是Hartley熵Shannon熵碰撞熵最小熵的推廣。熵能量化了系統的多樣性,不確定性或隨機性。Rényi熵以AlfrédRényi命名。在分形維數估計的背景下,Rényi熵構成了廣義維數概念的基礎。

Rényi熵在生態學和統計學中是重要的多樣性指標。Rényi熵在量子信息中也很重要,它可以用來衡量糾纏。在Heisenberg XY自旋鏈模型中,作為α的函數的Rényi熵可以由於它是關於模數群的特定子群的自守函數而被明確地計算。在理論計算機科學中,最小熵用於隨機抽取器的情況下。

定義:

含參數α的瑞麗熵其中α≥0和α≠1,被定義為

H {\ alpha}(X)= {\ frac {1} {1- \ alpha}} \ log {\ Bigg(} \ sum _ {i = 1} ^ {n} p_ {i} ^ {\ alpha} {\ Bigg)}

這里,X是一個具有可能結果的離散隨機變量1,2,3,…..,n和相應的概率p_ {i} \ doteq \ Pr(X = i)對於i=1,2,….n,而對數基數為2.如果概率是P_ {I} = 1 / n的對全部i=1,…..,n,那么分配的所有瑞麗熵都是相等的:H _ {\ alpha}(X)= \ log n

一般來說,對於所有的離散隨機變量X,H _ {\ alpha}(X)是一個帶有α的非遞增函數。

經常可見瑞麗熵和概率向量的p-范數之間的關系:

H _ {\ alpha}(X)= {\ frac {\ alpha} {1- \ alpha}} \ log \ left(\ | P \ | _ {\ alpha} \ right)

在這里,離散的概率分布P=(p1,……..,pn)被解釋為一個向量Rn,同時pi≥0和Σpi=1

瑞麗熵中α≥0

特例

哈特利或最大熵:H_ {0}(X)= \ log n = \ log | X |。\,
香農熵:H_ {1}(X)=  -  \ sum_ {i = 1} ^ {n} p_ {i} \ log p_ {i}。

碰撞熵,有時被稱為“Rényi熵”,是指α = 2 的情況,

H_ {2}(X)=  -  \ log \ sum _ {i = 1} ^ {n} p_ {i} ^ {2} =  -  \ log P(X = Y)

其中,XY ^獨立同分布的

最小熵:

在極限中 H _ {\ alpha}收斂到最小熵 H _ {\ infty}

(i)( -  \ log p_ {i})=  - (\ max _ {i} \ log p_ {i})=  -  \ log \ max _ {i } P_ {I} \ ,.

參考文獻:https://en.wikipedia.org/wiki/R%C3%A9nyi_entropy


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM