信息熵的定義和簡單計算


定義:

 

 p(x)指的是離散型隨機變量的各個情況的概率

 

例子:

 

 

 

 對數的底數為2---如果單位是比特的話

 

條件熵(期望熵)和信息增益:

 

 

 

 注意這個條件是(是否陰天

 

 信息增益則是總的熵減去條件熵

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM