信息熵的定义和简单计算


定义:

 

 p(x)指的是离散型随机变量的各个情况的概率

 

例子:

 

 

 

 对数的底数为2---如果单位是比特的话

 

条件熵(期望熵)和信息增益:

 

 

 

 注意这个条件是(是否阴天

 

 信息增益则是总的熵减去条件熵

 


免责声明!

本站转载的文章为个人学习借鉴使用,本站对版权不负任何法律责任。如果侵犯了您的隐私权益,请联系本站邮箱yoyou2525@163.com删除。



 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM