參考自：Andrew Moore: http://www.cs.cmu.edu/~awm/tutorials
參考文檔見：AndrewMoore_InformationGain.pdf
1、 信息熵：H(X) 描述X攜帶的信息量。 信息量越大（值變化越多），則越不確定，越不容易被預測。
對於拋硬幣問題，每次有2種情況，信息熵為1
對於投骰子問題，每次有6中情況，信息熵為1.75
下面為公式：
其中log2(p)可以理解為p這個需要用幾個bit位表示。如p(x1)=1/2, p(x2)=1/4, p(x3)=1/8, p(x4)=1/8,
可以用x1: 1, x2: 10, x3: 110, x4: 111表示，因為為了讓平均的bit位最少，概率越大的bit為設的越短。而-log2(p)正好對應bit位數。
那么H(X)可以理解為比特位的期望值。
信息熵特點：（以概率和為1為前提哈）
a) 不同類別的概率分布越均勻，信息熵越大；
b) 類別個數越多，信息熵越大；
c) 信息熵越大，越不容易被預測；（變化個數多，變化之間區分小，則越不容易被預測）（對於確定性問題，信息熵為0；p=1; E=p*logp=0）
2、 信息增益IG(Y|X): 衡量一個屬性(x)區分樣本(y)的能力。 當新增一個屬性(x)時，信息熵H(Y)的變化大小即為信息增益。 IG(Y|X)越大表示x越重要。
條件熵：H(Y|X)，當X條件下Y的信息熵
信息增益： IG(Y|X)=H(Y)-H(Y|X)
舉例：