信息增益是随机森林算法里面的一个很重要的算法，因为我们在选择节点的特征项的时候，就要通过信息增益或者是信息增益率来选择。这里先理解信息增益。
什么是信息增益呢？信息增益（Kullback–Leibler divergence）又称information divergence，information gain，relative entropy 或者KLIC，其实在有些书中叫做相对熵，但是理解起相对熵的公式比较复杂，让人不能很好的理解。下面我以分类来理解这个算法。
假如我们拥有M个类别标签
C={C1,C2,C3....Cn}
并且拥有N个特征：
T={T1,T2,T3....Tn}
那么对于某一个特征来说，加入特征项Ti是离散的，
那么有可以定义为如下的公式：
其中H(C)代表的是类别C的信息熵；
代表在给定的情况下，求类别属于类别C的条件熵；
以上的公式都比较容易理解，难以理解的就是当特征项的取值不是离散的，而是连续的，这个时候怎么办？如果特征项的连续的，那么我们可以枚举每一种二分类，找到增益最大的哪一种分类。也就是
标注：wi输入法 for 安卓和ios 很不错的输入法，欢迎使用。