ID3,C4.5和CART三種決策樹的區別

ID3決策樹優先選擇信息增益大的屬性來對樣本進行划分,但是這樣的分裂節點方法有一個很大的缺點,當一個屬性可取值數目較多時,可能在這個屬性對應值下的樣本只有一個或者很少個,此時它的信息增益將很高,ID3會認為這個屬性很適合划分,但實際情況下叫多屬性的取值會使模型的泛化能力較差,所以C4.5不采用信息增益作為划分依據,而是采用信息增益率作為划分依據。但是仍不能完全解決以上問題,而是有所改善,這個時候引入了CART樹,它使用gini系數作為節點的分裂依據。