1. 算法背景介紹 分類樹（決策樹）是一種十分常用的分類方法。他是一種監管學習，所謂監管學習說白了很簡單，就是給定一堆樣本，每個樣本都有一組屬性和一個類別，這些類別是事先確定的，那么通過學習得到一個分類器，這個分類器能夠對新出現的對象給出正確的分類。這樣的機器學習就被稱之為監督學習。分類本質上 ...

既能做分類，又能做回歸。分類：基尼值作為節點分類依據。回歸：最小方差作為節點的依據。 節點越不純，基尼值越大，熵值越大 pi表示在信息熵部分中有介紹，如下圖中介紹 方差越小越好。 選擇最小的那個0.3 ...

一、信息熵 百科：信息熵 衡量信息的不確定度； 　1）理論提出 信息論之父 C. E. Shannon 指出：任何信息都存在冗余，冗余大小與信息中每個符號（數字、字母或單詞）的出現概率或者說不確定性有關 ...

四、划分選擇　　 1、屬性划分選擇 　　構造決策樹的關鍵是如何選擇最優划分屬性。一般而言，隨着划分過程不斷進行，我們希望決策樹的分支結點所包含的樣本盡可能屬於同一類別，即結點的“純度”越來越高。 　　常用屬性划分的准則： 　　　　（1）ID3：信息增益 　　　　（2）C4.5：增益率 ...

什么是機器學習？ 機器學習：簡單來說就是機器通過一系列任務從經驗（數據）中學習並且評估效果如何。 機器學習中很多地方都要根據目前的信息做出決策，信息熵主要是反應信息的不確定性，他的一個很重要的作用就是做決策時提供一定的判斷依據，比如決策樹根據熵來往下設置分支。 信息上實際反應的是一個信息的不確定 ...

討論這個話題。本文想討論的是決策樹中兩個非常重要的決策指標：熵和基尼指數。熵和基尼指數都是用來定義隨機 ...

一、信息熵的簡介 2.1 信息的概念 信息是用來消除隨機不確定性的東西。對於機器學習中的決策樹而言，如果待分類的事物集合可以划分為多個類別當中，則第k類的信息可以定義如下： 2.2 信息熵概念 信息熵是用來度量不確定性，當熵越大，k的不確定性越大，反之越小。假定當前樣本集合D中第k類 ...

基尼指數（Gini不純度）表示在樣本集合中一個隨機選中的樣本被分錯的概率。 注意：Gini指數越小表示集合中被選中的樣本被參錯的概率越小，也就是說集合的純度越高，反之，集合越不純。當集合中所有樣本為一個類時，基尼指數為0. 基尼指數的計算方法為：其中，pk表示樣本屬於第k個類別的概率 舉例 ...