不純度、基尼系數、信息熵等
什么是機器學習？ 機器學習：簡單來說就是機器通過一系列任務從經驗（數據）中學習並且評估效果如何。 機器學習中很多地方都要根據目前的信息做出決策，信息熵主要是反應信息的不確定性，他的一個很重要的作用就是做決策時提供一定的判斷依據，比如決策樹根據熵來往下設置分支。 信息上實際反應的是一個信息的不確定 ...
原文：機器學習中的兩個概念： 信息熵 和基尼不純度
信息熵： 一個隨機變量 X 可以代表n個隨機事件，對應的隨機變為X xi, 那么熵的定義就是 X的加權信息量。 H x p x I x ... p xn I x p x log p x ..... p xn log p xn p x log p x ........ p xn log p xn 其中p xi 代表xi發生的概率 例如有 個足球隊比賽，每一個隊的實力相當，那么每一個對勝出的概率都是 ...
2017-07-29 16:14 0 3748 推薦指數：
相關推薦
機器學習（二）-信息熵，條件熵，信息增益，信息增益比，基尼系數
一、信息熵的簡介 2.1 信息的概念 信息是用來消除隨機不確定性的東西。對於機器學習中的決策樹而言，如果待分類的事物集合可以划分為多個類別當中，則第k類的信息可以定義如下： 2.2 信息熵概念 信息熵是用來度量不確定性，當熵越大，k的不確定性越大，反之越小。假定當前樣本集合D中第k類 ...
《機器學習(周志華)》筆記--決策樹（2）--划分選擇：信息熵、信息增益、信息增益率、基尼指數
四、划分選擇 1、屬性划分選擇 構造決策樹的關鍵是如何選擇最優划分屬性。一般而言，隨着划分過程不斷進行，我們希望決策樹的分支結點所包含的樣本盡可能屬於同一類別，即結點的“純度”越來越高。 常用屬性划分的准則： （1）ID3：信息增益 （2）C4.5：增益率 ...
基尼不純度簡介 - Gini Impurity
基尼不純度Gini Impurity是理解決策樹和隨機森林分類算法的一個重要概念。我們先看看下面的一個簡單例子 - 假如我們有以下的數據集 我們如何選擇一個很好的分割值把上面的5個藍點和5個綠點完美的分開呢？通過觀察，我們選擇分隔值x=2 如果我們選取x=1.5 ...
機器學習之信息熵
1. (1)熵的概念的引入，首先在熱力學中，用來表述熱力學第二定律。由玻爾茲曼研究得到，熱力學熵與微 觀狀態數目的對數之間存在聯系，公式如下： 信息熵的定義與熱力學熵的定義雖然不是一個東西，但是有一定的聯系，熵在信息論中表示隨機變量不確定度的度量。一個離散隨機變量X與熵H(X ...
統計學基礎（二）：信息熵、基尼系數
一、信息熵 百科：信息熵 衡量信息的不確定度； 1）理論提出 信息論之父 C. E. Shannon 指出：任何信息都存在冗余，冗余大小與信息中每個符號（數字、字母或單詞）的出現概率或者說不確定性有關 ...
每日一個機器學習算法——信息熵
1 定義 2 直觀解釋 信息熵用來衡量信息量的大小 若不確定性越大，則信息量越大，熵越大 若不確定性越小，則信息量越小，熵越小 比如A班對B班，勝率一個為x，另一個為1-x 則信息熵為 -(xlogx + (1-x)log(1-x)) 求導后容易證明x=1/2時取得最大，最大值 ...
決策樹信息熵（entropy），基尼系數（gini）
總是很容易忘記一些專業術語的公式，可以先理解再去記住 1.信息熵（entropy） 反正就是先計算每一類別的占比，然后再乘法，最后再將每一類加起來 其中distribution()的功能就是計算一個series各類的占比 2.基尼系數（GINI ...