一、決策樹之ID3算法簡述 　　1976年-1986年，J.R.Quinlan給出ID3算法原型並進行了總結，確定了決策樹學習的理論。這可以看做是決策樹算法的起點。1993，Quinlan將ID3算 ...

特征工程是機器學習流程中至關重要的一個環節，這方面的書較少，推薦學習《精通特征工程》，着重闡明特征工程的基本原則，介紹大量特征工程技術，學習從原始數據中提取出正確的特征並將其轉換為適合機器學習模型的格 ...

機器學習中經常遇到這幾個概念，用大白話解釋一下： 一、歸一化 把幾個數量級不同的數據，放在一起比較（或者畫在一個數軸上），比如：一條河的長度幾千甚至上萬km，與一個人的高度1.7m，放在一起，人的 ...

信息是一個很抽象的東西，吃蘋果的概率是二分之一，吃香蕉的概率是二分之一，這里面包含了多少信息量，由於信息很抽象，無法直觀的量化。 　　信息熵原先是熱力學中的名詞，原先含義是表示分子狀態的混亂程度。 　　香農引用了信息熵概念，因此，便有了信息論這一門學科，信息熵表示一個事件或者變量的混亂程度 ...

1. 信息熵 熵度量了事物的不確定性，越不確定的事物，它的熵就越大。在沒有外部環境的作用下，事物總是向着熵增大的方向發展，所以熵越大，可能性也越大。 \[H(X)=-\sum_{i=1}^np_{(i)}logp_{(i)} \] 2. 條件熵 X確定時，Y的不確定性度量。 在X ...

信息熵為什么要定義成-Σp*log(p)？ 在解釋信息熵之前，需要先來說說什么是信息量。 信息量是對信息的度量，單位一般用bit。 信息論之父克勞德·艾爾伍德·香農(Claude Elwood Shannon )對信息量的定義如下： 在解釋這個公式之前，先看看下面的例子。 比如一 ...

決策樹是一種基本的分類和回歸方法。本章主要討論用於分類的決策樹，決策樹模型呈樹形結構，在分類問題中，表示基於特征對實例進行分類的過程，它可以認為是if-then規則的集合，也可以認為是定義在特征空間與 ...

引言 今天在逛論文時突然看到信息熵這個名詞，我啪的一下就記起來了，很快啊！！這不是我大一第一節信息資源管理概論課講到的第一個專業名詞嗎，信息熵我可熟了，章口就來，信息熵是負熵 .......淦，負熵又是啥。好家伙，一整門課的知識都還給老師了，只記得老師給我們大肆推薦的《JinPingMei ...

引言 決策樹(Decision Tree)是機器學習中一種經典的分類與回歸算法。本文主要討論用於分類的決策樹。決策樹模型呈樹形結構，在分類問題中，決策樹模型可以認為是if-then規則的集合，也可以 ...

　　這幾天在研究如何用統計方法來發現新詞，擴充自己的詞典。看到了幾篇很有想法的文章，作者闡述了一下思路。文章里面的數據，我計算了一下，發現文有很多數據不夠嚴謹，最主要的問題，並沒有給出很詳細的理論方面 ...