一、决策树之ID3算法简述 　　1976年-1986年，J.R.Quinlan给出ID3算法原型并进行了总结，确定了决策树学习的理论。这可以看做是决策树算法的起点。1993，Quinlan将ID3算 ...

特征工程是机器学习流程中至关重要的一个环节，这方面的书较少，推荐学习《精通特征工程》，着重阐明特征工程的基本原则，介绍大量特征工程技术，学习从原始数据中提取出正确的特征并将其转换为适合机器学习模型的格 ...

机器学习中经常遇到这几个概念，用大白话解释一下： 一、归一化 把几个数量级不同的数据，放在一起比较（或者画在一个数轴上），比如：一条河的长度几千甚至上万km，与一个人的高度1.7m，放在一起，人的 ...

信息是一个很抽象的东西，吃苹果的概率是二分之一，吃香蕉的概率是二分之一，这里面包含了多少信息量，由于信息很抽象，无法直观的量化。 　　信息熵原先是热力学中的名词，原先含义是表示分子状态的混乱程度。 　　香农引用了信息熵概念，因此，便有了信息论这一门学科，信息熵表示一个事件或者变量的混乱程度 ...

1. 信息熵 熵度量了事物的不确定性，越不确定的事物，它的熵就越大。在没有外部环境的作用下，事物总是向着熵增大的方向发展，所以熵越大，可能性也越大。 \[H(X)=-\sum_{i=1}^np_{(i)}logp_{(i)} \] 2. 条件熵 X确定时，Y的不确定性度量。 在X ...

信息熵为什么要定义成-Σp*log(p)？ 在解释信息熵之前，需要先来说说什么是信息量。 信息量是对信息的度量，单位一般用bit。 信息论之父克劳德·艾尔伍德·香农(Claude Elwood Shannon )对信息量的定义如下： 在解释这个公式之前，先看看下面的例子。 比如一 ...

决策树是一种基本的分类和回归方法。本章主要讨论用于分类的决策树，决策树模型呈树形结构，在分类问题中，表示基于特征对实例进行分类的过程，它可以认为是if-then规则的集合，也可以认为是定义在特征空间与 ...

引言 今天在逛论文时突然看到信息熵这个名词，我啪的一下就记起来了，很快啊！！这不是我大一第一节信息资源管理概论课讲到的第一个专业名词吗，信息熵我可熟了，章口就来，信息熵是负熵 .......淦，负熵又是啥。好家伙，一整门课的知识都还给老师了，只记得老师给我们大肆推荐的《JinPingMei ...

引言 决策树(Decision Tree)是机器学习中一种经典的分类与回归算法。本文主要讨论用于分类的决策树。决策树模型呈树形结构，在分类问题中，决策树模型可以认为是if-then规则的集合，也可以 ...

　　这几天在研究如何用统计方法来发现新词，扩充自己的词典。看到了几篇很有想法的文章，作者阐述了一下思路。文章里面的数据，我计算了一下，发现文有很多数据不够严谨，最主要的问题，并没有给出很详细的理论方面 ...