决策树笔记整理 算法原理 决策树是一种简单但是被广泛使用的分类器。通过训练数据构建决策树，可以高效的对未知的数据进行分类。它有两个有点：（1）决策树模型可读性好，具有描述性，有助于人工分析；（2）效率高 ...

参考：《机器学习》Tom版 以及http://blog.csdn.net/v_july_v/article/details/7577684 一、简介 决策树是一个预测模型；他代表的是对象属性与对象值之间的一种映射关系。树中每个节点表示某个对象，而每个分叉路径则代表的某个可能的属性值，而每个叶 ...

又叫判定树，是一种基本的分类与回归方法。 优点：可读性强，分类速度快，容易转换成if-then分类规则 通常分为3个步骤：特征（属性）选择、决策树的生成、决策树的修剪。 特征选择即选择分裂属性，又叫属性选择度量，把数据划分成较小的分区。 决策树的生成又叫决策树学习或者决策树 ...

一、信息论基础 树具有天然的分支结构。对于分类问题而言，决策树的思想是用节点代表样本集合，通过某些判定条件来对节点内的样本进行分配，将它们划分到该节点下的子节点，并且要求各个子节点中类别的纯度之和应高于该节点中的类别纯度，从而起到分类效果。 节点纯度反映的是节点样本标签的不确定性。当一个节点 ...

注：学习的网易云课堂的Python数据分析(机器学习)经典案例，每个案例会教你数据预处理、画图和模型优化。比有些简单调个包跑一下的课程负责任的多。 ...

特征选择（节点划分） 一般而言，随着划分过程不断进行，我们希望决策树的分支结点所包含的样本尽可能属于同一类别，即结点的“纯度”(purity)越来越高。 符号声明 假设当前样本集合\(D\)中第\(k\)类样本所占的比例为\(p_k\:(k=1,2,...,|\mathcal ...

本文所用符号： \(D\)：所有样本，如《西瓜书》中所有的西瓜样本 \(a\)：用来划分样本的类别属性，a有V个可取值{\(a^1,a^2 \dots , a^V\)}，如若用a表示“色泽”，则a的取值是{\(a^1=青绿,a^2=乌黑,a^3=浅白\)}，此时\(V ...

于他们的分支方法不同。决策树我们只要理解，他是一种将数据依据某几个最显著的属性，不断划分，以后遇到新的数据时，可 ...