统计学习方法 李航---第5章 决策树
第5章 决策树 决策树(decision tree)是一种基本的分类与回归方法。本章主要讨论用于分类的决策树。决策树模型呈树形结构，在分类问题中，表示基于特征对实例进行分类的过程。它可以认为是if-then规则的集合，也可以认为是定义在特征空间与类空间上的条件概率分布。其主要优点是模型具有可读性 ...
原文：李航-统计学习方法-笔记-5：决策树
基本模型 简介：决策树可以认为是if then规则的集合，也可以认为是定义在特征空间与类空间上的条件概率分布。其主要优点是模型具有可读性，分类速度快。 决策树学习通常包括 个步骤：特征选择，决策树生成，剪枝。 决策树的内部结点表示一个特征或属性，叶结点表示一个类。 If then：决策树路径或其对应的if then规则集合具有一个重要的性质，互斥并且完备，也就是说，每一个实例都被一条路径或一条规则 ...
2019-06-05 15:33 0 950 推荐指数：
相关推荐
决策树（统计学习方法（李航））的贷款的例子的实现
以统计学习方法（李航）这本书的例子为基础 需要注意的地方： 我用的是pycharm python版本是3.7 graphviz是一个软件，在pycharm里面下了还得去官网下 下完之后得加入环境变量可能还需要重启电脑 缺啥库就安啥库 那个数据是我自己设置的，手敲 ...
李航-统计学习方法-笔记-8：提升方法
提升方法 简述：提升方法（boosting）是一种常用的统计学习方法，应用广泛且有效。在分类问题中，它通过改变训练样本的权重，学习多个分类器，并将这些分类器进行线性组合，提高分类的性能。 本章 （1）介绍boosting方法的思路和代表性的boosting算法AdaBoost （2）通过训练 ...
李航-统计学习方法-笔记-3：KNN
KNN算法 基本模型：给定一个训练数据集，对新的输入实例，在训练数据集中找到与该实例最邻近的k个实例。这k个实例的多数属于某个类，就把输入实例分为这个类。 KNN没有显式的学习过程。 KNN使用的模型实际上对应于特征空间的划分。特征空间中，对每个训练实例点\(x_i\)，距离该点比其它点更近 ...
李航-统计学习方法-笔记-12：总结
10种统计学习方法特点的概括总结 本书共介绍了10种主要的统计学习方法：感知机，KNN，朴素贝叶斯，决策树，逻辑斯谛回归与最大熵模型，SVM，提升方法，EM算法，隐马尔可夫模型，条件随机场（CRF）。 适用问题 感知机，KNN，朴素贝叶斯，决策树，逻辑斯谛回归与最大熵模型，SVM，提升 ...
李航-统计学习方法-笔记-1：概论
写在前面 本系列笔记主要记录《统计学习方法》中7种常用的机器学习分类算法，包括感知机，KNN，朴素贝叶斯，决策树，逻辑斯谛回归与最大熵模型，SVM，boosting。 课本还涉及到3种算法是关于概率模型估计和标注问题的，暂未列入学习计划，所以笔记中没有涉及，包括EM算法，隐马尔可夫模型，条件 ...
5、统计学习方法--决策树
决策树（ID3、C4.5、CART） 1、决策树基本介绍 决策树是一种基本的分类与回归方法，他既可以是if-then 规则的集合，也可以认为是定义在特征空间与类空间上的条件概率分布。 主要有点：可读性、分类快 本质：从训练数据集中归纳出一组分类规则 2、 决策树模型 ...
《统计学习方法》——从零实现决策树
决策树 决策树是一种树形结构，其中每个内部节点表示一个属性上的判断，每个分支代表一个判断结果的输出，最后每个叶子节点代表一种分类结果。 决策树学习的三个步骤： 特征选择 通常使用信息增益最大、信息增益比最大或基尼指数最小作为特征选择的准则。 树的生成 决策树的生成 ...