一.熵 自然界中的熵: 自封闭系统的运动总是倒向均匀分布: 1.自信息: 信息: i(x) = -log(p(x)) a.如果说概率p是对确定性的度量 b.那么信息就是对不确定性的度量 c.当一个小概率事件发生了，这个事件的信息量很大；反之如果一个大概率事件发生 ...

一、背景 网上有很多排序算法的总结，整理的一目了然，惹人喜爱，但关于决策树的相关博文，普遍存在以下问题 1）归纳程度不足，深度不够 2）总结点不足，有些疑问找不到答案 3）照抄现有书籍上的公式和推导过程 于是想到自己整理一篇关于决策树的文章，同时也加深自己的理解 二、正文 ...

信息增益准则选择最优特征 父节点的熵是经验熵H(D) 子节点的熵是划分后集合的经验熵H(D) 父节点的熵大于子节点的熵 熵越大，不确定性越大 ...

写在前面的话 如果您有任何地方看不懂的，那一定是我写的不好，请您告诉我，我会争取写的更加简单易懂！ 如果您有任何地方看着不爽，请您尽情的喷，使劲的喷，不要命的喷，您的槽点就是帮助我要进步的地方！ 计算给定数据的信息熵 在决策树算法中最重要的目的我们已经在前几章说过了，就是根据信息论的方法 ...

的。另外，对于数据的基础结构信息，它也是无能为力的。 另一种分类算法就是“决策树算法”。对待一个数据，决策树使 ...

1.决策树思想：以信息增益作为指标，得出最高效的一种决策方案，可用于回归或者分类问题。【由if-else演化而来，后续可发展成机器学习中的随机森林算法】 2.决策树指标： 香农：消除随机不确定性的东西。 信息熵：定量表示（某种事物）随机不确定性的大小。 样本：假设一个人身上有四种 ...

决策树的实现太...繁琐了。 如果只是接受他的原理的话还好说，但是要想用代码去实现比较糟心，目前运用了《机器学习实战》的代码手打了一遍，决定在这里一点点摸索一下该工程。 实例的代码在使用上运用了香农熵，并且都是来处理离散数据的，因此有一些局限性，但是对其进行深层次的解析有利于对于代码的运作 ...

讨论这个话题。本文想讨论的是决策树中两个非常重要的决策指标：熵和基尼指数。熵和基尼指数都是用来定义随机 ...