不纯度、基尼系数、信息熵等
什么是机器学习？ 机器学习：简单来说就是机器通过一系列任务从经验（数据）中学习并且评估效果如何。 机器学习中很多地方都要根据目前的信息做出决策，信息熵主要是反应信息的不确定性，他的一个很重要的作用就是做决策时提供一定的判断依据，比如决策树根据熵来往下设置分支。 信息上实际反应的是一个信息的不确定 ...
原文：机器学习中的两个概念： 信息熵 和基尼不纯度
信息熵： 一个随机变量 X 可以代表n个随机事件，对应的随机变为X xi, 那么熵的定义就是 X的加权信息量。 H x p x I x ... p xn I x p x log p x ..... p xn log p xn p x log p x ........ p xn log p xn 其中p xi 代表xi发生的概率 例如有 个足球队比赛，每一个队的实力相当，那么每一个对胜出的概率都是 ...
2017-07-29 16:14 0 3748 推荐指数：
相关推荐
机器学习（二）-信息熵，条件熵，信息增益，信息增益比，基尼系数
一、信息熵的简介 2.1 信息的概念 信息是用来消除随机不确定性的东西。对于机器学习中的决策树而言，如果待分类的事物集合可以划分为多个类别当中，则第k类的信息可以定义如下： 2.2 信息熵概念 信息熵是用来度量不确定性，当熵越大，k的不确定性越大，反之越小。假定当前样本集合D中第k类 ...
《机器学习(周志华)》笔记--决策树（2）--划分选择：信息熵、信息增益、信息增益率、基尼指数
四、划分选择 1、属性划分选择 构造决策树的关键是如何选择最优划分属性。一般而言，随着划分过程不断进行，我们希望决策树的分支结点所包含的样本尽可能属于同一类别，即结点的“纯度”越来越高。 常用属性划分的准则： （1）ID3：信息增益 （2）C4.5：增益率 ...
基尼不纯度简介 - Gini Impurity
基尼不纯度Gini Impurity是理解决策树和随机森林分类算法的一个重要概念。我们先看看下面的一个简单例子 - 假如我们有以下的数据集 我们如何选择一个很好的分割值把上面的5个蓝点和5个绿点完美的分开呢？通过观察，我们选择分隔值x=2 如果我们选取x=1.5 ...
机器学习之信息熵
1. (1)熵的概念的引入，首先在热力学中，用来表述热力学第二定律。由玻尔兹曼研究得到，热力学熵与微 观状态数目的对数之间存在联系，公式如下： 信息熵的定义与热力学熵的定义虽然不是一个东西，但是有一定的联系，熵在信息论中表示随机变量不确定度的度量。一个离散随机变量X与熵H(X ...
统计学基础（二）：信息熵、基尼系数
一、信息熵 百科：信息熵 衡量信息的不确定度； 1）理论提出 信息论之父 C. E. Shannon 指出：任何信息都存在冗余，冗余大小与信息中每个符号（数字、字母或单词）的出现概率或者说不确定性有关 ...
每日一个机器学习算法——信息熵
1 定义 2 直观解释 信息熵用来衡量信息量的大小 若不确定性越大，则信息量越大，熵越大 若不确定性越小，则信息量越小，熵越小 比如A班对B班，胜率一个为x，另一个为1-x 则信息熵为 -(xlogx + (1-x)log(1-x)) 求导后容易证明x=1/2时取得最大，最大值 ...
决策树信息熵（entropy），基尼系数（gini）
总是很容易忘记一些专业术语的公式，可以先理解再去记住 1.信息熵（entropy） 反正就是先计算每一类别的占比，然后再乘法，最后再将每一类加起来 其中distribution()的功能就是计算一个series各类的占比 2.基尼系数（GINI ...