时间：JSong 时间：2018.01.14 文章很长，理论和实现都讲的很细，大家可以先收藏，有时间再看。 在上一篇文章中，我们对LendingClub的数据有了一个大致的了解，这次我将 ...

分类树（决策树）是一种十分常用的分类方法。核心任务是把数据分类到可能的对应类别。 他是一种监管学习，所谓监管学习就是给定一堆样本，每个样本都有一组属性和一个类别，这些类别是事先确定的，通过学习得到一个分类器，这个分类器能够对新出现的对象给出正确的分类。 决策树的理解 熵的概念 ...

信息是一个很抽象的东西，吃苹果的概率是二分之一，吃香蕉的概率是二分之一，这里面包含了多少信息量，由于信息很抽象，无法直观的量化。 　　信息熵原先是热力学中的名词，原先含义是表示分子状态的混乱程度。 　　香农引用了信息熵概念，因此，便有了信息论这一门学科，信息熵表示一个事件或者变量的混乱程度 ...

前言 学习决策树时会接触到一些信息熵,条件熵和信息增益的知识,此外还有互信息,相对熵,交叉熵和互信息,KL散度等等乱七八糟的知识和名字,我本人已经记得大脑混乱了,还没有全部记住,所以在这里记录一下. 1.信息熵:信息的度量,信息的不确定程度,是乱七八糟熵的基础.吴军大大的数学之美中用了猜球队 ...

第九个知识点：香农(Shannon)定义的熵和信息是什么 这是计算机理论的最后一篇.我们讨论信息理论的基础概念,什么是香农定义的熵和信息. 信息论在1948年被Claude E.Shannon建立.信息论最开始被应用于信号处理,但是经过几十年的发展,它现在已经被应用到各个学科了.这篇文章尝试 ...

在20世纪20年代，一个好奇心重的乡下小孩或许自然而然会对通过 电线发送讯息产生浓厚兴趣，成长于密歇根州盖洛德镇的克劳德·香农 就是如此。 他每天都能见到电线，不过它们是用来圈护牧场的刺铁丝护 栏网 ...

灰度差分统计特征有： 平均值：​ 对比度：​ 熵：​ i表示某一灰度值，p(i)表示图像取这一灰度值的概率 close all;clear all;clc; % 纹理图像的灰度差分统计特征 J = imread('qiang1.jpg'); A = double(J); [m,n ...

首先区分自信息量和源信息量。一个随机变量有多个取值，每个取值的信息量为自信息量，所有取值信息量的加权平均（即数学期望）即是这个随机变量（源）的信息量。 什么是信息量？可以近似地将不确定性视为信息量。 ...