变分 对于普通的函数f(x)，我们可以认为f是一个关于x的一个实数算子，其作用是将实数x映射到实数f(x)。那么类比这种模式，假设存在函数算子F，它是关于f(x)的函数算子，可以将f(x)映射成实数F ...

时间：JSong 时间：2018.01.14 文章很长，理论和实现都讲的很细，大家可以先收藏，有时间再看。 在上一篇文章中，我们对LendingClub的数据有了一个大致的了解，这次我将 ...

浅谈KL散度 一、第一种理解　　 相对熵（relative entropy）又称为KL散度（Kullback–Leibler divergence，简称KLD），信息散度（information ...

作者：桂。 时间：2017-04-06 20:26:01 链接：http://www.cnblogs.com/xingshansi/p/6670214.html 声明：欢迎被转载，不过记得 ...

KL散度理解以及使用pytorch计算KL散度 计算例子： ...

作者：JSong 时间：2018.01.14 评分卡可以用来预测客户的好坏。当一个评分卡已经构建完成，并且有一组个人分数和其对应的好坏状态的数据时，我们想知道所构建的评分卡是否可靠？可靠程度如何？而 ...

交叉熵损失函数 熵的本质是香浓信息量\(\log(\frac{1}{p})\)的期望 既然熵的本质是香浓信息量\(\log(\frac{1}{p})\)的期望，那么便有 \[H( ...

作者：桂。 时间：2017-04-06 12:29:26 链接：http://www.cnblogs.com/xingshansi/p/6672908.html 声明：欢迎被转载，不过记得注 ...

主讲人 戴玮 （新浪微博: @戴玮_CASIA） Wilbur_中博(1954123) 20:02:04 我们在前面看到，概率推断的核心任务就是计算某分布下的某个函数的期望、或者计算边 ...

前言 学习决策树时会接触到一些信息熵,条件熵和信息增益的知识,此外还有互信息,相对熵,交叉熵和互信息,KL散度等等乱七八糟的知识和名字,我本人已经记得大脑混乱了,还没有全部记住,所以在这里记录一下. ...