伯努利分布和高斯分布下的最大似然估计、交叉熵
伯努利分布是一个离散型机率分布。试验成功，随机变量取值为1；试验失败，随机变量取值为0。成功机率为p，失败机率为q =1-p，N次试验后，成功期望为N*p，方差为N*p*(1-p) ，所以伯努利分布又称两点分布。 观察到的数据为D1，D2，D3，...，DN，极大似然的目标： 联合分布难 ...
原文：从伯努利分布到交叉熵(一)
前言 通信转数据挖掘不久，发现自己在一些机器学习概念问题有些模糊，不同的教科书的公式形式有些出入，稍有混乱。本文总结了自己对交叉熵这个概念的一些物理意义方面的理解，尝试将这些概念融会贯通。由于水平实在不高，只是把想到的东西简单堆砌,简单梳理了一下逻辑,看起来比较啰嗦.同时有不对之处 有些数学定义都是我自己的理解 ，希望不吝赐教。 伯努利分布 伯努利分布，又称 分布。这个离散分布非常直观，在中学我 ...
2018-03-20 12:02 1 1398 推荐指数：
相关推荐
伯努利分布的最大似然估计（最小化交叉熵、分类问题）
伯努利分布 伯努利分布，又名0-1分布，是一个离散概率分布。典型的示例是抛一个比较特殊的硬币，每次抛硬币只有两种结果，正面和负面。抛出硬币正面的概率为 \(p\) ，抛出负面的概率则为 \(1−p\) 。因此，对于随机变量 \(X\) ，则有： \[\begin{aligned} f(X ...
交叉熵
作者：Noriko Oshima 链接：https://www.zhihu.com/question/41252833/answer/108777563 来源：知乎 著作权归作者所有，转载请联系作者获得授权。 熵的本质是香农信息量( )的期望。 现有 ...
交叉熵
1、交叉熵的定义： 在信息论中，交叉熵是表示两个概率分布p,q，其中p表示真实分布，q表示非真实分布，在相同的一组事件中，其中，用非真实分布q来表示某个事件发生所需要的平均比特数。从这个定义中，我们很难理解交叉熵的定义。下面举个例子来描述一下： 假设现在有一个样本集中两个概率分布p,q ...
伯努利分布均值和方差
伯努利分布: 则根据离散型随机变量的均值和方差定义： E(X)=0*(1-p)+1*p=p D(X)=(0-E(X))2(1-p)+(1-E(X))2p=p2(1-p)+(1-p)2p=p2-p3+p3-2p2+p=p-p2=p(1-p) ...
伯努利分布与二项分布
伯努利分布-Bernoulli distribution 伯努利分布是一种离散分布,有两种可能的结果。1表示成功，出现的概率为p(其中0<p<1)。0表示失败，出现的概率为q=1-p。 分布律： 性质：均值：E(X)=p 方差：var(X ...
统计与分布之伯努利分布与二项分布
目录 目录 前文列表 伯努利分布 二项分布 前文列表 计数原理 组合与排列 统计与分布之高斯分布 统计与分布之泊松分布 伯努利分布 伯努利分布（Bernoulli Distribution），是一种 ...
信息熵，交叉熵和相对熵
0 前言 上"多媒体通信"课，老师讲到了信息论中的一些概念，看到交叉熵，想到这个概念经常用在机器学习中的损失函数中。 这部分知识算是机器学习的先备知识，所以查资料加深一下理解。 1 信息熵的抽象定义 熵的概念最早由统计热力学引入。 信息熵是由信息论之父香农提出来的，它用于随机变量 ...