数学期望的定义 数学期望的计算公式 例题 1.数学期望的定义 在概率论和统计学中，数学期望（或均值）是试验中每次可能结果的概率乘以其结果的总和，是最基本 ...

1. 概述 KL散度存在不对称性，为解决这个问题，在KL散度基础上引入了JS散度。 \[J S\left(P_{1} \| P_{2}\right)=\frac{1}{2} K L\left ...

随机变量的引入 上一节我们讨论的都是随机事件，某一个随机事件可能包含若干个随机试验样本空间中的随机结果，如果对于每一个可能的实验结果都关联一个特定的值，这样就形成了一个随机变量。 例如抛一个骰子， ...

1. 概述 在信息论中，相对熵等价于两个概率分布信息熵的差值，若其中一个概率分布为真实分布，另一个为理论（拟合）分布，则此时相对熵等于交叉熵与真实分布信息熵之差，表示使用理论分布拟合真实分布时所产生 ...