一、概念 互信息，Mutual Information，缩写为MI，表示两个变量X与Y是否有关系，以及关系的强弱，或者说是X与Y的相关性。 如果 (X, Y) ~ p(x, y), X, Y 之间的互信息 I(X; Y)定义为: Note: 互信息 I (X; Y)可为正、负 ...

最近看一些文档，看见了互信息的使用，第一次接触互信息，感觉和专业有些相关，就把它记录下来，下面是一片不错的文章。 互信息(Mutual Information)是度量两个事件集合之间的相关性(mutual dependence)。 平均互信息量定义: 互信息量I(xi;yj)在联合 ...

点互信息 Pointwise mutual information (PMI), or point mutual information, is a measure of association used in information theory andstatistics. ...

在数据挖掘或者信息检索的相关资料里，经常会用到PMI（Pointwise Mutual Information）这个指标来衡量两个事物之间的相关性。PMI的定义如下： 这个定义 ...

之前自己用R写的互信息和条件互信息代码，虽然结果是正确的，但是时间复杂度太高。 最近看了信息熵的相关知识，考虑用信息熵来计算互信息和条件互信息。 MI(X,Y)=H(X)-H(X|Y) H(X):熵，一种不确定性的度量 H(X,Y):联合熵，两个元素同时发生的不确定度 MI(X,Y ...

点互信息PMI（Pointwise Mutual Information）这个指标用来衡量两个事件之间的相关性，公式如下： p(f)和p(e)分别代表事件f和事件e发生的概率，p(f,e)代表时间f和事件e同时发生的概率。 如果f和e不相关则p(f,e)=p(f).p(e)。二者相关性越大 ...

信息量 信息量是通过概率来定义的：如果一件事情的概率很低，那么它的信息量就很大；反之，如果一件事情的概率很高，它的信息量就很低。简而言之，概率小的事件信息量大，因此信息量 \(I(x)\) 可以定义如下： \[I(x) := log(\frac{1}{p(x)}) \] 信息熵/熵 ...