主要阐述互相关系数和互信息的区别和联系，先说结论： 对于高斯分布，两者是等价的，且存在转换公式，当\(X\)与\(Y\)互相关系数为零时，两者相互独立，且互信息为零；当互相关系数为\(\pm1\)时，两者完全相关且互信息为无穷大，转换公式： \[I(X,Y)=-\frac ...

最近看一些文档，看见了互信息的使用，第一次接触互信息，感觉和专业有些相关，就把它记录下来，下面是一片不错的文章。 互信息(Mutual Information)是度量两个事件集合之间的相关性(mutual dependence)。 平均互信息量定义: 互信息量I(xi;yj)在联合 ...