機器學習基礎 | 互相關系數和互信息異同探討

主要闡述互相關系數和互信息的區別和聯系，先說結論： 對於高斯分布，兩者是等價的，且存在轉換公式，當\(X\)與\(Y\)互相關系數為零時，兩者相互獨立，且互信息為零；當互相關系數為\(\pm1\)時，兩者完全相關且互信息為無窮大，轉換公式： \[I(X,Y)=-\frac ...

互信息

最近看一些文檔，看見了互信息的使用，第一次接觸互信息，感覺和專業有些相關，就把它記錄下來，下面是一片不錯的文章。 互信息(Mutual Information)是度量兩個事件集合之間的相關性(mutual dependence)。 平均互信息量定義: 互信息量I(xi;yj)在聯合 ...