PMI点互信息算法


一、点互信息算法

    点互信息算法是为了计算两个词语之间的相关性,公式如下:

 

 

 p(word1  & word2)代表的是两个单词同时出现的概率(两个单词同时出现的次数/总词数的平方)

 p(word1)是word1出现的概率(word1出现的次数/总次数)

 p(word2)是word2出现的概率(word1出现的次数/总次数)

结果:

PMI > 0;两个词语是相关的;值越大,相关性越强。

PMI = 0;两个词语是统计独立的,不相关也不互斥。

PMI < 0;两个词语是不相关的,互斥的。

二、情感倾向点互信息算法(SO-PMI)

       选用一组褒义词(Pwords)跟一组贬义词(Nwords)作为基准词。若把一个词语word1跟Pwords的点间互信息减去word1跟Nwords的点间互信息会得到一个差值,就可以根据该差值判断词语word1的情感倾向。

 

 

 

 

SO(phrase)>0 正面倾向,是褒义词

SO(phrase)=0 为中性词

SO(phrase)<0 为贬义词


免责声明!

本站转载的文章为个人学习借鉴使用,本站对版权不负任何法律责任。如果侵犯了您的隐私权益,请联系本站邮箱yoyou2525@163.com删除。



 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM