分詞結果准確率、召回率計算-python

使用python計算crf根據模型的分詞結果的准確率，召回率和F值

測試文件output.txt，第一列是字，第二列是人工標注的分詞結果，第三列是根據模型使用crf得到的分詞結果，

字母B:單詞的首字母；字母E:單詞的尾字母；字母BE:單詞的中間字母

格式如下:

團    B    B
圓    E    E
是    BE    BE
春    B    B
節    E    E
千    B    B
年    E    E
不    B    B
變    E    E
的    BE    BE
...     ...     ....

python代碼如下：

1、讀入output.txt文件,並建立相應的列名為'character','train','test'的dataframe

import pandas
line=[]
file=open(r'E:\大三下\王東波\CRF 相關\CRF 相關\crf++ tools\output.txt','r',encoding='utf-8')
for i in file.readlines():
    i=i[0:-1]
    if len(i)!=0 and len(i)!=1:
        line.append(i.split('\t'))
df=pandas.DataFrame(line,columns=['character','train','test'])   

【注：使用df.loc添加新行的速度太慢，因而使用列表向dataframe轉化】

2、構建新的dataframe保存分詞准確的部分

correct=df[df.train==df.test]

3、計算召回率、准確率和F值

for i in ('B','C','E','BE'):
    R=sum(correct.test==i)/sum(df.train==i)
    P=sum(correct.test==i)/sum(df.test==i)
    F=R*P*2/(R+P)
    print(i,':\n','R=',R,' P=',P,' F=',F)

計算結果如下：

B :
 R= 0.915480621852  P= 0.87615255658  F= 0.895384944855
C :
 R= 0.674981658107  P= 0.757201646091  F= 0.713731574864
E :
 R= 0.919001751313  P= 0.879715004191  F= 0.898929336188
BE :
 R= 0.865064695009  P= 0.940703517588  F= 0.901299951854