jieba庫的使用與詞頻統計

1、詞頻統計

（1）詞頻分析是對文章中重要詞匯出現的次數進行統計與分析，是文本

挖掘的重要手段。它是文獻計量學中傳統的和具有代表性的一種內容分析方法，基本原理是通過詞出現頻次多少的變化，來確定熱點及其變化趨勢。

（2）安裝jieba庫

安裝說明
代碼對 Python 2/3 均兼容

全自動安裝：easy_install jieba 或者 pip install jieba / pip3 install jieba
半自動安裝：先下載 http://pypi.python.org/pypi/jieba/ ，解壓后運行 python setup.py install
手動安裝：將 jieba 目錄放置於當前目錄或者 site-packages 目錄
通過 import jieba 來引用

示例、全自動安裝

在命令行下輸入指令：

pip install jieba

(2) 安裝進程：

 

2、調用庫函數

1、輸入import jieba與使用其中函數

 3、python代碼

#! python3
# -*- coding: utf-8 -*-
import os, codecs
import jieba
from collections import Counter
 
def get_words(txt):
    seg_list = jieba.cut(txt)   #對文本進行分詞
    c = Counter()
    for x in seg_list:          #進行詞頻統計
        if len(x)>1 and x != '\r\n':
            c[x] += 1
    print('常用詞頻度統計結果')
    for (k,v) in c.most_common(20):      #遍歷輸出高頻詞
        print('%s%s %s  %d' % ('  '*(5-len(k)), k, '*'*int(v/2), v))
 
if __name__ == '__main__':
    with codecs.open('夢里花落知多少.txt', 'r', 'utf8') as f:

        txt = f.read()
    get_words(txt)

 

•  •顯示效果

 

 4、詞雲

import jieba

import wordcloud

f = open("夢里花落知多少.txt","r",encoding = "utf-8")  #打開文件

t = f.read()        #讀取文件，並存好

f.close()

ls = jieba.lcut(t)        #對文本分詞

txt = " ".join(ls)        #對文本進行標點空格化

w = wordcloud.WordCloud(font_path = "msyh.ttc",width = 1000,height = 700,background_color = "white")      #設置詞雲背景，找到字體路徑（否則會亂碼）

w.generate(txt)     #生成詞雲

w.to_file("govermentwordcloud.png")    #保存詞雲圖

 • 詞雲顯示