Python 中文詞頻統計，熱詞統計，簡要分析（含上手源碼）

jieba庫有三種模式

     精確模式、全模式、搜索引擎模式

         - 精確模式：把文本精確的切分開，不存在冗余單詞
         - 全模式：把文本中所有可能的詞語都掃描出來，有冗余

         - 搜索引擎模式：在精確模式基礎上，對長詞再次切分

應用實例：

 

 代碼：

import jieba

file = open('E:/578095023/FileRecv/寒假作業/test.txt', encoding="utf-8")
txt = file.read()
#words = jieba.lcut(txt)  #無空格
#words = jieba.lcut(txt,cut_all=True)   #有空格
words = jieba.lcut_for_search(txt)
counts = {}
for word in words:
    if len(word) == 1:
        continue
    else:
        counts[word] = counts.get(word, 0) + 1

items = list(counts.items())

items.sort(key=lambda x: x[1], reverse=True)
# items.sort(reverse = True)
for i in range(20):
    word, count = items[i]
    print(word, count)
#    print('{0:<10}{1:>5}'.format(word,count))