python3 jieba分詞

一.jieba庫用於分詞，https://github.com/fxsjy/jieba

 

二.分詞：分詞精細：全局（文本分析）<精確（快速成詞）<搜素（搜素引擎分詞）

#分詞
str=r'今天我們中出了一個叛徒，不想領導領導的領導不是好領導'
a=jieba.cut(str,cut_all=True,HMM=False)
#分詞(字符串，是否采用全局模式（默認False精確模式）,是否使用HMM模式(默認True))
print(a)#返回可迭代的生成器
print(','.join(a))

b=jieba.lcut(str)#lcut_for_search直接返回列表
print(b)

print(jieba.lcut_for_search(str, HMM=True))#搜索模式
---------------------------------------------------------
Building prefix dict from the default dictionary ...
<generator object Tokenizer.cut at 0x0368E8A0>
Loading model from cache C:\Users\11373\AppData\Local\Temp\jieba.cache
今天,我們,中出,了,一個,叛徒,,,不想,領導,領導,的,領導,不是,好,領導
Loading model cost 0.784 seconds.
['今天', '我們', '中出', '了', '一個', '叛徒', '，', '不想', '領導', '領導', '的', '領導', '不是', '好', '領導']
Prefix dict has been built succesfully.
['今天', '我們', '中出', '了', '一個', '叛徒', '，', '不想', '領導', '領導', '的', '領導', '不是', '好', '領導']

 

三.導入用戶字典

#導入用戶的字典
#詞典格式:一個詞占一行；每一行分三部分：詞語、詞頻（可省略）、詞性（可省略），用空格隔開，順序不可顛倒。
#file_name 若為路徑或二進制方式打開的文件，則文件必須為 UTF-8 編碼
jieba.load_userdict('dict.txt')
print(jieba.lcut(str))
--------------------------------------------------------
['今天', '我們', '中出了', '一個', '叛徒', '，', '不想', '領導領導', '的', '領導', '不是', '好', '領導']

中出了
領導領導

 

四.實時操作字典

jieba.add_word('一個叛徒')#實時在字典中添加某個詞
print(jieba.lcut(str))
jieba.del_word('領導')#刪除字典的某個詞
print(jieba.lcut(str))
jieba.suggest_freq(('一個','叛徒'),True)#可調節單個詞語的詞頻，使其能（或不能）被分出來
print(jieba.lcut(str))
jieba.suggest_freq(('中','出'),True)
print(jieba.lcut(str))#自動計算的詞頻在使用 HMM 新詞發現功能時可能無效。
print(jieba.lcut(str,HMM=False))#自動計算的詞頻在使用 HMM 新詞發現功能時可能無效。
----------------------------------------------------------------------
['今天', '我們', '中出', '了', '一個叛徒', '，', '不想', '領導', '領導', '的', '領導', '不是', '好', '領導']
Loading model cost 0.751 seconds.
Prefix dict has been built succesfully.
['今天', '我們', '中出', '了', '一個叛徒', '，', '不想', '領', '導', '領', '導', '的', '領', '導', '不是', '好', '領', '導']
['今天', '我們', '中出', '了', '一個', '叛徒', '，', '不想', '領', '導', '領', '導', '的', '領', '導', '不是', '好', '領', '導']
['今天', '我們', '中出', '了', '一個', '叛徒', '，', '不想', '領', '導', '領', '導', '的', '領', '導', '不是', '好', '領', '導']
['今天', '我們', '中', '出', '了', '一個', '叛徒', '，', '不想', '領', '導', '領', '導', '的', '領', '導', '不是', '好', '領', '導']

 

五.關鍵字提取

import jieba.analyse

str='今天我們中出了一個叛徒，不想領導領導的領導不是好領導'

#關鍵字提取
a=jieba.analyse.extract_tags(str, topK=20, withWeight=False, allowPOS=())
# (文本，為返回幾個 TF/IDF 權重最大的關鍵詞，默認值為 20，
# 為是否一並返回關鍵詞權重值，默認值為 False，僅包括指定詞性的詞，默認值為空，即不篩選)
print(a)

#基於 TextRank 算法的關鍵詞抽取
# 1.將待抽取關鍵詞的文本進行分詞
# 2.以固定窗口大小(默認為5，通過span屬性調整)，詞之間的共現關系，構建圖
# 3.計算圖中節點的PageRank，注意是無向帶權圖
b=jieba.analyse.textrank(str, topK=20, withWeight=True, allowPOS=('n','nr','ns'))
print(b)
-------------------------------------------------------------------------
['領導', '中出', '叛徒', '不想', '今天', '不是', '我們', '一個']
[('領導', 1.0), ('叛徒', 0.2510095552068219)]

 

六.其他

import jieba.posseg as pseg
import jieba
str='今天我們中出了一個叛徒，不想領導領導的領導不是好領導'
print(pseg.lcut(str))#詞性標注

#並行分詞，不支持windows
# jieba.enable_parallel(2)# 開啟並行分詞模式，參數為並發執行的進程數
# jieba.disable_parallel()# 關閉並行分詞模式

#Tokenize：返回詞語在原文的起止位置
result = jieba.tokenize(str,mode='search')#輸入參數只接受 unicode
for i in result:
    print(i)
---------------------------------------------------------------------
[pair('今天', 't'), pair('我們', 'r'), pair('中', 'f'), pair('出', 'v'), pair('了', 'ul'), pair('一個', 'm'), pair('叛徒', 'n'), pair('，', 'x'), pair('不想', 'v'), pair('領導', 'n'), pair('領導', 'n'), pair('的', 'uj'), pair('領導', 'n'), pair('不是', 'c'), pair('好', 'a'), pair('領導', 'n')]
('今天', 0, 2)
('我們', 2, 4)
('中出', 4, 6)
('了', 6, 7)
('一個', 7, 9)
('叛徒', 9, 11)
('，', 11, 12)
('不想', 12, 14)
('領導', 14, 16)
('領導', 16, 18)
('的', 18, 19)
('領導', 19, 21)
('不是', 21, 23)
('好', 23, 24)
('領導', 24, 26)