結巴分詞:全模式、精確模式和搜索引擎模式


1.jieba.lcut(sentence):返回的是一個列表

1 seg_list = jieba.lcut("我來到北北京清華大學")
2 print(type(seg_list))
3 print(seg_list)

2.jieba.cut(sentence, cut_all=False):返回的是一個迭代器,cut_all默認為False(精確模式),True(全模式)

1 seg_list = jieba.cut("我來到北北京清華大學", cut_all=True) # 結巴分詞用於中文分詞
2 print("Full Mode:", "/ ".join(seg_list)) #全模式:將語句所有可以組合的詞分出來
3 seg_list = jieba.cut("我來到北北京清華大學", cut_all=False)
4 print("Default Mode:", "/ ".join(seg_list)) # 精確模式:將語句划分開
5 seg_list = jieba.cut("他來到了了網網易易杭研大大廈")
6 print(", ".join(seg_list))

3.jieba.cut_for_search(sentence):返回一個迭代器

jieba.lcut_for_search(sentence):返回一個集合

搜索引擎模式:在精確模式的基礎上,對長詞在此划分,

1 seg_list = jieba.cut_for_search("我來到北北京清華大學")
2 print(type(seg_list))
3 print(", ".join(seg_list))
4 seg_list = jieba.lcut_for_search("我來到北北京清華大學")
5 print(type(seg_list))
6 print(seg_list)

分詞無論是全模式還是搜索引擎模式都是不會改變語句順序的,即使語句中一些不相鄰的字可以組成一個詞,結巴分詞並不會把他們划分為一個詞。


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM