python使用jieba實現中文文檔分詞和去停用詞

分詞工具的選擇：

　　現在對於中文分詞，分詞工具有很多種，比如說：jieba分詞、thulac、SnowNLP等。在這篇文檔中，筆者使用的jieba分詞，並且基於python3環境，選擇jieba分詞的理由是其比較簡單易學，容易上手，並且分詞效果還很不錯。

分詞前的准備：

• 待分詞的中文文檔
• 存放分詞之后的結果文檔
• 中文停用詞文檔（用於去停用詞，在網上可以找到很多）

分詞之后的結果呈現：

 去停用詞和分詞前的中文文檔

去停用詞和分詞之后的結果文檔

分詞和去停用詞代碼實現：

import jieba

# 創建停用詞列表
def stopwordslist():
    stopwords = [line.strip() for line in open('chinsesstoptxt.txt',encoding='UTF-8').readlines()]
    return stopwords

# 對句子進行中文分詞
def seg_depart(sentence):
    # 對文檔中的每一行進行中文分詞
    print("正在分詞")
    sentence_depart = jieba.cut(sentence.strip())
    # 創建一個停用詞列表
    stopwords = stopwordslist()
    # 輸出結果為outstr
    outstr = ''
    # 去停用詞
    for word in sentence_depart:
        if word not in stopwords:
            if word != '\t':
                outstr += word
                outstr += " "
    return outstr

# 給出文檔路徑
filename = "Init.txt"
outfilename = "out.txt"
inputs = open(filename, 'r', encoding='UTF-8')
outputs = open(outfilename, 'w', encoding='UTF-8')

# 將輸出結果寫入ou.txt中
for line in inputs:
    line_seg = seg_depart(line)
    outputs.write(line_seg + '\n')
    print("-------------------正在分詞和去停用詞-----------")
outputs.close()
inputs.close()
print("刪除停用詞和分詞成功！！！")