python實現中文文檔jieba分詞和分詞結果寫入excel文件

輸入　

　　本篇文章中采用的是對京東某商品的2000個正面評價txt文檔和2000個負面評價txt文檔，總共是4000個txt文檔。

　　一個正面評價txt文檔中的內容類似如下：

　　1 鋼琴漆，很滑很亮。2 LED寬屏，看起來很爽3 按鍵很舒服4 活動贈品多

　　一個負面評價txt文檔中的內容類似如下：

　　送貨上門后發現電腦顯示器的兩邊有縫隙；成型塑料表面凹凸不平。做工很差，，，，，

 

輸出　　

　　首先，是對4000個txt文檔進行jieba分詞后的輸出結果。

　　對應上面輸入中正面評價txt文檔中的內容經過分詞后，分詞結果如下： 

　　鋼琴漆 很滑 很亮   LED 寬屏 很爽   按鍵 舒服   活動 贈品

　　對應上面負面評價txt文檔中的內容經過分詞后，分詞結果如下：

　　送貨上門 發現 電腦 顯示器 兩邊 縫隙 成型 塑料 表面 凹凸不平 做工 很差

　　然后，把2000個正面評價txt文檔和2000個負面評價txt文檔的分詞結果寫入excel文件，每個分詞結果都對應一個標簽（正面評為1，負面評價為0），圖示如下：

 

　　

 

工具　

　　本文使用工具為：Anaconda、PyCharm、python語言、jieba中文分詞工具、網上下載的停用詞文檔

原理

　　使用jieba工具對每篇txt文檔中的中文段落進行分詞，分詞后的結果去掉停用詞后寫入excel文檔。

 

Python代碼實現

 

from os.path import os
from xlwt.Workbook import Workbook
import jieba

# 將停用詞文檔轉換為停用詞列表
def stopwordslist():
    stopwords = [line.strip() for line in open('stopwords.txt', encoding='UTF-8').readlines()]
    return stopwords

# 對文檔字符串進行中文分詞
def seg_depart(sentence):
    print('sentence:{}'.format(sentence))
    # jieba工具分詞結果
    sentence_depart = jieba.cut(sentence.strip())
    # 停用詞列表
    stopwords = stopwordslist()

    # 輸出結果保存至outstr
    outstr = ''
    # 去停用詞
    for word in sentence_depart:
        if word not in stopwords:
            if word != '\t':
                outstr += word
                outstr += ' '
    print('outstr:{}'.format(outstr))
    return outstr

# txt文檔的路徑
#mypath = 'F:\\Jingdong_4000\\neg\\'
mypath = 'F:\\Jingdong_4000\\pos\\'
myfiles = os.listdir(mypath)

# txt文檔名列表
fileList = []
for f in myfiles:
        if(os.path.isfile(mypath + '/' + f)):
            if os.path.splitext(f)[1] == '.txt':
                fileList.append(f)
# 待寫入excel文件的每一行組成的列表
# excellist中的元素為列表，包括分詞結果和標簽兩部分
excellist = []
for ff in fileList:
    f = open(mypath+ff,'r',encoding='gb2312', errors='ignore')
    sourceInLines = f.readlines()
    f.close()
    str = ''
    rowList = []
    for line in sourceInLines:
        str += line
        str = str.strip()

    # 對str做分詞
    str = seg_depart(str)
    str = str.strip()
    rowList.append(str)

    # 添加對應的標簽0或1
    #rowList.append(0)
    rowList.append(1)

    excellist.append(rowList)

# excel表格式
book = Workbook()
sheet1 = book.add_sheet('Sheet1')
row0 = ['review', 'label']

for i in range(len(row0)):
    sheet1.write(0,i,row0[i])

# 兩個for循環，第一個for循環針對寫入excel的每行，第二個for循環針對每行的各列
for i, li in enumerate(excellist):
    print('i:{}, li:{}'.format(i, li))
    for j, lj in enumerate(li):
        sheet1.write(i+1,j,lj)
# 數據存入excel文件
#book.save('neg_fenci_excel.xls')
book.save('pos_fenci_excel.xls')

 

代碼運行結果

　　生成如輸出一節展示內容的excel文檔。