詞向量之word2vec實踐

 

首先感謝無私分享的各位大神，文中很多內容多有借鑒之處。本次將自己的實驗過程記錄，希望能幫助有需要的同學。

一、從下載數據開始

    現在的中文語料庫不是特別豐富，我在之前的文章中略有整理，有興趣的可以看看。本次實驗使用wiki公開數據，下載地址如下：

        wiki英文數據下載：https://dumps.wikimedia.org/enwiki/latest/enwiki-latest-pages-articles.xml.bz2

        wiki中文數據下載：https://dumps.wikimedia.org/zhwiki/latest/zhwiki-latest-pages-articles.xml.bz2

二、英文數據處理

    1.抽取文本        wiki數據內容比較復雜，所以在處理之前需要做一些預處理。通過 process_wiki.py 將wiki數據中的每一篇文章轉為1行文本。

     執行下行命令：

'''
process_wiki.py    處理程序
enwiki-latest-pages-articles.xml.bz2    英文wiki數據
wiki.en.text    輸出的文本文件
'''
python process_wiki.py enwiki-latest-pages-articles.xml.bz2 wiki.en.text

process_wiki.py

#--*-- coding:utf-8 --*--

from __future__ import print_function

import logging
import os.path
import six
import sys

from gensim.corpora import WikiCorpus
#import WikiCorpus

if __name__ == '__main__':
    program = os.path.basename(sys.argv[0])
    logger = logging.getLogger(program)

    logging.basicConfig(format='%(asctime)s: %(levelname)s: %(message)s')
    logging.root.setLevel(level=logging.INFO)
    logger.info("running %s" % ' '.join(sys.argv))

    # check and process input arguments
    if len(sys.argv) != 3:
        print("Using: python process_wiki.py enwiki.xxx.xml.bz2 wiki.en.text")
        sys.exit(1)
    inp, outp = sys.argv[1:3]
    space = " "
    i = 0

    output = open(outp, 'w')
    wiki = WikiCorpus(inp, lemmatize=False, dictionary={})
    for text in wiki.get_texts():
        if six.PY3:
            output.write(bytes(' '.join(text), 'utf-8').decode('utf-8') + '\n')
        #   ###another method###
        #    output.write(
        #            space.join(map(lambda x:x.decode("utf-8"), text)) + '\n')
        else:
            output.write(space.join(text) + "\n")
        i = i + 1
        if (i % 10000 == 0):
            logger.info("Saved " + str(i) + " articles")

    output.close()
logger.info("Finished Saved " + str(i) + " articles")

    2.訓練詞向量

    訓練word2vec的開源代碼非常多，使用的語言種類也很豐富，本實驗使用gensim包訓練詞向量，其特點使用簡便，訓練速度快。

    執行下行命令：

'''
train_word2vec_model.py    訓練程序
wiki.en.text    wiki文本數據
wiki.en.text.model    訓練模型參數
wiki.en.text.vector    輸出的詞向量文件
'''
python train_word2vec_model.py wiki.en.text wiki.en.text.model wiki.en.text.vector

train_word2vec_model.py

#!/usr/bin/env python
# -*- coding: utf-8 -*-

from __future__ import print_function

import logging
import os
import sys
import multiprocessing

from gensim.models import Word2Vec
from gensim.models.word2vec import LineSentence

if __name__ == '__main__':
    program = os.path.basename(sys.argv[0])
    logger = logging.getLogger(program)

    logging.basicConfig(format='%(asctime)s: %(levelname)s: %(message)s')
    logging.root.setLevel(level=logging.INFO)
    logger.info("running %s" % ' '.join(sys.argv))

    # check and process input arguments
    if len(sys.argv) < 4:
        print("Useing: python train_word2vec_model.py input_text "
              "output_gensim_model output_word_vector")
        sys.exit(1)
    inp, outp1, outp2 = sys.argv[1:4]

    model = Word2Vec(LineSentence(inp), size=128, window=5, min_count=5,
                     workers=multiprocessing.cpu_count())

    model.save(outp1)
    model.wv.save_word2vec_format(outp2, binary=False)

    3.測試詞向量

import gensim    #導入包
model = gensim.models.KeyedVectors.load_word2vec_format("wiki.en.text.vector", binary=False)
model.most_similar('queen')    #測試相關詞
model.similarity("woman", "man")    #測試次間距

三、中文數據處理

    1.抽取文本

    同英文處理類似，執行如下命令：

python process_wiki.py zhwiki-latest-pages-articles.xml.bz2 wiki.zh.text

    2.繁體字轉簡體字         

    wiki中文數據中存在很多繁體中文，因此首先需要將繁體字轉為簡體中文。

    本文使用開源工具 opencc，首先安裝：

     (1) linux安裝及執行

 yum install opencc-tools     #安裝

#執行命令
'''
wiki.zh.text    輸入的為轉化文本
wiki.zh.text.jian    輸出的簡體中文文本
-c    hk2s.json
       s2hk.json
       zhs2zht.json
       s2tw.json
       s2twp.json
       zht2zhs.json
       tw2s.json
       tw2sp.json
'''
opencc -i wiki.zh.text -o wiki.zh.text.jian -c zht2zhs.json

     (2)python安裝及執行

pip install OpenCC      #安裝
#執行
import opencc
opencc.convert(string, config='t2s.json')

    3.分詞       

    本文使用結巴分詞，使用方法比較簡單，在這里不加贅述。

    4.編碼處理

    將文本全部轉為UTF-8編碼

iconv -c -t UTF-8 < wiki.zh.text.jian.seg > wiki.zh.text.jian.seg.utf-8

    5.訓練詞向量      

    執行下行命令(訓練代碼同英文訓練)：

'''
train_word2vec_model.py    訓練程序
wiki.zh.text    wiki文本數據
wiki.zh.text.model    訓練模型參數
wiki.zh.text.vector    詞向量文件
'''
python train_word2vec_model.py wiki.zh.text wiki.zh.text.model wiki.zh.text.vector

    6.測試詞向量(同英文詞向量測試)

import gensim
model = gensim.models.KeyedVectors.load_word2vec_format("wiki.zh.text.vector", binary=False)
model.most_similar('女人')
model.similarity("女人", "男人")

四、其他

    除了使用上文中的process_wiki.py，還可以使用 Wikipedia Extractor，命令如下：

'''
參數 -b 1000M 表示以 1000M 為單位切分文件,
默認是 500K。由於最后生成的正文文本不到 600M，
把參數設置的大一些可以保證最后的抽取結果全部存在
一個文件里
'''
bzcat zhwiki-latest-pages-articles.xml.bz2 | python WikiExtractor.py -b 1000M -o extracted >output.txt

 **********************************

*         吃飽了踏實，努力了充實          *

 **********************************