doc2vec使用說明（一）gensim工具包TaggedLineDocument

gensim 是處理文本的很強大的工具包，基於python環境下：

1.gensim可以做什么？

它可以完成的任務，參加gensim 主頁API中給出的介紹，鏈接如下：

http://radimrehurek.com/gensim/apiref.html

2.word2vec的使用

其中學習詞向量的方法可利用，word2vec，具體使用我愛自然語言中介紹的很清楚，如下鏈接：

http://ju.outofmemory.cn/entry/80023

3.doc2vec/paragraph2vec的使用方法

學習文檔向量，doc2vec（也就是官方網站API中的paragraph2vec)使用方法，中文資料較少,RaRe Machine Learning Blog英文博客講解的比較詳細,鏈接如下：

http://rare-technologies.com/doc2vec-tutorial/

因為要做文檔向量的學習，我也寫了個學習文檔向量的例子，僅供參考，代碼如下：

import gensim, logging
import os

logging.basicConfig(format = '%(asctime)s : %(levelname)s : %(message)s', level = logging.INFO)
sentences = gensim.models.doc2vec.TaggedLineDocument('review_pure_text.txt')
model = gensim.models.Doc2Vec(sentences, size = 100, window = 5)
model.save('review_pure_text_model.txt')
print len(model.docvecs)

out = file('review_pure_text_vector.txt', 'w')
for idx, docvec in enumerate(model.docvecs):
    for value in docvec:
      out.write(str(value) + ' ')
    out.write('\n')
    print idx
    print docvec
out.close()

 

輸入文件Tweets_id_text.txt的格式就是每個doc 對應內容的分詞，空格隔開，每個doc是一行

用TaggedLineDocument 實現，每個doc默認編號

博文doc2vec/paragraph2vec使用說明（二）中介紹 帶多個標簽的文檔向量訓練方法。