gensim加載詞向量文件


# -*- coding: utf-8 -*-
# author: huihui
# date: 2020/1/31 7:58 下午 

'''
根據語料訓練詞向量,並保存向量文件
'''

import os
import sys
import gensim

os.reload(sys)
sys.setdefaultencoding('utf-8')

# 需要提前分詞
input_file = "corp_seg.txt"
sentences = gensim.models.word2vec.Text8Corpus(input_file)

# 訓練詞向量
model = gensim.models.word2vec.Word2Vec(sentences, sg=1, size=100, window=5, min_count=1, negative=3, sample=0.001,
                                        hs=1, workers=40)

# 保存詞向量文件
model.save("corp_word2vec.model")
model.wv.save_word2vec_format("corp_word2vec.txt")

# 加載詞向量文件
model = gensim.models.word2vec.Word2Vec.load("corp_word2vec.model")
model = gensim.models.KeyedVectors.load_word2vec_format("corp_word2vec.txt")


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM