使用github--stanfordnlp--glove訓練自己的數據詞向量

1.准備語料

准備好自己的語料，保存為txt，每行一個句子或一段話，注意要分好詞。將分好詞的語料保存為×××.txt

2.准備源碼

下載地址：https://github.com/stanfordnlp/GloVe，解壓后將語料×××.txt添加到GloVe-master文件夾下

3.修改訓練語料地址

打開demo.sh文件，由於默認是下載TXT8作為語料，故將這段代碼刪除，並修改CORPUS=×××.txt，最終文件內容如下：

其他應該都可以自行修改。

 

4.執行

打開終端，進入GloVe-master文件后：

(1)make

 

 

(2)demo.sh

 

 

 

5.修改詞向量文件

訓練后會得到vetors.txt，打開后在第一行加上vacob_size vector_size，這樣才能用word2vec的load函數加載成功

第一個數指明一共有多少個向量，第二個數指明每個向量有多少維

 

6.加載使用巽寮的詞向量

1 from gensim.models import Word2Vec  
2   
3 model = Word2Vec.load_word2vec_format(‘vectors.txt’, binary=False) 

接下來的使用就和word2vec一樣