使用GloVe(c語言版)訓練自定義語料


1.准備語料

將分好詞的語料保存為×××.txt

2.准備源碼

下載地址:https://github.com/stanfordnlp/GloVe,解壓后將語料×××.txt添加到GloVe-master文件夾下

3.修改訓練語料地址

打開demo.sh文件,由於默認是下載TXT8作為語料,故將這段代碼刪除,並修改CORPUS=×××.txt,最終文件內容如下:

其他應該都可以自行修改。

4.執行

打開終端,進入GloVe-master文件后:

(1)make

(2)./demo.sh

5.修改詞向量文件

訓練后會得到vetors.txt,打開后在第一行加上vacob_size vector_size,這樣才能用word2vec的load函數加載成功

vacob_size vector_size可在訓練時看到:

6.加載使用巽寮的詞向量

1 from gensim.models import Word2Vec  
2   
3 model = Word2Vec.load_word2vec_format(‘vectors.txt’, binary=False) 

接下來的使用就和word2vec一樣

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM