word2vec训练模型实现文本转换词向量

利用 Word2Vec 实现文本分词后转换成词向量

步骤：

1、对语料库进行分词，中文分词借助jieba分词。需要对标点符号进行处理

2、处理后的词语文本利用word2vec模块进行模型训练，并保存

　　词向量维度可以设置高一点，300

3、保存模型，并测试，查找相似词，相似词topN

import re
import jieba
from gensim.models import Word2Vec, word2vec


def tokenize():
    """
    分词
    :return:
    """
    f_input = open('166893.txt', 'r', encoding='utf-8')
    f_output = open('yttlj.txt', 'w', encoding='utf-8')
    line = f_input.readline()
    while line:
        newline = jieba.cut(line, cut_all=False)
        newline = ' '.join(newline)
        fileters = ['，', '：', '。', '!', '！', '"', '#', '$', '%', '&', '\(', '\)', '\*', '\+', ',', '-', '\.', '/', ':', ';', '<', '=', '>', '\?', '@'
            , '\[', '\\', '\]', '^', '_', '`', '\{', '\|', '\}', '~', '”', '“', '？']
        newline = re.sub("<.*?>", " ", newline, flags=re.S)
        newline = re.sub("|".join(fileters), " ", newline, flags=re.S)
        f_output.write(newline)
        print(newline)
        line = f_input.readline()
    f_input.close()
    f_output.close()


def train_model():
    """
    训练模型
    :return:
    """
    model_file_name = 'model_yt.txt'
    sentences = word2vec.LineSentence('yttlj.txt')
    model = word2vec.Word2Vec(sentences, window=5, min_count=5, workers=4, vector_size=300)
    model.save(model_file_name)


def test():
    """
    测试
    :return:
    """
    model = Word2Vec.load('model_yt.txt')
    print(model.wv.similarity('赵敏', '赵敏'))
    print(model.wv.similarity('赵敏', '周芷若'))
    for k in model.wv.most_similar('赵敏', topn=10):
        print(k[0], k[1])


if __name__ == '__main__':
    test()

 小结：

word2vec是实现词嵌入的一种方式。

文本数据需要预处理成张量的形式，才能输入到神经网络 ；

文本划分成单元的过程叫做分词过程（tokenization），分成的单元叫做标记（token）；

文本 → 分词 → 向量化

1、如何将文本转成机器可处理成数值张量？

1. one-hot编码

   • 语料库有多少单独的词，就建立多少维度的向量，当前词语位置表示为1，其他位置为0

   • 表示离散数据的方式

   • 缺点：

     • 过于稀疏，数据量越大，维度越大，越稀疏

     • 不能表示出两个有关联的词语之间的内在联系

     • one-hot编码简单，但是没有结构，任何两个单词之间的距离为根号二

2. word embedding (词嵌入)

   • word-embedding空间维度较小，空间中具有结构，相似的单词距离近，不相关的单词距离远

   • embedding层的作用实际上可以看作是一个矩阵，将高维空间中的点映射到低维空间中

   • Embedding空间维度低，且可以让空间拥有结构

   • 从向量之间的距离体现性别，年龄等等（这需要训练，没有经过训练的embedding层没有任何结构）