相比与bow(bag of word)，两个都是特征的降维， bow 每个词是一个文档向量中的一维 而one-hot是一个词本身是一个向量(一维是1，其他是0)，不同词之间的区别是1的位置不同，但是1的位置不表示实际意义 而word2vec中，每个词用一个实数向量表示，语义相近的词的向量夹角 ...

独热编码 独热编码即 One-Hot 编码，又称一位有效编码，其方法是使用N位状态寄存器来对N个状态进行编码，每个状态都有它独立的寄存器位，并且在任意时候，其中只有一位有效。举个例子，假设我们有四个样本（行），每个样本有三个特征（列），如图： ...

　　在许多自然语言处理任务中，许多单词表达是由他们的tf-idf分数决定的。即使这些分数告诉我们一个单词在一个文本中的相对重要性，但是他们并没有告诉我们单词的语义。Word2Vec是一类神经网络模型——在给定无标签的语料库的情况下，为语料库的单词产生一个能表达语义的向量。 　　word2vec ...

上一篇博客用词袋模型，包括词频矩阵、Tf-Idf矩阵、LSA和n-gram构造文本特征，做了Kaggle上的电影评论情感分类题。 这篇博客还是关于文本特征工程的，用词嵌入的方法来构造文本特征，也就是用word2vec、glove和fasttext词向量进行文本表示，训练随机森林 ...

3种常用的词向量训练方法的代码，包括Word2Vec, FastText, GloVe： https://github.com/liyumeng/DeepLearningPractice2017/blob/master/WordEmbedding/WordEmbedding.ipynb 词 ...

一、概述GloVe与word2vec GloVe与word2vec，两个模型都可以根据词汇的“共现co-occurrence”信息，将词汇编码成一个向量（所谓共现，即语料中词汇一块出现的频率）。 两者最直观的区别在于，word2vec ...

会得到三个文件：.model，.model.syn0.npy，.model.syn1neg.npy，读取就可以： from gensim.models.deprecated.word2vec import Word2Vec model ...

虽然早就对NLP有一丢丢接触，但是最近真正对中文文本进行处理才深深感觉到自然语言处理的难度，主要是机器与人还是有很大差异的，毕竟人和人之间都是有差异的，要不然不会讲最难研究的人嘞 ~~~~~~~~~ ...