原文地址：https: www.jianshu.com p f d d e f 一 文本特征 一 基本文本特征提取 词语数量 常，负面情绪评论含有的词语数量比正面情绪评论更多。 字符数量 常，负面情绪评论含有的字符数量比正面情绪评论更多。 平均词汇长度 平均词汇长度 所有单词长度 单词个数。 停用词数量 有时，计算停用词的数量可以提供去除停用词后失去的额外信息。 特殊字符数量 如 等的数量。 数字 ...
2019-05-01 20:46 0 468 推荐指数：
这一节我们来聊聊不定长的文本向量，这里我们暂不考虑有监督模型，也就是任务相关的句子表征，只看通用文本向量，根据文本长短有叫sentence2vec, paragraph2vec也有叫doc2vec的。这类通用文本embedding的应用场景有很多，比如计算文本相似度用于内容召回, 用于聚类给文章 ...
参考链接：https://www.yanxishe.com/TextTranslation/2668?from=wcm ...
doc2vec使用说明（一）gensim工具包TaggedLineDocument gensim 是处理文本的很强大的工具包，基于python环境下： 1.gensim可以做什么？ 它可以完成的任务，参加gensim 主页API中给出的介绍，链接 ...
TF-IDF是什么 TF-IDF是一种统计方法，用以评估一个词对于一篇文章或语料库中一篇文章的重要性。字词的重要性随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降。 TF-IDF的使用场景 TF-IDF加权的各种形式常被搜索引擎应用，作为文件与用户查询之间相关 ...
概念 TF-IDF（term frequency–inverse document frequency）是一种用于资讯检索与资讯探勘的常用加权技术。TF-IDF是一种统计方法，用以评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度。字词的重要性随着它在文件中出现的次数 ...
这篇是七月在线问答系统项目中使用到的一个算法，由于当时有总结，就先放上来了后期再整理。 Doc2vec Doc2vec又叫Paragraph Vector是Tomas Mikolov基于word2vec模型提出的，其具有一些优点，比如不用固定句子长度，接受不同长度的句子做训练样本 ...
