IKAnalyzer进行中文分词和去停用词
最近学习主题模型pLSA、LDA，就想拿来试试中文。首先就是找文本进行切词、去停用词等预处理，这里我找了开源工具IKAnalyzer2012，下载地址：(：(注意：这里尽量下载最新版本，我这里用的IKAnalyzer2012.zip 这本版本后来测试时发现bug，这里建议 ...
原文：Spark 使用ansj进行中文分词
在Spark中使用ansj分词先要将ansj seg . . .jar和nlp lang . . .jar加入工程 ansj源码github：https: github.com NLPchina ansj seg ansj下载链接：https: oss.sonatype.org content repositories releases org ansj ansj seg nlp lang下载链接 ...
2017-12-08 18:44 1 3449 推荐指数：
相关推荐
CRF++进行中文分词实例
工具包：https://taku910.github.io/crfpp/#tips 语料：http://sighan.cs.uchicago.edu/bakeoff2005/ 安装： 1）下载l ...
R语言进行中文分词和聚类
目标：对大约6w条微博进行分类 环境：R语言 由于时间较紧，且人手不够，不能采用分类方法，主要是没有时间人工分类一部分生成训练集……所以只能用聚类方法，聚类最简单的方法无外乎：K-means与层次聚类。 尝试过使用K-means方法，但结果并不好，所以最终采用的是层次聚类，也幸亏 ...
使用jieba和wordcloud进行中文分词并生成《悲伤逆流成河》词云
因为词云有利于体现文本信息，所以我就将那天无聊时爬取的《悲伤逆流成河》的评论处理了一下，生成了词云。 关于爬取影评的爬虫大概长这个样子(实际上是没有爬完的): 在获取到文本之后我们就可以开始下面的工作了。 先说一下总体流程： 获取文本-->对文本进行处理，分词 ...
利用条件随机场模型进行中文分词
中文分词的方法非常多，基于词库是最基本的，但是当前各大互联网公司基本上不会仅仅依赖于词库的分词，一般以机器学习的分词为主，词库分词的方式为辅。在很久以前，我提过利用隐马尔科夫模型进行中文分词，条件随机场其实是隐马尔科夫模型的一次升级版本，网上有很多关于条件随机场模型的分词 ...
python利用jieba进行中文分词去停用词
中文分词(Chinese Word Segmentation) 指的是将一个汉字序列切分成一个一个单独的词。 分词模块jieba，它是python比较好用的分词模块。待分词的字符串可以是 unicode 或 UTF-8 字符串、GBK 字符串。注意：不建议直接输入 GBK ...
利用统计进行中文分词与词性分析
今天，翻出了我以前在本科阶段写的一些论文，虽然有几篇没有发表。突然发现很多还是比较实用，虽然学术价值并不是很大，于是我重新整理了下，用最简单的方式，摘要了部分出来拼成此文，当然拼的原料都是自己的，本文适合初学者，如若转载，请著名版权。 中文分词已经是老调重弹的话题了，传统的基于词库的分词 ...
开源中文分词工具探析（三）：Ansj
Ansj是由孙健（ansjsun）开源的一个中文分词器，为ICTLAS的Java版本，也采用了Bigram + HMM分词模型（可参考我之前写的文章）：在Bigram分词的基础上，识别未登录词，以提高分词准确度。虽然基本分词原理与ICTLAS的一样，但是Ansj做了一些工程上的优化，比如：用DAT ...