NLP入门学习中关于分词库HanLP导入使用教程
大家好，时隔多年再次打开我的博客园写下自己的经验和学习总结，开园三年多，文章数少得可怜，一方面自己技术水平局限，另一方面是自己确实想放弃写博客。由于毕业工作的原因，经常性的加班以及仅剩下少的可怜的休息时间实在是想好好休息。但现在又回到了校园，在2019年4月份我选择了辞职考研，如愿考取 ...
原文：分词（Tokenization） - NLP学习（1）
自从开始使用Python做深度学习的相关项目时，大部分时候或者说基本都是在研究图像处理与分析方面，但是找工作反而碰到了很多关于自然语言处理 natural language processing： NLP 的问题，所以决定花点时间学习并且写下来，希望那些跟我一样同时在学习NLP的朋友能有一些帮助，学习过程中以英文为文本标准，后期会尝试用中文，并且将相关的信息补进来博客文章中。刚开始学习哪里讲得不好 ...
2018-12-26 13:19 0 4206 推荐指数：
相关推荐
NLP之CRF分词训练（六）
分三步1、先分词2、做BEMS标注，同时做词性标注3、训练模型 1、对语料进行分词 拿到测试部的语料或者其他渠道的语料，先对语料进行分词，我刚刚开始是用NS分词的，等CRF模型训练好后，可以直接用CRF进行分词，分完词后要人工核对分词结果，将分词分得不正确的地方修改 ...
NLP系列-中文分词（基于统计）
（n-gram） 2.对句子进行单词划分，然后对划分结果做概率计算，获取概率最大的分词方式。这里就用到了统计学习 ...
NLP系列-中文分词（基于词典）
中文分词概述 词是最小的能够独立活动的有意义的语言成分，一般分词是自然语言处理的第一项核心技术。英文中每个句子都将词用空格或标点符号分隔开来，而在中文中很难对词的边界进行界定，难以将词划分出来。在汉语中，虽然是以字为最小单位，但是一篇文章的语义表达却仍然是以词来划分的。因此处 ...
[NLP]分词模型、创建词库
金融领域的专有名词较多，使用通用的分词工具的话效果很不好，我使用了4个分词工具：lac,pkuseg,thulac,jieba，针对分词效果来说，thulac能考虑到金融名词，但是在数字的切词上很奇怪，其余三个则是完全不考虑金融名词，具体过程如下： 原句：三季报显示，公司资本公积比年初增加了 ...
NLP—三种中文分词工具
本文将对三种中文分词工具进行使用尝试，这三种工具分别为哈工大的LTP，结巴分词以及北大的pkuseg。 首先我们先准备好环境，即需要安装三个模块：pyltp, jieba, pkuseg以及LTP的分词模型文件cws.model。在用户字典中添加以下5个词语： 经 少安 ...
基于规则的中文分词 - NLP中文篇
之前在其他博客文章有提到如何对英文进行分词，也说后续会增加解释我们中文是如何分词的，我们都知道英文或者其他国家或者地区一些语言文字是词与词之间有空格（分隔符），这样子分词处理起来其实是要相对容易很多，但是像中文处理起来就没有那么容易，因为中文字与字之间，词与词之间都是紧密连接在一起的，所以第一件 ...
NLP学习（3）---Bert模型
1、WordEmbedding到BERT的发展过程： 预训练：先通过大量预料学习单词的embedding，在下游 ...