中文分词指的是将一段文本拆分为一系列单词的过程，这些单词顺序拼接后等于原文本。中文分词算法大致分为基于词典规则与基于机器学习这两大派别。本章先从简单的规则入手，为读者介绍一些高效的词典匹配算法。 词典分词 是最简单、最常见的分词算法，仅需一部词典和一套查词典的规则即可，适合初学者入门。给定一部 ...

笔记转载于GitHub项目：https://github.com/NLP-LOVE/Introduction-NLP 3. 二元语法与中文分词 上一章中我们实现了块儿不准的词典分词，词典分词无法消歧。给定两种分词结果“商品 和服 务”以及“商品 和 服务”，词典分词不知道哪种更加合理 ...

笔记转载于GitHub项目：https://github.com/NLP-LOVE/Introduction-NLP 5. 感知机分类与序列标注 第4章我们利用隐马尔可夫模型实现了第一个基于序列标注的中文分词器，然而效果并不理想。事实上，隐马尔可夫模型假设人们说的话仅仅取决于一个隐藏的{B.M ...

1. 新手上路 自然语言处理(Natural Language Processing，NLP)是一门融合了计算机科学、人工智能及语言学的交叉学科，它们的关系如下图所示。这门学科研究的是如何通过机器学习等技术，让计算机学会处理人类语言，乃至实现终极目标--理解人类语言或人工智能。 美国 ...

笔记转载于GitHub项目：https://github.com/NLP-LOVE/Introduction-NLP 6. 条件随机场与序列标注 本章介绍一种新的序列标注模型条件随机场。这种模型与感知机同属结构化学习大家族，但性能比感知机还要强大。为了厘清该模型的来龙去脉，我们先对机器学习模型 ...

1、自然语言处理学习路径规划 自然语言处理（NLP）开发环境搭建 分词demo（搭建helloworld工程） 案例：nlp实现预测天气冷暖感知度 ---案例需求和数据准备 ---可视化数据分析 ---KNN模型原理及欧式距离计算 ---KNN分类器模型实现 ...

自然语言处理NLP( natural language process)是这几年越来越火了,kaggle上的比赛有关NLP的也日渐多起来了. NLP的应用场景很多,情感分析,邮件过滤,ai客服,机器翻译等等等等,就像这几年越来越火有成为BAT之后第四极的今日头条,为什么能够为每个人推送 ...

笔记转载于GitHub项目：https://github.com/NLP-LOVE/Introduction-NLP 9. 信息抽取 信息抽取是一个宽泛的概念，指的是从非结构化文本中提取结构化信息的一类技术。这类技术依然分为基于规则的正则匹配、有监督学习和无监督学习等各种实现方法。我们将使 ...