语言处理技术，就是对电脑中的文本，进行语义分析。例如从一个很长的地址中，智能地取出省市区县、联系方式等。 上述程序运行结果是： 以上是VBA的XMLHttp实现的。下面用API函数库中Baidu类实现： 效果一样 ...

前期准备 使用文本向量化的前提是要对文章进行分词，分词可以参考前一篇文章。然后将分好的词进行向量化处理，以便计算机能够识别文本。常见的文本向量化技术有词频统计技术、TF-IDF技术等。 词频统计技术 词频统计技术是很直观的，文本被分词之后。 用每一个词作为维度key，有单词对应的位置 ...

背景 最近接触到了一些NLP方面的东西，感觉还蛮有意思的，本文写一下分词技术。分词是自然语言处理的基础，如果不采用恰当的分词技术，直接将一个一个汉字输入，不仅时间复杂度会非常高，而且准确度不行。比如：“东北大学”若直接拆分，会和“北大”相关联，但其实没有意义。 有没有英文分词？ 西方文字天然 ...

探讨自然语言处理技术学习与思考 ( 白宁超 2018年8月23日10:46:39 ) 本节导读 概述 随着人工智能的快速发展，自然语言处理和机器学习应用愈加广泛。但是对于初学者入门还是有一定难度，对于该领域整体概况不能明晰。本章主要从发展历程、研究 ...

中文分词技术 中文自动分词可主要归纳为“规则分词”“统计分词”和“混合分词”，规则分词主要是通过人工设立词库，按照一定方式进行匹配切分，实现简单高效，但对新词很难进行处理，统计分词能够较好应对新词发现能特殊场景，但太过于依赖语料的质量，因此实践中多是采用两者的结合，即混合分词。 1.1 规则 ...

学习机器学习、深度学习、数据分析，目的还是应用，自然语言理解和处理是一个很重要的研究方向。 应该说神经网络用于自然语言处理这类的书籍并不多，或许是因为自己基础的问题? 在学习过程中，看了《基于深度学习的自然语言处理》电子书和《Python自然语言处理实战核心技术与算法》电子 ...

比长文本简单，对于计算机而言，更容易理解和分析，所以，分词往往是自然语言处理的第一步。 ...

第一步：获取语料 1、已有语料 2、网上下载、抓取语料 第二步：语料预处理 1、语料清洗 2、分词 3、词性标注 4、去停用词 三、特征工程 1、词袋模型（BoW） 2、词向量 第四步：特征选择 ...