自然语言处理之HMM模型分词
汉语中句子以字为单位的，但语义理解仍是以词为单位，所以也就存在中文分词问题。主要的技术可以分为：规则分词、统计分词以及混合分词（规则+统计）。 基于规则的分词是一种机械分词，主要依赖于维护词典，在切 ...
原文：自然语言处理基础：HMM与CRF模型比较
一 HMM模型 .HMM模型的原理 马尔科夫假设：当前状态仅与上一个状态有关 观测独立性假设: 任意时刻的观察状态仅仅依赖于当前时刻的隐藏状态 图中Q是状态序列，O是观察序列 举例：词性标注 我爱美丽的中国 状态集合S 名词N，动词V，形容词A 状态序列Q N,V,A 转移矩阵aij ： N V A N . . . V . . . A . . . 输出观察序列O N,V,A,N 求P O P N ...
2020-04-18 18:34 0 1030 推荐指数：
相关推荐
【NLP】基于自然语言处理角度谈谈CRF(二)
基于自然语言处理角度谈谈CRF 作者：白宁超 2016年8月2日21:25:35 【摘要】：条件随机场用于序列标注，数据分割等自然语言处理中，表现出很好的效果。在中文分词、中文人名识别和歧义消解等任务中都有应用。本文源于笔者做语句识别序列标注过程中，对条件随机场的了解，逐步研究 ...
NLTK与自然语言处理基础
NLTK (Natural Language Toolkit) NTLK是著名的Python自然语言处理工具包，但是主要针对的是英文处理。NLTK配套有文档，有语料库，有书籍。 NLP领域中最常用的一个Python库 开源项目 自带分类、分词等功能 强大的社区支持 语料库 ...
自然语言处理之LDA主题模型
1、LDA概述 在机器学习领域，LDA是两个常用模型的简称：线性判别分析（Linear Discriminant Analysis）和 隐含狄利克雷分布（Latent Dirichlet Allocation）。本文的LDA仅指代Latent Dirichlet Allocation. ...
Python自然语言处理---TF-IDF模型
。 经典的信息检索模型包括布尔模型，向量模型，TF-IDF模型。布尔模型以集合的布尔运算为基础，查询效率 ...
自然语言处理----词袋模型
词袋模型是一种表征文本数据的方法,可以从文本数据中提取出特征并用向量表示.词袋模型主要包括两件事 构建词汇表 确定度量单词出现的方法 词袋模型不考虑单词在文本中出现的顺序,只考虑单词是否出现. 具体以"双城记"开头为例 收集数据 构建词汇表 对于上面四个 ...
自然语言处理（五）时下流行的生成模型
近期流行的生成模型 本次介绍近期大火的三大类生成模型，这三大类模型从三个不同角度切入，居然都能有惊人的效果。而且深入挖掘发现它们有很多相似的地方。 1. Generative Adversarial Nets 生成对抗网络(GANs)是当今最火的生成模型，从2014年 Goodfellow ...
自然语言处理--LDA主题聚类模型
LDA模型算法简介： 算法 的输入是一个文档的集合D={d1, d2, d3, ... , dn}，同时还需要聚类的类别数量m；然后会算法会将每一篇文档 di 在 所有Topic上的一个概率值p；这样每篇文档都会得到一个概率的集合di=（dp1，dp2，..., dpm）；同样的文档 ...