NLP之CRF应用篇（序列标注任务）
和Bigram模板分别生成CRF的状态特征函数和转移特征函数。其中是标签，x是观测序列，i是当前节点位置。每个函 ...
相关推荐
文本生成任务的评价方法
文本生成任务的评价方法 目录 文本生成任务的评价方法 1.BLEU 2. ROUGE 2.1 ROUGE-N （将BLEU的精确率优化为召回率） 2.2 ROUGE-L （将BLEU的n-gram优化为公共子序列 ...
NLP | 序列标注 总结
简介 序列标注（Sequence Tagging）是一个比较简单的NLP任务，但也可以称作是最基础的任务。序列标注的涵盖范围是非常广泛的，可用于解决一系列对字符进行分类的问题，如分词、词性标注、命名实体识别、关系抽取等等。 有很多开源的中文分词工具，jieba、pkuseg ...
LSTM文本生成(二)
一、概述 1.主题：整个文本将基于《安娜卡列妮娜》这本书的英文文本作为LSTM模型的训练数据，输入为单个字符，通过学习整个英文文档的字符（包括字母和标点符号等）来进行文本生成。 2.单词层级和字符层级的区别： 1、基于字符的语言模型的好处在于处理任何单词，标点和其他文档结构时仅需要很小 ...
实现nlp文本生成中的beam search解码器
自然语言处理任务，比如caption generation（图片描述文本生成）、机器翻译中，都需要进行词或者字符序列的生成。常见于seq2seq模型或者RNNLM模型中。 这篇博文主要介绍文本生成解码过程中用的greedy search 和beam search算法实现。其中，greedy ...
NLP的四大类任务
NLP的四大类任务 序列标注：分词，词性标注，命名实体识别 分类任务：文本分类，情感计算 句子关系判断：entailment（分类为蕴含或矛盾），相似度计算 生成式任务：机器翻译，问答系统，文本摘要 ...
自己动手实现深度学习框架-8 RNN文本分类和文本生成模型
代码仓库: https://github.com/brandonlyg/cute-dl 目标 上阶段cute-dl已经可以构建基础的RNN模型。但对文本相模型的支持不够友好, 这个阶段的目标是, 让框架能够友好地支持文本分类和本文生成任务。具体包括: 添加嵌入层 ...
NLP文本分类
引言 其实最近挺纠结的，有一点点焦虑，因为自己一直都期望往自然语言处理的方向发展，梦想成为一名NLP算法工程师，也正是我喜欢的事，而不是为了生存而工作。我觉得这也是我这辈子为数不多的剩下的可以自己去追求自己喜欢的东西的机会了。然而现实很残酷，大部分的公司算法工程师一般都是名牌大学，硕士起招，如同 ...