借助BERT论文, 梳理下自然语言处理当前常见的任务. NLP任务 根据判断主题的级别, 将所有的NLP任务分为两种类型: token-level task: token级别的任务. 如完形填空(Cloze), 预测句子中某个位置的单词; 或者实体识别; 或是词性标注; SQuAD ...

经常有人问我：老大让我完成xxx，我不会，他也不会，但是很着急。这个任务怎么实现啊？这个任务需要什么技术啊？这种情况我遇到有100+次了，而且很多时候问得问题跟具体需要的技术简直是驴唇不对马嘴。所以今天整理了常见的30种NLP任务非常适合练手的Project，我觉得有俩作用：研究+练手，加深理解 ...

NLP任务 前处理任务 前处理任务的结果可作为下游任务输入的额外特征。 POSTa(词性标注) 往模型中输入句子，对每一个token进行词性的识别。 识别出的词性可以用于下游任务。 Word Segmentation(分词) 对于英文，显然句子有天然的分词。所以分词通常是针对 ...

1.分词 Word Segmentationchqiwang/convseg ，基于CNN做中文分词，提供数据和代码。 2.词预测 Word PredictionKyubyong/ ...

Language Processing，NLP）需要做的事情。 在NLP中，常见的任务包括：自动摘要 ...

一、摘要的主要分类 文本摘要：从数据上来看，分为利用无监督数据（自动摘要）和有监督数据两种方法​ 文本摘要：从获取方法上看，分为抽取式摘要（从原文中抽取多个句子组成概要）和生成式摘要（先是自然语言 ...

NLP的四大类任务 序列标注：分词，词性标注，命名实体识别 分类任务：文本分类，情感计算 句子关系判断：entailment（分类为蕴含或矛盾），相似度计算 生成式任务：机器翻译，问答系统，文本摘要 ...

layout: blog title: Bert系列伴生的新分词器 date: 2020-04-29 09:31:52 tags: 5 categories: nlp mathjax: true typora-root-url: .. 本博客选自https ...