什么是BERT? BERT,全称是Bidirectional Encoder Representations from Transformers。可以理解为一种以Transformers为主要框架的 ...
还记得之前介绍过的命名实体识别系列文章吗,可以从句子中提取出人名 地址 公司等实体字段,当时只是简单提到了BERT CRF模型,BERT已经在上一篇文章中介绍过了,本文将对CRF做一个基本的介绍。本文尽可能不涉及复杂晦涩的数学公式,目的只是快速了解CRF的基本概念以及其在命名实体识别等自然语言处理领域的作用。 什么是CRF CRF,全称 Conditional Random Fields,中文名 ...
2019-10-17 12:38 0 1255 推荐指数:
什么是BERT? BERT,全称是Bidirectional Encoder Representations from Transformers。可以理解为一种以Transformers为主要框架的 ...
用CRF做命名实体识别(一) 用CRF做命名实体识别(三) 一. 摘要 本文是对上文用CRF做命名实体识别(一)做一次升级。多添加了5个特征(分别是词性,词语边界,人名,地名,组织名指示词),另外还修改了特征模板,最终训练了11个小时,F1值为0.98。(这里面有错误,计算F1值不应该 ...
基于CRF做命名实体识别系列 用CRF做命名实体识别(一) 用CRF做命名实体识别(二) 用CRF做命名实体识别(三) 摘要 1. 之前用CRF做了命名实体识别,效果还可以,最高达到0.9293,当然这是自己用sklearn写的计算F1值,后来用conlleval.pl对CRF测试结果进行 ...
通过本文你将了解如何训练一个人名、地址、组织、公司、产品、时间,共6个实体的命名实体识别模型。 训练建议在GPU上进行,如果你没有GPU训练环境,或者你想要一个训练好的模型,可以加作者微信(jiabao512859468),有任何相关技术问题,都欢迎和作者探讨O(∩_∩)O ...
通过本文,你将了解如何基于训练好的模型,来编写一个rest风格的命名实体提取接口,传入一个句子,接口会提取出句子中的人名、地址、组织、公司、产品、时间信息并返回。 核心模块entity_extractor.py 关键函数 完整代码 编写rest风格的接口 我们将采用 ...
本篇文章假设你已有lstm和crf的基础。 BiLSTM+softmax lstm也可以做序列标注问题。如下图所示: 双向lstm后接一个softmax层,输出各个label的概率。那为何还要加一个crf层呢? 我的理解是softmax层的输出是相互独立的,即虽然BiLSTM学习到了 ...