原文:中文NER的那些事儿2. 多任务,对抗迁移学习详解&代码实现

第一章我们简单了解了NER任务和基线模型Bert Bilstm CRF基线模型详解 amp 代码实现,这一章按解决问题的方法来划分,我们聊聊多任务学习,和对抗迁移学习是如何优化实体识别中边界模糊,垂直领域标注样本少等问题的。Github DSXiangLi ChineseNER中提供了bert bilstm crf mtl多任务, 和bert bilstm crf adv对抗迁移两个模型,支持任意 ...

2021-05-16 14:49 2 3194 推荐指数:

查看详情

中文NER的那些事儿3. SoftLexicon等词汇增强详解&代码实现

前两章我们分别介绍了NER的基线模型Bert-Bilstm-crf, 以及多任务对抗学习在解决词边界和跨领域迁移的解决方案。这一章我们就词汇增强这个中文NER的核心问题之一来看看都有哪些解决方案。以下预测结果和代码详见Github-DSXiangLi/ChineseNER。Repo里上传 ...

Sun Jul 04 17:25:00 CST 2021 8 831
中文NER的那些事儿6. NER新范式!你问我答之MRC详解&代码实现

就像Transformer带火了"XX is all you need"的论文起名大法,最近也看到了好多"Unified XX Framework for XX"的paper,毕竟谁不喜欢写好一套框架然后哪里需要哪里搬凸-凸。这一章让我们来看下如何把NER的序列标注任务转换成阅读理解任务。论文 ...

Fri Dec 31 17:46:00 CST 2021 0 1836
中文NER的那些事儿1. Bert-Bilstm-CRF基线模型详解&代码实现

这个系列我们来聊聊序列标注中的中文实体识别问题,第一章让我们从当前比较通用的基准模型Bert+Bilstm+CRF说起,看看这个模型已经解决了哪些问题还有哪些问题待解决。以下模型实现和评估脚本,详见 Github-DSXiangLi/ChineseNER。Repo里上传了在MSRA上训练 ...

Thu Apr 29 17:36:00 CST 2021 8 3649
中文NER的那些事儿5. Transformer相对位置编码&TENER代码实现

这一章我们主要关注transformer在序列标注任务上的应用,作为2017年后最热的模型结构之一,在序列标注任务上原生transformer的表现并不尽如人意,效果比bilstm还要差不少,这背后有哪些原因? 解决这些问题后在NER任务上transformer的效果如何?完整代码详见 ...

Thu Nov 18 16:24:00 CST 2021 0 1885
迁移学习多任务学习、端到端的深度学习

1 迁移学习(Transfer learning) 有的时候神经网络可以从一个任务中习得知识,并将这些知识应用到另一个独立的任务中,例如,也许你已经训练好一个神经网络,能够识别像猫这样的对象,然后使用那些知识,或者部分习得的知识去帮助您更好地阅读 x 射线扫描图,这就是所谓的迁移学习。 具体 ...

Wed Jul 28 04:34:00 CST 2021 0 121
中文NER的那些事儿4. 数据增强在NER的尝试

这一章我们不聊模型来聊聊数据,解决实际问题时90%的时间其实都是在和数据作斗争,于是无标注,弱标注,少标注,半标注对应的各类解决方案可谓是百花齐放。在第二章我们也尝试通过多目标对抗学习的方式引入额外的NER样本,或者分词边界来提高people daily小样本数据集的效果。 以下我会结合一些业界 ...

Wed Nov 03 16:56:00 CST 2021 8 2013
采用Google预训bert实现中文NER任务

本博文介绍用Google pre-training的bert(Bidirectional Encoder Representational from Transformers)做中文NER(Name Entity Recognition) 第一步: git clone https ...

Sun Dec 23 00:18:00 CST 2018 0 2972
【26】多任务学习

多任务学习(Multi-task learning) 在迁移学习中,你的步骤是串行的,你从任务A里学习只是然后迁移到任务B。在多任务学习中,你是同时开始学习的,试图让单个神经网络同时做几件事情,然后希望这里每个任务都能帮到其他所有任务。 我们来看一个例子,假设你在研发无人驾驶车辆 ...

Tue Feb 25 21:50:00 CST 2020 0 649
 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM