BERT解析及文本分类应用
目录 前言 BERT模型概览 Seq2Seq Attention Transformer encoder部分 Decoder部分 BERT Embedding ...
花费 7 ms
pytorch+huggingface实现基于bert模型的文本分类（附代码）
从RNN到BERT 一年前的这个时候，我逃课了一个星期，从澳洲飞去上海观看电竞比赛，也顺便在上海的一个公司联系了面试。当时，面试官问我对RNN的了解程度，我回答“没有了解”。但我把这个问题带回了学校，从此接触了RNN，以及它的加强版-LSTM。 时隔一年，LSTM好像已经可以退出历史舞台 ...
一文看懂Transformer内部原理（含PyTorch实现）
Transformer注解及PyTorch实现 原文：http://nlp.seas.harvard.edu/2018/04/03/attention.html 作者：A ...
[Deep Learning] GELU (Gaussian Error Linerar Units)
(转载请注明出处哦~) 参考链接： 1. 误差函数的wiki百科：https://zh.wikipedia.org/wiki/%E8%AF%AF%E5%B7%AE%E5%87%BD%E6%95%B ...
BERT论文解读
本文尽量贴合BERT的原论文，但考虑到要易于理解，所以并非逐句翻译，而是根据笔者的个人理解进行翻译，其中有一些论文没有解释清楚或者笔者未能深入理解的地方，都有放出原文，如有不当之处，请各位多多包含，并希望得到指导和纠正。 论文标题 Bert：Bidirectional ...
【中文版 | 论文原文】BERT：语言理解的深度双向变换器预训练
BERT：Pre-training of Deep Bidirectional Transformers for Language Understanding 谷歌AI语言组论文《BERT：语言理解的深度双向变换器预训练》，介绍一种新的语言 ...
用深度学习做命名实体识别(六)-BERT介绍
什么是BERT？ BERT,全称是Bidirectional Encoder Representations from Transformers。可以理解为一种以Transformers为主要框架的双向编码表征模型。所以要想理解BERT的原理，还需要先理解什么是Transformers ...
bert 预训练模型路径
BERT-Large, Uncased (Whole Word Masking): 24-layer, 1024-hidden, 16-heads, 340M parameters BERT-Large, Cased (Whole Word Masking): 24-layer ...
bert 文本分类问题
本篇文章，使用pytorch框架 微调bert bert官方文档：https://huggingface.co/transformers/model_doc/bert.html bert文件：https://github.com/huggingface/transformers 这里有一篇 ...
transformers的bert预训练模型的返回值简要描述
一般使用transformers做bert finetune时，经常会编写如下类似的代码： 在BertModel(BertPreTrainedModel)中，对返回值outputs的解释如下： 这里的pooler_output指的是输出序列最后一个隐层，即CLS ...