# 好久没更新博客了，有时候随手在本上写写，或者Evernote上记记，零零散散的笔记带来零零散散的记忆o(╥﹏╥)o。。还是整理到博客上比较有整体性，也方便查阅~ 自google在2018年10月 ...

自然语言处理中的语言模型预训练方法（ELMo、GPT和BERT） 最近，在自然语言处理（NLP）领域中，使用语言模型预训练方法在多项NLP任务上都获得了不错的提升，广泛受到了各界的关注。就此，我将 ...

1. 语言模型 2. Attention Is All You Need（Transformer）算法原理解析 3. ELMo算法原理解析 4. OpenAI GPT算法原理解析 5. BER ...

1. 语言模型 2. Attention Is All You Need（Transformer）算法原理解析 3. ELMo算法原理解析 4. OpenAI GPT算法原理解析 5. BER ...

笔记摘抄 1. transformer资料 transformers（以前称为pytorch-transformers和pytorch-pretrained-bert） 提供用于自然语言 ...

  在我们进行事件抽取的时候，我们需要触发词来确定是否属于某个特定的事件类型，比如我们以政治上的出访类事件为例，这类事件往往会出现“访问”这个词语，但是仅仅通过“访问”这个触发词来判断是否属于出访类事 ...

# 参考 https://blog.csdn.net/luoyexuge/article/details/84939755 小做改动 需要： 　　github上下载bert的代码：https:// ...

原来你是这样的BERT，i了i了！ —— 超详细BERT介绍（一）BERT主模型的结构及其组件 BERT（Bidirectional Encoder Representations from Tra ...

笔记摘抄 语料链接：https://pan.baidu.com/s/1YxGGYmeByuAlRdAVov_ZLg 提取码：tzao neg.txt和pos.txt各5000条酒店评论，每条评论一 ...

使用BERT获取中文词向量 ...