之前看过一条评论说Bert提出了很好的双向语言模型的预训练以及下游迁移的框架，但是它提出的各种训练方式槽点较多，或多或少都有优化的空间。这一章就训练方案的改良，我们来聊聊RoBERTa和SpanBERT给出的方案，看作者这两篇paper是一个组的作品，所以彼此之间也有一些共同点。正在施工中的代码库 ...

Bert通过双向LM处理语言理解问题，GPT则通过单向LM解决生成问题，那如果既想拥有BERT的双向理解能力，又想做生成嘞？成年人才不要做选择！这类需求，主要包括seq2seq中生成对输入有强依赖的场景，例如翻译，生成式问答，文本摘要等等 最初Transformer ...

模型蒸馏的目标主要用于模型的线上部署，解决Bert太大，推理太慢的问题。因此用一个小模型去逼近大模型的效果，实现的方式一般是Teacher-Stuent框架，先用大模型（Teacher）去对样本进行拟合，再用小模型（Student）去模仿Teacher。 为什么蒸馏本身会比直接用小模型去拟合样本 ...

Electron能干嘛 Vscode 基于Electron开发的，他是用来开发桌面软件的，可以轻易的跨平台 他的前身是atomshell，图标很丑，不用在意，一点也不像vscode也不用在 ...

使用I2P之前，首先当然是要下载和安装I2P，I2P的官方中文网站是： http://www.i2p2.de/index_zh.html 。但很不幸，国内无法访问这个网站，需要使用国外的IP地址才能访 ...

前言  最近加入到新项目组负责前端技术预研和选型，其中涉及到一个熟悉又陌生的需求——国际化＆本地化。熟悉的是之前的项目也玩过，陌生的是之前的实现仅仅停留在"有"的阶段而已。趁着这个机会好好学习整理一 ...

原文地址：https://zhuanlan.zhihu.com/p/84559048 拜读贪心科技李文哲老师的文章，我做个笔记。 摘抄记录如下： 谷歌Lab近日发布了一个新的预训练模型"ALBERT"全面在SQuAD 2.0、GLUE、RACE等任务上超越了BERT、XLNet ...

主要是对 BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding提出的BERT 清华和华为提出的ERNIE: Enhanced Language Representation ...