文章链接 第0步. 什么是self-attention? 原文链接： Transformer 一篇就够了（一）： Self-attenstion 接下来，我们将要解释和实现self-atte ...

    本文学习记录一下，文本生成过程，以及过程中如何 选择/采样 下一个生成的词。首先将简单介绍一下文本生成(text generation)的完成过程；然后简单介绍下常用的采样(sampling) ...

原文链接 1. 包的导入 2. 使用 Spacy 构建分词器 首先，我们要对输入的语句做分词，这里我使用 spacy 来完成这件事，你也可以选择你喜欢的工具来做。 3. ...

本教程训练了一个 Transformer 模型 用于将葡萄牙语翻译成英语。这是一个高级示例，假定您具备文本生成（text generation）和 注意力机制（attention） 的知识。 Tra ...

背景     前一篇文章中，采用了在当前比较主流的Transformer模型，Transformer模型本质来看是基于Encoder-Decoder框架，其解码方式本质上和seq2seq模型的解码方 ...

1. 背景 使用numpy库手动实现一个前向传播过程 使用pytorch搭建一个简单的分类网络，搭配cifar-10数据集，完成的一个简单物体分类模型的搭建、训练、预测和评估。 2. ...