自回归（auto-regression）机制

在每个新单词产生后，该单词就被添加在之前生成的单词序列后面，这个序列会成为模型下一步的新输入。这种机制叫做自回归（auto-regression），同时也是令 RNN 模型效果拔群的重要思想。 GPT-2，以及一些诸如 TransformerXL 和 XLNet 等后续出现的模型，本质上都是 ...