自回归（auto-regression）机制

本文转载自查看原文 2019-11-10 22:39 375 机制/ 自回归/ NLP知识/ auto-regression

在每个新单词产生后，该单词就被添加在之前生成的单词序列后面，这个序列会成为模型下一步的新输入。这种机制叫做自回归（auto-regression），同时也是令 RNN 模型效果拔群的重要思想。

GPT-2，以及一些诸如 TransformerXL 和 XLNet 等后续出现的模型，本质上都是自回归模型

本站转载的文章为个人学习借鉴使用，本站对版权不负任何法律责任。如果侵犯了您的隐私权益，请联系本站邮箱yoyou2525@163.com删除。

猜您在找 逻辑回归(logistic regression) 树回归(Tree Regression) 线性回归 Linear Regression Softmax回归（Softmax Regression）线性回归（Linear Regression）方法介绍：回归（regression） Python 线性回归（Linear Regression) - 到底什么是 regression？泊松回归(Poisson Regression) 逻辑回归问题（Logistic Regression）线性回归——lasso回归和岭回归（ridge regression）