Adversarial Sparse Transformer for Time Series Forecasting
2021-01-01 21:26:11
本文將 transformer 模型 和 GAN 結合在一起，進行時序信息的預測。與常規的 transformer 模型不同，本文采用的是 sparse transformer，但是貌似是借鑒了其他人的工作 [
α-entmax]
Mathieu Blondel, André FT Martins, and Vlad Niculae. Learning classififiers with fenchel-young losses: Generalized entropies, margins, and algorithms. arXiv preprint arXiv:1805.09717, 2018.
Ben Peters, Vlad Niculae, and André FT Martins. Sparse sequence-to-sequence models. arXiv preprint arXiv:1905.05702, 2019. 作者給出了這兩個參考文獻。。。
為了更好地進行訓練，作者引入了對抗損失函數，將 transformer 模型嵌入到 GAN 的框架中，進行對抗訓練。整體算法框架圖如下所示：
實驗結果：
