TCN

論文: https://arxiv.org/pdf/1803.01271.pdf
github：https://github.com/locuslab/TCN

轉自：http://nooverfit.com/wp/時間卷積網絡tcn-總結：時序模型不再是遞歸網絡rnn/

https://blog.csdn.net/Kuo_Jun_Lin/article/details/80602776

https://zhuanlan.zhihu.com/p/41987775

整體結構（來自論文）圖1：

TCN的卷積和普通1D卷積最大的不同就是用了擴張卷積（dilated convolutions），越到上層，卷積窗口越大，而卷積窗口中的“空孔”越多。

核心關鍵

時序問題有兩個關鍵要求：

1. 網絡輸入x0, . . . , xT 的時序數據，我們希望輸出也是一樣大小的 y0, . . . , yT 的預測。擴張卷積可以做到每一層隱層都和輸入序列大小一樣，並且計算量降低，感受野足夠大。

2. 時序預測要求對時刻t 的預測yt只能通過t時刻之前的輸入x1到xt-1來判別（像隱馬爾科夫鏈）。這在CNN里面通過因果卷積（causal convolutions）實現，可通過圖1看出。本質上，David 9認為就是通過限制卷積窗口滑動做到的。

然后，TCN還為了提高准確率，還加入了殘差卷積的跳層連接，以及1×1的卷積操作：

殘差卷積無需多講，把下層特征拿到高層增強准確率。1×1卷積是為了降維。

備注：
1x1卷積核的作用： https://zhuanlan.zhihu.com/p/40050371
Weight Normalization： https://zhuanlan.zhihu.com/p/55102378