模型搞到這時候，就是要以不斷提升泛化力和魯棒性，當今兩個主流的方法是（1）知識蒸餾；（2）對抗學習
本節主要說對抗訓練，它是一種能夠有效提高模型魯棒性和泛化能力的訓練手段，基本原理：在原始輸入上增加對抗擾動，得到對抗樣本，再利用對抗樣本進行訓練，從而提高模型表現。
在自然語言處理中，這個任務處理的就是離散數據，所以一般會把對抗擾動添加到嵌入層中，為了最大化對抗樣本的擾動能力，使用梯度上升方式生成對抗樣本。
可以看2017年的論文《Adversarial Training Methods For Semi-Supervised Text Classification》，雖然這篇文章不是那么新，但這個思路可以作為當今訓練的一個手段，提升你模型2-3%也是不錯的。
列出一些資料供大家學習參考：
paper: https://arxiv.org/abs/1605.07725