論文地址：https://arxiv.org/abs/1610.09650
主要思想
這篇文章就是用teacher-student模型，用一個teacher模型來訓練一個student模型，同時對teacher模型的輸出結果加以噪聲，然后來模擬多個teacher，這也是一種正則化的方法。
1. teacher輸出的結果加噪聲以后，然后和student的輸出結果計算L2 loss，作為student網絡的反饋。
2. 加噪聲
3. 計算L2 loss
4. 反向傳播，更新參數
5. 算法過程
- 注意：加噪聲的時候對輸入進行了采樣，不然直接全加也太暴力了吧。
等價於基於噪聲的回歸
實驗結果
1. 對比了不同噪聲比例對結果的影響，其實就是調參的過程。
2. 比較了學生加噪聲和教師加噪聲，結果是教師加噪聲效果更加明顯。
3. 比較了教師加噪聲和一般的正則化操作(dropout)
總結
本文想法比較簡單，就是給teacher輸出結果加噪聲，美曰其名，learn from multi teachers.