模型壓縮之蒸餾算法小結
原始文檔：https://www.yuque.com/lart/gw5mta/scisva
2019年09月07日制作
腦圖的原始文檔：http://naotu.baidu.com/file/f60fea22a9ed0ea7236ca9a70ff1b667?token=dab31b70fffa034a(kdxj)
輸出配准
Distilling the Knowledge in a Neural Network（NIPS 2014）
- 使用教師模型的soft-target
Deep Mutual Learning（CVPR 2018）
- 交替式訓練多個學生網絡互相促進
Born Again Neural Networks（ICML 2018）
- 從教師訓練學生1，以此由學生i訓練學生i+1，最后集成所有的學生模型
直接配准
擬合注意力圖
Paying More Attention to Attention: Improving the Performance of Convolutional Neural Networks via Attention Transfer（ICLR 2017）
- 配准各階段特征通經過道融合后得到的單通道注意力圖
Learning Lightweight Lane Detection CNNs by Self Attention Distillation（ICCV 2019）
- 使網絡各階段的特征通過通道融合計算注意力圖，配准早期的輸出注意力圖
擬合特征
FitNets : Hints for Thin Deep Nets（ICLR2015）
- 第一階段使用一個回歸模塊來配准部分學生網絡和部分教師網絡的輸出特征，第二階段使用soft targets
關系配准
擬合特征兩兩之間的關系
A Gift from Knowledge Distillation: Fast Optimization, Network Minimization and Transfer Learning（CVPR 2017）
- 計算相鄰階段特征個通道之間的關系進行配准
Graph-based Knowledge Distillation by Multi-head Attention Network（BMVC 2019）
- 使用non-local挖掘相鄰階段特征奇異值分解處理后的特征之間的關系
擬合輸出中蘊含的關系
Similarity-Preserving Knowledge Distillation（ICCV 2019）
- 整個batch內部樣本對應輸出特征之間的關系
Relational Knowledge Distillation（CVPR 2019）
- batch中任意二元數據對應輸出的距離關系和三元組輸出對應角度關系
Data Distillation: Towards Omni-Supervised Learning（CVPR2018）
- 教師模型與學生模型結構可同可不同，會集成不同變換后的樣本對應的教師網絡的輸出
Mean teachers are better role models: Weight-averaged consistency targets improve semi-supervised deep learning results（NIPS 2017）
- 半監督方法，教師模型使用當前學生模型的權重參數和上一周期的權重參數計算指數移動平均，一致性約束
擬合特征自身內部的關系
Knowledge Adaptation for Efficient Semantic Segmentation（CVPR 2019）
- 對教師模型使用自編碼器轉換特征，對學生模型使用適配單元來適配教師模型的特征
Structured Knowledge Distillation for Semantic Segmentation（CVPR 2019）
- 同時結合了soft targets，以及使用gan做的更高級的信息的擬合
