論文筆記——Channel Pruning for Accelerating Very Deep Neural Networks

• 論文地址：https://arxiv.org/abs/1707.06168
• 代碼地址：https://github.com/yihui-he/channel-pruning

采用方法

這篇文章主要講訴了采用裁剪信道(channel pruning)的方法實現深度網絡的加速。主要方法有兩點：
（1）LASSO regression based channel selection. （2）least square reconstruction.

實現效果

VGG-16實現5x的加速，0.3%誤差增加(深度卷積網絡,13個CNN)
ResNet實現2x加速，1.4%誤差增加(殘差網絡)
Xception實現2x加速，1.0%誤差增加(殘差網絡)
本文還結合了spatial, channel factorization and channel pruning三種方法實現更好的效果。
網絡大小壓縮沒有說。

CNN加速方法

1. optimized implementation(e.g. FFT) 就是實現更快的計算方法
2. quantization(e.g. BinaryNet) 就是將網絡中的浮點數二值化
3. structed simplification 就是將網絡結果變簡單

structed simplification 方法

1. tensor factorization 就是將矩陣分解
2. sparse connection 就是讓網絡連接變得稀疏
3. channel pruning 信道裁剪

channel pruning 方法

1. first k selects the first k channels. 這種方法太簡單粗暴了。
2. max response 也就是選擇權值和最大的信道，認為擁有的信息最多。