论文：《AutoCompress: An Automatic DNN Structured Pruning Framework for Ultra-High Compression Rates》
论文地址：https://arxiv.org/abs/1907.03141
论文的三个创新点：
1.提出混合型的结构化剪枝维度。
2.采用剪枝算法ADMM(交替乘子优化算法)对训练过程中的正则项进行动态更新。
3.利用了增强型引导启发式搜索的方式进行行为抽样。
结构化剪枝包括三种剪枝维度，输出通道剪枝（filter pruning）、输入通道剪枝（channel pruning）、输出通道形状剪枝（filter shape/column pruning）。如上图所示可以更加理解剪枝的不同类型。
输出通道剪枝（filter pruning）：直接删除一个卷积核。
输入通道剪枝（channel pruning）：删除每个卷积核对应的输入通道。
输出通道形状剪枝（filter shape/column pruning）：删除每个卷积核上相同位置的权重。
主要想要理解各个剪枝过程。