論文：《AutoCompress: An Automatic DNN Structured Pruning Framework for Ultra-High Compression Rates》
論文地址：https://arxiv.org/abs/1907.03141
論文的三個創新點：
1.提出混合型的結構化剪枝維度。
2.采用剪枝算法ADMM(交替乘子優化算法)對訓練過程中的正則項進行動態更新。
3.利用了增強型引導啟發式搜索的方式進行行為抽樣。
結構化剪枝包括三種剪枝維度，輸出通道剪枝（filter pruning）、輸入通道剪枝（channel pruning）、輸出通道形狀剪枝（filter shape/column pruning）。如上圖所示可以更加理解剪枝的不同類型。
輸出通道剪枝（filter pruning）：直接刪除一個卷積核。
輸入通道剪枝（channel pruning）：刪除每個卷積核對應的輸入通道。
輸出通道形狀剪枝（filter shape/column pruning）：刪除每個卷積核上相同位置的權重。
主要想要理解各個剪枝過程。