論文筆記(Filter Pruning via Geometric Median for Deep Convolutional Neural Networks Acceleration)


這是CVPR 2019的一篇oral。

預備知識點:Geometric median 幾何中位數

\begin{equation}
\underset{y \in \mathbb{R}^{n}}{\arg \min } \sum_{i=1}^{m}\left\|x_{i}-y\right\|
\end{equation}

可以理解為距離給定點集歐式距離之和最近的點。這篇博客中有關於幾何中位數的介紹:https://www.cnblogs.com/ybiln/p/4175695.html。

 

文中指出之前的剪枝算法應用的前提條件有兩個:

1、權重間隔要大

2、最小值應該更靠近0

(PS: 這個地方文中還畫出了圖表分析數據的分布情況,但是數據的來源是沒有經過稀疏化處理的權重數據,我覺得沒有那么具有代表性)

 

文中最關鍵的點是利用了中位數這個概念,應該剪去的是中位數,作者知道中位數的數學表達形式,這是一個很關鍵的預備知識。

后面作者在求取中位數卷積核的一系列近似,得到了數學上能夠講得通的結果。有點詭辯的意思,有的地方不是很嚴謹。


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM