深度神經網絡繁多，各自的性能指標怎樣？
實際應用中，在速度、內存、准確率等各種約束下，應該嘗試哪些模型作為backbone？
有paper對各個網絡模型進行了對比分析，形成了一個看待所有主要模型的完整視角，其分析結果可以在實踐中提供指導和幫助。
這篇博客主要整合了其中3篇文章的結論，分別是
- 201605-An Analysis of Deep Neural Network Models for Practical Applications
- 201809-Analysis of deep neural networks
- 201810-Benchmark Analysis of Representative Deep Neural Network Architectures
文章1和3是paper，2是篇博客（對1的更新）。這3篇文章對圖像識別任務（ImageNet-1k）主要的state of the art網絡進行了對比分析，采用的指標有：
- accuracy，准確率，只使用cental crop，評估Top1、Top5在ImageNet-1k上的准確率
- model complexity，模型復雜度，通過模型的可學習參數量衡量（近似為模型文件大小），反映了自由度
- computational complexity，計算復雜度，操作次數，通過floating-point operations (FLOPs)衡量，Multiply-add乘加運算為2 FLOPS
- memory usage，內存大小（空間復雜度）
- inference time，推理時間
- accuracy density，等於 accuracy / modle size，用來衡量參數的利用效率
比較重要的結論有：
- 計算復雜度高，識別准確率不一定高；參數量大，識別准確率也不一定高。——好的網絡結構設計很重要，比如ResNet系的模型。
- 不同模型的參數利用效率不同，目前來看針對移動端設計的網絡參數利用效率較高，如MobileNet、ShuffleNet、SqueezeNet等，但在Top1准確率高於80%的模型中，Inception-V4和SE-ResNeXt-101的利用率較高
- 操作次數（FLOPs）是推理時間的良好估計
- 為了滿足不同的內存和速度要求，可選的最優模型不同
其他一些更細致的結論可以參看論文，下面貼一下論文中的重要圖表。
論文An Analysis of Deep Neural Network Models for Practical Applications誕生於2016年5月，文中對當時的主要模型（從AlexNet到Inception-v4）進行了對比分析，得到了那張流傳甚廣的ball chart。后來在2018年9月，文章作者Eugenio Culurciello在博客Analysis of deep neural networks中，對圖表進行了更新，包括了Shufflenet、Mobilenet、Xception、Densenet、Squeezenet等新近模型的對比分析，更新的ball chart如下：
圖中，blob的中心為模型在圖表中的位置，blob的大小對應模型的參數量，橫軸為操作次數，縱軸為Top-1 center crop的准確率，越靠近左上角的模型計算復雜度越低、准確率越高，blob越小的模型參數越少。
論文An Analysis of Deep Neural Network Models for Practical Applications中，推理時間和操作數的關系圖表如下，不出意料的正相關
論文Benchmark Analysis of Representative Deep Neural Network Architectures中，做了更詳細的對比，如下圖所示，左上角ResNet系的模型表現強勁，右上角NASNet-A-Large的准確率最高但計算復雜度也最大：
參數利用率如下：
速度（幀率）與准確率如下，圖中的曲線為特定硬件下幀率與性能的上界，橫軸為幀率的對數，
模型參數量與內存占用大小如下，GPU上內存占用最少的也在0.6G以上，
對於每個網絡具體的推理時間和內存占用情況可以參見論文原文，有更詳細的描述。
給定硬件平台上，在不同內存和速度約束下的最優模型如下：
Benchmark Analysis of Representative Deep Neural Network Architectures的代碼基於pytorch，詳見models-comparison.pytorch。