嵌入式平台做深度學習算法，不可不重視的4件事

周末的最后一刻還在實驗室奮戰，標題黨了一回，隨便寫點東西。

參考論文

ICLR2017的一篇文章 https://arxiv.org/abs/1605.07678v3

An Analysis of Deep Neural Network Models for Practical Applications

一、推理時間

針對不同的算法，需要考察以下兩項推理時間指標。

1. 單圖像運算推理時間。考察單幅圖像時間消耗。
2. 推理時間隨batch size大小的變化情況。考察多圖像並行處理的時間消耗。

二、內存消耗

針對不同的算法，需要考察以下兩項內存占用指標。

1. 單圖像運算內存占用量。考察單幅圖像內存占用。
2. 內存占用隨batch size變化曲線。考察多圖像並行處理的內存占用。

三、算法性能與吞吐量

算法性能評估是最重要的環節之一，同時嵌入式平台通常對實時性有需求。一定要考察不同算法或相同算法的不同簡化程度，獲得算法性能與吞吐量的變化曲線，權衡算法性能與實時性，以做出最優設計。

四、運算量

運算量與推理時間之間存在近似線性關系，針對不同的算法，一定要考察不同batch size時運算量與推理時間的關系，從而合理評估運算量與推理時間的聯系，便於針對性調整算法規模以權衡網絡實時性要求與資源限制。