如何評價Dual Path Networks（DPN）？
5 個回答
CV、ML、DL
1、針對視覺識別任務的“網絡工程”一直是研究的重點，其重在設計更為高效的網絡拓撲結構，一方面考慮更好的特征表示學習，另一方面盡可能減少計算復雜度和內存消耗。比如之前的典型代表AlexNet,VGGnet,GoogLeNet，ResNet，ResNeXt，Inception-ResNet，WRNnet，DenseNet，SqueezeNet等。
2、DPN是一種結合了ResNet和DenseNet優勢的新型卷積網絡結構。深度殘差網絡通過殘差旁支通路再利用特征，但殘差通道不善於探索新特征。密集連接網絡通過密集連接通路探索新特征，但有高冗余度。
3、論文從數學表達上對ResNet、DenseNet和HORNN的關系進行了表示，經證明，當連接在層中共享時殘差網可看作密集連接網絡，當權重在各步中共享時密集連接網絡是高階RNN。在之前只是從圖示上感受各種神經網絡模型結構中各層的連接關系，並未深入。
4、就實驗結果而言，DPN 中的特征共享機制和探索新特征的靈活性被證明，DPN作為主干網絡，其在圖像分類、目標檢測、語義分割任務都達到很好的效果。
剛看了這篇論文，對細節還沒理解透，權當做個筆記。
PS.新加坡國立大學（NUS）和奇虎 360 組成的 NUS-Qihoo_DPNs (DET)在目標檢測任務取得不錯成績。而今年也是最后一屆基於ImageNet的ILSVRC挑戰賽，是不是表明分類檢測任務已經取得相對完善的表現？之后可能更側重於語義和行為關系方向？
2、DPN是一種結合了ResNet和DenseNet優勢的新型卷積網絡結構。深度殘差網絡通過殘差旁支通路再利用特征，但殘差通道不善於探索新特征。密集連接網絡通過密集連接通路探索新特征，但有高冗余度。
3、論文從數學表達上對ResNet、DenseNet和HORNN的關系進行了表示，經證明，當連接在層中共享時殘差網可看作密集連接網絡，當權重在各步中共享時密集連接網絡是高階RNN。在之前只是從圖示上感受各種神經網絡模型結構中各層的連接關系，並未深入。
4、就實驗結果而言，DPN 中的特征共享機制和探索新特征的靈活性被證明，DPN作為主干網絡，其在圖像分類、目標檢測、語義分割任務都達到很好的效果。
剛看了這篇論文，對細節還沒理解透，權當做個筆記。
PS.新加坡國立大學（NUS）和奇虎 360 組成的 NUS-Qihoo_DPNs (DET)在目標檢測任務取得不錯成績。而今年也是最后一屆基於ImageNet的ILSVRC挑戰賽，是不是表明分類檢測任務已經取得相對完善的表現？之后可能更側重於語義和行為關系方向？
深度學習，圖像算法
謝邀。現在優秀的算法很多，也有很多研究者在結合一些優秀的算法思考能不能碰撞出美麗的火花，DPN算是將DenseNet和ResNext結合得不錯的算法，以ResNext算法為主框架，引入DenseNet的思想不是空穴來風，背后的數學含義更值得思考，沒有理論支撐的話，蒙頭融合模型很多時間知識浪費時間。
技術，碼農
結合了ResNext和DenseNet
不過我在K40上測試，DPN98的訓練速度只有8.64 samples/sec；resnext101(64*4d)卻有9.31 samples/sec。
當然，顯存占用和模型大小確實是DPN98要小於resnext101(64*4d)的。
25％的計算成本在哪里體現呢？
（答：顯存小，增大batchsize，可以增加計算的有效性，加大samples/sec的值）測試是K40 DPN可以達到0.10s resnext101要0.13，DPN的模型也要小一些；提升還是有的，應該主要是訓練過程中的數據處理影響了時間。
from：https://www.zhihu.com/question/62282589