深度殘差收縮網絡:(三)網絡結構


(1)回顧一下深度殘差網絡的結構

  在下圖中,(a)-(c)分別是三種殘差模塊,(d)是深度殘差網絡的整體示意圖。BN指的是批標准化(Batch Normalization),ReLU指的是整流線性單元激活函數(Rectifier Linear Unit),Conv指的是卷積層(Convolutional layer),Identity shortcut指的是跨層的恆等映射,RBU指的是殘差模塊(Residual Building Unit),GAP是全局均值池化(Global Average Pooling),FC是全連接層(Fully Connected Layer)。

  C表示特征圖的通道數,W表示特征圖的寬度,1表示特征圖的高度始終為1(這是因為這篇文章以一維的振動信號作為輸入)。

  在Conv后的括號中,K表示卷積層中卷積核的個數。當K=C時,輸出特征圖的通道數為C。當K=2C時,輸出特征圖的通道數為2C。/2表示的是卷積核每次移動的步長為2,從而使得輸出特征圖的寬度減半。

  我們可以看到,在圖(a)中,輸入特征圖的尺寸為C×W×1,輸出特征圖的尺寸也是C×W×1,也就是說,特征圖的尺寸保持不變。在圖(b)中,輸出特征圖的尺寸減小為C×(0.5W)×1,換言之,寬度減小為原先的一半。在圖(c)中,輸出特征圖的尺寸變為2C×(0.5W)×1,即不僅寬度減小為原先的一半,而且通道數增加了一倍。

 

(2)深度殘差收縮網絡的網絡結構

  在該論文中,提出了兩種深度殘差收縮網絡(Deep Residual Shrinkage Networks,簡稱DRSN)。第一種是“通道之間共享閾值的深度殘差收縮網絡(Deep Residual Shrinkage Networks with Channel-shared Thresholds,簡稱DRSN-CS)”,第二種是“逐通道不同閾值的深度殘差收縮網絡(Deep Residual Shrinkage Networks with Channel-wise Thresholds,簡稱DRSN-CW)”。

  在下圖中,(a)表示一種改進后的殘差模塊,名為“殘差收縮模塊-通道之間共享閾值(Residual Shrinkage Building Unit with Channel-shared thresholds,簡稱RSBU-CS)”;(b)表示的是DRSN-CS的整體結構示意圖;(c)表示另一種改進后的殘差模塊,名為“殘差收縮模塊-逐通道不同閾值(Residual Shrinkage Building Unit with Channel-wise thresholds,簡稱RSBU-CW)”;(d)表示的是DRSN-CW的整體結構示意圖。

  其中,M表示的是全連接層神經元的個數。M=C表示神經元的個數與之前特征圖的通道數相等,M=1表示神經元的個數為1。Absolute表示對特征圖中的每個元素取絕對值,Average表示求特征圖內所有元素的平均值。

  可以看出,深度殘差收縮網絡的整體結構,和傳統的深度殘差網絡,沒有區別。其區別在於殘差模塊的不同。在改進后的殘差模塊中,不僅有一個軟閾值化函數作為非線性層,而且嵌入了一個子網絡,用於自動地設置軟閾值化所需要的閾值。

 

  前兩篇的內容:

  深度殘差收縮網絡:(一)背景知識 https://www.cnblogs.com/yc-9527/p/11598844.html

  深度殘差收縮網絡:(二)整體思路 https://www.cnblogs.com/yc-9527/p/11601322.html

  原文的鏈接:

  M. Zhao, S. Zhong, X. Fu, B. Tang, and M. Pecht, “Deep Residual Shrinkage Networks for Fault Diagnosis,” IEEE Transactions on Industrial Informatics, 2019, DOI: 10.1109/TII.2019.2943898

  https://ieeexplore.ieee.org/document/8850096


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM