深度殘差收縮網絡（Deep Residual Shrinkage Network）是深度殘差學習（Deep Residual Network, ResNet）的一種改進，發表在IEEE Transactions on Industrial Informatics上，面向的是數據包含噪聲的情況。
簡單地講，深度殘差收縮網絡就是，將軟閾值化作為可訓練的模塊，嵌入到ResNet之中。接下來結合自己的理解，解讀一下相關的背景知識。
（1）噪聲的含義
如上所述，深度殘差收縮網絡面向的是數據包含噪聲的情況。事實上，這里的“噪聲”，可以有更寬泛的解釋。“噪聲”不僅可以指數據獲取過程中所摻雜的噪聲，而且可以指“與當前任務無關的信息”。
比如說，我們在訓練一個貓狗分類器的時候，如果圖像中存在老鼠，那么老鼠就可以理解為一種噪聲。
或者說，在故障診斷領域，對於一個復雜的機械系統，可能存在很多個激振源。許多個軸、軸承、齒輪和聯軸器等的旋轉或嚙合都可能會激發振動。這些振動成分都混雜在所采集的振動信號中。如果我們的目的是檢測某一零件（比如某一個齒輪）是否發生故障，則其他零件所激發的振動，在一定程度上，都可以理解為噪聲。
從這個角度來講的話，深度殘差收縮網絡可能有着更寬廣的應用場景。
（2）軟閾值化（soft thresholding）
軟閾值化是信號降噪里一個非常常見的概念，它指的是將一段信號的值，朝着“零”的方向進行收縮。比如，在下面的這張圖片里，橫軸x表示輸入，縱軸y表示輸出。那么，相較於輸入信號，輸出信號就朝着“零”發生了收縮。
這種降噪方式有一個前提。那就是，接近於零的部分是噪聲，或者說，是不重要的，可以被剔除掉。然而，事實上，對於很多信號，接近於零的部分，可能包含着許多有用的信息，不能直接被剔除掉。所以，現在通常不會直接對原始信號進行軟閾值化處理。
針對上面這個問題，傳統的思路是將原始信號進行某種變換，將原始信號轉換成其他形式的表征。理想情況下，在這種轉換后的表征里，接近於零的部分，是無用的噪聲。在這個時候，再采用軟閾值化對轉換后的表征進行處理。最后，將軟閾值化處理之后的表征，重構回去，獲得降噪后的信號。
舉個例子，小波分析經常作為信號的變換方法。一種經典的小波降噪流程是“小波分解→軟閾值化→小波重構”。通過這種方式，就可以實現信號的降噪。
然而，這種信號降噪方式有一些懸而未決的問題。首先，在小波分析中，如何構建最適合當前信號的小波函數，或者說濾波器、局部濾波算子，一直是一個很困難的問題。換句話說，在小波分解之后，可以獲得一個信號表征（一組小波系數）；在這個信號表征里面，接近於零的部分，未必就是噪聲，可能還包含着許多有用的信息；對這個表征進行軟閾值化，可能會將有用信息給一並刪除了。其次，如何設置軟閾值化的閾值，也是一個很困難的問題。
（3）深度殘差學習（ResNet）
相較於傳統的小波分析，深度學習算法（尤其是卷積神經網絡）可以自動地學習所需要的濾波器，在一定程度上解決了構建合適濾波器的問題。深度殘差網絡ResNet是一種改進的卷積神經網絡，通過引入跨層連接，降低了模型訓練的難度，見下圖：
在跨層連接的作用下，網絡參數的訓練難度大幅降低，從而更容易訓練出效果很好的深度學習模型，因此ResNet成為了一種非常知名的方法。深度殘差收縮網絡就是ResNet的一種改進。
到這里就介紹了一些相關的背景知識，后續再介紹深度殘差收縮網絡的細節。
附上原文的鏈接：
M. Zhao, S. Zhong, X. Fu, B. Tang, and M. Pecht, “Deep Residual Shrinkage Networks for Fault Diagnosis,” IEEE Transactions on Industrial Informatics, 2019, DOI: 10.1109/TII.2019.2943898
https://ieeexplore.ieee.org/document/8850096