對於文獻《A comprehensive review of artifcial intelligence‑based approaches for rolling element bearing PHM: shallow and deep learning 》的 整理
滾動軸承（REB）故障占REM故障的45％至55％[13，14]，約占電動機故障的41％，其次是定子故障（37％）和轉子故障（10％）
第一節：介紹
采集信號可以包括：振動，溫度，聲發射，聲音測量，油屑，激光位移，定子電流監控，轉子速度信號監控
用於REB的故障檢測、診斷和預后的方法，有三種：
1、基於模型（物理/數學）的方法研究：無法實時（在線）更新。
2、淺層結構：（如人工神經網絡（ann）、支持向量機（SVM）等）。數據處理、手工設計的特征提取、特征選擇（例如，使用主成分分析（PCA）、線性判別分析（LDA）、獨立成分分析（ICA）等）和模型訓練。
3、深層結構：基於DL的PHM方法，方法分為（深度）卷積神經網絡（CNN）方法，（深度）遞歸神經網絡（RNN）方法，基於受限Boltzmann機器（RBM）的深度神經網絡（DNN）方法和基於自動編碼器（AE）的DNN。
第二章 滾動軸承（REB）預測和健康管理（PHM）的基礎知識
2.1 軸承失效模式
不需要嚴重的REB故障即可引起振動，噪音甚至設備突然故障。最常見的故障是疲勞，磨損，腐蝕，電蝕，塑性變形以及斷裂和開裂。
2.2 REB健康特征
通過傳感器收集信號（振動，定子電流，溫度，轉子速度等）。通常從時域，頻域和時頻域的原始信號中提取數十個指標或標准（即特征），以檢測，診斷和預測REB系統的健康狀況。需要的數據大致有60多個。頻域[45,46,47,48]中，可以找到功率譜分析，快速傅立葉變換（FFT），離散傅立葉變換（DFT），Welch方法和噪聲消除技術。 在時頻域[49,50,51]中，眾所周知的技術是短時傅立葉變換，Wigner-Ville分布，連續小波變換（CWT），離散小波變換（DWT）和 小波包變換（WPT）
第三章 REB PHM的淺層學習方法
提出了三種類別，統計方法，NN方法和組合方法。
3.1 REB PHM的統計方法
3.1.1 基於LDA
通過最大化類間距（評估不同類別的可分離性）和最小化類內距（評估每個類別內的緊密度）的比例，來減小維數，進行分類。
在軸承故障中主要應用於兩方面：1、對滾珠軸承進行分類；2、LDA還被用來作特征的降維技術；
特點：1、強大的統計理論；2、通常由於質心分類；3、強大的降維技術。
缺點及限制：1、不適合多分類（>2)；非線性表現不好；2、訓練數據過少時分錯率過高；
3.1.2 基於SVM
首先將輸入數據非線性映射到特征空間中； 在該特征空間中，構造了線性決策函數。 然后，特征空間的內積被非線性地映射到原始空間。可用來做分類和回歸？？對於分類問題，SVM找出具有最佳分離超平面，
在軸承故障中的應用：1、兩階段SVM分類，第一階段是分為正常和故障兩種；第二階段是對故障類型進行分類。另外，僅使用正常的狀態數據被用於自動軸承故障診斷；2、多層內核學習模型，結合了監督方法和降維方法；3、使用改進的蟻群優化算法（IACO）來優化SVM參數。將IACO-SVM用於軸承故障檢測；
特點：1、使用完善的模型，可以消除使用特定缺陷軸承的訓練數據的需要；2、可以處理非線性數據；3、與NN相比訓練速度快。
缺點及限制：1、不太適合多分類；2、需要優化核函數
3.1.3 基於K最近鄰的REB PHM
非參數，模型結構主要由數據決定，將歷史數據分為幾個類別，以對新數據進行分類。KNN的主要有點是學習非常簡單額日期額易於解釋。適合雜亂的訓練數據和復雜目標函數。由於是惰性算法，因此需要存儲整個訓練數據集，需要比較整個訓練樣本的距離值，耗時又耗電。
k=3時，測試數據被分為一類（綠色）；k = 6時，測試數據被分為2類（紅色和藍色）。K的最佳選擇取決於數據，如果k過大，會降低噪聲的影響，但是類別之間的界限不明顯，k過小，可獲得嚴格的邊界，但是容易受噪聲和離群值的影響（可能會有過度擬合的問題）。
在軸承故障中的應用：1、加權KNN分類器的組合；2、KNN與其他分類方法相結合以增強REB故障檢測和診斷能力，如：SVM，內核PCA，模糊C均值，二進制差分進化法。 例如：最優的KNN模型與KPCA相結合來處理軸承故障檢測和診斷，其中使用粒子群優化方法對KNN進行了優化。
特點：1、學習簡單；2、易於解釋；3、可以多分類；4、對噪聲數據和復雜目標函數可以有效分類；5、可以處理非線性數據。
缺點及限制：1、需要儲存全部的訓練數據，內存消耗大，需要計算整個訓練集的距離，時間消耗大；2、對離群點不能很好處理；3、對系數k的取值很敏感；4、可能會過擬合。
3.1.4 基於極限機（ELM）的REB PHM
以極快的學習速度提供良好的泛化能力，改善了前饋神經網絡的學習速度（FNN的速度慢是由於FNN使用基於慢梯度的學習算法進行訓練，並且使用這種學習算法對所有網絡參數進行迭代調整）。ELM使用單個隱藏層前饋神經網絡，可看為一個線性系統，該線性系統采用激活函數來生成學習的輸出。
在軸承故障中的應用：1、處理非平穩環境中的增量學習能力，並在類不平衡條件下檢測和診斷軸承故障。可在非平穩環境中的增量階段處理類不平衡數據。在線的故障數據遠少於正常數據的數量，文章[84]研究使用ELM進行REB狀態檢測，可解決在線按順序收集數據時出現的在線不平衡問題。
特點：1、以極快的學習速度提供良好的泛化性能，適用於實時REB故障診斷；2、在非平穩環境中具有增量學習的能力；3、可以處理非平穩環境中的類別不平衡問題。
缺點及限制：1、很難延申到更深層次結構，隱含層的輸入權重和偏置隨機選擇，可能造成輸出節點的不穩定。
3.1.5 REB PHM的其他統計算法
1、模糊分類器 + 基於規則學習的自動決策樹分類；2、基於監督學習的局部和非局部保留投影方法；3、學習矢量量化（LVQ)；4、半監督模糊C均值（SFCM）聚類分析；5、針對振動信號的非平穩和非高斯特性，開發了VMD-AR（變分模式分解-自回歸） + 隨機森林學習分類器診斷REB故障。VMD分解振動信號，獲得一系列固定的分量信號，為每個分量模式建立自回歸（AR）模型，被當作故障特征向量。最后使用RFL分類器進行模式識別，故障診斷；6、稀疏貝葉斯（SBL）,即RSFM，具有選擇相關樣本進行回歸或分類的能力，且具有避免過度擬合的優勢，從而在測試階段減少了系統復雜性，提高通用性；7、基於遷移學習，用奇異值分解（SVD）作為特征提取工具，主要思想可表述為“利用選擇性輔助數據來輔助目標數據分類，其中TrAdaBoost算法中涉及它們之間的權重調整以提高診斷能力。 此外，通過相似性判斷可以避免負向轉移，從而提高了准確性，並減輕了所提出方法的計算負擔。”；8、流形學習 + 小波包變換相結合來檢測弱瞬態信號。文中提出了波形特征流形，使用二進制小波包變換獲得波形特征空間，用於提取弱信號。
缺點及限制：模糊分類器需要很多數據點，需要事先知識，復雜的決策樹
3.2 基於神經網絡方法的REB PHM
主要探討的是基於人工神經網絡的淺結構構造。神經網絡的基礎知識不再重復敘述。
在軸承故障中的應用：1、使用FFT從振動信號中提取頻域特征，再訓練神經網絡來模擬振動的知識；2、使用時域特征（Irms，Iσ2，Isk和Ikur6）來代替頻域特征 + NN；3、使用小波包分解提取時頻域特征，再使用NN，且對三種ANN進行比較（多層感知器（MLP），徑向基（RBF）網絡，概率神經網絡（PNN））；4、使用匹配追蹤分析提取時頻域特征，作為前饋神經網絡（FFNN）的輸入，進行分類；5、文獻[117]提出從基於振動的退化信號中預測剩余壽命方法，以估計軸承失效時間。開發兩類模型-單軸承和聚類軸承神經網絡-來執行REB故障預測；基於NN對時域、頻域、時頻域特征進行不同組合，來處理故障檢測；
特征：1、可以處理非線性數據；2、可以處理多分類，適合故障診斷；3、使用簡單
缺點及限制：1、訓練速度慢，2、特征提取需要一定的專業知識，3、概括能力弱，4、將分類擴大幾個百分點規模增加會特別大；
3.3 基於結合方法的REB PHM
大致有基於NN方法的統計方法，具有信號處理的NN方法，具有信號處理方法的統計算法。
特點：1、合並技術可在高度非線性、非平穩運行條件下更好檢測和診斷故障；2、提供在線故障檢測和診斷技術
缺點及限制：方法很難解釋，合並兩種方法可能導致耗時和耗電問題。
淺層學習的限制：基於淺層的REB PHM技術，其性能很大程度上取決於提取的特征（之前表格中給出的時域、頻域、時頻域），特征優則性能優。SL面臨的大數據的挑戰有：1、數據方面：特征空間的高維性，多模式數據的擴散（？？？）以及數據測量之間的多重共線性；2、結構方面：數據處理，特征提取，特征選擇和模型訓練是連續進行的，不能同時優化。增加耗時且增加了復雜性。
第四章 REB PHM的深層學習算法
基於DL的PHM技術是一種通過在分層體系結構中堆疊多層來對不同模式進行分類並可以對數據背后的高級表示進行建模的方法。因為它們可以將原始數據直接作為輸入，即表示學習。他們可以從高維數據中學習復雜且高度非線性的表示形式。主要分為4種：基於CNN，基於RNN，基於RBM的DNN和基於AE的DNN方法。
4.1 基於卷積神經網絡（CNN）的方法
CNN有兩個特點：1、局部連接：圖像在子區域內具有較高的相關性，前一層的子區域通過過濾器連接到特征圖中的局部斑塊。2、共享權重：圖案可以出現在圖像的各個位置，並且通過對圖像進行卷積濾波器，可以不考慮位置提取圖案。注：在整個圖像上使用相同的濾鏡，可以大大減少參數數量。
大致包括卷積層、池化層、全連接層。
1、卷積層的目的：檢測上一層的局部相關性並生成不變的局部特征，具有濾波器的數量，濾波器的大小，步幅和零填充等超參數，激活函數線性非線性均可，例如ReLU、S型曲線。
2、池化層的目的：類似於下采樣，將這些處理好的局部特征重新進行匯聚成良好的特征，或將多個特征合並為一個特征。例如：最大池(最常用)，平均池，L2-范數池。
3、完全連接層：到上一層（即池化層）中所有激活的完全連接，將二維圖像轉換成一維向量，然后輸入softmax函數進行模型構建。
4、通過堆疊卷積層和池化層來進行特征學習 ，不用池化層的話可以考慮更大的步幅。
在軸承故障中的使用：1、從單層到三層的具有深層結構的卷積神經網絡；2、分層自適應DCNN；用於軸承故障檢測和診斷的任務比較多，但是對於預測任務沒有特別多的研究；3、CNN-SVR：用SVR代替CNN的頂層結構，整體的架構是：輸入層，三個卷積層，三個池化層，兩個完全連接的層以及一個作為頂層的支持向量回歸分類器SVR；4、寬的第一層內核（WDCNN）；5、DCNN和粒子群優化方法以及t分布隨機鄰居嵌入（t-SNE）技術；6、DCNN + 基於證據融合技術；7、CNN + 基於EMD的特征提取算法，解決振動信號中的非平穩特征；8、基於CNN的深度學習的新層次網絡。
特點：1、假設輸入為圖像；2、與NN相比，模型復雜度更低。3、有許多開放網絡可用：GoogLeNet，AlexNet，VGG和Clarifai；4、可以處理非線性數據和噪聲信號。
限制：1、需要較高的網絡復雜度（即多層）來建模高層次的訓練數據；2、高計算成本；3、泛化能力弱。
4.2 基於RNN的REB PHM方法
遞歸神經網絡（RNN）主要特征，上一時刻隱含層的輸出會作為這個時刻隱含層輸入的一個參考。
RNN在分析順序信息方面功能強大。但是，它在模型訓練的反向傳播過程中可能會面臨消失的梯度問題。因此，開發了長期短期記憶（LSTM）和門控循環單元（GRU）技術。
在軸承故障中的應用：1、動態遞歸神經網絡（DRNN）可以學習非線性系統的動力學，具有正交模糊鄰域判別分析（OFNDA）功能，可用於實時故障檢測；2、首先使用連續小波變化（CWT）對振動信號進行預處理，再使用RNN算法進行長期預測。其利用不同的統計參數來作為RNN的輸入，根據競爭性學習的原理對其進行聚類，以有效地表示軸承缺陷的狀態；3、使用離散小波變換（DWT）進行特征提取，使用正交模糊鄰域判別分析（OFNDA）技術進行特征約簡，最后使用DRNN方法預測REB狀態並對不同的故障進行分類。4、回波狀態網絡（ESN）和遞歸多層感知器（RMLP）具有RNN的特征，用於故障預測。這兩種方法可在數據量少且時間短的情況下做預測。5、最近有論文將RNN用於故障預測，針對軸承健康狀況做預測，猜測是否可用RNN來做RUL預測。
特點：1、可以處理非線性數據；2、分析順序信息的功能強大；3、一個非常深的網絡，其中當前輸出取決於所有過去的數據；4、與短期信息配合良好。
限制：1、在反向傳播中進行模型訓練時經常會遇到梯度消失的問題；2、處理長期信息時可能會遇到問題；3、培訓需要大量數據。
4.3 基於RBM的DNN方法用於REB PHM
DNN屬於人工NN的范疇，使用深度學習技術（一種逐層學習技術）構建體系結構的DNN具有處理局部最優問題的能力，可以訓練網絡參數。可以通過受限的Boltzmann機（RBM）或通過自動編碼器（AE）技術來構建深度DNN結構。
主要介紹由RBM作為基本學習模塊構建的兩種模型：深層信念網絡（DBN）和深層玻爾茲曼機（DBM）。
DBN:
RBM是對稱耦合的隨機二進制單元的網絡，由可見層和隱藏層組成，層內神經元無連接，層間神經元有連接。將多個RBM堆疊起來可構建DBN（深度信念網絡），DBN是具有隨機潛在變量（隱藏單元）和生成圖形模型的多層NN。有兩個訓練步驟：第一個是無監督的分層預訓練（圖中的RBM 1，RBM 2和RBM 3），第二個是有監督的微調（圖中的全連接層（FC））。在預訓練中，每個隱藏層都用作下一層的可見層。
DBN在軸承故障中的應用：可克服所獲取的振動信號中的噪聲和瞬態沖擊。1、基於希爾伯特包絡譜 + DBN；2、基於Weibull分布 + DBN的軸承退化預估；3、DBN + 多傳感器信息融合多特征識別軸承故障類別；4、等距特征映射（Isomap） + DBN，評估軸承健康狀況，對初期故障更加敏感；5、小波包能量特征實現了一個兩層的分層診斷網絡（HDN） + SVM，分兩個階段處理REB診斷：軸承故障類型由第一層識別，然后在第二層中識別其嚴重性等級，有效處理噪聲和干擾。
DBN在預測軸承RUL中的應用：1、DBN + 粒子濾波器；2、將DBN作為神經網絡分類算法之一，可以直接識別原始時間序列傳感器數據，而無需進行特征選擇和信號處理；3、DBN前饋神經網絡，集成了DBN的自學，特征學習能力和FNN的預測能力；4、卷積深度置信網絡（CDBN），首先，使用自動編碼器壓縮數據並減小尺寸。其次，用高斯可見單位構造了一種新穎的CDBN，以學習其代表性特征。最后，考慮使用指數移動平均線（EMA）來改善構造的深層模型的性能；5、振動圖像作為輸入 + 預訓練的DBN，可用於無監督特征工程，預訓練的DBN + 多層感知器（MLP）：故障分類器，預訓練的DBN + 自組織圖（SOM）：故障群分類；
特點：1、可通過dropout，L2正則化等正則化方法優化，可以處理局部最優問題來固定網絡參數；2、不需要太多先驗知識或專業知識；3、可以處理非線性數據；4、考慮時間序列數據的臨時一致性。
限制：1、需要大量計算，尤其是需要初始化和采樣的訓練過程中；2、優化過程耗時。
DBM：
基於RBM的DNN結構，該結構堆疊了多個RBM，形成深度玻爾茲曼機（DBM）。
DBM在軸承故障中的應用：1、提取了多個時域，頻域和時頻域特征 + DBM 做故障診斷，以常規RBM算法和PCA的深層結構為基准的DBM做壽命預測；2、基於高斯受限玻爾茲曼機（Gaussian RBM）算法的振動信號數據診斷方法， 包絡譜直接用作特征向量 + 高斯RBM算法做故障分類；3、機械狀態健康監測的深度統計特征學習（DSFL）可以通過高斯-伯努利深度玻爾茲曼機（GDBM）構建。將高斯-伯努利限制性波爾茲曼機（GRBM）進行堆疊以開發基於GDBM的DSFL方法。4、壽命預測 ：使用DBM預測未來的L步，通過預測RMS值和軸承失效的時間來預測RUL。
特點：1、可以處理非線性數據；2、處理模糊數據時具有魯棒性；3、集成自上而下的反饋
限制：1、訓練的時間復雜度高於DBN的時間；2、無法很好處理大數據，尤其是在優化網絡參數期間。
4.4 基於AE的DNN方法實現REB PHM
自編碼器屬於無監督機器學習結構，它是由兩個階段組成的前饋NN，即編碼器階段和解碼器階段，主要特征是試圖預測輸出等於輸入。在編碼器階段，將使用權重矩陣W1通過非線性映射從輸入向量中提取幾個特征以形成隱藏層。在解碼器階段，將通過采用權重矩陣W2以類似的方式預測輸出向量以重建原始輸入向量。通過訓練和堆疊AE的各個層，可以生成基於AE的DNN的各種結構，以提取表示各種工程系統的健康狀態的特征。
基於AE的DNN方法在軸承故障中的應用：1、可解決 特征提取和故障診斷和分類問題；2、基於深層AE做故障特征和智能診斷；3、深層AE + 數字小波框架（DWF） + 非線性軟閾值方法，首先對故障振動信號去噪，用SAE提取特征，作為BP的輸入；4、SDAE + dropout；5、提取時域、頻域、時頻域特征，做特征維度縮減，基於AE的DNN輸出的頂層分類器進行故障分類；6、SAE + softmax回歸方法 做多分類；7、短時傅立葉變換（STFT） + 堆疊式稀疏自動編碼器（SSAE） + softmax回歸 ，自動提取特征，並作故障分類 ；8、基於AE-ELM的診斷方法；9、使用DNN提取了在頻域和小波包變換域中提取的高級特征：首先（SDSAE）初始化DNN的權重，然后基於softmax回歸和以中位數為中心對那些權重進行微調，最后同時使用SVM和隨機森林技術對這些高級特征進行分類；10、SDAE還被用於對原始信號中的隨機噪聲進行降噪和表示故障特征，11、基於稀疏自動編碼器 + DBN的軸承故障多傳感器特征融合診斷方法；12、混合特征池 + 基於SAE的DNN ；13、降噪自編碼器（DAE）和壓縮自編碼器（CAE），用於增強特征，故障診斷。14、多通道CNN + 一堆去噪自動編碼器（MCNN-SDAE），其中MCNN用於振動信號的無監督特征學習，SDAE提取對噪聲具有魯棒性質的振動特征；15、壓縮數據采集 + 基於SSAE的深度學習。16、壓縮傳感（CS）方法允許對低於奈奎斯特頻率的信號進行采樣，探索了在不同工作條件下對REB振動信號進行高度壓縮的測量。
特點：1、可以從原始信號中提取特征並保證對所考慮故障的敏感性，避免診斷結果不完整和未知類別故障的出現；2、無監督學習；3、不需要太多先驗知識或專業知識；4、可以直接處理復雜的非線性數據。
限制：1、在傳播過程中可能會出現錯誤；2、需要預訓練階段；3、可能會有稀疏表示。
第五章：總結
1、盡管基於SL的和基於DL的REB PHM技術在檢測和診斷不同的REB故障方面均取得了良好的結果（有時它們以100％的精度達到了完美的結果），但由於缺乏研究方法，它們仍未在行業中采用。這些當代技術（即基於SL和DL的技術）將在實踐中應用。因此，學者和行業專家共同努力采用和研究這些策略將是非常有趣的。為了考慮不同的規模，應該研究不同的故障模式（即單一故障模式以及復合故障）以及不同的軸承類型，例如如今越來越多地應用於實際應用中的軸頸軸承和磁性軸承。
2、在PHM領域眾所周知，如果存在足夠准確的參考模型，則使用基於模型的技術來檢測，診斷和預測故障是最佳選擇。因此，合並REB的動態模型可以提高REB PHM方法的准確性。此外，由於故障數據非常罕見並且很難從現代工程系統中獲取，因此研究人員可以從最近開發的生成對抗網絡（GAN）技術中受益，以生成故障數據。
3、盡管基於SL的REB PHM技術和基於DL的REB PHM技術的開發都取得了重大進展，但仍然沒有公式或法則可供選擇以選擇網絡幾何或超參數的最佳值（例如，層數）以在檢測，診斷軸承故障和（最終）預測健康狀況方面獲得最佳結果。因此，考慮到大多數公司缺乏軟件，建模和專業知識來深入了解這些算法並解釋其結果的事實，提供一個標准化的平台或至少簡化這些算法應具有的深度，將能夠整合這些算法將現代技術應用到實際應用中。
4、最后，幾乎所有現有的REB PHM，無論是基於淺層學習還是深度學習技術，都只針對REB故障檢測和診斷（狀態監視）問題。很少有研究涉及REB預后，其目的是預測剩余使用壽命（RUL），目的是提供更好的基於狀況的維護（CBM）策略。特別是在滾動軸承軸承PHM領域，尤其是在任何現代工程系統中，尤其是在IoT和大數據時代的來臨之年，PHM領域的滾動軸承都將特別關注開始提高CBM的策略