AD分類論文研讀（1）

轉移性學習對阿爾茨海默病分類的研究

原文鏈接
摘要
將cv用於研究需要大量的訓練圖片，同時需要對深層網絡的體系結構進行仔細優化。該研究嘗試用轉移學習來解決這些問題，使用從大基准數據集組成的自然圖像得到的預訓練權重來初始化最先進的VGG和Inception結構，使用少量的MRI圖像來重新訓練全連接層。采用圖像熵選擇最翔實的切片訓練，通過對OASIS MRI數據集的實驗，他們發現，在訓練規模比現有技術小近10倍的情況下，他們的性能與現有的基於深層學習的方法相當，甚至更好
介紹
AD的早期診斷可以通過機器學習自動分析MRI圖像來實現。從頭開始訓練一個網絡需要大量的資源並且可能結果還不夠好，這時候可以選擇使用微調一個深度網絡來進行轉移學習而不是重新訓練的方法可能會更好。該研究使用VGG16和Inception兩個流行的CNN架構來進行轉移學習。結果表明，盡管架構是在不同的領域進行的訓練，但是當智能地選擇訓練數據時，預訓練權值對AD診斷仍然具有很好的泛化能力
由於研究的目標是在小訓練集上測試轉移學習的魯棒性，因此僅僅隨機選擇訓練數據可能無法為其提供表示MRI足夠結構變化的數據集。所以，他們選擇通過圖像熵提供最大信息量的訓練數據。結果表明，通過智能訓練選擇和轉移學習，可以達到與從無到有以最小參數優化訓練深層網絡相當甚至更好的性能
方法
CNN的核心是從輸入圖像中抽取特征的卷積層，卷積層中的每個節點與空間連接的神經元的小子集相連，為了減少計算的復雜性，一個最大池化層會緊隨着卷積層，多對卷積層和池化層之后會跟着一個全連接層，全連接層學習由卷積層抽取出來的特征的非線性關系，最后是一個soft-max層，它將輸出歸一化到期望的水准
因為小的數據集可能會使損失函數陷入local minima，該研究使用轉移性學習的方法來盡量規避這種情況，即使用大量相同或不同領域的數據來初始化網絡，僅使用訓練數據來重新訓練最后的全連接層
研究中使用兩個流行的架構：
VGG16

VGG16是一個16層的網絡，它是第一個將網絡深度拓展到16-19層的使用3*3卷積核的架構

Inception

Inception架構是Google構建的深度學習架構的變體，本文章中使用Inception V4，Inception的突破遭遇實現了通過改變卷積層的連接方式可以學習非線性函數。同時取代全連接，使用全局平均池化，之后連接一個用於分類的softmax層，這樣我們使用的參數就變得更少，以此可以降低過耦合

最翔實的數據選擇
在之前的方法中，數據的選擇都是隨機的，而此研究提取最翔實的切片來訓練網絡，使用計算每個切片的圖像熵的方法來進行選取，熵的計算方法

\[H = -\sum_1^M p_i log(p_i) \]

其中，M為概率為p₁,p₂...,p_M的樣例的集合
熵提供了切片中的變化的度量。因此，如果按熵降序對切片進行排序，熵值最高的切片可以被認為是信息量最大的圖像，並且使用這些圖像進行訓練將提供更好的魯棒性

實驗
在實驗中數據集合來自從416個主題中隨機選擇的200個主題，其中AD和HC組各一半，然后從每個三維掃描的軸向平面抽取信息熵最大的32張圖片來組成6400張訓練圖片
VGG16的輸入為 150 * 150，Inception V4輸入為 299 * 299
5折交叉驗證在此被使用，同時將數據按8：2分為訓練和測試
預訓練網絡權重來自ImageNet，對於VGG16，使用batch_size=40，epochs=100，優化器使用RMSProp；對於Inception V4使用batch_size=8，epochs=100，隨機梯度下降學習率圍毆0.0001優化的設置

結果

Model	Avg.ACC.(st.dev)(%)
VGG16(from scratch)	74.12(1.55)
VGG16(transfer learning)	92.3(2.42)
Inception V4(transfer learning)	96.25(1.2)

總結
該研究特點是使用預訓練模型，同時使用圖片的熵來挑選圖片進行訓練。
作者認為該研究的優勢是僅使用6400張的小數據集就達到了一個比較可人的精度，但是此6400張圖片是基於所有的200個主題的圖片進行挑選的，這種數據數量的算法是否存在問題

綜合多種方法改善阿爾茨海默病分類

原文鏈接
摘要
皮層灰質體積、皮層厚度和皮層下體積已成功地用於阿爾茨海默病的診斷，但是目前這些解剖MRI措施主要單獨使用。為了進一步提高AD的診斷水平，該研究提出了一種基於多尺度的MRI圖像ROI特征和區域間特征提取方法，用於區分AD、MCI（包括MCIc和MCIC）和健康對照（HC）

首先，根據每位受試者的六種不同的解剖測量（即CGMV、CT、CSA、CC、CFI和SV）和自動解剖標記（AAL）圖譜構建六個單獨的網絡。然后，針對每個網絡，提取所有節點（ROI）特征和邊緣（區域間）特征，分別表示為節點特征集和邊緣特征集，可以從六個不同的解剖測量中得到六個節點特征集和六個邊緣特征集。然后，對特征集中的每個特征按降序進行F分排序，並將每個特征集的最高排序特征應用於MKBoost算法，以獲得最佳的分類精度
在獲得最佳分類精度后，可以得到每個節點或邊緣特征集的最優特征子集和相應的分類器。隨后，為了研究僅含節點特征的分類性能，提出了一個加權多核學習（wMKL）框架來組合這六個最優節點特征子集，並得到一個組合的分類器來執行AD分類。類似地，可以獲得僅具有邊緣特征的分類性能。最后，我們結合六個最優節點特征子集和六個最優邊緣特征子集進一步提高了分類性能

介紹
皮質灰質體積（CGMV）、皮質厚度（CT）、皮質表面積（CSA）、皮質曲率（CC）、皮質折疊指數（CFI）、皮質下體積（SV）
MRI分為兩大類：結構（解剖）成像和功能成像。結構性MRI由於其在臨床上容易獲得，因此受到研究者的廣泛關注。在該研究中使用了T1加權MRI圖像
基於區域的分析方法已經成為自動AD診斷的最流行的方法之一。基於區域的分析方法的關鍵是興趣區域（ROI）的確定。一旦確定了大腦中的ROI，就可以利用它們來識別AD、MCI和健康對照(HC)人群之間的解剖學差異，並隨后確定AD相關特征以輔助診斷、預后以及MCI進展和治療效果的評估。根據ROI的數量，基於區域的分析方法可以分為兩類：單ROI方法和多ROI方法。不同的研究學者將大腦划分為不同個數的ROI。在該研究中不僅考慮大腦中的每個ROI，而且考慮兩個ROI之間的相關性，結合多種解剖學MRI檢查方法診斷AD
核方法，如支持向量機（SVM），已經在許多數據分析應用中得到了廣泛的應用。由於單核方法可能不足以有效處理實際應用中的不同模式和復雜決策邊界，因此提出了多核學習(MKL)方法，以獲得更好的能力和更大的靈活性來解決現實世界的挑戰。MKL可以集成不同的特征空間源，從而為數據融合提供通用框架
在本文中，提出了一種新的AD診斷方法，通過MKL結合多種措施。使用的解剖措施包括CGMV，CT，CSA，CC，CFI和SV

首先，基於六種不同的解剖測量和針對每個受試者的自動解剖標記（AAL）圖譜構建六個單獨的網絡。其它步驟如摘要所述

圖像描述與預處理
所有T1加權MRI圖像使用Freesurfer圖像分析套件進行預處理。圖像預處理主要包括運動校正、強度歸一化、顱骨剝離和小腦切除

腦區測量
測量皮質區
本研究整合了CGMV、CT、CSA、CC和CFI等皮層區域的多種測量方法
為了計算皮質區域的CGMV、CT、CSA、CC和CFI，使用Freesurfer軟件，對T1加權MRI圖像的皮質表面進行解剖學重建。在解剖重建之前，所有T1加權MRI圖像都登記到AAL地圖集

在解剖重建過程中，利用基於局部強度值和幾何拓撲約束的變形算法生成表示白質表面邊界和軟質表面邊界的三角形網格。每個三角形網格由每個半球的100000個頂點組成。重復重建過程，直到獲得白質和軟質表面的精確表示。重建的表面被用來計算這些測量。白質和軟腦膜表面之間的體積計算為CGMV，計算白質與軟膜表面之間兩個最短距離的平均值作為CT。溫克勒等人認為每個頂點的CSA等於其周圍三角形的平均值。因此，三角形的面積之和可以用來表示ROI的CSA。在這些方向上密切圓的半徑長度的倒數用作在這些方向上的頂點的曲率，因此，曲面的兩個主要方向的曲率值的平均值可以用來表示ROI的CC。CFI，也稱為局部回轉指數（lGI），是由Sch.等人先前提出的基於表面的3D回轉技術測量的。在皮層表面上給定體素處的lGI被計算為折疊的皮層表面上半徑為25mm的圓形ROI的表面與對應的皮層外周表面之間的比率。皮層折疊的數量（lGI）在每個軟腦膜表面位置反映了皮層埋藏在溝褶內周圍區域的數量。LGI的值越大，在溝狀褶皺中埋藏的表面越多

AAL地圖集

皮質下區測量
SV已成功地用於區分AD患者與HCS（47）。在本研究中，使用FSL中的FIRST計算皮層下結構的體積。在第一階段，使用非線性MNI—152模板來配准所有的全腦圖像。此外，為了實現更准確的配准，在先前結果的基礎上使用皮層下掩模(來自表2所示的AAL圖譜)。在第二階段，使用可變形網格對皮層下結構的形狀進行建模，並且使用結構分割方法將邊界體素分類為皮層下結構的一部分。在第三階段，通過FSL獲得的顱內容積校正皮質下容積

獨立網絡的構建
本研究中構建了兩個獨立網絡：皮層網絡和皮層下網絡
網絡通常被定義為

\[G = (V,E) \]

其中，V、E分別頂點的集合和邊的集合

皮層網絡
根據上述的五種皮層區域測度，可以構建五種個體網絡

\[G_{CGMV},G_{CT},G_{CSV},G_{CC},G_{CFI} \]

對於G_CGMV，節點是由AAL圖集定義的皮質區域，邊緣是一對節點之間CGMV的某種相似性。在這項研究中，一對節點之間的CGMV的相似性計算如下

\[s(a,b) = \frac{1}{d(a,b) + 1} \]

其中d(a,b)定義為 ROIs a和b的差異

\[d(a,b) = |t(a) - t(b)| \]

其中t(a),t(b)分別為ROIs a和b的CGMV
其它四個網絡的構造方法與此相似，這五個單獨的皮層網絡共享同一組皮層區域，並使用相同的方法計算一對節點之間的相似性，只是它們對於t(.)使用不同的定義，對於G_CT,G_CSA,G_CC,G_CFI分別使用CT,CSA,CC和CFI的皮質區
對於皮層下網絡，我們僅基於上述皮層下區域的度量來構建單個網絡，表示為G_SV。G_SV的構造方法類似於上述五個單獨的網絡。他們使用相同的方法來計算一對節點之間的相似性。它們的差異主要表現在G_SV的節點集合是皮層下區域而不是皮層區域，G_SV中的t(.)代表皮層下區域的SV
兩個ROIs之間的差異越小，它們的相關性越大。如果兩個ROIs具有相同的值，它們具有最強的相似性，其相關性等於1
將提取每個網絡的所有節點和邊緣作為AD分類的原始特征。基於這六個獨立的網絡，我們可以提取兩類特征集：節點特征集和邊緣特征集
特征排序是識別降維相關特征和提高泛化性能的有效手段。在本研究中，使用F-得分對每個特征集（如NCGMV、NCT、ECC、ECFI等）中的所有特征進行排序
F-score用於測量兩個實數集之間的差距

其中n₊和n_-分別代表正/負數實例的個數

多核學習分類
在這項研究中，提出了一個兩步MKL方法來實現最終分類
首先，使用MKBOSTST-S2算法獲得之前定義的每個特征集的最優特征子集和最優分類器。由於多項式核具有良好的全局性能和高斯核具有良好的局部性能，因此在本研究中，定義了一組用於MKBoost-S2算法（即M=13）的13個基核
多項式核被定義為

表示多項式核的度，該研究中使用d={1,2,3}對於每個特征集合
Gaussian被定義為

其中\(\sigma\)表示Gaussian核的寬度，研究中使用\(\sigma\)={2^-4,2^-3...2⁵}共10個值對於每個特征集合
對於一個特別的特征集N_CGMV，使用他的top p_i特征構造K個不同的特征子集。對於13個已經定義的基核，MKBoost-S2為每個K特征子集生成了一個分類器。然后我們就得到了K個分類器，在這K個分類器中，准確度最高的一個即為優化分類器，與它相關的特征集即為優化特征集，以同樣的方法來得到其它各個特征集的優化分類器，優化特征子集。之后，一個帶權重的MKL框架被提出來利用最優特征子集和相應的最優分類器來構造組合分類器，以研究分類性能

最終組合的分類器的計算方法

其中，\(\eta\)_v表示分類器的權重
提出的架構

總結
在本研究中，提出了一種通過多核學習結合多種解剖學MRI測量來診斷阿爾茨海默病的方法。基於AAL圖集和六種不同的解剖學測量手段，首先為每個被試構建六個單獨的網絡，提取兩類特征集：節點特征集和邊緣特征集。然后，使用F得分方法來對每個特征集的特征進行排序。然后，將排名最高的特征應用到MKBoostS2算法中，得到最佳的分類精度、相應的分類器和最優特征子集。最后，提出了一種加權MKL框架，將節點特征集、邊緣特征集以及節點特征集和邊緣特征集分別組合起來進行最終分類

基於Wasserstein GANs的視覺特征屬性

原文鏈接
摘要
先前訓練的神經網絡分類器的方法已經成為事實上的最新技術，並且通常用於醫學和自然圖像數據集。在本文中，討論了這些方法的局限性，這可能導致只檢測到類別特定特征的子集。為了解決這個問題，開發了一種基於Wasserstein生成對抗網絡（WGAN）的新穎的特征識別技術，它沒有這種局限性
研究顯示，提出的方法在視覺歸因方面，在合成數據集和來自輕度認知障礙（MCI）和阿爾茨海默病（AD）患者的真實3D神經影像學數據上明顯優於現有技術。對於AD患者，該方法產生非常逼真的疾病效果圖，非常接近觀察到的效果

介紹
目前，解決視覺屬性問題最常用的方法是訓練神經網絡分類器來預測一組圖像的類別，然后遵循兩種策略之一：分析預測相對於輸入圖像的梯度。或者分析圖像的特征圖的激活，以確定圖像的哪個部分負責進行關聯預測
直接基於神經網絡分類器的決策是基於某些突出區域而不是整個感興趣的對象。最近表明，在訓練期間，神經網絡使輸入層和輸出層之間的相互信息最小化，從而壓縮輸入特征。這些發現表明，如果目標具有冗余信息的更強的特征可用，則分類器可以忽略分辨能力低的特征。換句話說，神經網絡訓練可能與視覺歸因的目標相反。因此，如果在圖像中的多個位置(例如醫學圖像中的多個病灶)存在類證據，則一些位置可能不影響分類結果，因此可能不被檢測
該文章的貢獻是向以一種捕捉圖像中所有特定類別效果的方式可視化特定類別的證據的方向邁進了一步。該方法不依賴於分類器，而是旨在找到一個map，當將其添加到一個類別的輸入圖像時，將使其與來自基線類別的圖像不可區分。為此，提出了一個生成模型，在該模型中，可加map作為圖像的函數被學習。該方法基於Wasserstein生成對抗網絡（WGAN），具有使生成的圖像與實際圖像之間的Wasserstein距離的近似最小的理想性質
該方法沒有處理分類問題，而是假設測試圖像的類別標簽已經確定，此外，該方法需要基線類別，目的是預測阿爾茨海默病（AD）的主體特異性疾病效應圖

基於多模型卷積網絡組合的阿爾茨海默病分類

原文鏈接
摘要
結構磁共振成像（MRI）在幫助理解AD相關的腦解剖結構變化中起着重要作用。該研究提出了一種基於多模型3D卷積網絡結合的分類方法，以從MR腦圖像中學習各種特征

首先，建立一個深度3D卷積神經網絡，以將MR圖像分層轉換成更緊湊的高級特征。其次，構造多尺度3D卷積自動編碼器（3D CAEs）以從MR腦圖像中提取特征。將這些模型所學的特征與上層完全連接層和SOFTMAX層結合起來，用於AD診斷中的圖像分類。所提出的方法能夠自動地從成像數據中學習一般特征以進行分類，而無需對腦組織和區域進行分割。使用的數據為MRI(T1)

介紹
原始的腦圖像太大，噪聲很大，不能直接用於分類。因此，有必要提取代表性的圖像分類特征
對於腦圖像的形態分析，多個解剖區域，即感興趣區域（ROI），是通過對標記的atlas進行翹曲來分組體素而產生的，並且區域測量被計算為圖像分類的特征
但ROIS的定義需要積累研究人員的長期經驗。ROIS的分割也受到科研人員個體差異和主觀因素的影響。神經系統疾病引起的形態學異常並不總是發生在預定義的ROI中，這可能涉及多個ROI或部分提取的ROI，因此該方法在應用中的性能不穩定。體素特征是一種客觀分析技術，用於定量測量基於體素的三種組織成分（灰質、白質和腦脊液）的密度或體積。VBM方法需要空間標准化（配准），即，空間中的腦圖像的個體圖像標准化為標准三維空間
標准化過程一般包括線性仿射變換和非線性形變配准兩部分。為了捕獲豐富的圖像信息，在配准所有腦圖像數據之后提取體素明智特征以將每個體素與標量測量向量的AD診斷相關聯
本文提出了一種基於多模型卷積網絡組合的分類方法，從MR腦圖像中學習各種特征，並對AD和NC對象進行分類。在整個MR腦圖像上構建多模型卷積網絡，用於對緊湊的高級特征進行分層提取，方法如摘要中所述

分類框架
提出的方法不假設一個特定的神經成像方式。使用的數據為MRI(T1)，在特征提取之前進行圖像的預處理。特別地，在使用非參數非均勻強度歸一化算法對強度不均勻性進行校正之后，所有MR圖像都進行顱骨剝離和小腦去除。MR圖像被注冊成具有Demons的模板
研究所提出的分類方法基於結合了多模型的卷積網絡，該網絡具有以下兩個步驟：使用多模型卷積網絡進行特征提取然后將多種特征結合起來用於圖像分類。該方法的優勢有：

1. 深層卷積學習結構能夠從低層到高層提取特征，對訓練圖像的平移、尺度和旋轉具有不變性
2. 不同的深度卷積網絡模型有助於學習對分類任務有用的互補特征，這些互補特征可以結合起來捕獲MR腦圖像的豐富信息，從而改進最終的分類

架構圖

3DCNN的特征學習
該研究使用的MR腦圖是3D數據，因此，使用了3D卷積核來編碼它的豐富的空間信息。設計的用來提取特征的3D CNN包含四層

1. 第一層是輸入層，接收大小為69*59*57的3D圖像
2. 第二層是卷積層，它使學習濾波器與輸入圖像卷積，並為每個濾波器產生特征圖
3. 第三種是池化層，它通過將每個非重疊塊替換為它們的最大值來沿空間維度對輸入特征圖進行下采樣
4. 第四層是全連接層，學習之前層輸出的線性特性的非線性特征

研究實際設計(6個卷積層，3個池化層，2個全連接層，使用Tanh激活函數)

在預訓練階段，針對分類任務對每個深度CNN分別進行優化，其輸出是softmax層產生的類概率分數。在反向傳播時，使用Adadelta梯度下降法，同時在池化層和卷積層之間使用dropout來降低過擬合

3D卷積自動編碼器的特征學習
用於提取3D圖像特征的3D卷積自編碼器是基於重建輸入圖像
在第一階段中，使用三個卷積層

對卷積層進行逐層訓練，將核大小和核數分別設置為2×2×2和16
每個層都有兩個步驟：編碼和解碼。首先，通過將每個固定體素鄰域映射到隱藏層中的向量特征空間，對輸入圖像進行編碼。然后在輸出層對原始空間進行重建，重建誤差由重建圖像與原始輸入之間的歐幾里德距離來計算。使用Adadelta梯度下降來最小化訓練中的重建誤差
當訓練一個層時，我們使用最大池化后的隱藏層作為下一層的輸入，最大池化的尺寸為2*2*2，並且前一個卷積層的訓練權重設置為常數。迭代相同的步驟以生成所有三個層。同時，使用ReLu作為激活函數
三個卷積層之后的輸出被展平成一個向量，作為全連接層的輸入
利用訓練好的權值對三個卷積層進行初始化，並通過深度監督對分類任務進行細化
最后是一個用於分類的(AD,NC)的softmax層。使用Adadelte梯度下降來微調整個過程

架構圖

由於多尺度的三維MR圖像可以捕獲不同的圖像信息進行分類，因此該研究通過改變圖像大小來建立三個三維CAE模型。對輸入的三維MR圖像進行2、3、4采樣，訓練多尺度三維CAE模型以學習圖像的各種特征。為了簡單起見，建立了具有相同網絡結構的多尺度CAE模型

AD集成分類
3D CNN和3D CAE捕捉了不同的圖像特征，該研究又提出結合多重模型以提取3D MRI豐富特征來進行集成分類

首先3D CNN和3D CAEs都獨立地訓練以從腦MRI中提取特征。對於3D CNN模型，其FC1層的輸出直接作為特征用於集成。對於多規模CAE模型，一個額外的全連接層被用來將輸出特征進行降維(500 -> 50)
然后，多模型的特征被級聯為一個新的270的向量，一個上部全連接層被添加以對特征降維。最后一個softmax層用降維后的特征進行分類

實踐做法

先獨立地訓練CNN和CAE學習特殊的特征
之后，被訓練的卷積層和池化層被固定，最后的卷積層和上部全連接層的參數被聯合微調，以將特征與softmax層結合用於任務特定分類

為最后的集成分類微調最后幾個層的優點有

1. 通過固定前幾個層，從3D CNN和3D CAE中學習的信息將被保留以提取精細的特征。通過微調后幾個層，模型可以更好地適應分類任務。因此成像變量和分類任務中的信息可以被集成以幫助提高分類精度
2. 與訓練整個網絡相比，微調最后幾個層可以減少計算量和降低過擬合問題

實驗
使用5折交叉驗證策略來訓練和測試深度學習模型以評估分類性能

該方法的優勢

1. 不需要在MR圖像的預處理中進行分割，這將減少計算花費，和減少由於分割導致的錯誤
2. 通過單獨訓練多模型，並對最后幾層進行微調，以集成之前學習的不同特征，所提出的方法可以更好地適應全局分類任務，獲得更好的性能

總結
本文提出了一種基於3D CNN和CAE的多模型卷積網絡相結合的MR腦圖像AD分類方法。通過建立3D CNNs模型和多尺度3D CAE，從MR腦圖像中提取各種特征。將模型學習到的特征與上部全連通層相結合，用於AD診斷中的圖像分類。在圖像預處理中不需要分割

基於CNNs的AD診斷多模態分類

原文鏈接
摘要
本文提出用多層卷積神經網絡（CNN）逐步學習和結合MRI和PET圖像的多模態特征來進行AD分類

首先，構造3D CNNs來將整個大腦信息轉換成每個模式的緊湊的高級特征
之后，級聯一個2D CNNs以集成高級特征用於圖像分類

該方法能夠從MRI和PET成像數據中自動學習AD分類的一般特征。在腦圖像上不需要進行剛性圖像配准和分割

介紹
本文提出了一種基於級聯CNNs的新的分類框架，利用MRI和PET圖像學習多級、多模態的成像特征，並將它們結合起來對AD和NC對象進行分類

首先，構建一個深度3D CNN模型來逐層地、漸進地將整個腦圖像變換為每個模式的更緊湊、更可區分的特征
之后，將一個高級的2DCNN級聯，以結合從多個CNN學習的多模態特征用於圖像分類
對每個模態圖像分別學習下部3D CNN，並對上部2D卷積層進行微調，以組合用於圖像分類的多模態特征

該方法能夠很好地從高維成像數據中自動提取一般特征，並將多模態特征結合起來進行圖像分類

架構圖

對單一模式提取特征的深度3D CNN

結構圖

激活函數為tanh，使用最大池化層，在CNN結尾，加入softmax分類層，用負對數似然微調反向傳播預測分類概率，4個卷積層核地個數分別為15，25，50，50。利用沙維爾均勻化初始化方法(xavier uniform initializer method)初始化三維卷積核，通過使交叉熵損失最小，利用Adadelta的反向傳播來調整提出的網絡的這些參數。批大小設置為64。此外，通過隨機和暫時斷開輸入和輸出神經元來實現丟棄策略，可以減少過擬合問題，提高模型的泛化能力

用於多模態分類的級聯CNNs
該研究將每個單模態神經圖像訓練的多個深層CNN組合形成多模態分類。3D-CNN的下層可以提取鑒別特征，上層用這些特征訓練用於任務特定分類。因此，所提出的多模態分類的訓練包括單個CNN的預訓練和用於最終分類的特定於任務的微調
首先，通過直接將全連接層的輸出映射到所有類標簽的概率得分來分別訓練每個模態的深度CNN，提出學習二維CNN來組合多模態特征並進行最終分類。將三維CNN輸出的特征映射平面化為一維，然后將MRI和PET的一維特征向量組合成二維特征映射，進行二維CNN
在二維CNN的學習過程中，初始訓練后的3D CNN的前三個卷積層和池化層的參數固定，同時對最后一個卷積層和上部CNN層的參數進行聯合微調，以結合多模態特征。用softmax最高級輸出層進行任務特定分類
對最后幾層進行微調有兩個優點

1. 通過固定前幾層，可以保留從每個模態中學習的知識以提取特定特征。通過微調最后幾層，模型可以更好地適應全局分類任務。因此，可以將圖像變化和分類任務中的知識進行集成，有助於提高分類精度
2. 與微調整個網絡相比，微調最后幾層顯著降低了計算成本和減輕了過擬合問題

使用深度CNNs有三個主要優點

1. 深層復雜結構可以從大量的訓練圖像中提取從低層到高層的特征學習
2. 由於不同的神經圖像具有不同的解剖和功能特征，深層CNN能夠充分利用圖像的空間關系，有效地學習這些局部3D濾波器，完成最終的分類任務
3. 通過疊加多模態CNN，可以提取代表阿爾茨海默病狀態的更復雜特征的層次結構，最終提供全局分類預測概率

實驗
在特征提取和分類之前，對MRI圖像進行預處理步驟。尤其在MRI中，首先采用非參數非均勻強度歸一化算法對強度不均勻性進行校正，然后進行顱骨剝離和小腦切除
數據類型：MRI(T1)和FDG-PET
PET圖像被處理以使來自不同系統的圖像看起來類似，然后，進行強度歸一化和各向同性分辨率均勻的8mm FWHM。每個PET圖像的體素強度用於分類。在圖像分析中去除了平均灰度值為零的體素，最終使用的圖像大小為98×78×76個體素。為了減少實驗所需的計算和存儲成本，進一步將神經圖像降采樣到49×39×38個體素
使用10折交叉驗證來避免影響結果的隨機因素，訓練、驗證、測試數據比率為8：1：1
為了增加訓練數據，通過移位、采樣和旋轉執行增強以生成訓練集的附加圖像

總結
本文提出了一種基於級聯CNN的多模態分類方法，利用MRI和PET圖像對AD與NC進行分類。兩個深度CNNs建立在不同的模態圖像上，以學習特定的鑒別特征。然后與一個高級CNN級聯，以結合從不同模式學習的特征進行圖像分類。在MRI和PET掃描上不需要進行分割和剛性圖像配准