Zhengrong Luo† , Zhongdao Jia† , Zhimin Yuan, and Jialin Peng∗
索引詞-腦瘤，磁共振圖像，圖像分割，解耦卷積，輕量級網絡
I. INTRODUCTION
GLioma是最常見的腦腫瘤類型之一，通常使用多個MRI序列成像，例如T1加權（T1），對比增強的T1加權（T1ce），T2加權（T2）和液體衰減反轉恢復序列（FLAIR）。多模式MRI具有突出神經膠質瘤子區域的多種能力，從而為腫瘤分析提供了補充信息。例如，在T1ce中可以觀察到增強的腫瘤（ET）；腫瘤核心（TC）由壞死，不增強的腫瘤組成，ET在T2中可見。 T2和FLAIR突出顯示了包括水腫和TC在內的整個腫瘤（WT）。准確的腫瘤分割，尤其是分離子區域，即WT，TC和ET，是診斷和治療計划的先決條件。但是，手動描繪在大多數臨床工作流程中效率低下，因為它既費時又主觀精確注釋的含糊之處。因此，自動分割方法不僅可以提高診斷效率，而且可以提供可重復的結果。這項任務的主要挑戰在於：1）腦膠質瘤及其子區域在患者的外觀，位置和形狀方面的變異性； 2）邊界模糊不清； 3）子區域之間復雜的邊界相互作用。
最近，通過使用全卷積網絡（FCN）進行端到端學習，醫學圖像分割已取得了顯着進步[1] – [3]。對於腦腫瘤分割，最先進的模型[4] – [11]是具有跳過連接的編碼器-解碼器體系結構的變體，它最初作為U-Net [2]引入，並已被證明可有效地用於恢復細粒度的細分。給定大量的大腦圖像，已經探索了同時使用3D卷積和2D卷積的網絡。 2D網絡[9]，[12]，[13]逐片處理卷，通常是內存高效，但不可避免地忽略了連續的切片間一致性。 3D網絡[14]，[15]可以通過直接將整個體積作為輸入來一次性分割整個體積。因此，它可以利用3D內核在所有三個空間維度上充分利用完整的空間上下文，並已顯示出優異的結果，但以顯着增加GPU內存消耗和參數數量為代價。對於2D網絡，一種簡單而有效的補救措施是在3D體的不同角度（即軸向，冠狀和矢狀視圖）上集合獨立的分割，被許多研究[7]，[9]，[12]，[13]，[16]采用。對於2D和3D模型，另一個廣泛使用的技巧是采用模型級聯迭代地細分分割[12]，[17]或利用腫瘤子區域的分層結構[7]，[18]。盡管采用集成和級聯策略可以提高性能，但主要缺點是不需要的系統和計算復雜性。除了分割精度外，計算和存儲效率是模型設計的另一個重要考慮因素。因此，有利的是為3D體積分割開發一個輕量但有效的模型，該模型可以本質上包含僅具有低維卷積的完整空間信息。
為了在具有挑戰性的分割任務中實現更高的性能，構建更深，更寬的FCN（這還允許對較大的空間輸入和遠程上下文進行編碼）是有益的。但是，對於3D體積圖像處理，當前的深度架構，尤其是那些使用昂貴的3D卷積的深度架構，經常受到對大量內存和計算能力的需求的限制。盡管使用2D卷積可以大大減少參數數量，但它們固有的局限性在於無法捕獲豐富的空間上下文。在嚴格的內存和計算預算約束下，通過分解標准卷積（例如深度方向可分離卷積[19]，組卷積[20] – [22]和常規的多分支結構[23]）來設計具有低冗余的有效內核。 ]，已被視為解決此問題的有效方法。在本文中，我們以分層方式將跨通道域和空間域的標准卷積解耦同時減少冗余並利用多視圖和多尺度空間上下文
在這項工作中，我們介紹了一個分層的解耦卷積網絡（HDC-Net）（圖1（a）），它是一個輕量級的偽3D網絡，旨在作為腦腫瘤分割的簡單而強大的基線。我們采用減少通道數的3D U-Net架構作為我們的骨干網絡，並使用新穎的輕量級塊來替代昂貴的3D卷積。具體來說，為了以較低的計算成本對多視圖和多尺度空間上下文進行編碼，我們引入了一種新穎的分層解耦卷積（HDC）（圖2（b））。而不是像3D一樣在空間和通道維度上同時進行計算
如圖2（b）所示，HDC在空間和通道維度上將標准卷積解耦。更具體地說，a）在空間域中，我們通過將3D空間卷積分解為工作在不同視圖（軸向，冠狀和矢狀視圖）上的兩個互補2D卷積來引入視圖解卷積，這可以在最小化感知的情況下降低計算復雜性空間環境； b）在通道域中，我們不是通過簡單地堆疊2D卷積來近似3D卷積，而是對軸視圖的2D卷積應用了一種新穎的分層組解耦卷積視圖，即在具有分層連接的特征通道的子組上應用平行軸向視圖卷積。這樣，我們不僅可以將焦點放在特定的視圖上，還可以從多個領域視圖對焦點視圖上的線索進行編碼，這對於處理醫療量是理想的。為了允許大量輸入並捕獲遠距離空間上下文，我們在第一層進一步插入了額外的下采樣[24]。這項工作是對我們的初步工作的廣泛擴展[25]，具有改進的網絡體系結構以及更廣泛的性能分析和比較實驗。
II. RELATED WORK
大多數現有的用於多類腦腫瘤分割的方法都使用具有2D或/和3D卷積的FCN或U-Net變體來設計有效的方法。 與2D網絡相比，即使是單個3D網絡也可以獲得更好的性能，但以高計算開銷為代價。 而且，通常采用集成和級聯策略來進一步提高2D和3D網絡的性能。
為了提高2D網絡用於腫瘤分割的性能，在許多研究中已采用多個2D網絡的多視圖集成[9]，[13]，[16]，[26]。 例如，在[16]和[13]中集成了在三個視圖上的獨立2D分割。 除了多視圖集成之外，在[27]中還使用了幾個具有丟包的隨機采樣網絡的集成。 Pereira等。 [28]開發了一種改進的U-Net，具有新穎的特征重組和重新校准模塊，並且可以級聯地分割腦腫瘤的子區域以利用其層次結構。
3D FCN，包括3D U-Net [29]，V-Net [30]及其使用多尺度輸出[7]，[31]，殘差連接[7]，[31]，[32]的變體，空洞卷積 [4]，[7]，[32]，CRF改進[12]等已廣泛用於腦腫瘤分割。 通過改進的體系結構，Nuechterlein等人。 [14]將ESP-Net [33]的3D變體與金字塔形細化相結合。 Chen等。 [4]用3D擴張的多纖維網絡（3D DMFNet）解決了腦腫瘤分割問題。Mlynarski等。 [34]介紹了一種2D-3D模型，在該模型中，多視圖2D網絡學習的功能被用作3D U-Net的附加輸入，以捕獲較大的空間環境。 模型集成進一步提高了性能。
模型級聯策略已被許多著作[7]，[14]，[17]，[32]，[35]采用，以提高3D模型的性能。華等。 [17]介紹了級聯的V-網絡首先提取整個腫瘤，然后將其划分為子區域。在[4]中開發了一個由3D SE-Inception網絡組成的級聯，以依次分割腦腫瘤的亞結構。 Wang等。 [7]設計了一個級聯的各向異性卷積網絡（Cascaded-Anisotropic-Net），在該網絡中，他們不僅使用多視圖集成，而且還通過模型級聯來提高最終的分割性能。徐等人，而不是簡單地使用連續模型。 [5]引入了3D深度級聯注意力網絡（Cascaded-Attention-Net），該網絡可以探索分區之間的潛在關聯作為指導。由於使用級聯方法的系統復雜度很高，Zhou等人。 [8]用單個多任務網絡（MultiTask-Net）解決了多標簽分割問題，該網絡有多個輸出用於單次分割。並非同時訓練多個任務，而是使用課程學習來逐漸集中精力處理更困難的任務。在此研究中，我們沒有使用集成，級聯或課程學習，而是僅使用具有4類輸出的單個網絡來同時分割所有子區域。
臨床任務通常需要在有限的計算預算下實現最佳准確性。標准3D（空間）卷積涉及昂貴的4D操作，包括空間和通道信息。通過分離標准卷積的不同維度，可分離卷積已被證明是一種針對輕量級網絡的有效策略。這種流行的深度卷積[19]將標准卷積分解為Depth-wise Convolution與Point-wise Convolution的組合。群卷積[20] – [22]，對預定義的通道組執行並行卷積。在多分支架構中，著名的Inception V3 [21]進行了空間分解。卷積變成非對稱卷積，例如，將n×n卷積替換為n×1卷積，然后是1×n卷積。對於腫瘤分割，DMFNet [4]建立在多纖維單元[36]上，該單元使用有效的群卷積，並取得了良好的性能。在Cascaded-各向異性網絡[7]中，Wang等。將3×3×3的空間3D卷積分解為2D堆棧3×3×1的卷積和1×1×3的1D卷積。但是，僅在一個空間視圖上使用交叉切片1D卷積和切片內部2D卷積具有有限的利用完整3D空間上下文的能力，並且通過多種技巧進行了補償，其中包括多尺度輸出，多視圖集成和模型級聯。 Chen等人在S3D-UNet中[37]。使用S3D卷積[38]，並將其擴展為使用將不同類型的2級卷積和1D卷積結合起來，這與我們的方法密切相關。但是，我們專注於通過焦點視圖將3D空間卷積分層解耦為2D卷積，在該視圖上MR體積圖像最初具有最高的片內分辨率，並且信息最可靠。
III. METHOD
A. Architecture of the HDC-Net
HDC-Net的概述如圖1（a）所示。 我們默認進行端到端的多標簽學習，並執行體積密集分割。 將來自多種模態的圖像連接起來，形成模型的4通道輸入。 用於3D分割的HDC-Net的主體主要由一個新穎的HDC模塊（圖2）組成，該模塊實質上依賴於更有效的2D卷積，並將在以下各節中詳細介紹。
HDC-Net的骨干架構是3D U-Net的輕量級變體，具有：a）每層減少的通道數（僅32個通道），b）額外的下采樣/上采樣操作以允許相對較大的輸入量。 具體來說，骨干網由一個具有4個下采樣級的編碼器和一個具有4個上采樣級的解碼器組成，如圖1（a）所示。 定期的下移（PDS）操作[24]在第一階段用作下采樣，因為該下采樣策略沒有參數，並且可以保留完整的圖像信息。 這里的PDS操作旨在將大小為Cin×H×W×D的高分辨率輸入張量Tin重新排列為大小為Cout×H / 2×W / 2×D / 2的低分辨率張量Tout，其中H×W×D 是Tin的空間大小，而Cin是通道號。 Tout的空間大小是輸入空間大小的1/2倍，而輸出通道Cout的數量是8×Cin。 數學上PDS的操作描述如下，
c,x,y,z是Tout的坐標。
在我們的初步研究中[25]引入了HDC-Net的簡化版本HDC-Net0，如圖1（b）所示。與HDC-Net相比，HDC-Net0不使用附加的下/上采樣層，因此在嚴格的內存約束下僅允許相對較小的輸入大小。為了彌補這一限制，HDC-Net0同時利用了多視圖集成和模型級聯策略來提高性能。基於這種觀察，在臨床使用中，醫師通常會沿着所有軸向，冠狀和矢狀平面查看體積圖像，以捕獲互補信息，並一一識別腫瘤的子區域。更具體地說，1）為了減輕腦腫瘤組織之間的干擾，HDC-Net0將多標簽分割任務分解為三個二進制分割子任務，每個子任務從背景中分割目標； 2）還使用了多視圖合奏。請注意，由於我們模型中的各向異性分解，通常僅在2D模型中使用的多視圖合奏在此處適用。然而，由於重復的模型訓練和測試，模型級聯和集成策略將大大增加模型的復雜性。相比之下，這項研究中提出的HDC-Net能夠使用單個網絡一次性通過分割所有腫瘤亞區域，從而提高了計算效率。
B. The HDC module
近來，已廣泛使用通過幾個低維內核的乘積來逼近滿秩濾波器以減少存儲器開銷。 但是，挑戰在於如何僅使用低維內核和非常小的網絡在非常有限的計算預算內追求最佳精度。 為此，我們將進一步努力，以利用多尺度的視野和豐富的空間背景（僅需較低的分辨率）來提高分割精度尺寸內核。 為了解決這些挑戰，我們提出了在空間和通道域上進行去耦卷積的層次化集成，以減少可學習參數的大小並提高判別能力。
提出的HDC模塊如圖2（b）所示，該模塊具有相互連接的多分支結構，並采用一次和二次卷積。 具體而言，一次卷積應用於並行分支的主卷積（例如3×3×1）用於在3D體積的焦點視圖上分層提取多尺度特征，而二次卷積（例如1×3×3） 遵循多分支模塊的作用是通過一次卷積來混合多尺度輸出，以及在互補視圖上提取空間上下文特征。 本質上，HDC模塊僅基於2D卷積。 在詳細介紹HDC模塊之前，我們首先介VDC（HDC的簡化版本）作為基准。 然后，我們使用一種新穎的分層組卷積（HGC）塊對其進行改進，並獲得HDC模塊。
視圖解耦卷積（VDC）如圖2（a）所示。為了在減少參數數量的同時更有效地使用3D空間上下文信息，我們將3×3×3的3D卷積核在空間上分解為兩個互補的2D卷積，即3×3×1卷積和1× 3×3卷積，適用於3D空間上的不同2D視圖。為了近似計算兩個3×3×3空間3D卷積的堆棧，我們使用四個2D卷積的堆棧，包括三個3×3×1卷積和一個1×3×3卷積，如圖2（a）所示。假設3×3×1卷積對應於軸向視圖切片上的運算。然后，使用VDC中的前三個2D卷積捕獲軸向視圖上的內部切片特征，隨后的1×3×3 2D卷積將融合互補視圖上的空間一致性和上下文。通過不對稱分解和連續卷積的特殊布置，VDC能夠強調通常具有最高空間分辨率的軸向視圖。
作為VDC的改進，HDC使用了一種改進的稱為HGC的組卷積組件，該組卷積組件在圖2（b）的實心框中突出顯示，作為增強的一次卷積。多尺度上下文特征捕獲是至關重要的，重要在對於神經網絡模型的表示強度以及最終的分割精度。除了在HGC中將空間解耦的卷積簡單地堆疊為VDC之外，我們還進一步在通道域上解耦卷積運算，並且在特征通道不同子組上並行進行2D卷積（3×3×1）。更具體地說，在進行1×1×1卷積之后，HGC塊首先將特征通道分組為s個（= 4個）大小相等的子組（在我們的設置中每組8個通道）。然后，對s-1個子組執行3×3×1卷積；快捷連接應用於第一個子組以將HGC重新配置為殘差學習[39]。為了提升特征組和在主視圖上捕獲的多尺度特征的信息流動，我們進一步使用了內部組之間的連接，如圖2（b）所示。類似的組間聯系已在諸如[22]的數項研究中使用。連接所有輸出的特征圖后，執行一次1×3×3卷積以在另一視圖上編碼提示。通過在HDC模塊中集成組解耦卷積，層次連接和視圖解耦卷積，可以：1）從多個視圖區域中提取語義特征，以及多尺度信息可以被發現； 2）焦點視圖的3D空間上下文感知能力相比於2D方法可以得到提升3）模型在視圖上是不對稱的，因此有促使去使用集成方法來獲得更好且魯棒的預測性能。
C. Variants of the HDC module
提出的HDC模塊可以靈活地使用其他空間解耦的卷積。 例如，代替恆定使用1×3×3卷積，我們可以從1×3×3卷積和3×1×3卷積在不同層中隨機選擇卷積。 我們將這種類型的HDC模塊命名為HDC +。 另一個變體是將1×3×3替換為1×1×3卷積，即我們首先執行切片內卷積，然后執行像素級切片間卷積。 我們命名為HDC-的變體，如圖3（a）所示。
在本節中，我們進一步介紹HDC模塊的另一個變體HDC ++，它涉及在3D體積的三個視圖上進行2D卷積。 HDC ++也是多分支結構，如圖3（b）所示。 但是，對於不同的分支，我們應用不同的等級-2（2D）卷積從不同的視圖提取特征。 對於最后三個分支中的每個分支，我們堆疊相同的兩個卷積。 為了去進一步提升特征復用和信息傳遞分支，我們引入了一個與[36]中的多路復用器相似的特征融合模塊。 具體來說，在第一次卷積后，四個分支通過1×1×1卷積融合在一起，然后將其輸出與各個分支連接起來。 這樣，多視圖信息被組合在單個塊中。
D. Complexity of the proposed model
通常通過網絡參數和FLOPs的數量來衡量模型的復雜性[20]，[21]。 內核大小為Kx×Ky×Kz的卷積層中的參數數為Cin×Kh×Kw×Kd×Cout，其中Cin和Cout分別是輸入通道數和輸出通道數。 總體而言，我們的HDC-Net具有0.29M參數。 假設卷積層的輸入是Cin×H×W×D的4維張量，輸出是Cout×H×W×D， FLOPs是Cin×Kh×Kw×Kd×Cout×H×W×D。輸入尺寸為128×128×128時，HDC-Net需要24個GFLOP，而3D U-Net需要1900個以上GFLOPs。
由於HDC模塊被兩個連續3D卷積的替換，因此我們將模塊的參數大小與兩個具有壓縮率的3D卷積的級聯進行比較。 假設每層中的通道為Cin = Cout = 32，兩個3D卷積的參數數目為55296，對於HDC 12992，對於VDC為36864，對於HGC為3776，對於HDC-為6848，對於HDC +為12992，對於HDC ++為6528。 HDC / HDC +的壓縮率為0.23，VDC為0.67，使用HGC時為0.07，使用HDC-時為0.12，使用HDC ++時為0.12。 表I中顯示了總的模型大小比較。
IV. EXPERIMENTAL RESULTS
A. Dataset
我們使用腦腫瘤的基准評估我們的方法分段挑戰（BraTS）， BraTS 2018和BraTS2017。具體來說，1）BraTS 2018具有兩個公開可用的數據集：帶注釋的訓練集（285個受試者），包括210個高級別神經膠質瘤（HGG）和75個低級別神經膠質瘤（LGG） ）案例，驗證集（排行榜）（66個主題），這些驗證集的評估是通過網上隱藏的標注來完成，2）BraTS 2017包含帶注釋的285個主題作為訓練集，包含46個主題作為在線評估的驗證集。 對於這兩個基准，每個主題具有四種模式的MRI數據，即T1 T1ce，T2和FLAIR（液體衰減反轉恢復序列）。 將所有圖像剝離，對齊並且內插至1 mm各向同性分辨率。按照挑戰指南，使用骰子和Hausdorff距離的第95個百分位 （Hausdorff95）來評估性能。
B. Implementation details
這些網絡在Pytorch中實現。 使用ReLU激活功能和批量歸一化。 我們的模型使用Adam優化器進行了優化，初始學習率設置為10−3。 我們以L2正則的10−5權重衰減來規范化模型。 1）對於HDC-Net，我們使用多類soft Dice 子函數作為損失函數。 我們在兩個並行的Nvidia Tesla K40 GPU上使用隨機裁剪的128×128×128大小和10個batch size的體積訓練網絡，歷時800個epoch。 使用包括隨機旋轉和隨機強度偏移的數據增強。 總訓練時間為12.8小時，每卷的平均預測時間為2.3秒。 2）對於HDC-Net0，我們使用soft Dice函數作為損失函數。 我們訓練的模型使用隨機裁剪尺寸為144×144×24和batch size為2，模型在單個Nvidia Tesla K40 GPU上並且epoch 800次。 該代碼可從https://github.com/luozhengrong/HDC-Net獲得。
C. Results on BraTS 2018 dataset
1）在BraTS 2018驗證數據集上的細分結果：在BraTS 2018驗證數據集上，我們的HDC-Net的ET，WT和TC骰子的平均准確度分別達到80.9％，89.7％，84.7％。 圖4顯示了具有我們分割分數分布特征的組級別箱線圖。在圖4中，繪制了患者之間Dice分數和Hausdorff95距離的平滑分布以及ET，WT和TC組中各個患者的值。 圖4.中可以看到，除了少數失敗的案例，HDC-Net對於所有這三個組中的大多數對象都表現良好
2）HDC-Net及其變體的視覺比較：我們首先在BraTS 2018訓練集上進行視覺比較。 具體來說，我們隨機選擇BraTS 2018培訓集中的80％進行培訓，其余20％進行測試。 視覺比較結果顯示在圖5中，其中顯示了來自兩個主題的示例。 從圖5中可以看出，所有方法在WT區域均表現出很好的性能，而HDC-Net在更具挑戰性的ET和TC區域上在視覺上顯示出與標注的更好一致性，該區域用紅色箭頭高亮顯示出來。
3）HDC-Net的消融研究：默認情況下，HDCNet使用HDC模塊作為基本構件。 在此實驗中，我們研究了建議的HDC模塊及其變體對BraTS 2018驗證集上的分割性能的影響。 更具體地說，比較的變體包括：1）2（a）中的VDC，即不帶HGC的HDC模塊； 2）HDC中的HGC子模塊，如圖2（b）所示； 3）圖3中的HDC-； 4）HDC +，隨機使用從不同層 1×3×3卷積和3×1×3卷積中選擇卷積; 5）圖3中的HDC ++
比較的結果顯示在表I中。與HDC-Net相比，HDC-Net（VDC）在三個區域的Dice中的性能下降分別為1.7％，1.3％，1.3％。在不使用complementary view的情況下，HDCNet（HGC）在這三個區域的性能分別下降了1.2％，0.9％和1.7％。通過在complementary view上使用1×1×3卷積，HDC-Net（HDC-）在平面外方向上的接收場要小得多，並且顯示出這三個地區的性能下降分別為1.5％，1.2％和0.7％。相比之下，使用HDC的HDC-Net能夠通過分層組的集成和視圖解耦的卷積來捕獲更豐富的空間上下文，從而可以比使用VDC和HDC-的HDC-Net更好。使用HDC +，我們在ET區域獲得了最高的81.5％的性能，但是該模型顯示出在其他兩個區域上的性能下降很小。 HDC-Net（HDC ++）也顯示 在ET區域的性能比HDC-Net（HDC）更高。與強大的3D基線（即V-Net和3D U-Net）相比，HDC-Net在具有挑戰性的ET和TC區域分割方面獲得了巨大的性能提升，但模型尺寸卻大大減小了。與其他變體相比，使用HDC的HDC-Net展現了模型大小和分割精確度之間達到了良好平衡。在圖5中的視覺比較也表明，HDC-Net的結果與三個子任務的標注更加一致。
4）HDC-Net0的消融研究：在表I中，我們還研究了HDC-Net0中關鍵組件的影響。 與HDC Net相比，HDC-Net0僅允許較小的輸入大小。 為了提高性能，它使用多視圖集成和模型級聯。 多視圖集成表示為Ens。 請參見表I。在HDC-Net0中使用VDC和HDC-的效果與在HDC-Net中使用的效果相似。 借助多視圖集成和模型級聯，HDC-Net0獲得了顯着的性能提升。 但是，單HDC-Net效率更高，性能更高。 特別是，在具有挑戰性的ET和TC細分方面，HDC-Net分別比HDC-Net0高出1.6％和2.2％。
5）與現有技術的比較：多視圖集成和模型級聯已被證明有效地提高了分割性能，並被廣泛用於腫瘤分割。 因此，我們在六個類別中將我們的方法與最新方法進行了比較：1）多視圖2D網絡的集成； 2）單一3D網絡 3）級聯3D網絡； 4）多個3D網絡的集合； 5）同時使用多視圖集成和模型級聯的偽3D網絡； 6）單偽3D網絡。 提出的HDC-Net是單個偽3D網絡，HDC-Net0是同時使用多視圖集成和模型級聯的偽3D網絡，這將不可避免地增加計算和系統復雜性。
表II總結了BraTS 2018驗證數據集的比較結果。 可以觀察到，ET和TC子區域的分割比整個腫瘤分割更具挑戰性。 結果，所有方法對於WT分割均顯示出更好的分割精度，而對於其他兩個在臨床上更重要的任務則表現出急劇的性能下降。 總體而言，即使采用多視圖集成策略的2D方法也沒有足夠的競爭力。 相比之下，單個3D模型（例如3D U-Net和V-Net）已經可以實現令人鼓舞的結果。 與強大的基線模型（例如V-Net [12]，V-Net + CRF [12]，3D UNet，殘差3D-UNet以及級聯V-Net [17]）相比，我們的HDC-Net表現得更好 具有挑戰性的ET和TC細分的細分精度。 尤其是，我們使用HDC +模塊的HDCNet在Dice中對ET區域分割顯示出最高的81.5％的性能。
如表II所示，級聯的3D模型顯示出明顯改善的結果，但是通常以高系統復雜性為代價。 盡管Multitask-Net [8]通過共同學習所有具有多個輸出的二元任務解決了這個問題，但是模型訓練需要在 curriculum training下進行連續訓練。 與Multitask-Net [8]相比，我們的單通道HDC-Net在ET和TC的Dice中獲得了1.6％和1.2％的大性能提升，但參數卻減少了47倍。 為了增強多任務模型[8]，在[5]（CascadedAttention-Net）中引入了級聯注意機制，以利用子區域之間的相關性作為指導。 Cascaded-Attention-Net分別在ET，WT和TC獲得80.8％，90.7％，85.1％的最先進執行效果，其中比我們HDC-Net中ET分別降低0.1％，WT高1.0％和TC高0.4％ 。
Kao等人探索了多種最先進方法的集合。 [40]。 但是，在ET，WT和TC的Dice中，其性能分別比我們的HDC-Net低2.1％，0.2％和3.4％。 此外，異構模型的集成不可避免地導致非常復雜的系統，這個系統需要大量的計算資源，而最終模型無論在訓練還是測試階段均缺乏效率。 相比之下，最新技術NoNewNet [6]使用訓練交叉驗證和集成在不同子集上的五個訓練網絡的結果。 當我們的HDC-Net進行多類預測時，NoNewNet（ 多類）的執行性能在WT方面比HDC-Net高1.1％，在ET和TC方面比HDC-Net低1.2％和0.4％。 此外，我們HDC-Net的參數和FLOPs的數量分別僅為NoNewNet（51.8M和202 GFLOPs）的0.6％和12％。 通過將多類預測分為三個二進制分段，NoNewNet（多任務）可以分別在WT和TC高HDC-Net的 1.2％和0.5％，但顯示出ET的性能較差。 盡管具有出色的性能，但NoNewNet依賴於幾個獨立訓練的模型的集合，因此具有訓練和預測復雜度高的局限性。 相反，我們的單次one-pass模型非常輕便，高效，但性能卻相當。
在表II中，我們還與其他偽3D模型進行了比較，這些偽3D模型通常使用跨空間域或通道域的解耦卷積。這些模型是輕量級，模型尺寸小的模型，也適合在有限的硬件資源下工作。與性能最佳的CascadedAnisotropicNet [7]，[35]相比，我們分別獲得了ET和TC 1.8％和1.5％的性能提升。此外，CascadedAnisotropicNet依賴於多尺度輸出，多視圖集成和模型級聯策略，並且涉及使用九種獨立訓練模型進行預測，這些模型的總大小是我們HDC-Net的6倍以上。因此，此類方法的代價是系統復雜度高。相比之下，使用單個輕量模型執行一次通過分割的方法，例如3D ESPNet [14]，S3D-UNet [37]，3D DMFNet [4]和HDCNet，則更為有利。 S3D-UNet [37]與我們的方法密切相關，並使用基於1D 1×1×3和2D 3×3×1卷積的多分支S3D塊。但是，這種方法無法產生最先進的性能，特別是對於ET區域。通過將2D 1×3×3和2D 3×3×1卷積與多分支體系結構進行分層集成，我們提出的HDC-Net的性能優於S3DUNet，分別在ET高出6.0%，WT高出0.3%和TC高出1.6%。盡管HDC模塊也是基於與S3D-UNet相同的1D和2D卷積，但是對於ET，WT，和TC，在帶有HDC-的HDC-Net中，Dice仍然比S3D-UNet分別高出4.5％，0.9％和0.9％。
另一種高效的先進方法是3D DMFNet [4]，它集成了擴張卷積以捕獲多尺度上下文信息，並集成了多光纖單元以減少參數。除了通道分組策略之外，多光纖單元還利用1×1×1作為多路復用器，以促進消息在通道組之間的流動。與3D DMFNet相比，我們的HDC-Net在ET和TC分割方面獲得了0.8％和0.2％的性能提升，而WT卻有0.9%的下降。但是，3D DMFNet （3.88M）的參數大小是我們HDC-Net（0.29M）的13倍以上，這表明所提出的輕量級模型具有強大的學習能力。
D. Results on BraTS 2017 validation set
為了完整起見，我們還報告了初步研究中提出的關於BraTS 2017的HDC-Net0的結果[25]。 由於BraTS 2017的在線評估已經結束，因此我們無法在此驗證集中報告HDC-Net的結果。
1）在BraTS 2017驗證集上對HDC-Net0的消融研究：在表III中，我們測試了HDC模塊的兩個簡化版本（即VDC和HDC-）的效果以及多視圖集成的影響（ Ens）。 如表III所示，HDC-Net0（HDC）在ET，WT和TC方面分別優於HDCNet0（VDC）3.2％，1.7％和2.3％，並且優於HDC-Net0 （HDC-）分別為ET，WT和TC的1.3％，1.0％和2.1％。 而且，通過小尺寸輸入（144×144×24）到HDC-Net0，多視圖集成策略可以顯着提高性能
2）BraTS 2017驗證集的比較：結果列於表IV。我們將HDC-Net0與（1）Li等進行了比較。 [26]融合了多視圖分割； （2）趙等。 [41]，其中集成了多視圖集成和CRF改進； （3）Isensee等。 [31]，它使用U-Net的3D版本，並在定位路徑和最終輸出中集成了不同級別的分割層； （4）Pereira 等。 [28]，它使用了兩個新穎的FCN網絡的級聯； （5）Jungo等。 [27]集合了幾個隨機采樣的網絡進行預測； （6）Kamnitsas等。 [42]，它使用了多個最新模型的集合； （7）混合2D-3D [34]中的模型； （8）陳等。 [43]，它使用了一個新型的雙重訓練方案多級DeepMedic； （9）在[8]中的多任務網絡;（10）在[7]中的CascadedAnisotropicNet。相比之下，我們的方法優於大多數方法，包括[42]中的最新集成方法。由於其較小的模型尺寸，HDC-Net0的優勢在於可以在有限的硬件資源預算下工作，而且可以產生令人滿意的結果。但是，它具有較高的局限性 HDC-Net的模型冗余。
V. DISCUSSION AND CONCLUSION
我們使用新型輕量級HDC-Net解決了腦腫瘤分割問題。 為了減少計算開銷，我們使用一種新穎的HDC模型探索了視圖和組解耦卷積，它可以通過在3D圖像中編碼多尺度多視圖上下文，並減少參數數量的同時提高執行性能。 在BraTS 2018和2017基准測試上的實驗表明，我們的方法僅需0.29M參數即可達到競爭性能，參數數量比最新3D模型NoNewNet [6]低了170倍，比最新的輕量模型3D DMFNet [4]模型的參數低了13倍。 。
盡管我們所提出的方法總體執行性能優異，但在一些具有挑戰性的情況下，其在ET / TC上的准確性仍然很低。 圖6演示了兩種代表性情況，其中TC和ET顯示了不可見的邊界。 為了解決這些問題，將來我們將利用多模式數據的更好融合而不是簡單的級聯。
