首先說一下我對這個方案的看法,相比第一名與第二名的方案,這個方案的分割方法確實復雜的多,原論文是發表在MICCAI,后來磚投到IEEE image processing(SCI 1區),總體感覺給人一種花里胡哨的感覺,但是看分割結果,卻着實讓人滿意。以下將解析此論文。
摘要
腫瘤分割的一個主要難點就是類別不平衡,腫瘤部分占整個腦的比例太小以至於難以精准的分割。傳統解決類別不平衡的方法是采用級聯的網絡,一步一步的從粗到精的分割。先不考慮此網絡的性能如何,就網絡結構而言級聯網絡結構復雜,而且忽略了模型的相關性。針對此缺陷,本文提出了一種輕量級(模型參數是MC的三分之一)一步多任務分割模型(One-pass Multi-task Networks,OM-Net)。此模型有以下特點:首先,OM-Net將單獨的分割任務集成到一個深度模型中,該模型由學習聯合特征的共享參數以及學習區分性的特定任務參數組成 特征。 其次,為了更有效地優化OM-Net,我們利用任務之間的相關性來設計在線訓練集傳輸策略(training data strategy)和基於課程學習的訓練戰略。 第三,我們進一步提出任務之間的共享預測結果,使我們能夠設計一個跨任務引導注意力(CGA attention)模塊。最后提出了一種有效的后處理方法:K-means
1
傳統的級聯模型(MC)往往是由多個單獨的網絡組成,大多數的分割步驟是:首先分割出感興趣的區域(ROI),然后在感興趣的區域進行精准分割,雖然此方法能夠緩解腫瘤的類別不平衡因素,但是還是有很多缺陷:首先是MC需要訓練多個網絡,增加了復雜性;其次,訓練集是相互獨立的,忽略了多個模型之間的相關性。最后,缺少多個任務之間的相互作用,並且計算成本高。所以,提出了OM-Net(多任務集成,多任務相互作用,training data strategy,課程學習,單步預測,CGA)
將三個任務整合到一個模型當中,加強了訓練階段任務之間的相互作用,並且在預測階段只需要一步的計算即可預測,不需要多步預測。並且采用training data strategy共享加強數據集之間的相互作用,采用課程學習的方式,根據任務的那一程度逐步將任務將如到網絡中。采用CGA attention機制,加強了對重要信息的提取,抑制了不重要的信息。並且采用k-means的后處理的方式,對分割結果又一定的提升。
2
A.綜述
介紹數據集與前人的工作。
B proposed attention
目前主流有三種attention機制,分別可以參考https://blog.csdn.net/qq_41639077/article/details/105161157?utm_medium=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-1.nonecase&depth_1-utm_source=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-1.nonecase。相比SE attention而言,SE塊基於每個通道中所有體素的平均響應,並使用單個權重重新校准每個通道,而不管這些體素屬於哪個類別
3 方法
A.
采樣獲得數據集:(1)隨機的在腦部區域進行采樣,此時有5個類別:三個腫瘤類別,一個正常腦組織,一個背景。在預測時,把三個腫瘤的預測圖進行相加獲得粗分割圖。(2)對coarse tumor mask 擴展5個體素以減少假陰性, 訓練數據在擴張的真實的完整的腫瘤區域內隨機取樣(3)訓練數據在擴張的真實的腫瘤核心區域內隨機采樣。
由於缺乏上下文信息,補丁中邊界體素的分割結果可能不准確,采用重疊切片策略:https://blog.csdn.net/qq_34759239/article/details/79209148?tdsourcetag=s_pcqq_aiomsg,在本文中,僅僅預測中心區域的20*20*5的區域,拋棄對邊界體素的預測。
B.
OM-Net:
特點(多任務集成,多任務相互作用,training data strategy,課程學習,單步預測,CGA),滿足一下條件,啟動training data strategy(但是在inference階段,數據融合,數據遷移都去掉)
C.Cross-task Guided Attention
OM-net網絡的由粗-精的分割可以看做是spatial attention,本文為了提高OM-Net的性能,提出了;另一種channel attention機制-----CGA。
在SE塊中的全局平均池(GAP)操作忽略了輸入補丁中每個類的體積的巨大變化。 我們通過計算特定類別區域而不是整個補丁中的統計數據來解決這個問題。 然而,在我們到達最終分類層之前,普通CNN的特定類別區域是未知的;因此,這是一個雞和蛋的問題 。 幸運的是,OM-Net允許我們通過在任務之間共享預測結果來預先估計特定類別的區域(前面任務的分割結果會作用於后面的任務)
pt用了兩次,第一次是為了利用特定類別的概率,第二次是為了減小St,Sn對tumor與non-tumor的敏感性。
D.后處理
1)移除滿足下式的鼓勵的集群,