語義分割之U-Net和FusionNet

FusionNet是U-Net的改進

1：文字回答：簡述醫學分割面臨的主要挑戰

1）數據量少。一些挑戰賽只提供不到100例的數據

2）圖片尺寸大。單張圖片尺寸大、分辨率高，對模型的處理速度有一定要求。

3）要求高。醫學圖像邊界模糊、梯度復雜，對算法的分割准確度要求極高。

4）多模態。以ISLES腦梗競賽為例，起官方提供了CBF, MTT, CBV, TMAX, CTP等多種模態的數據。

2：文字回答：簡述醫學分割的特點

醫學圖像分割是醫學圖像處理與分析領域的復雜而關鍵的步驟，目的是將醫學圖像中具有某些特殊含義的部分分割出來，並提取相關特征，為臨床診療和病理學研究提供可靠的依據，輔助醫生做出更准確的診斷。當前，醫學圖像分割仍在從手動分割或半自動分割向全自動分割發展。

處理對象：各種不同成像機理的醫學影像，主要有X-射線成像（X-CT）、核磁共振成像（MRI）、核醫學成像（NMI）和超聲波成像（UI）、電子顯微鏡成像（EM）。

應用思路：首先對二維切片圖像進行分析和處理，實現對人體器官、軟組織和病變體的分割提取，然后進行三維重建和三維顯示，可以輔助醫生對病變體及病變體及其他感興趣區域進行定性甚至定量分析，從而大大提高醫療診斷的准確性和可靠性。

3：代碼實現：用U-Net實現對CamVid數據集的分割，並在模型定義的前向傳播過程中，將每一個變量的尺寸用注釋的形式寫出來

4. 論文總結

醫學圖片分割指標：

Rand error(蘭德指數)：兩個數據聚類的相似性評價方法，改造之后用來衡量分割性能。給定一張圖片，有n個像素點，同時有兩個分割X和Y（實際和預測）。a: 兩個分割同屬於一個聚類的像素點數量; b:兩個分割中都不屬於一個聚類的像素點數量

Rand指數：RI用來衡量相似度，越高越好。和誤差相反，蘭德誤差：RE=1-RI

Warping error: 主要用來衡量分割目標的拓撲形狀效果，給定候選標注T（預測值）和參考標注L（實際值）的warping error可以認為是L對於T最好的漢明距離。

                                                                                           

U-Net：

本文貢獻：提出了一個網絡和訓練策略，使用數據增強，以便有效的使用可使用的帶標簽的樣本。以很少的圖片實現了端到端訓練。處理速度較快

網絡結構：網絡由兩部分組成，是一個完全對稱的U型結構。一個收縮路徑來獲取全局信息，一個對稱的擴張路徑以精確定位。可以更好的融合圖片特征。在上采樣部分包含大量特征通道，使網絡能夠將全局信息傳播到更高的分辨率層。

　　　　采用了鏡像輸入圖片的方式補全缺失內容。

　　　　設計了加權損失函數，對接觸的細胞在loss損失函數中給予較大的權重

1.本文為了預測圖像的邊界區域，對輸入圖片的邊界用鏡像擴展。

2.對於大型圖片，由於有限的GPU資源，訓練策略非常重要。

3. 因為用來訓練的圖片非常少，所以對可用的訓練圖像應用彈性變形來擴充數據，這也可以讓網絡學到這種變形不變性，而不需要對這些數據進行標注。這在醫學圖像分割中非常重要，因為變形是組織中最常見的變化，這種方法可以有效的模擬真實變形。實現方法是：使用隨機位移向量在一個粗略的3x3網格上生成平滑變形。位移是隨機從有10像素標准差的高斯分布中采樣的。每一個像素唯一通過二次插值計算得出。在收縮路徑的末端的dropout層實現了進一步的隱式數據增強。

 

FusionNet:

本文貢獻：提出FusionNet用於自動分割連接組學中的神經元結構

主要方法：引入基於求和的跳躍連接，允許更深入的網絡結構以實現更精確的分割

網絡結構：每個上采樣出來的特征圖還和降采樣的時相同尺寸的特征圖進行skip連接。每個殘差塊都有兩個卷積塊，這有兩個好處：1）這些卷積塊作為輸入特征圖和殘差塊之間的橋梁，因為之前層特征圖的數量可能和殘差塊特征圖的數量不一樣。2）還有一個作用是保證網絡的對稱性。

 裁剪和網絡結構可以借鑒