論文訪問地址：https://ieeexplore.ieee.org/document/9354863
論文公開代碼：https://github.com/SUST-reynole/DefED-Net
基於可變形U-Net的醫學圖像分割
論文引用信息：T. Lei, R. Wang, Y. Zhang, Y. Wan, C. Liu and A. K. Nandi, "DefED-Net: Deformable Encoder-Decoder Network for Liver and Liver Tumor Segmentation," in IEEE Transactions on Radiation and Plasma Medical Sciences, vol. 6, no. 1, pp. 68-78, Jan. 2022, doi: 10.1109/TRPMS.2021.3059780.
1. 概述
在醫學圖像分割領域中，盡管深度卷積神經網絡已經成為了主流的分割方法，然而將其應用於腹部CT圖像中的肝臟和肝臟腫瘤分割時仍面臨兩個挑戰。第一是在常規神經網絡的特征編碼階段，標准方形卷積無法與不規則的器官形狀相匹配，導致分割結果的輪廓誤差較大；其次是池化下采樣操作的連續使用會導致不可逆的病變細節信息丟失，導致小目標分割精度低。為了解決上述問題，提出了一種可變形U-Net(DefED-Net)，用於腹部CT中的肝臟和肝臟腫瘤分割。該網絡主要有兩個優點：一是在特征編碼階段采用了殘差連接的可變形卷積塊替代常規卷積，由於可變形卷積能實現自適應尺度和形狀的感受野，因此能夠獲取更好的上下文信息，實現更強的特征表達；二是設計了一種全新的特征融合模塊Ladder-ASPP，由於采用密集連接方式，因此該特征融合模塊較主流的ASPP能夠獲取更好的多尺度特征表達。我們分別在LITS和3DIRCAD兩個基准數據集上進行了實驗，證明了提出網絡的優越性。開源代碼可以查看https://github.com/SUST-reynole/DefED-Net。
圖 1. DefED-Net整體架構圖
2. 方法：
（一）可變形編解碼器
在特征編碼階段，我們采用了殘差連接的可變形卷積。可變形卷積可以通過學習卷積核特征采樣位置的偏移來學習不規則器官的形狀信息。圖2是特征編碼器采取可變形卷積與標准卷積在肝臟自動分割中特征采樣的比較，從圖2中可以看出標准卷積核提取特征的范圍無法與不規則形狀的肝臟匹配，而可變形卷積則可以通過學習空間偏移量來確定在目標圖像中的特征采樣位置，可以較好的提取分割目標的特征，同時用殘差設計來構造特征編碼器能加速神經網絡收斂。
圖 2. 可變形卷積采樣示意圖
（二）特征融合模塊Ladder-ASPP
在特征融合階段，我們設計了全新的特征融合模塊Ladder-ASPP，它主要分兩路進行特征采樣和融合，上一路采用全局平均池化和1×1卷積獲取通道注意力權重，並對通道信息進行提取和加權；下一路采用密集連接的可變膨脹率的膨脹卷積在保證參數量不變的情況下獲取多尺度的空間上下文信息。因此模塊可以從通道空間兩個部分來進行多尺度的特征融合，保證信息的豐富和有效。
圖 3. Ladder-ASPP示意圖
3. 實驗
為了測試本文用於分割肝臟及肝臟腫瘤影像的准確性和優越性，通過以下實驗進一步說明。實驗采用LITS公開數據集中的90例影像數據進行網絡模型的訓練，10例數據作為驗證集，30例數據作為測試集。表1列出了在肝臟測試集上的各項指標的平均值及標准差，表2列出了在肝臟腫瘤測試集上的各項指標的平均值及標准差。
表1 不同方法肝臟分割的定量結果
表2 不同方法腫瘤分割的定量結果
通過表1和表2展示的實驗數據可以證明本文提出的DefED-Net能實現更高精度的肝臟以及肝臟腫瘤分割結果。除此之外，我們還進行不同網絡模型大小的計算比較，結果如表3所示。本文提出的DefED-Net模型占用內存大小僅為標准U-Net的一半左右，卻取得了高精度的肝臟和肝臟腫瘤分割的結果，因此在智能醫療領域具有廣泛的應用前景。
表3 不同網絡模型大小比較
4. 結論
本文提出將可變形卷積應用到肝臟及肝臟腫瘤分割的自動化分割網絡中，增強網絡的特征表示能力，並且能夠對存在大幅形變的肝臟腫瘤進行靈活有效地建模，從而實現肝臟及肝臟腫瘤的高精度分割。除此之外，本文還設計了可以使用多個有效的感受野檢測不同大小對象的Ladder-ASPP模塊，以更好的進行肝臟和肝臟腫瘤分割。因此，本文提出的網絡模型能有效解決肝臟以及肝臟腫瘤分割難題，具有廣闊應用前景。
5. 參考文獻
[1] O. Ronneberger, P. Fischer and T. Brox, "U-Net: Convolutional networks for biomedical image segmentation", Proc. Int. Conf. Med. Image Comput. Comput. Assist. Intervent. (MICCAI), pp. 234-241, 2015.
[2] Z. Zhou, M. M. R. Siddiquee, N. Tajbakhsh and J. Liang, "UNet++: Redesigning skip connections to exploit multiscale features in image segmentation", IEEE Trans. Med. Imag., vol. 39, no. 6, pp. 1856-1867, Jun. 2020.
[3] Z. Gu et al., "CE-Net: Context encoder network for 2D medical image segmentation", IEEE Trans. Med. Imag., vol. 38, no. 10, pp. 2281-2292, Oct. 2019.
[4] Ö. Çiçek, A. Abdulkadir, S. S. Lienkamp, T. Brox and O. Ronneberger, "3D U-Net: Learning dense volumetric segmentation from sparse annotation", Proc. Int. Conf. Med. Image Comput. Comput. Assist. Intervent. (MICCAI), pp. 424-432, 2016.
[5] F. Milletari, N. Navab and S.-A. Ahmadi, "V-Net: fully convolutional neural networks for volumetric medical image segmentation", Proc. Int. Conf. 3D Vis., pp. 565-671, 2016.
[6] X. Li, H. Chen, X. Qi, Q. Dou, C.-W. Fu and P.-A. Heng, "H-DenseUNet: Hybrid densely connected UNet for liver and tumor segmentation from CT volumes", IEEE Trans. Med. Imag., vol. 37, no. 12, pp. 2663-2674, Dec. 2018.