今年MICCAI剛開完，poster session發現一個和我之前實驗motivation相似但做法完全不同的工作。東南亞小哥有點口音，給我很熱情的解釋，聊了半天終於給我看明白了。
文章名為《Point-Unet: A Context-Aware Point-Based Neural Network for Volumetric Segmentation》
他的工作也是覺得現在的主流顯卡無法直接處理高分辨的3D醫學圖像，因此需要通過一定的方法將輸入的信息進行一定程度的篩選。不同於我們將輸入圖像下采樣然后在網絡設計中引入超分辨進行高頻信息還原，他的想法是把3D分割問題轉換成點雲分割。
他的做法是首先通過一個attention網絡對輸入圖像每個像素點可能是腫瘤的可能性進行初步的判斷（不過有一說一這一步的顯存占用是怎么降低下來的呢，難道還是用patch嗎，當時忘記問了），然后通過不同的可能性數值來進行不同密度的點雲采樣，這樣疑似區域的點雲采樣會很密集，而安全區域的采樣則極度稀疏，從而降低了輸入信息對顯存的占用。
然后，他們設計了一個用於點雲分割的unet，來對輸入的點雲進行細類分割。當時我一直問他為什么要弄成two-stage，這不是一個網絡就能完成嗎？后來他跟我解釋說第一步的attention網絡只輸出腫瘤概率，不會進行WT，ET和TC的具體類別分割，因此只能靠第二個網絡再去細分類別。我想了想，可能如果要在有限的顯存下完成這個任務確實只能分步進行，因此這個工作雖然看上去是非常符合直覺非常make sense的，但實際應用起來可能還是end2end的模型會更受青睞一些。
另外我發現paper里的代碼鏈接是錯的，直接404。我發郵件問了幾位作者，等了很久之后一作回應稱代碼將於月底開源。目前我自己也在復現，請移步：https://github.com/Dootmaan/Point-Unet