Point-Unet:MICCAI2021很有意思的一篇文章


今年MICCAI刚开完,poster session发现一个和我之前实验motivation相似但做法完全不同的工作。东南亚小哥有点口音,给我很热情的解释,聊了半天终于给我看明白了。

文章名为《Point-Unet: A Context-Aware Point-Based Neural Network for Volumetric Segmentation》

他的工作也是觉得现在的主流显卡无法直接处理高分辨的3D医学图像,因此需要通过一定的方法将输入的信息进行一定程度的筛选。不同于我们将输入图像下采样然后在网络设计中引入超分辨进行高频信息还原,他的想法是把3D分割问题转换成点云分割。

他的做法是首先通过一个attention网络对输入图像每个像素点可能是肿瘤的可能性进行初步的判断(不过有一说一这一步的显存占用是怎么降低下来的呢,难道还是用patch吗,当时忘记问了),然后通过不同的可能性数值来进行不同密度的点云采样,这样疑似区域的点云采样会很密集,而安全区域的采样则极度稀疏,从而降低了输入信息对显存的占用。

image

然后,他们设计了一个用于点云分割的unet,来对输入的点云进行细类分割。当时我一直问他为什么要弄成two-stage,这不是一个网络就能完成吗?后来他跟我解释说第一步的attention网络只输出肿瘤概率,不会进行WT,ET和TC的具体类别分割,因此只能靠第二个网络再去细分类别。我想了想,可能如果要在有限的显存下完成这个任务确实只能分步进行,因此这个工作虽然看上去是非常符合直觉非常make sense的,但实际应用起来可能还是end2end的模型会更受青睐一些。

另外我发现paper里的代码链接是错的,直接404。我发邮件问了几位作者,等了很久之后一作回应称代码将于月底开源。目前我自己也在复现,请移步:https://github.com/Dootmaan/Point-Unet


免责声明!

本站转载的文章为个人学习借鉴使用,本站对版权不负任何法律责任。如果侵犯了您的隐私权益,请联系本站邮箱yoyou2525@163.com删除。



 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM