摘要:深度网络的成功训练需要成千上万的注释训练样本,这一点已经得到了广泛的认同。在本文中,我们提出了一种网络和训练策略,依赖于强大的数据扩充,以更有效地使用可用的注释样本。该体系结构由捕获上下文的收缩路径和支持精确定位的对称展开路径组成。我们证明,这样的网络可以从很少的图像中得到端到端的训练,并且在电子显微镜堆栈中分割神经结构的ISBI挑战中优于之前最好的方法(滑动窗口卷积网络)。使用同样的网络对透射光学显微镜图像进行训练(相位对比和DIC),我们在2015年的ISBI细胞跟踪挑战赛中以巨大优势胜出。此外,网络速度很快。在最近的GPU上,512x512图像的分割时间不到一秒。完整的实现基于Ca (e)和经过训练的网络可以在http://lmb.informatik.uni-freiburg.de/people/ronneber/u-net。
UNet++: A Nested U-Net Architecture for Medical Image Segmentation
UNET 3+: A FULL-SCALE CONNECTED UNET FOR MEDICAL IMAGE SEGMENTATION
摘要:近年来,人们对基于深度学习的语义分割越来越感兴趣。UNet是一种具有编解码器结构的深度学习网络,广泛应用于医学图像分割。多尺度特征的结合是实现精确分割的重要因素之一。UNet++是通过设计一种嵌套和密集跳跃连接的架构而开发的一种改进的UNet。然而,它没有从全尺度探索足够的信息,仍然有很大的改进空间。在本文中,我们提出了一种新的UNet 3+,它利用了全尺寸跳跃连接和深度监控。全尺寸跳跃连接结合低级细节和高级语义从不同比例的特征映射;而深度监督则从全尺寸的聚合特征图中学习层次表示。所提出的方法尤其有利于出现在不同规模的器官。除了提高精度外,提出的UNet 3+还可以减少网络参数以提高计算效率。我们进一步提出了一种混合损失函数,并设计了一个分类引导模块来增强器官边界,减少非器官图像的过分割,得到更准确的分割结果。在两个数据集上验证了该方法的有效性。代码可在:github.com/ZJUGiveLab/UNet-Version上获得
3D U-Net: Learning Dense Volumetric Segmentation from Sparse Annotation
摘要:本文介绍了一种从稀疏标注的体积图像中学习的体积分割网络。我们概述了此方法的两个有吸引力的用例:(1)在半自动设置中,用户注释要分割的卷中的某些切片。网络从这些稀疏注释中学习,并提供密集的3D分割。 (2)在全自动设置中,我们假设存在一个代表性的,稀疏注释的训练集。在此数据集上进行训练后,网络密集地分割了新的体积图像。拟议的网络扩展了Ronneberger等人先前的u-net体系结构。通过将所有2D操作替换为3D操作。该实现在训练过程中执行弹性变形以有效地增强数据。它是从头开始进行端到端培训的,即不需要预先培训的网络。我们在复杂的,高度可变的3D结构(非洲爪蟾肾脏)上测试了所提出方法的性能,并在两种使用情况下均取得了良好的结果。
TernausNet: U-Net with VGG11 Encoder Pre-Trained on ImageNet for Image Segmentation
摘要:像素分割是计算机视觉中要求较高的任务。经典的由编码器和解码器组成的U-Net结构在医学图像、卫星图像分割中非常流行。通常,在像ImageNet这样的大数据集上预先训练的网络,用权值初始化的神经网络比在小数据集上从头开始训练的神经网络表现出更好的性能。在一些实际应用中,特别是在医药和交通安全方面,模型的准确性是至关重要的。在本文中,我们演示了如何通过使用预先训练好的编码器来改进U-Net型架构。我们的代码和相应的预训练权重可以在https://github.com/ternaus/TernausNet公开获得。我们比较了三种权值初始化方案:LeCun uniform、权值来自VGG11的编码器和在Carvana数据集上训练的全网络。这个网络架构是在Kaggle: Carvana图像掩蔽挑战中获胜的解决方案(在735个方案中排名第一)的一部分
Attention U-Net:Learning Where to Look for the Pancreas
摘要:我们提出了一种用于医学成像的新型注意门(AG)模型,该模型会自动学习以专注于形状和大小不同的目标结构。由AG训练的模型隐式学习了在输入图像中抑制不相关区域的同时突出显示对特定任务有用的显着特征。这使我们消除了使用级联卷积神经网络(CNN)的显式外部组织/器官定位模块的必要性。 AG可以轻松地集成到标准的CNN架构中,例如U-Net模型,而其计算开销却最小,同时还可以提高模型的灵敏度和预测精度。在两个大型CT腹部数据集上评估了拟议的Attention U-Net体系结构,以进行多类图像分割。实验结果表明,AG可以在保持计算效率的同时,持续提高U-Net在不同数据集和训练规模上的预测性能。提议的体系结构的源代码是公开可用的。
ET-Net: A Generic Edge-aTtention Guidance Network for Medical Image Segmentation
摘要:分割是医学图像分析中的一项基本任务。然而,现有的方法大多集中于原始区域的提取,而忽略了边缘信息,这有利于获得准确的分割。本文提出了一种通用的医学分割方法,即边缘-注意力引导网络(ET-Net),通过嵌入边缘-注意力表示来引导分割网络。特别是利用边缘引导模块学习早期编码层中的边缘注意表示,然后将其转移到多尺度解码层,使用加权聚合模块融合。在四种分割任务上的实验结果。如视网膜图像中的视盘/杯和血管分割,以及胸部x线和CT图像中的肺分割),证明了保留边缘注意表征有助于nal分割的准确性,并且我们提出的方法优于目前最先进的分割方法。我们方法的源代码可以在https://github.com/ZzzJzzZ/ETNet获得。
Dual Attention Network for Scene Segmentation
摘要:在本文中,我们通过捕获丰富的基于自我注意机制的上下文依赖来解决场景分割任务。与以往的多尺度特征融合捕捉上下文不同,我们提出了一种双重关注网络(DANet)来自适应地将局部特征与其全局依赖关系集成在一起。具体来说,我们在扩展的FCN上附加了两种类型的注意模块,分别在空间维度和通道维度上对语义相互依赖进行建模。位置注意模块通过所有位置特征的加权和选择性地聚合每个位置的特征。无论它们的距离如何,相似的特征都会相互关联。同时,信道注意模块通过整合所有信道图的相关特征,选择性地强调相互依赖的信道图。我们将两个注意模块的输出结果相加,进一步改进特征表示,使得分割结果更加精确。我们在三个具有挑战性的场景分割数据集,即城市景观、帕斯卡上下文和COCO素材数据集上取得了新的分割性能。特别是在没有使用粗糙数据的情况下,Cityscapes测试集平均IoU得分为81.5%。
Pyramid Attention Networkfor Semantic Segmentation
摘要:为了充分利用全局上下文信息对语义分割的影响,提出了一种金字塔关注网络(PAN)。与现有的大多数研究不同,我们将注意力机制和空间金字塔结合起来提取精确的密集特征用于像素标记,而不是复杂的扩容卷积和人工设计的解码器网络。具体来说,我们引入一个特征金字塔关注模块执行空间金字塔注意结构高层输出,结合全球池学习更好的特征表示,和全球关注Upsample每个解码器模块层提供全局上下文的指导低级特征选择类别定位细节。该方法在没有COCO数据集的训练下,在PASCAL VOC 2012和Cityscapes基准测试中取得了最先进的性能,mIoU准确率达到了84.0%。