【《基于残差U-Net的医学图像分割方法分析实验案例》4900字】

基于残差U-Net的医学图像分割方法分析实验案例目录TOC\o"1-3"\h\u10837基于残差U-Net的医学图像分割方法分析案例 1185811.1问题概述 1105981.2网络结构设计 2212371.1.1基于U-Net的主干网络 2138771.1.2残差U-Net分割网络 3247911.1.2损失函数计算 6182351.3实验方法与参数设置 7304341.3.1训练阶段 7159741.3.2预测阶段 8101481.3.3实验运行环境 889541.3.4实验数据集 8267451.4实验结果与评价 870141.4.1分割精度评价指标 8149921.4.2实验结果示例 9119561.4.2实验结果评价与分析 10随着深度学习领域的蓬勃发展，越来越多出色的语义分割网络在医学图像分割领域中展现出了明显的优势。本章将基于经典的U-Net结构，构建残差U-Net并将其用于股骨近端HR-pQCT图像中骨皮质的分割，为HR-pQCT图像分割开辟一条新的路径。1.1问题概述目前，已被用于HR-pQCT图像中骨皮质分割的方法，包括基于传统图像处理的方法、基于能量泛函的方法以及基于机器学习的方法等。然而，在我们所知的范围内，还未发现有基于深度学习的相关研究。随着深度学习技术的不断进步，深度卷积神经网络已经在诸多医学图像分割任务中表现出强大的性能。然而，先进的深度学习算法在HR-pQCT图像骨皮质分割任务中能够实现怎样的分割精度还是不明晰的。在此，我们将首次应用深度学习技术来实现HR-pQCT图像中骨皮质的分割。我们在经典的U-Net结构基础上进行了改进，并有效结合残差单元，构建了残差U-Net。通过三折交叉验证，我们在三套私有的股骨近端HR-pQCT图像数据上对我们的方法进行了评估。1.2网络结构设计1.1.1基于U-Net的主干网络本实验将经典的U-Net结构作为主干网络。U-Net是医学图像分割领域中被广泛应用的网络结构。其最初由Ronneberger等人在2015年的医学图像计算和计算机辅助干预会议（MedicalImageComputingandComputerAssistedIntervention,MICCAI）上提出ADDINZOTERO_ITEMCSL_CITATION{"citationID":"CwOPUZ1K","properties":{"formattedCitation":"\\super[7]\\nosupersub{}","plainCitation":"[7]","noteIndex":0},"citationItems":[{"id":163,"uris":["/users/local/ErwjRSwv/items/WIJILYHW"],"uri":["/users/local/ErwjRSwv/items/WIJILYHW"],"itemData":{"id":163,"type":"paper-conference","container-title":"InternationalConferenceonMedicalimagecomputingandcomputer-assistedintervention","page":"234-241","publisher":"Springer","title":"U-net:Convolutionalnetworksforbiomedicalimagesegmentation","author":[{"family":"Ronneberger","given":"Olaf"},{"family":"Fischer","given":"Philipp"},{"family":"Brox","given":"Thomas"}],"issued":{"date-parts":[["2015"]]}}}],"schema":"/citation-style-language/schema/raw/master/csl-citation.json"}[7]。经典的U-Net结构建立在全卷积网络的基础之上。其主要因网络结构形似英文字母U而得名，具有良好的对称性（如图2-1所示）。该网络包含了两条路径，左半侧为收缩路径而右半侧为扩展路径，分别对应执行下采样与上采样。U-Net结构的核心实际上是一种编码器-解码器结构。其中，收缩路径的下采样过程可用于特征的提取，而扩展路径的上采样过程可将提取得到的特征进行有效地重建进而实现目标分割。经典的U-Net结构进行了四级的上、下采样，且每次执行下采样时特征图通道数会翻倍，而执行上采样时特征图通道数会减半。其中，下采样是通过最大池化层实现，上采样则通过2×2的反卷积层实现。在每一级尺度下，均会采用两个卷积模块来进一步提取或重建特征。每一个卷积模块中包含一个卷积核大小为3×3、步长为1的卷积层以及一个ReLU激活层。十分巧妙的是，U-Net在相同尺度下的收缩路径与扩展路径之间还添加了跳跃连接（SkipConnection），其以通道拼接的方式实现。这使得收缩路径的信息能更有效地传递到扩展路径。网络的末尾处会采用1×1的卷积进行计算，可实现较小计算量下改变特征图通道数，并使不同通道间的信息更好地融合。预测阶段，按照需要使用Softmax或Sigmoid函数对网络输出进行激活即可得到预测概率图，从而完成预测。图2-1U-Net主干网络结构图1.1.2残差U-Net分割网络在经典的U-Net结构基础上，我们进一步调整了网络结构与超参数，并在下采样与上采样过程中引入带有残差单元（ResidualUnit）的残差卷积模块，构建得到残差U-Net（ResidualU-Net）ADDINZOTERO_ITEMCSL_CITATION{"citationID":"wS2KVhCK","properties":{"formattedCitation":"\\super[24]\\nosupersub{}","plainCitation":"[24]","noteIndex":0},"citationItems":[{"id":178,"uris":["/users/local/ErwjRSwv/items/CPJ38HV4"],"uri":["/users/local/ErwjRSwv/items/CPJ38HV4"],"itemData":{"id":178,"type":"article-journal","container-title":"IEEEGeoscienceandRemoteSensingLetters","issue":"5","note":"ISBN:1545-598X\npublisher:IEEE","page":"749-753","title":"Roadextractionbydeepresidualu-net","volume":"15","author":[{"family":"Zhang","given":"Zhengxin"},{"family":"Liu","given":"Qingjie"},{"family":"Wang","given":"Yunhong"}],"issued":{"date-parts":[["2018"]]}}}],"schema":"/citation-style-language/schema/raw/master/csl-citation.json"}[24]。本文将基于残差U-Net实现股骨近端HR-pQCT图像中骨皮质的分割。研究表明，加深深度卷积神经网络的深度虽能有效提高网络的性能，但可能会让网络的训练受阻，甚至出现网络退化的现象。为此，He等人提出了ResNet网络，其核心贡献是在网络中引入了残差单元来解决这一问题（如图2-2所示）ADDINZOTERO_ITEMCSL_CITATION{"citationID":"Fr4sUOT9","properties":{"formattedCitation":"\\super[25]\\nosupersub{}","plainCitation":"[25]","noteIndex":0},"citationItems":[{"id":179,"uris":["/users/local/ErwjRSwv/items/8J9E9PFK"],"uri":["/users/local/ErwjRSwv/items/8J9E9PFK"],"itemData":{"id":179,"type":"paper-conference","container-title":"ProceedingsoftheIEEEconferenceoncomputervisionandpatternrecognition","page":"770-778","title":"Deepresiduallearningforimagerecognition","author":[{"family":"He","given":"Kaiming"},{"family":"Zhang","given":"Xiangyu"},{"family":"Ren","given":"Shaoqing"},{"family":"Sun","given":"Jian"}],"issued":{"date-parts":[["2016"]]}}}],"schema":"/citation-style-language/schema/raw/master/csl-citation.json"}[25]。可以看到，输入会通过恒等映射（IdentityMapping）直接传递到输出处并作加和ADDINZOTERO_ITEMCSL_CITATION{"citationID":"u6WHLoEJ","properties":{"formattedCitation":"\\super[26]\\nosupersub{}","plainCitation":"[26]","noteIndex":0},"citationItems":[{"id":181,"uris":["/users/local/ErwjRSwv/items/5XWXFYFZ"],"uri":["/users/local/ErwjRSwv/items/5XWXFYFZ"],"itemData":{"id":181,"type":"paper-conference","container-title":"Europeanconferenceoncomputervision","page":"630-645","publisher":"Springer","title":"Identitymappingsindeepresidualnetworks","author":[{"family":"He","given":"Kaiming"},{"family":"Zhang","given":"Xiangyu"},{"family":"Ren","given":"Shaoqing"},{"family":"Sun","given":"Jian"}],"issued":{"date-parts":[["2016"]]}}}],"schema":"/citation-style-language/schema/raw/master/csl-citation.json"}[26]。在不增加额外计算量和参数的前提下，这使信息得以更有效地让更深的网络学习。图2-2残差单元示意图我们可用如下式子来描述残差单元：x其中，xn与xn+1分别代表第n个残差单元的输入与输出，A(⋅)代表激活函数，I(⋅)代表恒等映射函数，F(xn,wn)代表在权重wn为了使梯度的反向传播变的更加稳定，我们在U-Net每一尺度下的卷积模块中引入了残差单元，将其修正为残差卷积模块（ResidualConvModule）（如图2-3所示）。卷积模块的输入为网络下采样与上采样后的输出。每一个卷积模块中包含了两级卷积核大小3×3步长为1的卷积，且每级卷积后会紧接一层实例归一化层（InstanceNormalization）ADDINZOTERO_ITEMCSL_CITATION{"citationID":"Rx0fqLnL","properties":{"formattedCitation":"\\super[27]\\nosupersub{}","plainCitation":"[27]","noteIndex":0},"citationItems":[{"id":182,"uris":["/users/local/ErwjRSwv/items/EWKSUVM5"],"uri":["/users/local/ErwjRSwv/items/EWKSUVM5"],"itemData":{"id":182,"type":"article-journal","container-title":"arXivpreprintarXiv:1607.08022","title":"Instancenormalization:Themissingingredientforfaststylization","author":[{"family":"Ulyanov","given":"Dmitry"},{"family":"Vedaldi","given":"Andrea"},{"family":"Lempitsky","given":"Victor"}],"issued":{"date-parts":[["2016"]]}}}],"schema":"/citation-style-language/schema/raw/master/csl-citation.json"}[27]以及一层PReLU（ParametricRectifiedLinearUnit）激活层ADDINZOTERO_ITEMCSL_CITATION{"citationID":"FYMKjdlF","properties":{"formattedCitation":"\\super[28]\\nosupersub{}","plainCitation":"[28]","noteIndex":0},"citationItems":[{"id":180,"uris":["/users/local/ErwjRSwv/items/G7UI5H2V"],"uri":["/users/local/ErwjRSwv/items/G7UI5H2V"],"itemData":{"id":180,"type":"paper-conference","container-title":"ProceedingsoftheIEEEinternationalconferenceoncomputervision","page":"1026-1034","title":"Delvingdeepintorectifiers:Surpassinghuman-levelperformanceonimagenetclassification","author":[{"family":"He","given":"Kaiming"},{"family":"Zhang","given":"Xiangyu"},{"family":"Ren","given":"Shaoqing"},{"family":"Sun","given":"Jian"}],"issued":{"date-parts":[["2015"]]}}}],"schema":"/citation-style-language/schema/raw/master/csl-citation.json"}[28]。卷积模块的输入会恒等映射到卷积模块的输出中，卷积过程中特征图通道数不发生变化。图2-3残差卷积模块示意图归一化层的加入使激活层的输入变得更加均匀，能有效防止激活层的值陷入一个较小范围。而实例归一化层是对单一样本单一通道进行归一化，其较好地使不同样本之间的独立性得到保留。此外，修正激活函数为PReLU。其相较于ReLU函数增加了一个在训练过程中可学习的参数aiPReLU基于上述残差卷积模块，我们构建了残差U-Net网络（如图2-4所示）。其中共包含了五级下采样，且每一级尺度下的特征图通道数由32逐级翻倍递增至1024。整个网络共采用了11个残差卷积模块。相较于原始的U-Net框架，我们并未采用最大池化层执行下采样，而是采用了卷积核大小3×3步长为2的卷积进行计算。最大池化层在减小特征图尺寸以获得更大的感受野的同时，虽能有效降低计算量，难免会导致有用信息的丢失。而采用步长为2的卷积能让网络更好地编码空间信息，使信息能够更好地融合。在上采样部分，我们也未采用双线性插值的方式进行，而是采用卷积核大小3×3步长为2的反卷积进行计算。使用反卷积的好处便是在实现上采样的同时，增加网络可学习的参数，使网络更好地在上采样过程中重建出目标特征。与U-Net相同，收缩与扩展路径间通过跳跃连接相连，使信息更好地由收缩路径传递到扩展路径。最终，经过卷积核大小1×1的卷积，模型可得到通道为2的输出。两个通道的特征图分别代表了骨皮质前景与背景。注意，计算损失以及后续进行预测时需要结合Softmax函数进行计算。图2-4残差U-Net网络结构示意图1.1.2损失函数计算深度学习模型在优化过程中会趋向于使损失值达到最小进而收敛，从而实现对模型权重的优化。采用不同的损失函数会对模型的产生不同的影响。为了有效地评估模型输出结果与真实标注之间的差异以衡量模型的好坏，我们需要采用合适的损失函数来计算损失值。在此，我们所采用的损失函数为Dice损失与交叉熵损失的组合，可以用下式来表示：Loss=其中，Dice损失最初由Milletari等人在2016年发表的V-Net论文中被提出ADDINZOTERO_ITEMCSL_CITATION{"citationID":"5f2jhOqj","properties":{"formattedCitation":"\\super[8]\\nosupersub{}","plainCitation":"[8]","noteIndex":0},"citationItems":[{"id":164,"uris":["/users/local/ErwjRSwv/items/DRWTPDXM"],"uri":["/users/local/ErwjRSwv/items/DRWTPDXM"],"itemData":{"id":164,"type":"paper-conference","container-title":"2016fourthinternationalconferenceon3Dvision(3DV)","ISBN":"1-5090-5407-3","page":"565-571","publisher":"IEEE","title":"V-net:Fullyconvolutionalneuralnetworksforvolumetricmedicalimagesegmentation","author":[{"family":"Milletari","given":"Fausto"},{"family":"Navab","given":"Nassir"},{"family":"Ahmadi","given":"Seyed-Ahmad"}],"issued":{"date-parts":[["2016"]]}}}],"schema":"/citation-style-language/schema/raw/master/csl-citation.json"}[8]，后被广泛用于医学图像分割领域的损失计算。Dice相似性系数是评价医学图像分割精度的重要指标。Dice损失主要便是基于Dice相似性系数的计算方法，并将其用于预测结果特征图与真实标注之间差异的计算，可用于计算全局范围内的损失。其计算方法如下式所示：Los其中，P代表预测结果，G代表真实标注。ϵ是一个大小为1e-6的微小量，用于避免分母为0的情况出现，同时保证P与G均为0的时候损失为0。图像分割任务可以被视作为像素级别的分类问题，采用交叉熵损失可以更好地计算像素级别的差异，并使网络能更好地关注这些细节。在此，我们还在交叉熵损失的基础上添加了权重项。由于HR-pQCT图像中背景与前景像素比例存在不平衡问题，背景像素要多于前景像素，若对背景像素与前景像素加以相同权重计算交叉熵会使网络在优化时缺乏对前景部分的重视。我们对背景像素额外加以0.8的权重（前景像素的权重为1），以削减背景对网络参数的影响。由于骨小梁以及大量噪声的存在，背景仍较为复杂，因为也不宜将背景像素的权重值设得过小。Los1.3实验方法与参数设置1.3.1训练阶段网络采用了Adam优化器进行训练，学习率为1e-4，并采用了1e-5大小的权重衰减。权重衰减是在计算损失时添加网络权重的L2正则化项。这有助于使网络权重变得更小，模型变得更为简单，从而提升模型的泛化性能并减轻网络的过拟合现象。由于这里用到的图像数据尺寸较大且并非定值，我们随机采样了大小为768×768的块输入网络进行训练。本实验中采用的批大小（batchSize）为6。对于任一批次的迭代，会对选取的样本进行8次随机采样与扩增后输入网络。这可以让网络在每一次迭代中更好地关注当前用于训练的样本。​对于读取数据后的处理，我们首先对图像的灰度分布进行了标准化。此外，为了更好地缓解数据样本数量较少带来的网络过拟合问题，我们还对采样得到的数据进行了数据扩增，所采取的操作包括，随机缩放、随机裁剪、随机灰度拉伸、随机高斯平滑、随机翻转以及随机旋转。通过这些数据增强方法，网络可以拟合更多情况的数据，从而具备更佳的泛化性能。经过100轮（epoch）的迭代后，保存模型参数以便用于预测。1.3.2预测阶段值得注意的是，由于网络输入图像的尺寸为768×768大小的图像块，其尺寸要小于原始HR-pQCT图像的尺寸。因此，在预测阶段，我们无法直接将原始尺寸的HR-pQCT图像输入网络进行预测。为了预测得到全尺寸的图像，我们采用了滑动窗口的方式进行预测。以原尺寸的3/4长度作为步长在横向与纵向滑动窗口，每次仅需基于训练好的网络对窗口内的图像进行预测。将预测得到的概率图经过Softmax层计算，此时同一位置的像素是前景的概率与是背景的概率加起来等于一，保存得到的结果。经过完整地窗口滑动后，最终将每一个滑动窗口得到的Softmax结果在对应像素位置处加和，再除以该像素点位置被窗口滑动过的次数进行平均，即可得到全尺寸的Softmax输出结果。由此，取每个像素前景与背景概率中最大的一类预测即可得到最终的预测结果。此外，由于骨皮质是连续的三维结构，我们采用在三维空间内取最大的连通区域的方式对分割结果进行后处理。1.3.3实验运行环境本章进行的所有实验均是基于Python语言以及PyTorch深度学习框架完成的。实验所使用到的服务器计算资源信息如下：系统版本为LinuxUbuntu18.04，处理器为2颗10核1.20GHz的Intel(R)Xeon(R)至强银牌4114芯片，内存为128G，并配有2块显存为24G的NVIDIATitanRTX显卡。1.3.4实验数据集本文的所有实验是基于三套私有的三维股骨近端HR-pQCT图像数据开展的，且由医生提供