【《基于深度学习的乳腺癌良恶性分类分析案例》6000字】

基于深度学习的乳腺癌良恶性分类分析案例目录TOC\o"1-3"\h\u7095基于深度学习的乳腺癌良恶性分类分析案例 1162741.1数据预处理 126251.1.1数据集 1105951.1.2背景分割 2103951.2方法介绍 3180591.2.1深度学习模型构建 3178301.2.1.1视觉几何组网络 3313661.2.1.2卷积块注意力模块 4201001.2.1.3多视图的基于CBAM的VGG16 579661.2.2深度学习模型训练 767221.3实验结果 8107381.1.1实验评价指标 8245091.1.2实验结果分析 859451.1.2.1单视图模型结果 840561.1.2.2多视图模型结果 9随着计算机算力的不断提高和大数据时代的到来，深度学习克服了浅层学习的局限性，且无需手动设计和提取特征。它可以从数据集中提取更多、更丰富的基本特征。近年来，深度学习已成功应用于计算机视觉，自然语言处理，医学图像处理等领域。深度学习技术在乳腺癌良恶性鉴别中的应用已成为热门研究方向，而对乳腺癌良恶性的准确鉴别对乳腺癌的诊断和治疗具有重要的临床价值。1.1数据预处理1.1.1数据集本次研究共收集到来自河南省人民医院（HenanProvincialPeople’sHospital,HNPPH）和河南省肿瘤医院（HenanProvincialCancerHospital,HNPCH）两个中心的数据，河南省人民医院和河南省肿瘤医院的伦理委员会均批准了本次研究，且本研究符合赫尔辛基宣言。河南省人民医院数据集的患者收集于2012年12月至2017年7月，包含良性患者1748例，恶性患者1908例。河南省肿瘤医院数据集的患者收集于2015年3月至2017年3月，包含1021例良性患者，2345例恶性患者。患者的良恶性均由病理检查确认。河南省人民医院数据集中，排除了20位无病理描述的患者、15位乳腺钼靶X线图像存在明显问题的患者，16位病理位置与视图位置不符合的患者，1位具有病理描述但无对应图像的患者，最终该数据集共有1731位良性患者（其中，175位患者左、右乳腺均存在病变），1873位恶性患者。河南省肿瘤医院数据集中，排除了57位具有病理描述但无对应图像的患者，6位缺少病理描述的患者，25位病理位置与视图位置不符合的患者，该数据共有995位良性患者（其中，202位患者左、右乳腺均存在病变），2283位恶性患者（其中，12位患者左、右乳腺均存在病变）。表3-1两个中心的数据集数据详情数据集标签L-CCL-MLOR-CCR-MLO河南省人民医院良性992992914914恶性967967906906河南省肿瘤医院良性599599563563恶性1212121210831083河南省人民医院患者的影像采集使用豪洛捷LoradSelenia全景数字乳腺成像系统和豪洛捷SeleniaDimensions数字钼靶X射线摄影系统。河南省肿瘤医院患者的影像采集使用豪洛捷SeleniaDimensions数字钼靶X射线摄影系统。1.1.2背景分割为了充分利用计算机的计算资源，本次研究对数据集中的所有视图（L-CC、L-MLO、R-CC、R-MLO）均做了背景剪裁。背景对良恶性分类没有用处，这样做，可以使模型训练时放在重要的图像信息上。此外，将数据输入到模型时，所有图像都被调整大小到250*250。图3-1给出了背景分割及调整大小的示例图。图3-1背景分割及调整图像大小示例图1.2方法介绍1.2.1深度学习模型构建1.2.1.1视觉几何组网络牛津大学的视觉几何组（VisualGeometryGroup）于2014年提出了VGGNet，并在2014年举办的ImageNet大规模视觉识别大赛中取得了定位任务第一名和分类任务第二名的佳绩。分类任务的第一名是GoogLeNet。VGGNet主要从深度方面对卷积神经网络做了修正，证明了加深网络要优于加宽网络。VGG是由5层卷积层、3层全连接层和softmax分类层构成，层与层之间采用最大池化，所有隐藏层的激励函数均采用ReLU函数。VGG16前两层卷积层均有两次卷积运算，后三层均有三次卷积运算。VGG19前两层卷积层与VGG16相同，而后三层均有四次卷积运算，因此VGG19比VGG16多三层，网络更深。图3­2VGG16结构图VGGNet与其他卷积神经网络相比，主要有以下优点：（1）结构简单图4­1展示了VGG16的网络结构，从图中可以看到，VGGNet没有像ResNet一样有复杂的残差结构，也没有像GoogLeNet一样存在多分支的Inception结构。VGGNet结构清晰明了，一目了然。（2）小的卷积核和连续卷积子层与AlexNet相比，VGGNet放弃了使用大的卷积核（例：AlexNet中的7×7卷积核），转而在所有卷积子层中采用更小的卷积核（3×3）并连续使用卷积。使用更小的卷积核，感受野必然变小，但是使用了连续卷积子层。VGG认为连续使用2个卷积核大小均为3×3的卷积相当于使用一个卷积核大小为5×5的卷积，连续使用3个卷积核大小均为3×3的卷积相当于使用一个卷积核大小为7×7的卷积。这样做，一方面可以减少参数的数量，另一方面增加了非线性映射的数量，有利于增强网络的拟合能力。（3）小的池化核VGGNet中的最大池化层均采用大小为2×2，而AlexNet中均采用大小为3×3的池化层。（4）通道数更多VGGNet的第一个卷基层块的通道数为64，后面每一块都进行了加倍，最多有512个通道。通道数的增加意味着过滤器数量的增加，每一个过滤器都会提取一个特征图，更多更丰富的特征从图中被提取出来。（5）层数更深相比于ResNet来说，VGGNet不算是很深的网络。但是在结构简单的网络中，VGGNet是较深的而且性能不错的网络。在卷积过程中，使用了边缘填充，保持了图像的尺寸，仅使用最大池化来降低图像的尺寸。1.2.1.2卷积块注意力模块卷积块注意力模块（ConvolutionalBlockAttentionModule,CBAM）是由Woo等人于2018年在欧洲计算机视觉会议（EuropeanConferenceonComputerVision,ECCV）上发表的。Woo等人认为不仅可以从影响网络的三个重要因素：深度、宽度和基数（cardinality）出发改变网络提高性能，还可以从注意力这一结构设计出发来提升网络。注意力不仅可以告知专注于哪里，还可以提升表示感兴趣区域的能力。人类视觉系统最重要的一个性质就是一开始不会处理整个场景，而是通过一系列的局部注视并专注于特殊部分来更好的认知。而CBAM正是要模仿人类视觉系统这一性质。CBAM综合利用了最大池化与平均池化，可以简单地将CBAM理解为由两种注意力机制：通道注意力机制（Channelattentionmodule）与空间注意力（Spatialattentionmodule）机制构成的。图3­3卷积块注意力模块流程图从图3­3可以看到，输入一个特征图F∈ℝC×H×W，CBAM会先后输出一个一维的通道注意力图MF其中⊗表示元素对应乘积。通道注意力的功能是给定一张输入图片，专注于“什么”是有意义的信息。图3­4卷积块注意力模块流程图通道注意力会同时对输入特征使用最大池化和平均池化成FavgC和M与通道注意力不同，空间注意力专注于“哪里”是最有信息的部分。空间注意将最大池化和平均池化生成的特征图Favgs和FM其中f7×7表示卷积核大小为7×7图3­4卷积块注意力模块流程图1.2.1.3多视图的基于CBAM的VGG16借助于结构简洁的VGG16与卷积块注意力机制，本文设计了基于CBAM的多视图VGG16(Multi-ViewVGG16basedonCBAM，MVVGG16-CBAM)。网络结构如图3-6所示。图3­6基于CBAM的多视图VGG16结构图以CC视图为例，也就是图3-6的上半部分。首先该网络将一张输入图片依次传入VGG16的卷积块1、卷积块2、卷积块3、卷积块4，然后将卷积块4输出的特征输入进CBAM模块中，依次得到通道注意力特征图以及空间注意力特征图，最后得到CBAM注意力特征图。再将CBAM注意力特征图与卷积块4输出的特征做相加，得到的特征输入进卷积块5。卷积块5输出的特征展平为一维特征，采用Dropout=0.5，在训练时，随机舍弃一些神经元。然后依次通过节点为1024和节点为256的密集连接层，最后进入分类层进行分类。MLO视图与CC视图同理，MLO视图情况就是图3-6的下半部分。将两者输入进网络，最后分类的结果是综合利用CC视图的预测结果与MLO视图的预测结果得到的。将250×250×3一张视图输入进网络，经过卷积块1和第一个最大池化层后，变成125×125×64的特征图，进入卷积块2和第二个最大池化层后，变成62×62×128的特征图，进入卷积块3和第三个最大池化层后，变成31×31×256的特征图，卷积层4会继续提取更抽象的特征并加深通道数，而最大池化层降低特征的数量，变成15×15×512的特征图，此时，特征图输入卷积块注意力机制，将输出的特征与原来的特征做加和，输入进第五层卷积块和第五个池化层，变成7×7×512的特征图，将这些特征展平，变成7×7×512=25088维的特征向量，经过Dropout层，随后进入节点为1024和节点为256的密集连接层，最后进入节点为2的分类层。本文创新性地将VGG16网络与卷积块注意力机制结合在了一起，不仅可以利用VGG16具有结构简单、小的卷积核和连续卷积子层、小的池化核、通道数更多、层数更深的特性，更能利用卷积块注意力机制深层挖掘图像特征。卷积块注意力机制不仅专注于“什么”是有意义的信息，更专注于“哪里”是最有信息的部分。1.2.2深度学习模型训练VGG16是一个具有庞大参数的网络，从头训练该网络是困难的，一方面缺少数据支撑，另一方面需要消耗大量时间。因此本文考虑迁移学习，将训练好的VGG16模型的权重初始化本文提出的模型。VGG16模型使用了ImageNet数据集上128万张自然图像进行了训练，学习到了有代表性的特征。而卷积神经网络靠近底部的卷积层学习到的是更加通用的特征，而顶层一般是抽象的针对特定任务的特征。因此本文选择冻结VGG16的前四个卷积块，只训练CBAM注意力机制、卷积块5以及密集连接层和分类层。图3-7展示了以单视图为例的模型训练结构示意图。将河南省人民医院的数据集按照8:1:1划分为训练集、验证集和测试集，而河南省人民医院数据作为外部测试集。在划分数据集时，如果该患者的L-CC视图进入训练集，相应的L-MLO视图也应进入训练集。此举是为了多视图模型的构建，也是为了保证患者的图像信息在训练过程不被泄露。调整大小后的图像均除以255，保证数值在[0,1]内。由于卷积神经网络的训练需要大量样本做支撑，因此本文使用了数据增强。每轮训练，图像将被随机水平翻转、随机垂直翻转、随机旋转、按0.2的比例随机缩放图像尺寸、随机水平或垂直投影变换。这样做还可以避免模型的过拟合。此外，模型训练时，将交叉熵作为损失函数，其数学表达式如下:其中N表示样本量，yi表示样本i的标签，pi表示样本所有的代码均是在Ubuntu16.04.7LTS（64位）上运行，并使用TITANXpGPU（12GB现存）进行加速。python版本为1.7.10，使用的深度学习框架为基于TensorFlow后端的Keras。1.3实验结果1.1.1实验评价指标本文主要采用准确率（Accuracy,ACC）、灵敏度（Sensitivity,SEN）、特异度（Specificity,SPE）、受试者工作特征曲线（receiveroperatingcharacteristiccurve,ROC）曲线下面积（AreaUnderCurve,AUC）来评价本文的模型。准确率的计算公式为:ACC=灵敏度的计算公式为:SEN=灵敏度也被称为召回率或真阳性率。特异度的计算公式为:SPE=特异度也被称为真阴性率。其中，TP表示真阳性（TruePositive），即恶性患者被预测为恶性患者;FP表示假阳性（FalsePositive），即良性患者被预测为恶性患者;TN表示真阴性（TrueNegative），即良性患者被预测为良性患者;FN表示假阴性（FalseNegative），即恶性患者被预测为良性患者。AUC越接近于1，代表模型的效果越好。1.1.2实验结果分析1.1.2.1单视图模型结果首先，本文输入一张视图训练了模型，也就是基于CBAM的单视图VGG16模型。图3-8展示了基于CBAM的单视图VGG16的结构图。输入一张CC视图或者MLO视图，模型会给出良性的概率和恶性的概率，并取概率最大所对应的标签作为预测标签。图中灰色的块表示被冻结。为了验证卷积块注意力机制的有效性，本文将卷积块注意力机制从VGG16网络中去除，构成一个微调的VGG16，将其与基于CBAM的单视图VGG16进行比较。图3-9给出了微调的VGG16的结构图。同样的，图中灰色的块表示被冻结。基于CBAM的VGG16模型与微调的VGG16模型都在河南省人民医院数据集的CC视图和MLO视图的同一训练集进行了训练，并利用验证集在训练过程中进行验证。表4-2给出了微调的VGG16与添加卷积块注意力机制的VGG16在河南省人民医院数据集CC视图与MLO视图的训练集、验证集以及测试集的结果。从模型角度来看，在CC视图上，VGG16-CBAM由于卷积块注意力机制的添加，能够深层挖掘图像信息，提高了模型的AUC值，提升了模型的预测能力。其次，VGG16-CBAM增加了良性患者的预测准确率（CC视图测试集特异度:0.91vs.0.89;MLO测试集特异度:0.95vs.0.89）。从视图角度来看，无论是微调的VGG16还是VGG16-CBAM，在CC视图测试集的准确率、AUC都要高于MLO视图测试集的准确率、AUC，VGG16在CC视图测试集的准确率为85%，AUC为0.91;VGG16-CBAM在CC视图测试集的准确率为85%，AUC为0.92。从AUC值的角度来看，无论是在验证集还是在测试集上，AUC值均大于0.85，这表示微调的VGG16以及VGG16-CBAM具有较好的泛化能力，预测效果是具有竞争力的。图4-7展示了微调的VGG16与添加卷积块注意力机制的VGG16在河南省人民医院数据集CC视图与MLO视图的验证集与测试集的受试者工作特征曲线，右下角的数值表示AUC值。为了了解卷积块注意力机制工作原理，本文将卷积块注意力机制输入的特征图的第一个通道特征进行了可视化。图3-11展示了四位患者的视图与其对应的第一个通道的注意力特征图。患者A的外下象限存在恶性病灶，VGG16-CBAM将其预测为良性患者，可以观察到对应的特征图将注意力放在了上象限，所以发生了预测错误。患者B的内上象限发生了恶性病变，VGG16-CBAM将其预测为恶性患者，对应的注意力特征图将注意力放在了上象限，故预测正确。患者C的内下象限存在良性病灶，VGG16-CBAM将其预测为良性患者，可以观察到对应的特征图将注意力放在了下象限，所以预测正确。患者D的外上象限发生了良性病变，但是VGG16-CBAM将其预测为恶性患者，对应的注意力特征图将注意力放在了下象限，故预测错误。为了检验微调的VGG16与VGG16-CBAM的预测分类能力，在河南省肿瘤医院的数据集上做了外部测试。表4-3给出了微调的VGG16与VGG16-CBAM在河南省肿瘤医院数据集CC视图与MLO视图的结果。从准确率角度来看，与河南省人民医院测试集结果相比，无论是VGG16，还是VGG16-CBAM，无