【《深度学习网络用于新冠肺炎X光影像诊断案例分析》7900字】

深度学习网络用于新冠肺炎X光影像诊断案例分析目录TOC\o"1-3"\h\u5465深度学习网络用于新冠肺炎X光影像诊断案例分析 167081.1病毒性肺炎和新冠肺炎X光胸片特征 1214031.2X光胸片肺炎检测与分类的问题分析 1127891.3具有注意力能力的卷积神经网络 240741.1.1注意力模块 32371.1.2基于CBAM+ResNet新冠肺炎检测模型的优化 4275021.4基于改进Retinex算法肺炎图像的增强 663321.4.1单尺度SSR(SingleScaleRetinex) 766741.4.2多尺度MSR(Multi-ScaleRetinex) 8192661.4.3肺炎图像增强算法的优化 9259321.4.4图像增强的实验过程和结果 9每年各地的医院都会面临大量的胸部X光片的拍摄，医生会根据拍摄出来的图像进行病症分析诊断，这是一项十分繁琐和重复性的工作，这对医疗资源的消耗是巨大的。计算机辅助系统的引入，帮助医生可以分担一些不必要的重复性工作，可以让他们的注意力放在更需要救治的患者身上。因此它不但提高了诊断的效率，也减少了医生的劳动强度，新冠肺炎医疗检测系统的实现也必将带来现实的临床意义。本章将介绍改进的残差网络用来实现新冠肺炎医疗图像的检测与识别。1.1病毒性肺炎和新冠肺炎X光胸片特征新冠肺炎和普通肺炎的胸片上，还是有一些特点的。新冠肺炎在胸片上主要表现为靠近胸部外带的下边的这种磨玻璃影为主，而普通肺炎的表现主要是沿着气管、支气管分布的实变影，而如果发现胸膜下有磨玻璃影，而且进展很快的话，应当注意是新冠肺炎，而不是普通肺炎。如图1.1左中右分别代表新管肺炎，病毒性肺炎和正常普通胸片。图1.1三种不同的X光片肺部影像1.2X光胸片肺炎检测与分类的问题分析X光胸片的辨识度不是很高，胸片上的肺炎其形状和灰度的变化比较复杂[33]。如图1.2所示，再加上体内其他器官的影响，例如肋骨会遮掩住肺部雾状阴影、隔膜等结构的大小和形状不一，这些都能影响到肺炎分类效率。为了忽略这些图像噪声，有效提取肺雾状更丰富的特征信息，基于上述问题本文提出利用注意力机制来提高肺炎的分类效率。由于本文引入的注意力机制分别有空间域和通道域，空间域的引入可以让计算机将兴趣点定位到肺部的雾状区域，通道域的引入可以让计算机自动忽略周围的噪声区域，增加肺部雾状的效果。综上所述，注意力机制的引入在医学图像检测和分类上在理论方面是可行的，具体的效果需要通过不断的实验来获取结果。为了进一步优化注意力在病灶区域的检测效果，本文会通过不断重复空间域和通道域在图像特征空间的作用次数，以达到雾状特征的加强效果，提高分类检测的准确率。图1.2X光片肺部结构图1.3具有注意力能力的卷积神经网络注意力是人们在日常生活中不可缺乏的能力，当人们在工作的时候就会全神贯注于一件事务上，这样会减少外界对于本人的影像。对于卷积神经网络来讲具有相同的作用，注意力机制的加入会提高网络识别物体的鲁棒性。本文引用这种具有注意力机制的卷积神经网络(ConverlutionalBlockAttentionModule,CBAM)，将其用于新冠肺炎X光影像的检测可以解决X光影像固有的影像问题，它可以将关注点放在更有用的信息上，例如肺部发炎的雾状区域。从而提高肺部炎症的检测准确率和效率，其具体的结构如图1.3所示。图1.3CBAM示意图 在CBAM结构中有两个模块，分别是通道注意力模块Mc，它的作用是选取X光图像的通道。另外一个是空间注意力模块Ms，该模块的作用是定位肺炎图片上的雾状炎症区域。对与图像产生的特征图 F'= F''=另外模块的摆放顺序会影响到模型的训练效果。他们可以是串行的摆放，在串行摆放的情况下也可以调换两个模块的位置。并行摆放也是行的通的，至于哪种摆放关系可以对网络起到最好的效果，本文后续会有相关的讨论和实验。1.1.1注意力模块(1)通道注意力模块本文在建立卷积神经网络训练医疗图像的时候，会通过通道提取图像不同的特征信息。因此选择肺炎图像上不同通道的信息，可以让算法更能注意到肺炎图像上最明显的特征信息，如公式3-3所示。 Mc(F)=δ(MLP(AvgPool(F)))+MLP(MaxPool(F)))=δ(为了得到医疗图像的通道注意力参数，可以计算每张图像特征图的全局最大池化信息以及全局平均池化信息，最后再外接一个全连接层之后相加得到。值得注意的是两个模块共用一个全连接层网络，其模块结构如图1.4所示。图1.4通道注意模块(2)空间注意力模块网络只关注图像最显著的特征往往会有误检测情况的出现。尤其是在医疗图像领域，噪声的复杂往往会误导通道注意力，因此将所需求的检测点定位，可以充分提高模型的精度。在X光肺炎图像中，玻璃雾状只存在于光片的特定区域，而肺炎的检测需要确定雾状区域的位置，才能判断该炎症是由什么病毒引发的。但是雾状区域仅仅是很小的一部分，普通的算法检测是很困难的。因此如果可以对输入的X光片可以精确自动定位，就可以减少图像中其他器官的干扰，提升网络的鲁棒性。空间注意力模块就会起到这样的作用，如公式3-4所示它的机制就是将肺炎图像各个通道特征图的每个坐标进行全局平局和最大池化后得到两张不同的特征图，然后对特征图进行卷积操作得到空间上的注意力图。得到通过设计空间注意模块，其主要模块结构如图1.5所示。 Ms(F)=图1.5空间注意模块1.1.2基于CBAM+ResNet新冠肺炎检测模型的优化由于ResNet网络存在恒等映射的机制，再深的网络也不会引起网络退化的问题。因此本实验采用CBAM和ResNet相结合的方式进行网络模型的构建，CBAM作为ResNet的子网络，相当于在主干网络中添加了对肺炎图像雾状部分进行定位的功能，同时也加入了最明显特征的提取。如图1.6所示的网络结构为构建的模型，可以清楚的看到CBAM在残差模块中的精确位置。1.6CBAM+ResNet结构 在该模型中肺炎图片进入到残差网络的主干结构，主干网络会提取图像的特征形成featuremap。提取到的特征图首先会完成通道注意力，在该模型中通道模块用了两个池化的操作，分别是maxpool和avgpool。池化本身的作用就是提取图像的高层次特征，不同的池化意味着可以提取更丰富的高层次特征。本文输入的图像的featuremap为(256,256,3)的，经过两种池化操作之后维度就变成了两个(128,128,3)，两个池化后的featuremap再进行相加，最后再经过Sigmod函数的激活其输出的结果同样也是（128，128，3）。然后在该基础上在通过空间的注意力，通过通道的池化操作是在图像的长宽维度上进行的，实质上就是取得一列通道中的最大值和平均值做到列维度的池化，将三维通道变成了一维通道。由于在完成通道池化之后的特征图维度变成了(128,128,3)，经过一次池化之后featuremap就变成了(128,128,1)的维度。再经过第二次池化之后就会出现两个(128,128,1)维度的图像，将它们在基于通道维度的基础上进行拼接的操作，featuremap就是(128,128,2)的维度。之后利用7×7卷积核对高层次特征图进行卷积的操作，由于卷积核只有一个所以经过一轮操作后的图像大小就会变成(128,128,1)。CBAM的结构比较简单，它的作用虽说可以对医疗图像病灶区域更加关注。但是由于在面对复杂背景的医疗图像的时候，在提高对雾状阴影关注的同时，也丢失部分原始的图像信息，虽然每次在完成注意力模块的时候都会与原始图像的特征图再次进行相乘，但是为了让原始图像信息最大程度的保留，本文将两个模块进行并行化处理，在每次经过各个模块的时候都与原来图像进行相乘的操作。两个通道的特征结合之后再将原始图像的特征图加到结合之后的特征图上。依据以上思想本文提出了基于改进残差网络进行新冠肺炎医疗图像的检测，主要为了解决当网络在学习复杂背景肺炎医疗图像的同时尽可能使原来的图像信息得到保留，以谋求肺炎检测效率的最大化。如图1.7所示，经过预处理的图像进入残差网络的特征提取器里得到肺炎图像的特征图，然后再将图像的特征图输入到本文改进的注意力机制的子网络里，进行空间位置的定位以及去除多余的冗余信息，最后得到满足分类的特征图，特征图的维度不会发生变化，用此方法来获取图像更多的判别性特征，最后过全连接层进行分类。在图像输入到模型之前还会进行数据预处理的过程，将不合适的数据剔除，选取质量较好的图像进行训练其过程将在后面有所叙述。图1.7改进的整体网络结构图本文前面介绍了已有的一些注意力机制：卷积注意力模块利用了通道域和空间域两种支路，瓶颈注意模块在原有的基础上进行了改进，将通道和空间上的维度进行和的操作[34]。为了将图像信息尽可能多的利用起来，本文提出了一种循环的思想，将注意力矩阵和原始图像信息矩阵相结合更容易识别肺炎图像，如图1.7所示在本文前面的文章中讲过一些基本的注意力机制方面的算法，虽说可以进行肺炎图像噪声的清除，但是为了适应医疗图像冗余信息太多、特征不明显的问题，本文改进注意力机制更好的提取图像不同维度的特征，其基本结构如图1.8所示。图1.8改进的注意力机制如上图，该模型主要分为上下两个分支，上分支代表的是通道注意力机制，下分支代表的是空间注意力机制。当一个图像信息X输入之后，分别会从上下两个分支被进行注意力机制下特征的提取，由于会发生图像信息丢失的现象，在经过通道注意力机制之后，会继续与原始的图像信息进行相乘，为了结合空间域和通道域的优势，在两个分支结合的部分会进行相乘，最后再与原始图像的信息进行相乘，这里就体现了反复的思想，其目的是为了更好的提取每张图像显著特征的空间位置信息，去除多余的冗余信息。最后将注意力结果和输入图像的特征用残差的方式进行结合，整个过程1.8所示。 out=Wb式中：X代表输入特征矩阵；Fa和Fb分别代表通道和空间特征矩阵；Wa和Wb分别代表通道和空间权重矩阵；σ代表ReLU函数。对该维度分配0～1的权重参数，保证该维度上所有权重之和为1。本文在原有残差网络的基础上引入了一种反复注意力机制的网络模型，首先增强了图像的特征，为网络提供更明显的特征。分别采用的不同的注意力机制去除多余的背景噪声和冗余信息。本算法模型结构简单，其改进注意力机制的子网络也可以嵌入到其他模型。1.4基于改进Retinex算法肺炎图像的增强众所周知，光和物质相互之间作用可以让人们感知到颜色的存在。例如人们所看到的水是透明的，一束光穿过刚下过雨的天空可以带来五颜六色的效果。红、绿、蓝三种原色代表了不同的颜色区域。图像也是由不同的颜色相互作用而来的。Retinex[35-37]是基于科学实验和建立在科学分析基础上的一种图形增强的方法。它的理论思想是，每个物体的颜色都是由其对每种颜色光波的反射能力所决定的，这几种光波分别是长波(红色)、中波(绿色)和短波(蓝色)。物体的颜色不受光照强度的影响，也不会受到光照非均匀性的影响，所以它们都有着一定的统筹性。每种算法对各类图像特征都有独特的增强效果。1.4.1单尺度SSR(SingleScaleRetinex)一幅给定的随机图像S(x,y)，SSR算法可以将其分成两个不同的图像，一个是入射图像L(x,y)，另一个是反射图像R(x,y)，原理图如图1.9所示：图1.9SSR原理图如上图所示，一束光源照射到样本图像上，然后照射在样布图像的光源被反射到人眼。样本图像也可以看作是由入射图像和反射图像所构成的，其公式如下所示： Sx，y=L(x，y)×R(x，y)如果将观察者替换成一个照相机可接收到图像信号I(x,y)；光源替换成周围环境的一部分单位光源L(x,y)；而光源照射在物体上反射的图像为R(x,y)，该反射图像携带者样本图像的细节信息。为了抛开入射光给图像带来的影像，还原图像最原始的样貌，对上式进行变量的替换并且求导，可以得到如下关系： LogRx，y=Log对R(x,y)的求解也可以是近似值，I(x,y)是已知的图像数字信号，只需得到L(x,y)就可，由于L(x,y)可以由一个高斯核的卷积和I(x,y)来近似的代替，所以可以求出R(x,y)的近似解。因此上式替换之后可以得到如下结果。 LogRx，y在上式中，*代表I(x,y)和高斯核G(x,y)的卷积操作。为了处理方便，一般将最后处理过图像R(x,y)进行线性映射，映射范围为[0,255]。正如前面所讲，Retinex算法是将光照对图像的影响去除，得到图像最原始的样貌。一般来讲这一过程的操作并不复杂，就是将数字图像I(x,y)经过计算后得到相应的R(x,y)，R(x,y)就可以被认定为图像增强后的效果。但是对L(x,y)，操作方式是进行近似值代替，代替方法是利用高斯模糊。但是在实际应用方面，均值模糊可以代替高斯模糊，对图像增强有更明显的效果。因此算法的步骤可以进行如下的变换：首先输入最原始的图像I(x,y)进行尺度处理，尺度处理就是模糊半径的处理，然后计算原始图像按照某一尺度进行处理之后的模糊化图像L(x,y)，最后计算出Log[R(x，y)]的值，要得到最后的结果，还需在一定范围内进行线性映射，起到量化的效果。将结果转化成[0,255]的像素值。该算法在设计过程中最重要的就是高斯模糊实现，高斯模糊实现可以通过减少图像细节来进行平滑图像，它通过参考正态分布的加权平均值方式来让图像每个元素都能够取得其周围各个元素的加权平均值。假设一个3*3核的高斯模糊，就是在其中取得每个像素周围的八个像素点然后再加上每个该像素点的加权平均值。每个像素的权重图如图1.10所示：图1.10高斯模糊像素权重图值得注意一点在量化的过程中，也可以通过对Log[R(x，y)]进行Exp函数的运算可以获得。除此之外，量化的方式还有许多种，量化方式的改变对图像处理的效果也有影响。最便捷的像素量化办法是首先求得log[r(x,y)]中的最大值max和最小值min，然后对每一个像素value分别进行线性的量化，其关系式如下所示： Rx，y=因此总体算法的思路就是首先需要输入肺炎图像的原始数据，还需要设定算法的尺度，该尺度也被称为高斯模糊的模糊半径。数据输入完成之后需要根据尺度的设定，对图像进行模糊化处理得到模糊后的图像。为了还原肺炎图像最原始的样貌去除肺部的阴影，需要根据公式3-9求得，最后就是将处理之后的肺炎图像映射到[0,255]像素之间，起到最后量化的图像，作为结果进行输出。1.4.2多尺度MSR(Multi-ScaleRetinex)MSR压缩算法主要是在原有SSR的基础上逐步改进发展而成起来的，优点之一就是它实现了各种x线激光摄影图像的高保真度也可以同时对激光图像的各个颜色动态区域范围和局部颜色区域进行色彩压缩。和单尺度SSR对比两种算法的步骤有些许的不同，MSR需要对原始图像的每一个尺度都要进行高斯模糊，得到模糊化后的图像为Li(x,y)，其中 LogRx，y 在上式中，Weighti基于X光的肺炎图像面临最基本的问题就是图像的清晰度远远不够，这就导致肺炎的炎症病灶区域会和周围的器官颜色混在一起，除此之外X光影像整体上会有一层蒙蒙的阴影，导致图像整体的色差变化不是很大。对后期图像的分类带来了诸多的困扰。因此本文引入多尺度MSR算法进行图像的增强。该算法在对医疗图像画质增强方面虽说有些提升。但是该算法有先天的缺陷，就是处理过后的图像会出现色偏的问题。1.4.3肺炎图像增强算法的优化图像色偏问题的出现，对医疗图像来讲会出现图像保真度不高问题的出现，有可能会给原始图像引入新的噪音。因此在图像处理的过程中还要保证图像色彩的保真度。后续有人有开发了一种带色彩恢复的多尺度视网膜增强算法（Multi-ScaleRetinexwithColorRestoration,MSRCR)。该算法在保证图像增强的前提下，有尽量还原了图像的原始色彩。对基于X光的肺炎图像来讲，可以尽可能保证肺部病灶炎症阴影部分特征更加明显，尽量减少肺部病灶区域雾状区域信息的丢失。但是该算法出现的问题就是参数变量太多，而且在遇到高亮度图像的时候，其特征增强的效果并不是特别的明显，在比较泛白的X光影像中可能会出现图像效果退化的现象。为了解决该算法对高亮度图像处理不佳的问题。所以需要对图像的亮度进行调节，本文将在原始算法的基础上设置一个阈值，该阈值面向的是对像素的调节，尽可能将图像的对比度提升，得到最佳的图像处理效果。其具体的思想就是在引入均值和均方差的前提下，再设置出一个阈值，当图像的像素值高于这个阈值的时候，对这个像素进行加强。当像素值低于该阈值的时候，对该像素进行适当减弱，这样可以保证图像再整体部分有比较高的对比度。阈值的设定可以是图像的均值，增强或减弱的步长可以是灵活调节的，以选取最好的图像特征增强效果。具体的算法过程，首先得到上式(3-9)的LogRx，y，然后依次求出RGB三个通道的均值Mean和均方差Var。如果每个通道的各个像素值高于或低于均值Mean，将动态的加上或减去一个参数θ，在计算得到处理之后的均值 Min=Mean'-Dynamic×Var (3-10) Max=Mean'+Dynamic×Var (3-11) 式中Dynamic代表的是动量，可以调节最大值和最小值的范围。得出最大值和最小值之后需要对LogR R(x,y)=Value-MinMax-Min 另外在得出映射值之后，可能会出现值溢出的情况。为了防止值的溢出，会增加一个判断，当R(x,y)大于255的时候会将它的值设置为255，当R(x,y)小于0的时候会将它的值设置为0。1.4.4图像增强的实验过程和结果在做图像增强的实验过程中，需要将算法中的尺度或是动态变化的参数θ进行确定。设置输入肺炎的图像的长和宽都是512px，图像的最大尺度设置为255，Dynamic值范围为[0,5]，θ的取值范围为[0,255]取值范围都不能超过像素最大值255。如果两个值设置的太大就会过多出现像素溢出的情况，如果设置的太小，会出现灰度值比较集中的问题，图像的增强的效果就会不佳。先做的是消融实验，在不引入动态变化参数θ的时候图像的增强效果，以及引入θ的时候图像的增强效果。并且确定θ为何值时，肺炎图像的增强效果最佳图像中的细节信息最丰富。本文将对新冠肺炎图像、病毒性肺炎图像和正常的肺部X光图像进行增强，其效果如图1.11所示。1.11肺炎图像增强后的效果 在图1.11中可以看出，未改进前的算法在新冠肺炎X光图像增强方面有些效果，但是在正常和病毒性肺炎的增强效果方面差距有些大，甚至还有些许退化的现象。出现这样情况的原因是图像的亮度太白，算法在处理该类图像的时候就会出现较大的误差。当利用改进的算法进行强化时，将Dynamic值固定不变随着参数θ的不断改变，图像的强化效果有了明显的提升，实验中当参数θ=104的时候图像的视觉效果最好。周围的信息和肺部雾状区域的阴影有明显的可辨识度。参数θ过大或是过小都会出现图像清晰度退化或是图像增强效果不佳的问题出现。基于辨识度的图像验证在视觉上可以清楚的看到图像增强的效果和差异。由于无论是医疗图像还是其他图像都是由一个个像素点构成的，每个像素点的值都代表这该点像素的