【基于卷积神经网络的COVID-19 CT影像分类实验分析案例4200字】

基于卷积神经网络的COVID-19CT影像分类实验分析案例目录TOC\o"1-3"\h\u13861.1人工神经网络 1215291.1.1神经元 1311761.1.2激活函数 2280171.1.3神经网络 3221461.2卷积神经网络 3144931.1.1VGG16 4158931.1.2Resnet18 4243891.1.3Densenet121 520811.3实验数据集 6175921.4实验过程 651551.4.1数据集的处理 7220831.4.2卷积神经网络的定义 7324911.4.3损失函数、学习率以及优化方法 7305371.4.4训练及测试网络 7145591.5实验结果 8120231.5.1评价指标 8110891.5.2指标结果 81.1人工神经网络1.1.1神经元神经网络是由大量的神经元彼此连接而成的。将上层神经元进行简单的线性变换，输入到下层神经元，然后利用激活函数，对下层神经元进行非线性变换后再输出。神经元两两之间的连接关系称为权重。权重和激活函数会影响神经网络的输出。神经元结构如图1.1图1.1神经元结构x1、x2表示输入向量w1、w2为权重，每个输入都被赋予一个权重b为偏置biasg(z)为激活函数a为输出1.1.2激活函数常用的非线性激活函数有tanh、sigmoid、relu等等。sigmoid函数的函数表达式为g(z)=11+ⅇ−z公式（1.1）中z是一个线性组合。sigmoid函数的输出范围在0到1之间，能很好表现“激活”的意义，但会在数据后向传播更新模型参数的时候影响网络收敛速度。tanh函数的函数表达式为tanh=ex−Tanh函数在Sigmoid函数的基础上进行了改进，将输出压缩在(-1,1)区间，解决了0均值输出的问题，但是依然比较容易饱和relu函数的函数表达式为fx=max1.1.3神经网络将单个神经元组织在一起，便形成了神经网络。结构如图1.2图1.2神经网络结构图1.2中，从左至右的网络结构分别是输入层，中间隐层和输出层，图中的中间隐层一共有三层神经结构。1.2卷积神经网络卷积神经网络是一种多层的神经网络结构，通常由卷积层，池化层，全连接层三种网络层共同组成。卷积层的作用是，对输入网络的图像数据，利用卷积操作，对图像进行降维和特征提取。网络前端的卷积层的感受野较小，对图像的局部细节信息较为敏感，可以对相关信息进行捕捉，随着网络层数的深入，感受野将逐层变大，网络可以通过卷积层获得更加高维，更加抽象的复杂信息。每一个卷积层对应有多个特征图，每个特征图可以对应提取输入的一种特征，每个特征图有多个神经元，通过卷积操作，对输入图像完成降维和特征提取。图像在经过卷积操作之后，特征图中每一个节点均包含了邻域内的信息，产生了信息的冗余。冗余的信息不仅会降低网络的性能，还会破坏算法的平移不变性，所以需要对卷积层的输出进行池化操作。池化层不改变矩阵的维度，只对输入矩阵的大小进行调整。通过减小矩阵的二维尺度来减少全连接层的节点数，从而减少整个网络的参数个数。池化的做法是对图像的某一个区域的所有像素值用一个值代替，一般是采用最大值或平均值。如果采用最大值，叫做最大值池化；如果采用均值，叫做均值池化。除了减小图像的尺寸大小之外，因为输出值是从图像的某个区域计算的，所以池化对平移和旋转不敏感。全连接层的作用是作为整个网络输出分类器。利用卷积层、池化层等对输入网络的数据进行特征提取，再利用全连接层实现特征信息到样本标记空间的映射。本文中使用的卷积神经网络均为常见网络，包括VGG16、Densenet121、Resnet18，下面对这些网络进行相关介绍。1.1.1VGG16VGG卷积神经网络是牛津大学在2014年提出来的模型。由于它的简洁性和实用性，马上成为了当时最广泛应用的的卷积神经网络模型。常见的几种VGG模型如图1.3[5]图1.3常见的VGG模型VGG16有13个卷积层和3个全连接层。第1、2个卷积层输出通道为64，第3、4卷积层的输出通道为128，第5、6、7卷积层的输出通道为256，后6个卷积层的输出通道为512。每个卷积层的卷积核均为3*3。前2个全连接层的输出类别为4096，第3个全连接层的输出类别为1000。1.1.2Resnet18残差神经网络(Resnet)是由微软研究院的何恺明等人提出的。Resnet在2015年的ILSVRC中取得了冠军。常见的几种Resnet模型如图1.4[6]图1.4常见的Resnet模型Resnet18有17个卷积层和1个全连接层。除第1个卷积层卷积核为7*7，其余16个卷积层卷积核均为3*3；前5个卷积层输出通道为64，第6至9个卷积层输出通道为128，第10至13个卷积层输出通道为256，第14至17个卷积层输出通道为512。1.1.3Densenet121Densenet的网络构建基本思路和Resnet是相差无几的，但是Densenet的前面所有层与后面层是密集连接（denseconnection）的，所以名称叫Densenet。Densenet的网络结构主要由DenseBlock和Transition组成。在DenseBlock中，各个层的输出图尺寸大小一致，可以在通道维度上连接。Transition层的作用主要是连接两个相邻的DenseBlock，并且降低输出图尺寸的大小。常见的几种Densenet模型如图1.5[7]图1.5常见的Densenet模型Densenet121有120个卷积层和1个全连接层。包含卷积层的结构有1个独立卷积层、4个DenseBlock和3个TransitionLayer。第一个DenseBlock内有6个卷积层组，每个卷积层组包括1个卷积核为1*1的卷积层和1个卷积核为3*3的卷积层；第一个TransitionLayer内有1个卷积核为1*1的卷积层；第二个DenseBlock内有12个卷积层组，每个卷积层组包括1个卷积核为1*1的卷积层和1个卷积核为3*3的卷积层；第二个TransitionLayer内有1个卷积核为1*1的卷积层；第三个DenseBlock内有24个卷积层组，每个卷积层组包括1个卷积核为1*1的卷积层和1个卷积核为3*3的卷积层；第三个TransitionLayer内有1个卷积核为1*1的卷积层；第四个DenseBlock内有16个卷积层组，每个卷积层组包括1个卷积核为1*1的卷积层和1个卷积核为3*3的卷积层。1.3实验数据集出于对患者个人隐私的保护，公开获取的COVID-19CT数据集非常困难，本次实验的COVID-19数据来自手动搜集的CT影像，包括论文中的图片和医院的捐赠影像，共349张。为了建立诊断COVID-19的二分类模型，除了349张COVID-19CT影像外，实验数据集中还包括一组非COVID-19CT影像作为阴性训练样本，来源于MedPixdatabase、LUNAdataset、Radiopaedia网站、PubMedCentral共397张。按照训练集和测试集数量比大致为4:1的关系，随机选取280张COVID-19CT影像和320张非COVID-19CT影像作为训练集，剩余图像作为测试集。1.4实验过程本次实验使用PyTorch实现网络并在一个GTX1080TiGPU上进行训练，操作系统为Ubuntu16.04，CUDA版本为10.0。利用Pytorch训练卷积神经网络进行图像分类的基本步骤是：1.加载和预处理训练集和测试集1.定义卷积神经网络3.定义损失函数、优化方法、学习率等4.利用训练集训练网络5.利用测试集测试网络1.4.1数据集的处理本次实验中，对数据集中的图片进行了短边放缩为256，另外一边做同样比例缩放，然后进行中心裁剪，裁剪后的图片尺寸为256*256，再随机旋转90°，以起到数据增强的作用。使用Imagenet训练集中的像素值归一化参数进行数据集中的图像像素归一化，然后将数据转换为tensor格式，可以直接输入进网络。1.4.2卷积神经网络的定义在定义卷积神经网络的时候，直接采用库中已经定义好的网络模型，对分类器进行一些修改，使其输出分类结果数为2。实验使用了预训练模型进行训练，可以提升训练速度。1.4.3损失函数、学习率以及优化方法模型的预测值和真实值之间会存在一定差异，损失函数的功能是描述这种差异大小，因此损失函数可以指导模型在训练过程中朝着收敛方向训练。常用的损失函数有绝对值损失L1Loss、均方误差损失MSELoss、交叉熵损失CrossEntropy-Loss等等。本次实验使用的是交叉熵损失，其表达式如下：C=1nn=1其中Y是实际输出（概率），Ypred是期望输出（概率）。神经网络学习的过程就是模型参数更新的过程，学习率影响了网络后向传播时梯度下降的大小，直观上影响的是模型对数据学习的速率。学习率的选择对网络结果有较大的影响。学习率过大，会出现无法收敛最优解情况，学习率过小，会出现局部最优的情况。因此采用学习率倍数衰减的方法，使网络在学习过程中学习率逐渐衰减。优化函数的作用是通过损失值对模型参数进行优化。常见的优化函数有GD（GradientDescent）、SGD（StochasticGradientDescent）、BGD（BatchGradientDescent）、Adam（AdaptiveMomentEstimation）等，本实验中使用是优化函数是自适应时刻估计方法Adam。1.4.4训练及测试网络卷积神经网络在进行图像分类识别任务时，需要对图像中存在的特定种类物体的特征进行学习和训练。卷积神经网络的训练过程包括两个阶段，即前向传播和后向传播（权值更新）。将输入图像从网络后，图像数据会依次在卷积层、池化层、全连接层进行对应的数据处理，最终输出一个结果，这个过程叫做前向传播阶段，实际上就是通过输入的节点求输出节点的过程。将输出层的实际结果与期望结果进行对比，如果超过设定阈值则进入后向传播阶段，更新网络权值，修正误差[8]。卷积神经网络的训练过程，就是在反向传播过程中，对原本的模型参数里所有的参数使用梯度下降算法，使训练数据在网络的前向传播中损失函数尽可能的小。在得到最后一层的误差之后，利用链式法可以求出神经网络中每一层的误差，最后根据梯度下降法更新模型参数。将训练集与测试集导入pytorch工程中，网络进行模型参数的初始化，对应函数部分对训练集中图像进行预处理，转换成可以直接输入卷积神经网络中的数据格式，经过卷积层、池化层、全连接层的前向传播得到输出值，求出神经网络输出值与目标值之间的误差。当误差大于设定的阈值时，将误差传回网络中，依次求得各层的误差；当误差小于等于阈值时，结束训练，保存模型参数，然后利用模型参数对测试集进行准确率的测试。1.5实验结果1.5.1评价指标在二分类问题中，分类结果只存在阴、阳两种情况。分类结果一共有四种情况，分别是FN：阳性样本被判定为阴性样本；FP：阴性样本被判定为阳性样本；TN：阴性样本被判定阳性负样本；TP：阳性样本被判定为阴性样本。评价分类结果好坏的标准为准确率，准确率=正确预测的阴阳样本总数/样本总数，即ACC=1.5.2指标结果1.5.1.1VGG16结果实验的相关参数设置为：训练全部数据次数为100。训练集中包含600张CT影像，其中280张标签为COVID-19，320张标签为NonCOVID-19；测试集中包含146张CT影像，其中69张标签为COVID-19，77张标签为NonCOVID-19。每次读入网络图片数目为8，初始学习率为0.0001，学习率衰减次数为0.95。选择100轮次中结果最好的10轮结果展示如表1.1表1.1VGG16分类结果train_accuracy:90val_accuracy:85.6164train_accuracy:100val_accuracy:84.9315train_accuracy:85val_accuracy:84.2465train_accuracy:98.6666val_accuracy:84.2465train_accuracy:99.6666val_accuracy:84.2465train_accuracy:95.5val_accuracy:83.5616train_accuracy:96.3333val_accuracy:83.5616train_accuracy:99.8333val_accuracy:83.5616train_accuracy:100val_accuracy:83.5616train_accuracy:96.6666val_accuracy:81.8767其中train_accuracy是训练集准确率，val_accuracy是测试集准确率。测试集最大准确率约为85.6%。1.5.1.2Resnet18结果实验的相关参数设置为：训练全部数据次数为100。训练集中包含600张CT影像，其中280张标签为COVID-19，320张标签为NonCOVID-19；测试集中包含146张CT影像，其中69张标签为COVID-19，77张标签为NonCOVID-19。每次读入网络图片数目为8，初始学习率为0.0001，学习率衰减次数为0.95。选择100轮次中结果最好的10轮结果展示如表1.2表1.2Resnet18分类结果train_accuracy:94.6666val_accuracy:91.0958train_accuracy:97val_accuracy:89.0410train_accuracy:97.6666val_accuracy:89.0410train_accuracy:97.5val_accuracy:89.0410train_accuracy:98.8333val_accuracy:89.0410train_accuracy:97.6666val_accuracy:88.3561train_accuracy:99.5val_accuracy:88.3561train_accuracy:99.6666val_accuracy:88.3561train_accuracy:95.5val_accuracy:87.6712train_accuracy:98.1666val_accuracy:87.6712其中train_accuracy是训练集准确率，val_accuracy是测试集准确率。测试集最大准确率约为91.1%。1