【《基于InceptionV3迁移学习的植物识别深度融合模型分析》4500字】

基于InceptionV3迁移学习的植物识别深度融合模型分析目录TOC\o"1-3"\h\u1976基于InceptionV3迁移学习的植物识别深度融合模型分析 1229971.1防止过度拟合 1145411.1.1Dropout 174671.1.2L2正则化 2104201.1.3数据增广 2263371.2特征融合 6107391.3基于InceptionV3与传统图像特征提取方法进行融合的模型 7184601.4实验结果与分析 10222551.1.1原始数据集实验结果的对比与分析 10205451.1.2增广后数据集实验结果的对比与分析 131.1防止过度拟合当模型中的训练样本数量很少或者CNN模型相对较复杂时，卷积神经网络可能会出现过拟合现象[39]（over-fitting）。这是因为网络对于某些特征有很强的依赖性，但是样本数量太少、特征过于复杂，从而导致网络的泛化性很差[40][41]。这一现象的具体表现如下：在训练过程中，模型的迭代次数不断增大，训练集上分类的准确率随着迭代次数增加逐渐上升，但是测试集的分类准确率反而逐渐下降，如下图4-1所示。图4-1过拟合现象Fig.1.1Overfittingphenomenon常见的解决过拟合问题的方法有：Dropout、L2正则化、数据增广等。下面将对他们进行介绍。1.1.1DropoutDropout是一种常用的抑制过拟合现象发生的手段[42][43]。2012年，Dropout的想法被首次提出，它的出现彻底改变了深度学习进度，之后深度学习方向（反馈模型）开始展现优势，传统的机器学习慢慢的消声。Dropout是指在深度学习网络的训练过程中，按照一定的概率将部分神经网络单元从网络中暂时丢弃，相当于从原始的网络中找到一个更瘦的网络，在每两个全连接层中间均加入一个Dropout。使用Dropout后，虽然需要训练的网络参数总数量并没有发生改变，但网络训练所需花费的时间却能极大地减少。并且，Dropout通过强迫其中的一个神经单元，与随机挑选出来的其他神经单元共同工作的方法，减弱神经元节点之间的联合适应性，提升了神经元的学习能力，进一步增强了网络的泛化能力。具体模型见下图4-2。图4-2Dropout模型示意图Fig.4-2Dropoutmodelschematic1.1.2L2正则化L2正则化（L2regularization)[44]是最常见的正则化类型。它通过降低网络中神经元的权值、模型复杂度和不稳定程度，避免过拟合现象的发生。其公式为：（1.1）正则化系数是加号右边的正则项，它是对所有参数求平方和再除以样本大小得到的[45]。1.1.3数据增广数据增广[46]是指在原始数据分布变换不变前提下，随目标数据采用几何变化等操作得到更多和目标数据独立且同分的数据。该操作能有效地解决深度网络训练过程中过拟合问题[47][48]。在深度学习中，随着模型更加复杂，表达能力也会变得更好，导致专注于解释训练数据，丧失对未来数据的解释能力，这就是过拟合。过拟合在是实验中十分常见，会引起训练集效果很好，但测试集效果较差。卷积神经网络相比传统模型表达能力更好，因此为了避免过拟合，需要更多的数据，确保在新的数据集上，训练的模型也可以有较好的表现，所以需要对完成预处理步骤的苹果树叶图片进行扩充。经过考虑，本模型决定对本文的两种植物数据集分别进行数据增广操作。考虑到尽可能不改变其生物学特征，对本文数据集进行了一系列的预处理，比如将图片缩放至299*299大小，并对数据集进行增广。主要采用如下几种方法。1.去中心化和标准化数据去中心化[49][50]指变量减去它的均值，即对图像数据进行平移操作。图像标准化又叫图像归一化，其目的是为了归纳统一的样本。归一化不改变图像的具体信息，只是通过将图像像素从0-255变成了0-1，能加快训练网络的收敛性、增强模型的泛化能力。经过上述方法变化后的花卉数据及图像如下图4-3所示。图4-3去中心化、标准化Fig.4-3Decentralizationandstandardization2.进行角度旋转，翻转图像对本文数据图片进行旋转、翻转，模拟该数据集在不同拍摄方向和角度下拍摄的图片，增加模型的适用性和鲁棒性。经过旋转、翻转后的图像见下图4-4。图4-4旋转、水平翻转Fig.4-4Rotateandfliphorizontally3.进行水平平移、垂直平移 水平平移、垂直平移是指图像沿着水平、垂直方向，在不改变图像生物学特征的基础上，将图像上的所有点都按照水平、垂直方向的直线按照相同距离对图像进行移动。平移不改变图像大小、形状，属于等距同构。经过水平平移、垂直平移后图像如下图4-5所示。图4-5水平平移、垂直平移Fig.4-5Horizontaltranslationandverticaltranslation1.进行水平投影、缩放水平投影是指图像由上到下垂直方向在与地面水平面上的投影；缩放是指在不改变图像生物学特征的基础上，对图像进行大小调整的过程，本方法在图片大小不变的情况下，对图片进行缩小0.5倍操作，以增加图片的平滑度和清晰度。经过水平投影、缩放后图像如下图4-6所示。图4-6水平投影、缩放Fig.4-6Horizontalprojectionandscaling将两种数据集分别进行上述增广后，花卉数据集由原来的17类，共计1360张，扩充17类，共计10876张，苹果树病叶数据集由原来的4类，共计1821张，扩充4类，共计14485张，单个数据最终扩充后结果见下图4-7。最后得到的增广后两种数据集每类具体数目见下表4-1、4-2。表4-1花卉图片增广后具体数目Table4-1Thespecificnumberofflowerpicturesafteraugmentation训练张数测试张数每类512128总计87002176表4-2各类苹果病叶图片增广后具体数目Table4-2Specificnumberofdiseaseleavesafterpictureenlargement分类训练张数测试张数健康3279820锈病3968993痂病3785947两种组合病554139总计115862899图4-7数据集增广后结果示例Fig.4-7Exampleofresultsafteraugmentationofdataset1.2特征融合在深度学习得到广泛应用之前，传统的图像特征提取方法均存在一定的局限性，比如说基于颜色的特征提取方法只专注于颜色，忽略了相应的空间信息；而基于纹理的特征提取方式只专注于提取图片局部夫人结构化特征，没有注意到颜色相关的特征。因此，需要使用特征融合方法融合[51][52]多个特征进行全面分析。一般可以直接用在卷积层铺平后的向量，与传统视觉特征向量直接合并多个数组，然后再接到全连接网络，进而通过全连接层对特征进行选择与分配。使用特征融合方法，同时提取多种特征送入模型中的分类器进行训练，不但能够实现特征之间的相互补充，还能减少因单一特征而出现的固有缺陷的问题，经过融合后得到的特征信息更有利于后续的分析处理。目前比较常见的特征融合方式主要有串行融合和并行融合[53]这两种。假设在样本空间Ω上有两组特征A,B,对于任意样本，其对应的特征向量分别为,串行融合后的特征为：；并行融合后的特征为，其中i为虚数单位，如果两种特征维数不等，则低维特征向量用0补足[54]。串行融合[55][56]指将两种不同的图像特征直接串联合并，构建一个新的图像特征向量。鉴于串行融合简单易行、运算量较小，本文采用串行融合方式[57]进行图像特征融合。将本文前面第二章提出的传统特征提取方法提取的浅层特征与第三章提出地深度迁移模型网络提取的深层特征进行串行融合，并将融合后的特征送入softmax分类器中，实现对不同种类的植物数据集进行分类。1.3基于InceptionV3与传统图像特征提取方法进行融合的模型本文在3.3节对不同深度模型的卷积神经网络模型分别进行不同的迁移学习，经过对比可以得出基于InceptionV3模型的卷积神经网络识别率更高，识别率高及意味着其提取特征能力越强，说明对数据有更好的表达能力。因此本节接下来在第3章的基础上，对第三章的方法进行进一步改进，通过使用特征融合方法，将第三章最优模型InceptionV3通过特征融合的方式与传统的特征提取方法，即HOG、SIFT、LBP进行两两融合，提取相应的特征，经过结果对比，确定了本文的最优基于特征融合的植物识别方法的深度模型。深度融合模型[58-61]的设计步骤见下图。首先使用数据增强对输入的数据集进行扩增，然后使用第三章中的InceptionV3深度模型进行特征提取，将提取出的特征与使用第二章提到的传统特征提取方法提取的特征进行融合，根据融合的特征不同可将模型细分为InceptionV3与HOG、InceptionV3与SIFT、InceptionV3与LBP融合，下面的图4-8将具体介绍一下模型的细分。图4-8InceptionV3与HOG融合模型Fig.4-8InceptionV3andHOGfusionmodel上图4-8是InceptionV3模型与HOG融合模型的结构图左边是HOG特征提取模型，右边是IncepiyonV3的网络模型。首先构建InceptionV3模型，并在ImageNet上导入相对于的预训练权重，进行特征提取，引入HOG特征提取方法，将两种方法提取的特征进行融合，最后使用一层全连接层和softmax进行分类。为提高模型的鲁棒性，使用dropout方法来减少模型的过拟合。下图4-9是本文深度融合模型的流程图。图4-9深度融合模型流程图Fig.4-9Flowchartofdeepfusionmodel本文提出的深度InceptionV3模型除了与HOG进行融合，还与SIFT、LBP分别进行了融合。但上述两种融合模型与上述融合算法类似，只需要修改特征提取算法、对部分模型进行修改即可，使用不同的特征提取算法提取不同的特征，利用不同的特征进行融合与再训练，就可以得到另两种模型，模型见图4-9、4-10。因此，本文不再对剩下的模型进行详细介绍。图4-9InceptionV3与SIFT融合模型Fig.4-9InceptionV3andSIFTfusionmodel图4-10InceptionV3与LBP融合模型Fig.4-10InceptionV3andLBPfusionmodel1.4实验结果与分析使用本文提出的深度融合模型对本文植物数据集分别进行训练，每个模型均对测试数据进行了多次的测试，得到最终分类结果。1.1.1原始数据集实验结果的对比与分析在对初始数据集进行简单归一化、文件修改为.jpg和图片大小统一调整后，使用InceptionV3网络进行迁移训练识别，在对数据集进行迁移提取特征基础上，对17分类花卉数据集分别使用传统HOG、SIFT、LBP特征提取方法提取相应特征，然后再使用特征融合方法，最终识别率提升到97.06%、96.32%、96.32%。表4-3为不同特征融合网络模型下花卉数据集分类准确率。表4-3不同特征融合网络模型下花卉数据集分类准确率Table4-3Classificationaccuracyofflowerdatasetsunderdifferentfeaturesfusemodelnetworks网络模型Val_lossVal_accInceptionV3+SIFT0.106596.32%InceptionV3+LBP0.118596.32%InceptionV3+HOG0.095797.06%具体数据集实验结果准确率对比图见下图4-10。(a)(b)图4-10不同特征融合模型网络花卉数据集分类损失(a)与准确率(b)折线图Fig.4-10Classificationloss(a)andaccuracy(b)linegraphsofflowerdatasetsfromdifferentfeaturesfusemodelnetworks接下来，对4分类苹果病叶数据集分别使用传统HOG、SIFT、LBP特征提取方法提取相应特征，然后再使用特征融合方法，最终识别率提升到93.19%、92.28%、92.28%。表4-4为不同特征融合网络模型下花卉数据集分类准确率。表4-4不同特征融合网络模型下苹果树病叶数据集分类准确率Table4-4ClassificationaccuracyofAPPLELeafdatasetsunderdifferentfeaturesfusemodelnetworks网络模型Val_lossVal_accInceptionV3+SIFT0.246692.28%InceptionV3+LBP0.244992.28%InceptionV3+HOG0.206593.19%具体数据集实验结果准确率对比图见下图4-10。(a)(b)图4-11不同特征融合模型网络苹果树病叶数据集分类损失(a)与准确率(b)折线图Fig.4-11Classificationloss(a)andaccuracy(b)linegraphsofappleleafdatasetsfromdifferentfeaturesfusemodelnetworks由表4-4和图4-11可以看出，无论在哪个数据集上使用InceptionV3与HOG特征提取方法进行融合的结果都比其他两种融合方法更好。因此，本文本着最优分类结果为准的想法，选用InceptioV3深度迁移模型融合传统HOG特征提取方法的方法作为本文的最终模型。1.1.2增广后数据集实验结果的对比与分析为了结果更有代表性，本文就上述结果可以看出，在没有进行数据增广时，苹果病叶数据集最终识别率为93.19%，但是出现了较明显的过拟合。因此为进一步防止过拟合、提高模型准确率，对增广后的数据也进行训练，从最终结果可以看出，经过增广扩充后的数据集识别率达到了99.83%，相比数据集未增广前的实验结果提升了6.64%，有效解决了过拟合问题，具体数据见下表4-5。不同数据集在本文提出的融合模型增广后分类折线图见下图4-12。表4-5本文提出的模型在增广后的数据集上分类准确率Table4-5Clas