【《实现大棚蔬菜疾病检测功能的核心算法设计案例》9100字】

第1页共31页实现大棚蔬菜疾病检测功能的核心算法设计案例目录TOC\o"1-3"\h\u1472实现大棚蔬菜疾病检测功能的核心算法设计案例 1280281.1基于超声波测距的自动导航算法 1136111.2基于特征匹配的故障检测算法 582931.3基于CNN的疾病识别算法 969301.3.1预处理 10113731.3.2患病识别 1143331.3.3病斑分割 129351.3.4疾病种类识别 15197051.3.5神经网络训练与结果分析 16本章将对于疾病检测小车的三个重要算法进行设计与实验，依次介绍自动导航算法、故障检测算法和疾病识别算法。1.1基于超声波测距的自动导航算法自动导航功能是疾病检测小车的核心功能，它是小车能否完成自主巡检的关键因素。本文根据小车巡检环境，设计了一个基于超声波测距的自动导航算法。小车运行于田垄式种植结构的大棚内，需要穿梭于每一条田垄之间以便对作物的健康状况进行全面监控。大棚的田垄结构的抽象模型如下图1.1所示。图1.1蔬菜大棚种植结构模型Fig.1.1Vegetablegreenhouseplantingstructuremodel图1.1中深绿色矩形为田垄。小车需要在垄间行走。图中标出的四个位置是小车巡检过程中所经历的四个位置状态。1是位于初始位置，2是位于垄间，3是出垄，4是位于结束位置。算法应能够判断小车目前的位置状态，并根据不同状态设定相应的小车的下一步行为。当启动巡检程序时，小车将由初始位置前行进入田垄。到达2位置之后，小车将使用超声波传感器测量两边田垄与小车之间的距离，然后根据距离差值来判断小车目前是否位于垄间中心线。但由于在实际环境中田垄的边缘是起伏变化的折线，就算小车在中心线上直行，传感器每次测量的值也会有所不同。本文取一个时间段内多次测量值的最小二乘拟合线作为小车的导航路线，这样就减少了锯齿状对于导航的影响，使得小车移动更加流畅。由于大棚内每条田垄在局部范围内近乎直线，所以小车的运行路线也为直线。所以选择一元线性回归模型来拟合出小车运行路径。此模型可以对散点拟合出直线，其公式为：(1.1)(1.2)(1.3)(1.4)本算法将对两侧传感器距离之和进行拟合，效果如下图1.2所示，其中红色点为传感器测量值，蓝线为拟合直线。设定小车左侧传感器测量值为正，右侧测量值为负。小车每时刻纵坐标为零，横坐标为前进距离。图1.2一元线性拟合Fig.1.2Unarylinearfitting当小车在田垄内行驶时，要想确保小车位于垄间中心线，应确保其左侧传感器一定时间段内所测量距离的平均值与右侧的距离平均值相等，则此时拟合曲线应无限接近y=0的线。如果拟和路线与小车位置之间存在差异，如下图1.3所示。小车此时在A处，此时小车坐标位置与导航位置相差d距离，小车朝向差θ角度。此时小车应朝蓝线方向转向略大于θ角，并行驶单位距离，则小车将逐步向垄间中心线靠拢。当小车已处于中心线，则只需进行角度调整。图1.3小车转向示意图Fig.1.3DiagramofCarSteering在到达第3个位置时，小车需要转向并进入下一条垄沟，要完成此操作小车需要三个位置判断：（1）出田垄判断：当小车的两测传感器所测量的距离突然变得极大或是测不到距离值，则标志着小车已经走车一条田垄。此时小车应进行90度转向。（2）跨过一条垄判断：小车转向之后继续直行，其一侧传感器将会测量到较小距离值，此时标志着小车正在横过一条田垄。而当此传感器的测量值突然变得极大时，标志着小车已经到达下一条垄沟的位置。此时小车应转向并直行。（3）入田垄判断：当小车两侧传感器变为都有较小的测量值时，标志小车已经进入一条垄沟。此与1位置的判断相同。小车在巡检过程中会记录所经过的田垄数，当所巡检的田垄数已经达到用户设定的所需巡检垄数，则小车在走出最后一条田垄时也就是图1.1中4的位置，将不再继续巡检，而是停止待机。此时，小车完成一次自动巡检流程。从上文可以看出，小车的位置判定完全基于两侧超声波传感器的测量数值，传感器的数值状态发生变化往往标志着小车位置状态的改变，传感器测量值状态与小车位置状态之间的关系如下1.4所示。图中传感器包含三种状态，S1为两侧传感器皆有较小测量值，S2为传感器只有一侧有较小测量值，S3为两侧传感器都没有较小测量值。S1标志着车两侧都是田垄，则可判断小车此时处于田垄中。S2标志着小车一侧有田垄，另一侧没有，S3标志着小车两侧都没有田垄。这三种状态之间存在四条转换路径，其中S1与S2之间无法直接转化，与S3之间可以互相转化。图1.4传感器状态转移图Fig.1.4Sensorstatetransitiondiagram1.2基于特征匹配的故障检测算法在需求分析阶段已谈及用户需要了解小车实时的运行状态。本文小车存在五种状态：三种正常状态分别是未连接状态、待机状态和巡检状态，两种异常状态是移动故障和通信故障。各个状态判定如下：当计算机未与小车进行通信连接时小车处于未连接状态。当小车与计算机通信端口正常连接且小车未巡检则判定为待机状态。当小车被分派巡检任务且有实时有效图像传输则处于巡检状态。当计算机无法与小车进行连接则处于通信故障状态。当小车巡检时传输的连续多帧图像一样则处于移动故障状态。小车常常处于大棚的无人环境中工作，需具备一定的故障检测能力，以便及时通知相关人员前来查看。对于因车载软硬件出现故障而导致无法进行正常通信的故障检测较为简单，仅需要对通信连接以及是否接收到数据进行检查即可。而对于小车移动故障的判别则相对复杂，目前移动机器人领域的常用移动监测方法有三种：一是通过GPS定位来监测机器人移动，二是通过IMU惯性传感器监测机器人加速度，三是通过视觉里程计来定位小车移动。本应用场景下，因大棚材料遮挡GPS信号而无法采用第一种方法，而使用IMU则会增加成本，考虑到小车本就具备拍照功能，因此采用第三种视觉方式来检测小车移动故障。当小车在大棚内正常移动拍照时，每一帧照片所拍摄的物体是不同的，而当小车出现移动故障时，所拍摄的多帧图片将会聚焦同一场景，而使得多帧图片具有极高的相似度，通过相似度分析便可对小车移动故障进行判断。本文采用基于FAST特征的匹配算法进行图像相似度分析，此算法流程分为两步：第一步为特征提取，第二步为特征匹配。（1）特征提取特征提取步骤的目标是对图片提取出FAST特征并计算描述子。FAST特征点是一种角点，其最大的优点是计算效率极高，非常适合于实时视频处理应用。BRIEF通过二进制值串对特征点进行描述，在描述子的构建和匹配速度方面具有优势。本特征提取需先进行FAST特征点提取，然后再为特征点计算BRIEF描述子。FAST特征点定义为图像中局部像素灰度变化较大的区域，通过对比一个像素与其周围像素亮度的方式进行提取，本文所使用算法如下表1.1。表1.1FAST特征点提取算法Table1.1FASTfeaturepointextractionalgorithm算法：FAST特征点提取输入：图片输出：特征点像素坐标列表1:for(pinimage)//遍历图像中所有像素2:T=0.2∗IP//I3:if(p为圆心半径为3的圆上存在连续12个像素的亮度>IP+T或<4:将p点加入到列表L中5:returnL在提取到特征点之后，需要为每一个特征点计算一个描述子。BRIEF描述子作为一种有效的特征点描述符，使用二元特征向量进行特征描述。二元特征向量是只包含1和0的特征向量，特征向量的每个值取决于特征点附近两个随机像素的大小关系，公式如下：vp;x,y=1:px如果取256个像素对，就可以得到一个256维的特征向量来描述特征点。在特征匹配时，就可以通过计算特征向量之间的距离来判定特征点是否为同一个。（2）特征匹配特征匹配所做的是将两张图片提取出的两组特征点的描述子最相似的特征点匹配起来，最简单的就是将一个特征点与另一组的所有特征点都匹配一遍，并排序出描述子最相似的特征点作为匹配点的暴力匹配。在计算描述子的相似度时，通常使用汉明距离进行度量。汉明距离为两个描述子向量对应位置不同位数的个数。因为本应用场景下实时性要求较低，且匹配只是针对最近的几帧图像，故而可以使用暴力匹配。特征匹配完成之后，算法会得到一个个匹配好的点对。此时需要通过经验设置一个描述子距离的最大值，一般是最小距离的两倍，当匹配点对的描述子距离小于此最大值，则认为匹配有效。最后统计出满足的匹配点数，并计算其与总特征点数的比例，便可得出图片相似度。下图1.5为小车前行移动拍摄的四张图像，其中相邻图像的相同像素数约为2/3。下面将对此组图片使用上述特征匹配算法进行图像相似度分析，一系列实验展开如下。图1.5小车连续拍摄的四帧图像Fig.1.5Foursuccessiveframesofimagestakenbythetrolley首先让IMG1与其自身进行匹配，得到总的特征点数为471，匹配的特征点为471，图像相似度为100%。图1.6IMG1与自身进行特征匹配Fig.1.6IMG1matchesfeatureswithitself随后使用IMG1与IMG2进行特征匹配，如下图所示。IMG1提取的特征点数依旧是471，匹配上的特征点数为210，图像相似度约为41.6%。已知此两张图片具有2/3的相同像素，按理说图片相似度应为66.7%，本实验计算所出的却为41.6%，差距较大。究其原因在于所提取特征点区域分布的不均匀性，由上图可以看出，一些明暗变化较大的像素区域的特征点数较为密集，而另一些像素区域则稀少，如此便导致了两张图片的相同像素数为2/3而相同特征点数并非2/3的情况。这对于需要精确计算图像相似度的应用场景来说当然不行，但本文仅仅用于小车移动故障检测，只要相关性可以保证，粗略的数值即可。图1.7IMG1与IMG2进行特征匹配Fig.1.7IMG1matchesfeatureswithIMG2接下来将IMG1与IMG3进行匹配，471个特征点匹配上的只有21个，图片相似度为1.5%。尽管两张图片仍存在1/3的相同像素，此次匹配到的特征点数已经降到很少了，且从下图可以看出存在误匹配的现象，这是由于此场景下皆为茄子植株，不同植株之间难免存在相似的纹理特征，可以通过降低描述子距离上限来解决。图1.8IMG1与IMG3进行特征匹配Fig.1.8IMG1matchesfeatureswithIMG3最后将IMG1与IMG4进行特征匹配，此次匹配到的特征点数为0，相似度为0%。此组实验足以验证此算法用于图片相似度分析的有效性。在此设定，如果本文小车所拍摄的相邻5帧图片的相似度都大于50%，则判定小车运动发生故障。图1.9IMG1与IMG4进行特征匹配Fig.1.9IMG1matchesfeatureswithIMG41.3基于CNN的疾病识别算法通过对于蔬菜疾病识别领域的研究，主要存在两点影响疾病识别准确率的因素（1）同一种疾病感染蔬菜的不同部位时可能会出现不同的症状。（2）不同疾病感染同一种蔬菜时可能出现相似的症状。针对第一点，本文实验所用的数据集中包括同一种疾病感染不同部位的图片。这就使得神经网络可以全面学习疾病症状。针对第二点，本文使用目前识别领域准确率较高的卷积神经网络进行疾病识别。其次，在进行疾病种类识别之前，本文增加了图片筛选以及病斑提取等预处理步骤，这些预处理可以极大的降低背景对于疾病识别的影响，提高识别准确率。本文疾病识别算法流程如下图1.10，首先算法对小车拍来的图片进行基本预处理，基本预处理包括通常的尺寸变换，归一化流程。考虑到小车在巡检过程中可能拍摄出模糊的图像，因此本文在预处理中添加了筛选模糊图像的算法。预处理过后，算法进行作物是否染病的识别，此识别过程将会判断图片中作物是否染病。如果染病，算法会进一步对患病图片进行病斑提取，然后对其疾病种类进行识别。本文之所以将患病识别与疾病种类识别分别开来，而不是在疾病种类识别中加入一个健康类别，一是因为这样可以更好的通过调节参数对患病种类的召回率进行把控，二是可以在疾病种类识别之前加入病斑提取，提高疾病识别准确率。图1.10疾病识别流程Fig.1.10Diseasedetectionprocess1.3.1预处理本文所用相机拍出的图片尺寸为299×299，与Inceptionv3神经网络模型需要的输入尺寸相同，所以无需对图片进行尺寸调整，仅需要对图片像素值进行归一化以去除噪点对于识别算法的影响。此外，因小车拍摄过程中难免会因为抖动而使得图片模糊不清，为了筛选出高清晰度的图片，本文使用Tenengrad对模糊图像进行剔除。Tenengrad函数是一种基于梯度的图像清晰度评价函数。在图像处理中，一般认为聚焦后的图像边缘更尖锐，所以梯度函数值更大，反之模糊图像梯度较小。Tenengrad函数使用Sobel算子提取水平和垂直方向的梯度值。Sobel算子处理的图像的平均灰度值越高，图像越清晰。Tenengrad的图像清晰度定义如下:(1.6)G(x,y)的定义如式（1.7）：(1.7)式中，T为给定的边缘检测阈值，Gx和Gy分别为Sobel水平边缘检测算子和垂直边缘检测算子在像素点(x,y)的卷积。如式（1.8）所示，A代表原始图像。(1.8)下图1.11为在同一地点拍摄图片，第一图为静止拍摄，图片较为清晰，Tenengrad算法得分8.89。第二张为抖动拍摄，图片相比第一张模糊，Tenengrad算法得分1.50。通过设定阈值，便可以对模糊图像进行筛除。图1.11图像清晰度Fig.1.11Imageresolution1.3.2患病识别患病识别的作用是判别蔬菜是否患病，如患病则将识别结果通知相关工作人员，以便及时采取一定手段对疾病进行控制。本文患病识别所用神经网络模型为InceptionV3，在2.3.2小节已对其进行简单介绍，其神经网络的结构及参数如表1.2所示。此模型包含一些基本的网络层和多个Inception模块，Inception模块的作用一是使用1×1的卷积来进行升降维，二是在多个尺寸上同时进行卷积再聚合，是Inception模型的核心结构。此模型的输入尺寸为299×299×3，与本文所选相机所拍摄的图片尺寸一致，故预处理过程无需调整图片尺寸；此模型的输出类别为1000种，本文仅包含患病与健康两种，故需将模型输出大小调整为2。表1.2Incention-v3模型结构Table1.2Incention-V3modelstructure类型核尺寸/步长输入尺寸卷积层3×3/2299×299×3卷积层3×3/1149×149×32卷积层3×3/1147×147×32池化层3×3/2147×147×64卷积层3×3/173×73×64卷积层3×3/271×71×80卷积层3×3/135×35×1923×Inception/35×35×2885×Inception/17×17×7682×Inception/8×8×1280池化层8×88×8×2048全连接层/1×1×2048softmax层/1×1×10001.3.3病斑分割为了提高神经网络对于疾病识别的准确率，本文在将图片进行疾病种类识别之前增加了病斑提取步骤。此步骤所使用的算法为HSV颜色空间分割法。此算法的理论可行性是基于凡作物感染疾病，皆会出现与作物原有组织颜色不同的可观测病斑。病斑的颜色或为黄褐色至黑褐色，如早疫病、黑斑病，此为致病菌导致植物组织坏死的表象；或为白色，如白粉病、霜霉病，此为致病菌大量繁殖产生真菌菌落的颜色。由于病斑呈现出一定的颜色规律，故而可以通过色彩掩膜对病斑进行提取。由于RGB颜色模型是面向硬件设备的模型，其与人的视觉模型相去甚远，且此模型的三原色之间的相关性比较大，且其与实际颜色的关系并非线性，在进行掩膜提取时难以设定阈值。故需要先将RGB颜色空间的图片转换为HSV颜色空间，然后再进行分割。与RGB不同，HSV代表色相、饱和度和明度。色调是描述纯颜色的颜色属性。饱和度表示一种纯色被白光稀释的程度。明度代表颜色明亮的程度。HSV空间中三个指标互相独立，如果您想忽略其中一个或另一个，这是很有用的。例如，人脸检测通常在强度图像上进行。因此HSV经常用于进行颜色的分割识别。下表1.3为不同颜色对应的HSV值。表1.3HSV颜色分量范围Table1.3HSVcolorcomponentrangeHSV黑白灰红橙黄绿青蓝紫Hmin000015611263578100125Hmax1801801801018025347799124155Smin00043434343434343Smax2553043255255255255255255255Vmin02214646464646464646Vmax46255220255255255255255255255为了准确的提取出病斑，本文针对不同疾病选取多张图片进行实验，通过逐步更改HSV三个分量的值，探索出病斑提取最佳参数。如下图是早疫病叶片症状，首先调整H分量的值，分别为50，40，30.如下图1.12所示。可见随着Hmax的减小，图片的非病斑部分逐步被过滤掉，随后病斑部分也被过滤掉。实验得出Hmax最佳值为43.图1.12早疫病阈值分割之调整H分量Fig.1.12AdjustmentHcomponentofthresholdsegmentationforearlyblight随后逐步改变S分量的值，得出最佳分割时Smax的值为160。下图1.13是将Smax分别设置为180、160和140的分割效果。图1.13早疫病阈值分割之调整S分量Fig.1.13AdjustmentScomponentofthresholdsegmentationforearlyblight最后逐步改变V分量的值，得到最佳分割时Vmax的值为136。下图1.14是将VMax分别设置为150、136和100时的分割效果。最终得到最佳的黄褐色病斑提取参数为：Hmin=0，Hmax=43；Smin=0，Smax=160；Vmin=0，Vmax=136。图1.14早疫病最佳阈值分割效果Fig.1.14Optimalthresholdingsegmentationeffectofearlyblight接下来实验将针对由真菌菌落产生的白色病斑的提取进行展开，本次实验选取患有霜霉病的作物叶片作为实验对象。通过查表得知，白色对应的Hmin=0，Hmax=180；Smin=0，Smax=30；Vmin=221，Vmax=255。由于H分量代表色相，对于白色病斑分割不起作用，故本次实验首先调整S的值，通过实验得出最佳分割所对应的Smax值为49。下图1.15为将Smax分别设置为80、60和30的分割结果。图1.15霜霉病阈值分割之调整S分量Fig.1.15AdjustmentScomponentofthresholdsegmentationfordownymildew接下来对V分量进行调整，得出最佳分割所对应的Vmin值为172。下图1.16是Vmin分量分别为110、172和200时的分割效果。最终得出提取此图片病斑的最佳参数为：Hmin=0，Hmax=179；Smin=0，Smax=49；Vmin=172，Vmax=255。图1.16霜霉病阈值分割之调整V分量Fig.1.16AdjustmentVcomponentofthresholdsegmentationfordownymildew基于以上两组实验得出的病斑提取参数，从数据集中分别随机选出50个黄褐色病斑和白色病斑的图片进行病斑提取操作，并记录提取效果。在病斑提取过程中，病斑提取不全对下一步疾病识别造成的影响要远大于背景没有剔除干净所造成的影响，故而实验逐步放宽参数，以保证每一张图片中的病斑提取率超过80%。最终得出的较为有效的病斑提取参数如下表1.4所示。表1.4病斑提取参数Table1.4Spotextractionparameters病斑类型HminHmaxSminSmaxVminVmax黄褐色白色0047180001605301681422551.3.4疾病种类识别最后，将提取出的病斑图像放入神经网络进行疾病种类识别，本文选取了目前图片识别领域典型的神经网络模型ResNet50，InceptionV3，DenseNet161，和DenseNet169，使用收集的数据集进行对比实验。然后，通过对实验结果进行分析，确定本文疾病种类识别所用模型为InceptionV3，有关此模型的介绍请参见2.3.2。1.3.5神经网络训练与结果分析（1）数据集与实验环境综合考虑蔬菜大棚各个疾病的发病率及危害程度，本文选择了五种常见疾病进行识别。这五种病害分别是黑斑病、霜霉病、白粉病、细菌性斑疹病和早疫病。这些疾病的发病症状等信息显示在下表1.5中。表1.5疾病识别种类及症状Table1.5Identificationofdiseasetypesandsymptoms疾病名称易感作物感染部位感染症状白菜、番茄、甘蓝茎、叶、果实叶片表面出现红棕色斑点，并逐渐扩大为圆形或无定形的暗黑色斑点油菜、萝卜、黄瓜叶片、果实叶片上浅黄色圆形病斑，空气潮湿时叶片背面有霜霉层。果柄呈灰白色，水渍软腐黄瓜、西葫芦、甜瓜茎、叶、果实叶子背面出现小而圆的白色白粉病，之后从有色的霉斑中出现小而黄色的颗粒黄瓜、西瓜、豆角叶片、果实叶子产生深棕色到黑色的斑点，绿色的幼果有凸起的小斑点马铃薯、辣椒、番茄、茄子茎、叶、果实叶片为水渍深绿色斑点，放大后呈圆形或不规则圆形斑点。果的病斑常在果蒂附近在蔬菜疾病识别领域，目前有一个公开数据集plantvillage，其包含了带标签的健康和患病作物叶片图片共54306个。其中包括14种作物的26种疾病。许多论文使用此数据集来训练神经网络。但由于其中多种作物并非大棚内种植，且疾病种类与大棚常见疾病有所不同。而且其数据集仅包括叶片部位的症状，不能满足本文实验需求。本文使用自行收集的数据集进行实验。数据集西红柿疾病包含西红柿患有五种疾病和健康图片共5000张，其中健康图片2000张，疾病图片每种600张。每种疾病都包含有叶子，茎，果实方面的症状。如下图1.17所示。这些图片均为未预处理的真实拍摄图像，图片并未完全聚焦在疾病症状上且复杂背景，与小车拍摄的图片类似。图1.17数据集Fig.1.17Dataset在神经网络的实现上，本文采用目前学术界流行的pytorch库。此第三方库使用简单，文档齐全。可以容易的进行神经网络搭建以及训练的展开。本次神经网络的训练环境如下表1.6所示。表1.6实验环境Table1.6Experimentalenvironment操作系统Windows10CPUIntel®Core™i7-7700HQRAM8GBGPUNVIDIAGeForceGTX1050编程语言Python3.6.8深度学习库Pytorch-gpu-1.3.1CUDA10.1（2）患病识别模型训练首先训练患病识别网络InceptionV3。数据集包括健康图片与患病图片各2000张，其中患病图片为从每种疾病种类各随机选出400张。本次训练batchsize为32，学习率为0.0002，训练集与测试集分割比例为8：2.训练过程中的损失函数以及准确率如下图1.18所示。图1.18损失值以及准确率Fig.1.18Lossvalueandaccuracy在患病识别中，如检测出作物患病，计算机端会通知相关工作人员，工作人员即需前去查看并采取相应措施，减少疾病带来的损失。然而，如果算法没有将患病作物识别出来，也就是出现了将患病图像识别为健康的假阴性。则会耽误对于疾病的治疗，增加的疾病造成的损失。而如果出现将健康图片识别为患病的假阳性，出现错误警告，仅仅是让工作人员多跑了一趟，增加了一些劳动，相比于假阴性造成的损失小的多。故而本文最为关注的指标为患病种类的召回率。神经网络softmax层输出的结果为图片识别为各个类的概率，需要通过二值化来获得最终识别信息，在二分类问题时一般阈值为0.5。在此通过更改此阈值来提高召回率。首先加载训练好的神经网络模型，并逐步更改阈值从0到1，每次变化0.0125。阈值对召回率以及正确率的影响如下图1.19所示。图中蓝色线代表正确率，黄色线代表召回率，两线的焦点坐标为(0.4625,0.9901)。图1.19不同阈值对正确率和召回率的影响Fig.1.19Influenceofdifferentthresholdsonaccuracyandrecallrate小车在实际工作中的每一次错误识别都将对使用者带来损失，此损失包括将健康图片识别为患病和将患病图片识别为健康所造成损失之和，如下公式所示，其中Ns与Nh分别为一定时间内识别的患病图片数和健康图片数，r与p分别是患病召回率和正确率，ls和lL=Ns1−r（3）疾病种类识别模型训练首先对于候选的几个神经网络模型包括Re