【《利用Blob分析方法识别棉花的过程案例》3900字】

利用Blob分析方法识别棉花的过程案例目录TOC\o"1-3"\h\u5457利用Blob分析方法识别棉花的过程案例 1119291.1Blob分析过程简述 1171301.2利用RGB通道处理棉花图像 288091.1.1RGB通道简介 3142811.1.2RGB通道下处理棉花图像过程 31251.3在HSV通道下处理棉花图像 5242121.3.1HSV通道简介 5255161.3.2HSV通道下处理棉花图像过程 6241901.4Blob分析对多头棉株的识别情况分析 7Blob(Binarylargeobject)分析是对二值化的图像进行连通域提取和标记，将图像中具有某些相似特征的部分组成一块连通域。Blob分析在工业领域被广泛应用于产品的瑕疵检测和缺陷检测，该方法适用于目标物与背景在二值化图像上灰度值相差较大的情况。1.1Blob分析过程简述Blob分析过程一般包括读入图像、分割图像、提取特征三个步骤。其中分割图像和提取特征是Blob分析过程中最重要的两个步骤。分割图像是通过划分灰度值区间来提取目标物所在区域。Threshold算子是Halcon软件中分割图像中最常用的算子，一般用于图像中背景与目标灰度值相差较大的情况。其数学定义式如下：由该式可知，在给定的阈值下可将图像进行分割并得到两个区域。阈值分割的方法有很多，如普通阈值分割(Threshold)、全局阈值分割(Binarythreshold)、动态阈值分割(Dynamicthreshold)。在Halcon中确定阈值一般是利用灰度直方图，即在某个选定的通道下利用灰度直方图筛选目标。如图1.1所示的即为实地采集的棉花图像及其在B通道下的灰度直方图。在设定的阈值条件下可分割得到目标，如图1.2所示为在阈值200至255（即gmin=200,gmax=255）情况下分割得到的棉花图像，可见通过阈值分割能够将背景与目标灰度值相差较大的图像分割成不同部分，但仍存在与目标拥有相近灰度值的干扰物一起被分割的情况，如图1.2(a)的四周为被分割后留下的许多灰度值较大的麻点状颗粒，这需要在后续处理中进一步去除。(a)(b)图1.1棉花图像及其B通道下的灰度直方图(a)(b)图1.2在阈值200至255下分割得到的图像阈值分割在离线情况下适用于光照条件稳定的情况，而对于光照条件变化的情况可通过先将图像的对比度标准化后进行阈值分割或通过实验得到不同环境下的阈值分割范围。形态学处理是通过利用目标具有的独特的特征对分割后的图像进行进一步的处理，在Halcon中有约60个形态学处理算子，最常用的有以下几个算子：可使区域扩大的膨胀(Dilation)操作、可使区域缩小的腐蚀(Erosion)操作、先缩小区域再扩大区域的开运算(Opening)操作、先扩大区域再缩小区域的闭运算(Closing)操作。合理运用形态学方法能够达到去除干扰从而得到所需目标的结果，如图1.3所示即为利用36像素的结构元对图像进行开运算处理后的获得的棉花区域，可见在图中边缘上的干扰点被成功去除，得到了无干扰麻点且相互分离的棉花图像，该过程具体方法将在下一个部分介绍。图1.3通过开运算处理后的获得的棉花图像1.2利用RGB通道处理棉花图像1.1.1RGB通道简介利用相机拍摄得到的图片都可视为由R（红）、G（绿）、B（蓝）三个分量通道合成而成的，人类肉眼所见的色彩都是这三个色彩叠加而成，RGB通道是应用最广泛的颜色系统。在Halcon中处理图像通常都是对分离后的R、G、B三个通道中的某一个通道进行处理，来实现目标物的提取。1.1.2RGB通道下处理棉花图像过程如图所示为在正常光照条件下以俯视视角垂直拍摄得到的一组棉花图像中的其中一张，棉株插在土壤内，棉株周围有大小不一的石块和杂草及其他干扰物，实验模拟的环境与实际种植环境相似。图-原始图像利用decompose算子对图像进行处理得到如图所示的R、G、B通道下的图像。利用threshold算子分别对R、G、B通道下的图像进行阈值分割，阈值分割范围分别取为[175,255]和[185,255]，得到如图所示的在不同范围下图像分割结果。通过比较对R、G、B通道下的图像分割结果可见在B通道下的分离效果较好，能够较好地将棉花与周围干扰分离且每朵棉花不被分散成多个区域。因此接下来对B通道下的分割结果进行进一步的处理。图-R、G、B通道下的图像(a)(b)图-R通道下阈值[175,255]和阈值[185,255]分割的结果(a)(b)图-G通道下阈值[175,255]和阈值[185,255]分割的结果(a)(b)图-B通道下阈值[175,255]和阈值[185,255]分割的结果由图可见，得到分割的区域后目标周围还存在诸多麻点状干扰物，因此还需去除麻点状干扰。由于麻点状颗粒相互分离且形状较为细小，故可用形态学上的腐蚀操作或开运算操作将细小的麻点状颗粒去除。利用opening_circle算子使用36像素的结构元对分割后的图像进行形态学开运算处理可得到如图所示的处理后的图像，可见成功将周围麻点状的颗粒去除，得到相互分离的棉花图像区域。再利用connection算子可提取并将相互分离的棉花标记为不同的颜色，如图所示。图-分割后的区域周围存在诸多麻点状干扰物图-利用36像素的结构元对分割后的图像进行形态学开运算图-提取连通域后的结果利用area_center算子可获得识别得到的每朵分离的棉花的特征信息，如表所示为每朵棉花在图像中的像素坐标以及面积大小。最后可利用disp_message算子将得到的信息显示在图像上。表-被标记的棉花区域中心坐标及其面积值特征棉花棉花1棉花2棉花3棉花4棉花5中心坐标r794.741328.991249.811851.982308.42中心坐标c2244.732553.362271.692875.782329.56面积718509014613862545901339311.3在HSV通道下处理棉花图像1.3.1HSV通道简介HSV颜色模型是由RGB颜色模型转换而来的。如图所示，与RGB通道相似，HSV颜色模型也是由三个分量通道组合而成的HSV颜色模型能够通过H、S、V三个通道直观地反应一张图像的颜色的色调、饱和程度和明暗程度，因此被广泛地用于机器视觉领域。图-HSV颜色模型1.3.2HSV通道下处理棉花图像过程通过前面叙述可知，HSV颜色模型可由RGB颜色模型转换得到，如图所示，在Halcon中将原始图像分离得到R、G、B通道图像后再利用算子trans_from_rgb即可得到H、S、V通道下的图像。图-H、S、V通道下的图像类似地，通过对H、S、V三个通道调整阈值可得到不同的分割结果。通过程序试验可得，如图所示，S通道下由于棉花对应的灰度值与周围环境极为接近，因此几乎无法分割出棉花图像。如图所示，V通道的分割结果与RGB通道下的分割结果类似。HSV通道下的S和V通道对分离棉花目标无显著优势。图-S通道下阈值[50,65]和阈值[50,80]分割的结果（几乎无法分离目标）图-V通道下阈值[210,255]和阈值[220,255]分割的结果（与RGB分离结果相似）如图所示是对H通道下阈值[140,170]分割得到的结果，可见对比RGB通道，HSV通道下的H通道得到的分割效果较好，几乎能够保留每朵棉花完整的形状信息，且棉株周围的干扰点大大减少，是目前为止表现最佳的分离方法。图-H通道下阈值[140,255]分割的结果类似地，对H通道的分割结果进行进一步处理可得如下结果。如图所示是利用25像素的结构元对分割后的图像进行形态学开运算得到的结果，图为提取连通域后的结果。表所示为每朵棉花在图像中的像素坐标以及面积大小。图-利用25像素的结构元对分割后的图像进行形态学开运算图-提取连通域后的结果表-被标记的棉花区域中心坐标及其面积值特征棉花棉花1棉花2棉花3棉花4棉花5中心坐标r907.4721191.281423.341941.492406.88中心坐标c2025.472119.322291.372623.051997.47面积745306388111456625341367391.4Blob分析对多头棉株的识别情况分析为验证前述实验结论对复杂情况的适应情况，制作一株十头棉花道具并对其从不同角度进行拍摄。如图所示，是一株由10朵棉花组成的棉株，由于棉花排布密集存在相互遮挡的情况，因此在图中仅能看到9朵棉花。在调整阈值区间和结构元大小后可得到如图所示的分离结果，图(c)为在H通道下选取阈值[145,255]并利用30像素结构元处理得到的结果。图-原始图像（由10朵棉花组成的棉株）(a)(b)(c)图-在H通道下处理并提取得到的棉花（阈值[145,255]并利用30像素结构元）由图分离结果可见在调整结构元大小后仍能得到较好的分离结果，但图中标志6处两朵棉花因在图像上重叠而无法被分离。由于棉花6大部分仍能被完整分割且形心位置坐标未偏离该朵棉花本身所在区域，采摘机械手仍能到指定位置完成采摘，因此该类重叠带来的两朵或多朵棉花无法分离的情况在实际采摘过程中对采摘影响较小。在采摘完棉花6后，其下部被遮挡的棉花将完整出现并被识别，再将该被遮挡棉花的位置信息传输给机械手即可采摘，采摘过程不会发生遗漏的情况。因此在棉花发生重叠的情况下，若重叠区域的形心坐标仍在上部棉花区域下则对机械手采摘影响程度较小。图-分离结果分析表所示为每朵棉花在图像中的像素坐标以及面积大小。表-被标记的棉花区域中心坐标及其面积值特征棉花棉花1棉花2棉花3棉花4棉花5棉花6棉花7棉花8中心坐标r1463.251639.581741.911899.051957.122203.02401.022537.05中心坐标c1574.971730.851341.172050.191519.34978.3681366.881780.63面积19756192323174512451178739865176456868706如图所示，再次调整结构元大小后进行开运算，将结构元大小增大为50像素，可见图（上）中标志6处下部的重叠棉花在开运算中被去除，故棉花6中心坐标不再发生偏离。但增大结构元却会造成其他未发生重叠且面积较小的棉花提取到的有效面积减小，如图（上）中棉花1、2、3，严重时甚至在开运算过程中被去除。图-H通道下阈值[140,255]，开运算使用50像素结构元在采集了50幅图像后，利用Blob分析方法识别棉花，观察识别结果并进行分析。发现利用Blob分析方法识别棉花过程存在以下几点问题：一是由于棉花位姿的原因导致同朵棉花被误分离。如图所示框中棉花中部被叶片上的深色托片遮挡，使得H通道上该朵棉花中部的连接处较窄，在进行形态学开运算时该朵棉花会被分割成两个部分，导致后续处理过程中被误认为两朵棉花。图-同朵棉花由于中部太窄而被分离二是由于棉花在图像中呈现的面积太小、开运算使用结构元相对较大的情况会使本应被分离的棉花在开运算中被去除。如图所示框中棉花由于有效面积太小，在形态学开运算后被去除，使得获得的棉花数量变少。图-有效面积太小而被去除三是不同朵棉花在交界区域由于灰度值接近而被连为一体。如图所示右侧的两朵