第11章 作物图像处理算法和应用

作物图像处理算法和应用HUAZHONGAGRICULTURALUNIVERSITY1目录CONTENTS第一节图像的一些基本概念第二节图像的基本运算第三节图像预处理第四节图像分割第五节形态学处理第六节彩色图像处理第七节特征提取第八节推荐阅读第九节思考与讨论2一、图像的基本概念

像素的定义邻接和连接连通

像素是数字图像的基本单位，数字图像由像素以行和列的方式排列而成。图像中每个像素都有一个明确的位置和值，其中像素值可以用8位、16位、24位或32位数据表示。

f(x，y)，其中x和y分别代表行、列坐标。数组中的每个元素代表图像中的像素，位于坐标（x，y）处的像素记为p(x，y)。图11-1(a)人眼感知的图像；(b)计算机“眼中”的图像3一、图像的基本概念

像素的定义邻接和连接连通相邻关系只是像素间基于坐标位置（x，y）上的关系，在相邻关系上考虑像素值，可构成像素间的连接关系。像素间在坐标位置相邻，并且像素值满足特定的相似准则（如像素值相等或像素值在定义的同一个灰度值集合内），称为像素连接。根据邻接类型，像素连接可分为4-连接和8-连接。两个连接的像素一定邻接，而两个邻接的像素不一定连接。4图11-2像素间的邻接关系(a)4-邻域；(b)对角邻域；(c)8-邻域一、图像的基本概念

像素的定义邻接和连接连通5如果从像素p到像素q的通路上像素两两连接，则称像素p和像素q连通。根据连通通路采用的连接类型，连通分为4-连通和8-连通。在定义邻接、连接和连通关系时，必需指定邻接类型定义才有意义。二值图像中相邻像素只有像素值相同才存在邻接关系。图(a)中正方形和长方形分别为两个4-连通区域，正方形和长方形组成的部分为一个8-连通区域。图11-3像素间连接和连通关系(a)图像；(b)数字图像二、图像的基本运算6图像的算术运算图像的逻辑运算图像的卷积运算图像处理实际上是对图像数组的各种运算。图像运算以单个像素为基础，在相应的像素对之间执行。因此，运算涉及的图像具有相同的大小，即图像具有相同的行数和列数。在图像处理中，图像相加常用来降低图像中的噪声，图像相减运算则能获得图像之间的差异，可以用于提取图像中的噪声。二、图像的基本运算7图像的算术运算图像的逻辑运算图像的卷积运算图像相乘常用于感兴趣区域（regionofinterest，ROI）操作。ROI操作也称为模板操作。将模板图像与给定图像相乘，可获得ROI区域内的图像信息。图像相除的一个重要应用是阴影校正。用除法将采集图像除以阴影图像，可以校正光照不均匀产生的阴影。二、图像的基本运算8图像的算术运算图像的逻辑运算图像的卷积运算图像的逻辑运算包括补操作(NOT)、与操作(AND)、或操作(OR)和异或操作(XOR)，常被应用于二值图像。图11-8以两颗麦粒的图像举例说明了这些操作。二、图像的基本运算9图像的算术运算图像的逻辑运算图像的卷积运算图像的邻域操作指输出结果图像中任一像素点(x，y)的取值由该像素点及其邻域内的像素点共同决定。图像卷积是图像处理中常用的邻域操作。卷积运算前，需要先定义运算时使用的邻域模板。卷积模板通常也被称为核。卷积运算是对图像中的每个像素，将模板中心与该像素位置重合，计算模板中各元素与模板下各对应的图像像素值相乘，再将所有乘积相加，取该运算结果为中心像素新的像素值。图11-9图像卷积运算说明当边界像素不能完全与模板重叠时，可以采用在运算前增加边界像素的方法（即padding）来确保图像的边缘被处理。三、图像预处理

基于灰度变换的图像增强图像滤波图像的直方图是对图像中所有像素值的统计分布，每个直方图的水平轴对应于图像像素值，垂直轴为图像中像素值等于对应值的像素数量。通常，高对比度图像的直方图分量覆盖像素值范围比较宽，并且分布较均匀。图像增强时，可以参考图像直方图分布选择合适图像增强算法。1011公式：s＝ar＋b式中a和b为常数，该变换对整个像素值范围使用相同的参数，提高的是整张图像的对比度。如果需要降低/提高特定区域的对比度，则需要根据不同的像素值范围进行不同的线性变换，即分段线性变换。又称幂律变换，公式为s＝crγ其中c和γ为正值常数，若c＝1，当γ＝1时，图像不变；γ值小于1，可以增强图像对比度；反之则降低对比度线性变换伽马变换公式：s＝clog(1+r)c为常数，当图像较暗时，该变换可以扩展图像中的暗像素，压缩亮像素，实现图像增强；反对数变换则可以压缩图像中暗像素的值，同时扩展亮像素的值。r和s分别代表变换前后的像素值，灰度变换是把像素值r映射到像素值s的变换，主要包含以下几种变换方式。对数变换缺点：以上数学变换都需要人工指定变换所用映射关系中的参数值三、图像预处理

基于灰度变换的图像增强图像滤波直方图均衡化是通过使图像像素值分布均匀（概率分布相等）来实现图像增强的目的。具体过程如下：记图像中像素值为k的像素出现的概率为：直方图均衡化的目的是使像素值概率分布相等，即：直方图均衡化变换前后图像像素值概率密度函数分别为pr(r)和ps(s)，则:则有直方图均衡化变换形式：离散化表示为：优点：该过程仅基于图像本身的信息，不涉及参数的选择，是全自动化的图像处理操作缺点：对像素值非常集中的区域，直方图将会被拉得非常稀疏，区域内的噪声可能会被放大，而另一些区域的细节则可能会损失。12三、图像预处理

基于灰度变换的图像增强图像滤波三、图像预处理

基于灰度变换的图像增强图像滤波

限制对比度自适应直方图均衡化（CLAHE）是针对直方图均衡化可能造成的问题而提出的一种优化算法。CLAHE算法通过设置直方图分布阈值限制原始像素值经变换函数后的增幅，并利用图像分块计算局部区域直方图，能实现图像增强的同时抑制噪声并保留细节信息。13三、图像预处理14

图像滤波处理通过图像卷积运算执行。滤波器的定义即图像卷积核的定义，卷积核中的元素即为滤波器系数。图像滤波后的像素值为滤波器覆盖内图像像素值与对应滤波器系数的乘积之和。基于灰度变换的图像增强图像滤波图像滤波器平滑滤波器(用于图像模糊处理和降低噪声)锐化滤波器(突出图像中像素值过渡变化)均值滤波器（盒子滤波器）统计排序滤波器高斯滤波器作用效果Roberts滤波器Prewitt滤波器Sobel滤波器Laplace滤波器滤波器系数不同三、图像预处理15均值滤波器：对图像中任意位置（x，y）的像素值用以（x，y）为中心，由滤波器模板确定的邻域中所有像素的平均像素值代替。均值滤波器能将较小的物体与图像背景混合，方便较大物体的检测。统计排序滤波器：包括中值滤波器、最大值滤波器和最小值滤波器等。这类滤波器基于模板覆盖的图像区域内所有像素点像素值的排序，使用排序结果决定滤波器的输出值。基于灰度变换的图像增强图像滤波图11-12(a)均值滤波器处理结果;(b)中值滤波器处理结果;(c)最大值滤波器处理结果;(d)最小值滤波器处理结果三、图像预处理16Roberts滤波器：利用对角线相邻两像素之间像素值的差分，来进行边缘检测。该滤波器能较好地增强正负45°的图像边缘。Prewitt滤波器：采用大小为3×3的模板，用像素点上下左右相邻像素之间的像素值差，实现边缘增强目的。该滤波器对水平方向和垂直方向上的边缘增强作用更明显。基于灰度变换的图像增强图像滤波图11-13Roberts滤波器的两个滤波模板图11-14Prewitt滤波器的两个滤波模板三、图像预处理17Sobel滤波器：在Prewitt滤波器的基础上，增加了权重的概念，加强了中心像素点上下左右4个方向像素的权值。对像素值渐变和噪声较多的图像处理结果比较好。Laplace滤波器：通过比较中心像素点像素值与邻域内其他像素值均值之间的关系，对中心像素的像素值进行调整。只使用一个滤波器，且没有固定的滤波器模板，对滤波器模板的基本要求是所有系数的和为零。不能检测边缘的方向，并且对图像中的噪声比较敏感。基于灰度变换的图像增强图像滤波图11-15Sobel滤波器的两个滤波模板图11-14Prewitt滤波器的两个滤波模板三、图像预处理18

图为利用上述4个图像锐化滤波器进行处理的结果。值得一提的是，没有任何一种图像增强技术普遍适用于所有场合。图像预处理过程中，需要针对给定的任务选择合适的算法，或结合多种图像增强方法，才能达到令人满意的图像增强效果。基于灰度变换的图像增强图像滤波四、图像分割19图像分割是基于机器视觉研究作物表型中图像处理的核心，图像分割能区分图像中感兴趣的目标区域（前景），目的是去除背景或不相关区域。作物图像处理过程中，图像分割常常是困难的任务之一。图像分割算法通常基于像素值的不连续性和相似性。常用的图像分割算法有基于阈值的分割方法、基于轮廓的分割方法、基于区域的分割方法、基于图论的分割方法、基于偏微分方程的分割方法和基于机器学习的分割方法等。四、图像分割阈值化分割区域生长分水岭基于图论的分割基于机器学习的图像分割20图像阈值化分割是最常用的传统的图像分割方法。阈值分割基于目标区域与背景区域之间的像素值差异，通过选择合适的阈值将像素分为像素值大于阈值和小于阈值两类关键是如何选择合适的阈值固定阈值选择算法有Otsu阈值分割、最大熵阈值分割、最小交叉熵阈值分割、三角法阈值分割、迭代阈值分割、模糊阈值分割、矩不变阈值分割等四、图像分割阈值化分割区域生长分水岭基于图论的分割基于机器学习的图像分割21四、图像分割阈值化分割区域生长分水岭基于图论的分割基于机器学习的图像分割22全局二值化，图像中所有的像素都按照同一个阈值T处理。当图像光照不均匀时，分割效果不好；不能很好地处理图像细节局部二值化，将整张图像进行分块，在每个图像分块内按照同一个阈值处理。如果对图像中的每个像素单独进行阈值处理，并且使用的阈值根据像素邻域内像素的像素值分布来确定，即每个像素的阈值可能都不同，这种阈值方式称为局部自适应二值化。虽然计算量大，但是对光照不均匀的图像分割效果更好。四、图像分割阈值化分割区域生长分水岭基于图论的分割基于机器学习的图像分割23区域生长是从种子点开始，根据一定的生长准则，将与种子性质类似的邻域像素合并到种子点中，生长成为更大区域，最终收敛为目标区域的过程。区域生长开始前，需要指定种子点和生长准则（像素相似性判断准则），算法的具体步骤如下：（1）指定种子点，标记种子点为前景像素。（2）从种子点开始，依据生长准则对种子点的邻域像素进行判断。（3）如果邻域像素满足生长准则时，将该邻域像素点标记为前景像素，并以该像素为新的种子点，重复步骤（2）。（4）当不再有满足相似准则的像素加入区域时，生长停止。四、图像分割阈值化分割区域生长分水岭基于图论的分割基于机器学习的图像分割24区域生长算法的关键是种子点的选择和像素相似性判断准则四、图像分割阈值化分割区域生长分水岭基于图论的分割基于机器学习的图像分割25图像中像素值大的位置为山峰和丘陵，像素值小的位置则为山谷。分水岭算法的思想是模拟水淹过山地的过程。分水岭算法的实现有多种方法，常用的实现方法主要分为以下两个步骤。（1）选择标记点（也就是注水点），常用图像中像素值为局部最小值的像素作为标记点；（2）以标记点为起始点，按照分水岭规则，逐渐增加阈值（升高注水面），对标记点周围的邻域像素进行判断，确定像素的归属区域或在像素上设置分割线。四、图像分割阈值化分割区域生长分水岭基于图论的分割基于机器学习的图像分割26四、图像分割阈值化分割区域生长分水岭基于图论的分割基于机器学习的图像分割27图论（graphtheory）以图（graph）为研究对象，图是由节点和连接这些节点的边组成的图形。实现图像分割需要断开的所有边，称为“割”。基于图论的分割算法其主要思想就是找到付出代价最小的割，这个割就是图像分割的结果。具体实现过程中通常可以理解为寻找使代价函数（costfunction）最小的最优化问题四、图像分割阈值化分割区域生长分水岭基于图论的分割基于机器学习的图像分割图像分割实际上可以看作是一个分类问题。按照图像分割的目的定义像素类别，如前景和背景两类。对图像中的所有像素进行分类，判断每个像素所属类别，并根据所属类别分别赋予不同的像素值，分类结果即为分割结果。机器学习中常用的分类、聚类、判别等方法，包括K均值、线性判别分析、支持向量机、随机森林和神经网络等算法均可用于图像分割。28五、形态学处理形态学的基本操作常用形态学算法29腐蚀是对图像中的任一像素，只有当对应结构元素覆盖下所有像素均为前景像素（像素值为255/1）时，输出为前景像素；否则，输出为背景像素（像素值为0）。腐蚀会缩小图像中的前景区域，有效去除图像中小的前景（白色）噪点。膨胀与腐蚀相反，对图像中的任一像素，只要对应结构元素覆盖下有一个像素为前景像素，输出为前景像素。膨胀会扩大图像中的前景区域，最简单的应用为桥接裂缝。可以用膨胀进行连接带有断裂的目标物体。开操作对图像进行先腐蚀后膨胀的操作称为开操作。开操作一般会平滑物体的轮廓，可以去掉细小的物体，断开物体间的狭长连接，消除细的毛刺，平滑较大目标物体轮廓的同时不明显改变目标物体的面积。闭操作对图像进行先膨胀后腐蚀的操作称为闭操作。闭操作也具有平滑物理轮廓的作用，通常用于修补较窄的间断或断裂，填充目标物体区域内小的孔洞。五、形态学处理形态学的基本操作常用形态学算法腐蚀膨胀开操作闭操作30腐蚀是对图像中的任一像素，只有当对应结构元素覆盖下所有像素均为前景像素（像素值为255或1）时，输出为前景像素（像素值为255或1）；否则，输出为背景像素（像素值为0）。腐蚀会缩小图像中的前景区域，可以作为形态学滤波器，等效于最小值滤波，能将小于结构元的图像细节从图像中去除，有效去除图像中小的前景（白色）噪点。五、形态学处理形态学的基本操作常用形态学算法腐蚀膨胀开操作闭操作31膨胀与腐蚀相反，对图像中的任一像素，只要对应结构元素覆盖下的像素有一个像素为前景像素，输出为前景像素；只有对应结构元素覆盖下所有像素均为背景像素时，输出才为背景像素。膨胀会扩大图像中的前景区域，等效于最大值滤波，最简单的应用为桥接裂缝。图像分割得到的二值图中带有断裂的目标物体时，可以用膨胀进行连接。能够修复的断裂长度由结构元决定。五、形态学处理形态学的基本操作常用形态学算法腐蚀膨胀开操作闭操作32开操作对图像进行先腐蚀后膨胀的操作称为开操作。开操作一般会平滑物体的轮廓，可以去掉细小的物体，断开物体间的狭长连接，消除细的毛刺，平滑较大目标物体轮廓的同时不明显改变目标物体的面积。闭操作对图像进行先膨胀后腐蚀的操作称为闭操作。闭操作也具有平滑物理轮廓的作用，通常用于修补较窄的间断或断裂，填充目标物体区域内小的孔洞。五、形态学处理形态学的基本操作常用形态学算法边缘提取孔洞填充骨架提取用膨胀后的图像减去腐蚀后的图像，可以获取图像前景物体的边缘。通常边缘提取时，膨胀和腐蚀使用的结构元相同，提取的边缘宽度由结构元尺寸决定。如使用3×3结构元，提取的边缘宽度为1像素。33五、形态学处理形态学的基本操作常用形态学算法边缘提取孔洞填充骨架提取图像中的孔洞定义为由相连接的前景像素边缘包围内的背景区域。前面介绍的闭操作可以用来填充孔洞，但是能填充孔洞的大小受结构元尺寸大小影响。而在实际应用中，图像中的孔洞大小不好确定。特别是如果孔洞较大，采用闭操作对图像进行孔洞填充，需要使用大尺寸结构元，可能会改变前景物体的形状甚至连接情况。因此，需要针对孔洞填充的算法。基于形态学处理的孔洞填充，通过膨胀、NOT和AND操作执行。假设I（x，y）为需要填充的二值图像，孔洞填充具体过程由下列步骤组成。①对图像I（x，y）进行NOT操作，得到图像Ic（x，y）。②创建一张尺寸大小与I（x，y）相同的图像F（x，y），图像F（x，y）在图像边界处的像素值为Ic（x，y），其他位置像素值为0。③对图像F（x，y）使用所有元素都为1的3×3结构元进行膨胀操作后，再与Ic（x，y）进行AND操作。④重复迭代步骤③，直至收敛稳定，即输出结果不再变换。⑤对步骤④得到的结果进行NOT操作。34五、形态学处理形态学的基本操作常用形态学算法边缘提取孔洞填充骨架提取骨架提取，骨架可以理解为目标物体的中轴，宽度通常只有1像素宽，代表了目标物体主要的形状和结构信息，连通性和拓扑结构分布与原始物体形状保持一致。假设物体内部存在至少两个或多个不同位置与物体边缘相切的圆，所有这样圆的圆心集合就是物体的骨架。骨架提取对每个连通区域进行细化，具体操作通过腐蚀和开操作执行，主要包括三步。①对图像进行腐蚀操作。②对腐蚀结果进行开操作。③将腐蚀结果和步骤②得到结果进行图像相减运算。对图像I（x，y）进行连续腐蚀操作，对每次腐蚀结果进行开操作，并与腐蚀结果进行相减运算（即重复以上三个步骤），直至腐蚀后图像中所有像素均为背景像素。对每次腐蚀过程得到的结果进行OR操作，即得到原始图像中前景目标物体的骨架。35六、彩色图像处理与灰度图像相比，彩色图像中包含了颜色信息，能提供更多的信息。彩色图像中每个像素均由红（R）、绿（G）、蓝（B）三个分量组成，像素的颜色由R、G、B三个分量共同决定。因此，彩色图像有R、G、B三个通道。通常，每个分量的值用8位数据表示，彩色图像可表示224种颜色。彩色图像有R、G、B三个通道，每个通道分别对应一张灰度图像。除了RGB分量外，对色彩的描述还可以使用CMY、HSV、HIS、Lab等。用灰度图像处理方法分别处理彩色图像的每一个分量，再对处理结果进行合成，或者将像素的3种颜色分量组成颜色向量，直接对像素的颜色向量进行处理。36六、彩色图像处理针对植物颜色特征，用到的颜色分量：37

六、彩色图像处理38

六、彩色图像处理39

七、特征提取图像特征主要有图像的形状特征、颜色特征、纹理特征和空间特征，包括边缘、亮度、几何形状、纹理、图像变换特征描述子，如主成分（principlecomponent，PC）、矩（moment）、尺度不变特征变换（scale-invariantfeaturetransform，SIFT）、加速稳健特征（speededuprobustfeatures，SURF）、方向梯度直方图（histogramoforientedgradient，HOG），傅里叶描述子（fourierdescriptors）和小波变换（wavelettransform，WT）等。从作物图像中提取的特征大致可以分为两类。一类特征是具有明确生物学定义的农艺性状，如植