【《农产品机器视觉检测系统中产品图像采集及预处理过程案例分析》5800字（论文）】

农产品机器视觉检测系统中产品图像采集及预处理过程案例分析目录TOC\o"1-3"\h\u30631.1八角图像采集 1182011.1.1试验材料 1154871.1.2图像采集系统搭建 17901.1.3图像采集 2105991.2八角图像预处理 3155881.1.1图像标定 3207511.1.2图像滤波 4171161.1.3图像灰度化 8214981.1.4图像分割 9227151.1.5形态学处理 1079611.3小结 12运用计算机视觉技术对八角进行外观品质之前，需对八角进行图像采集。图像采集工作是八角的外观品质检测的基础与前提，因此在开始处理图像时应先搭建图像采集系统采集八角图像，再对图像进行噪声滤除、灰度化、图像分割、轮廓提取等预处理操作。1.1八角图像采集1.1.1试验材料本文选取果型特征（角瓣瘦长和角瓣粗短）、颜色特征（棕红、黑红和褐红色）、变质特征（霉变）和正反面（角瓣瘦长和角瓣粗短）等八角作为研究对象，通过图像处理技术提取其特征信息，建立检测方法，实现对不同类型的八角果型、颜色和变质的识别。根据研究的需要，本文主要选取大红、干枝、角花等3个常见的八角品种，共394个，其中大红192个（外观颜色为棕色的101个、褐红色的91个），角花101个（褐红色），干枝101个（黑红色）为研究对象。为了检验识别效果，另分别选取棕红、褐红、黑红各41个样本，角瓣粗短和角瓣瘦长的八角各35个样本用于验证。1.1.2图像采集系统搭建根据八角图像采集的要求，本研究的图像采集系统其结构如图2-1所示，主要包括光源、光箱、计算机和工业相机等部分。774156231-灯管；2-采集箱；3-工业相机；4-八角；5-数据通信线；6-计算机；7-载物台1-lamptube;2-Collectionbox;3-Industrialcamera;4-star;5-Datacommunicationline;6-Computer;7-objectstage图2-1八角图像采集系统Fig.2-1Octagonimageacquisitionsystem系统中，图像采集设备为方诚科技FCID130C彩色工业像机，分辨率为1280×1024，将其置于光箱（规格为35cm×25cm×75cm）顶部正中央。周围有光源，光源由4根白色LED荧光灯组成，功率30W，色温为白色，平均分布在箱体的四个角上。相机正下方为载物台，相机镜头与载物台上八角距离为65cm，采集图像时将八角平放在台上。本文中图像的分析处理均通过VS2019+Opencv3.4.8实现。1.1.3图像采集针对本文的研究需要，在图像采集时，将八角样本平躺放置在工业相机的正下方的载物台上；打开光源，逐个对八角样本采图像，每个样本采集3次，选其中采集效果最好的进行研究，图像采集的过程中应注意相机的焦距、物距等参数的一致性，并使八角样本所在基面与光轴保持垂直。采集的图片如图2-2所示。a大红原图（棕红、粗壮）aTheoriginalredstaranise(Brown-red、stout)c角花原图（褐红，瘦长）cOctagonalfloweroriginal(Maroon,lanky)c干枝原图（黑红，瘦长）cDrybranchaniseoriginal(Darkred,lanky)d八角背面特征dAntagonbackfeature图2-2八角图像Fig.2-2Octagonimage1.2八角图像预处理1.1.1图像标定机器视觉所处理的图像信息都是以图像传感器采集的数字图像为基础的，因此在采集的过程中图像与原有物体存在一定的比例关系，为了能表示这一关系，需对这一关系进行表述，称为标定[58]。图像标定主要有传统相机标定法、主动视觉相机标定方法、相机自标定法等。本文采用传统标定法对其标定，标定时，应保证相机的参数不变，并用网格标定法进行标定。传统相机标定法需要使用尺寸已知的标定物，通过建立标定物上坐标已知的点与其图像点之间的对应，利用一定的算法获得相机模型的内外参数。传统相机标定法在标定过程中始终需要标定物，且标定物的制作精度会影响标定结果。为了保证其准确可靠，本文利用网格图像确定物体与其图像点之间的对应关系。如图2-3所示。在标定时，网格平面应严格垂直于光轴。图2-3标定网格Fig.2-3Calibrationgrid如图2-3标定网格图像所示，把视场分割成边长为bmm的标准块，通过计算标准块边长在图像中的像素平均值来计算毫米——像素的比例关系[59]，得到测量比常数K。K=bmmapixel（1.式中：a表示图像中以像素为单位的网格长度平均值，K为最终本研究中系统标定结果。1.1.2图像滤波滤波在字面上的意思是滤除不相干不必要的波，在电学中指将信号中特定波段频率滤除的操作，是抑制和防止干扰的一项重要措施。而本文的滤波是指在图像采集、传输和处理时会受到光线、电流和噪音等不同因素的干扰，导致图像存在一些噪音或噪点，对八角特征参数的提取产生不利影响。因此需用滤波程序滤除这些噪音噪点，常见的滤波有高斯滤波、均值滤波和中值滤波。（1）高斯滤波高斯滤波是一种线性滤波，是常用的一种滤波算法，利用二维高斯函数的分布方式来对图像进行平滑，可以集中在高斯函数的特点，去除图像中的噪声。二维高斯函数是旋转对称的，在各个方向上平滑程度相同，不会改变原图像的边缘走向；其二高斯函数是单值函数，高斯卷积核的锚点为极值[60]，在所有方向上单调递减，锚点像素不会受到距离锚点较远的像素影响过大，保证了特征点和边缘的特性；其三在频域上，滤波过程中不会被高频信号污染。但是，由于图像的长宽可能不是滤波器大小的整数倍，同时我们希望输出图像的维度与输入图像一致，因此我们需要在图像的边缘补0，具体补几个0视滤波器与图像的大小关系确定，这种方法称作ZeroPadding。同时，权值g（卷积核）要进行归一化操作（∑g=1）。高斯分布公式权值：gx,y,σ=12πσ2其中x和y的坐标是以当前滤波器的中心点为基准。例如中心点右上方各1格的坐标对，是(1，-1)。标准差σ=1.3的8近邻高斯滤波器近似如式（1.3），高斯滤波模板中最重要的参数就是高斯分布的标准差σ。它代表着数据的离散程度，如果σ较小，那么生成的模板中心系数越大，而周围的系数越小，这样对图像的平滑效果就不是很明显；相反，σ较大时，则生成的模板的各个系数相差就不是很大，比较类似于均值模板，对图像的平滑效果就比较明显。图2-4为八角图像高斯滤波后的效果。K=116121a八角原图aOriginalpictureofoctagonb高斯滤波后八角图bOctagonafterGaussianfiltering图2-4高斯滤波Fig.2-4Gaussianfiltering（2）均值滤波均值滤波是一种线性滤波器，处理思路很简单，就是将一个窗口区域中的像素计算平均值，然后将窗口中计算得到的均值设置为锚点上的像素值。该算法的优点在于效率高，思路简单。但缺点也很明显，计算均值会将图像中的边缘信息以及特征信息“模糊”掉，会丢失很多特征。计算均值滤波时可以采用很多优化手段，例如使用积分图的方法对图像进行预处理，处理过后的图像可以通过O(1)的时间复杂度获取窗口区域中的像素和[61]。其卷积方案的实现方为：通过式（1.4）与八角图像像素进行卷积运算计算图像的卷积和，K=11111在滤波过程中，由于边缘部分以外部分无像素点，所以在图像的边界部分采用padding操作处理。处理后，对得到的锚点像素值要进行归一化，即除以窗口尺寸大小。如图2-5为均值滤波后效果图。a八角原图aOriginalpictureofoctagonb均值滤波后八角图OctagonafterB-meansfiltering图2-5均值滤波图Fig.2-5AverageFilteringDiagram（3）中值滤波中值滤波器是一种非线性滤波器，常用于消除图像中的椒盐噪声。与低通滤波不同的是，中值滤波有利于保留边缘的尖锐度，但它会洗去均匀介质区域中的纹理[62]。中值滤波的思想很简单，如果一个信号是平缓变化的，那么某一点的输出值可以用这点的某个大小的邻域内的所有值的统计中值来代替。这个邻域在信号处理领域称之为窗（window）。窗开的越大，输出的结果就越平滑，但也可能会把我们有用的信号特征给抹掉。所以窗的大小要根据实际的信号和噪声特性来确定。通常我们会选择窗的大小使得窗内的数据个数为奇数个，之所以这么选是因为奇数个数据才有唯一的中间值。其原理是把数字图像或数字序列中一点的值用该点的一个邻域中各点值的中值代替，让周围的像素值接近的真实值，从而消除孤立的噪声点。方法是用某种结构的二维滑动模板，将板内像素按照像素值的大小进行排序，生成单调上升（或下降）的为二维数据序列。二维中值滤波输出为：g（x,y）=med{f(x-k,y-l),(k,l∈W)}（1.5）其中，f(x,y)，g(x,y)分别为原始图像和处理后图像。W为二维模板，通常为3*3，5*5区域，也可以是不同的的形状，如线状，圆形，十字形，圆环形等。a大红原图（棕红、粗壮）aTheoriginalredstaranise(Brown-red,stout)b大红中值滤波图像bBrightredoctagonmedianfilteredimagec角花原图（褐红，瘦长）cOctagonalfloweroriginal(Maroon,lanky)d角花中值滤波图dOctagonalmedianfiltergraphe干枝原图（黑红，瘦长）eDrybranchaniseoriginal(Darkred,lanky)f干枝中值滤波图fDrybranchoctagonalmedianfilterFig.图2-6八角分割图像Fig.2-6Allkindsofoctagonalsegmentationimages八角颜色色差小且轮廓复杂，为了能在最大程度上保持八角图像的颜色和轮廓上的特征。通过对不同的滤波方法对比得出，使用中值滤波法对图像进行滤波处理更合适，中值滤波方法不仅可以有效去除噪音，还能保留较为完整的八角颜色特征。中值滤波是基于排序统计理论的一种能有效抑制噪声的非线性信号平滑处理技术，它将每一像素点的灰度值设置为该点某邻域窗口内的所有像素点灰度值的中值。如图2-6为八角经中值滤波后的效果图。通过上述比较可以看到对不同颜色和果形的八角预处理处理结果，图像更加平滑且边缘信息得到了保护。1.1.3图像灰度化在采集图像时，原图像都是以RGB格式保存，RGB格式保存的图像有3个通道，分别对应着红、绿、蓝不同的颜色信息。这些信息为计算机提供了丰富多彩的图像，同时在图像处理时也带来不少的麻烦。RGB颜色丰富，在图像处理时占用大量内存，且RGB格式不利于物体形状特征的处理。为了降低处理难度并节省计算时间，对八角图像进行灰度化处理，然后提取形状特征。灰度图像是指每个像素只有一个采样颜色的图像，这类图像通常显示为从最暗的黑色到最亮的白色的灰度，可以表示不同颜色的深浅。灰度化映射公式为：Gray（x，y）=T(B(x，y),G(x，y),R(x，y))(1.6)式中Gray(x，y)表示灰度值，B(x，y)、G（x，y）、R（x，y）分别表示B、G、R不同的分量值[63]。较为常见的灰度化方法有平均灰度法和最大值法，平均法是对B、G、R通道的平均值作为灰度值；最大值法是将原图像的B、G、R三通道中最亮的值作为灰度值；而较为准确的方法是设置不同的权重，将B、G、R分量按不同比例进行划分，比如人眼对蓝色敏感度低，对绿色较强。为了准确性且符合人们的感官，本文用加权平方对图像进行处理[64]。公式为：Y=（0.114）B+（0.587）G+（0.299）R（1.7）灰度图像在很大程度上降低了图像需运算的数据量，同时也保留了较好的边缘信息。灰度化后的图像如图2-7所示。

a原始图像aOriginalimageb灰度图bGrayscaleimage图2-7灰度化图形Fig.2-7GrayscaleGraph1.1.4图像分割图像分割是图像分析的第一步，是计算机视觉的基础，是提取图像中所需信息的重要组成部分，同时也是图像处理中最困难的问题之一。所谓图像分割是指根据灰度、彩色、空间纹理、几何形状等特征把图像划分成若干个互不相交的区域，使得这些特征在同一区域内表现出一致性或相似性，而在不同区域间表现出明显的不同。简单的说就是在一副图像中，把目标从背景中分离出来。对于灰度图像来说，区域内部的像素一般具有灰度相似性，而在区域的边界上一般具有灰度不连续性。关于图像分割技术，由于问题本身的重要性和困难性，从20世纪70年代起图像分割问题就吸引了很多研究人员为之付出了巨大的努力。虽然到目前为止，还不存在一个通用的完美的图像分割的方法，但是对于图像分割的一般性规律则基本上已经达成的共识，已经产生了相当多的研究成果和方法。本文在对八角图像进行灰度化处理的基础上，利用大津法（OSTU）阈值[65-67]分割对图像进行图像分割。大津法阈值分割法也属于阈值分割法，只是算法原理的差别，最简单的阈值分割法就是计算一副图像的平均值，在图像大于平均值的像素赋值为0，小于平均值的赋值为1。而大津法（OSTU）是一种确定图像二值化分割阈值的算法，由日本学者大津于1979年提出。从大津法的原理上来讲，该方法又称作最大类间方差法，因为按照大津法求得的阈值进行图像二值化分割后，前景与背景图像的类间方差最大。它被认为是图像分割中阈值选取的最佳算法，计算简单，不受图像亮度和对比度的影响，因此在数字图像处理上得到了广泛的应用。它是按图像的灰度特性，将图像分成背景和前景两部分。因方差是灰度分布均匀性的一种度量，背景和前景之间的类间方差越大，说明构成图像的两部分的差别越大，当部分前景错分为背景或部分背景错分为前景都会导致两部分差别变小。因此，使类间方差最大的分割意味着错分概率最小。计算简单快速，不受图像亮度和对比度的影响，是求图像全局阈值的最佳方法。具体地：假设存在阈值TH将图像所有像素分为两类：小于TH记为C1，大于TH记为C2，则这两类像素各自的均值就为m1、m2，图像全局均值为mg。同时像素被分为C1和p1∗mQUOTEp1+p2=1(1.根据方差的概念，类间方差表达式为：QUOTEσ2=p我们把上式化简，将式（1.10）代入式（1.12），可得：σ2=p1p最后求取能使(1.13)最大化的灰度级k就是OTSU阈值。其中：p1=i=0kpm1=1p1i=0kipiQUOTEQUOTEm2=1p2∗i=k+1L−1ip根据式（1.16），遍历0~255个灰度级，求出使式(1.13)最大的k值，即为OSTU所求值。1.1.5形态学处理获得的二值化图像轮廓边缘仍存在许多“毛刺”，为了方便后续对八角图像的分析，需要将毛刺去除。机器视觉中去除图像轮廓边缘的“毛刺”一般采用形态学处理，去除一些不必要的干扰信息。形态学，即数学形态学，是图像处理中应用最为广泛的技术之一，主要用于细化、像素化和修剪毛刺等技术[68]，也常应用于图像的预处理和后处理中，使后续的识别工作能够抓住目标对象最为本质的形状特征，如边界和连通区域等。其的基本思想为膨胀和腐蚀，通过膨胀腐蚀不同组合产生了开运算、闭运算和顶帽等算法，本文采用开运算对图像进行处理，开运算即先腐蚀后膨胀。膨胀操作使被二值化后的白色部分（高亮部分）区域增强扩展,主要用来连通相似颜色或强度的区域。简单来说，膨胀会使目标区域范围“变大”，将于目标区域接触的背景点合并到该目标物中，使目标边界向外部扩张。作用就是可以用来填补目标区域中某些空洞以及消除包含在目标区域中的小颗粒噪声[69]，膨胀操作运算表达式为：QUOTEA⊕B=x,y|Bxy∩A=∅