基于MATLAB的苹果图像分割方法.docx

基于MATLAB的苹果图像分割方法侯纯利（曲阜师范大学物理工程学院 曲阜273165） 摘要：本文以苹果图像为例，重点研究了苹果图像与背景的分割，提取出苹果图像，并对苹果的大小进行估算分级，由于苹果品种众多，其颜色，果型，大小均有差异，并非一种或几种算法便可解决苹果分级问题，本文针对市场上最常见的红富士苹果，以背景设置对照物方式，采用Otsu方法进行阈值分割，通过计算苹果的像素点数量与背景对照物像素点数获得苹果上视图面积，再通过多次对比面积与重量，通过对果型的分析，确定苹果上视图面积与重量的简单函数关系。并以此为思路，提出关于水果分割及水果分级的简单过程。根据实验设计，以matlab为工具，针对分割苹果背景图像时，需要人工设置阈值的问题，重点研究了图像阈值。选择Otsu法，将苹果图像分割为二值图像。采用区域标记与数学形态分去除二值图像中非苹果区域将得到的二值图像与灰度图像进行点乘运算，实现苹果图像与背景的分割，用相同的方法，实现设置参照物与背景的图像分割。该方法简单且能将苹果区域较为完整的从背景区域中分离出来。仿真结果表明，本文提出的背景分割算法不仅能在红富士苹果图像实现较好的处理，对于其他相似的苹果图像也同样适用，具有一定的实用性。关键词：水果；图像分割；MATLAB；面积计算 AbstractWith the apple image as an example, focus on the apple image and background image segmentation, extraction of apple, and apple on the size of the estimated grade, because the apple variety, its color, fruit type, size difference is not one or several algorithms can solve problems according to the classification of apple, the most common on the market of Fuji red apple, by setting control method, Otsu method using threshold segmentation, through the pixel calculation of the number of apples and background contrast pixels in Apple view area, after many times of size and weight, based on the analysis of fruit types, determine the simple function view area and weight the apple. And as a way of thinking, this is a simple process of fruit segmentation and fruit grading.According to the experimental design, using MATLAB as a tool, the problem of manual setting threshold is needed for the segmentation of apple background image, and the image threshold value is studied. Select Otsu method, the apple image is divided into two value image. The region labeling and morphological remove binary image in non Apple areas will be the second value image and the gray level image of point multiplication and realize the segmentation of apple image and background, using the same method, set up the reference object and background image segmentation. The method is simple and can separate the apple area from the background area.Simulation results show that the background segmentation algorithm can not only achieve a better processing in the red Fuji apple image, but also applies to other similar apple image, which has a certain practicality.Keywords：Fruit; image segmentation; MATLAB; area calculation引言数字图像处理技术，用计算机对图像进行分析，以达到所需结果的技术，最早出现于20世纪50年代，当时的电子计算机已经发展到一定水平，人们开始利用计算机来处理图形和图像信息，作为一门学科大约形成于20世纪60年代初期。经过数十年的发展，随着计算机科学技术的不断发展，数字图像处理已是一个跨学科的领域，图像处理和分析逐渐形成了自己的科学体系，新的处理方法层出不穷，图像分割是数字图像处理中的关键技术之一。图像分割目的是将图像中有意义的特征部分提取出来，其有意义的特征有图像中的边缘、区域等，是图像处理到图像分析的关键步骤。目前图像分割方法一般有基于阈值的分割方法、基于区域的分割方法、基于边缘的分割方法以及基于特定理论的分割方法等。其中阈值分割是一种最常见的分割方法，计算简单、效率高、速度快，通过设置不同的特征阈值将像素点分为若干类，其关键点在于阈值的选择。尽管对图像分割算法的研究已有几十年的历史，借助各种理论至今已提出了上千种各种类型的分割算法。人们在图像分割方面做了许多研究工作。但由于尚无通用分割理论，因此现已提出的分割算法大都是针对具体问题的，并没有一种适合于所有图像的通用的分割算法。但是随着计算机技术的发展以及生产力发展的需要，图像分割方法正朝着更快速、更精确的方向发展，通过各种新理论和新技术结合将不断取得突破和进展。目前，国内外学者对分割技术和方法进行了很多研究，提出了很多模型和方法。日本学者OTSU于1979年提出的最大类间方差法对图像进行高效的二值化处理。王玉德等【1】提出一种融合颜色特征和纹理特征的图像分割方法有效实现复杂背景下甜瓜果实分割。王丽【6】利用像素相减的方法进行了相似背景下的苹果图像分割。王福杰【8】等将苹果彩色图像的R、G、B分量进行算术运算，然后用形态学开运算进行消噪处理，采用线性空间滤波消除锯齿便捷，采用自动阈值分割方法进行了苹果图像的背景分割和目标提取。赵志华等【9】采用SUSAN算子算法对苹果图像的缺陷区域进行分割。基于他们研究，本文采用了Otsu方法进行阈值分割，对苹果图像进行分割，并通过对像素点数的计算对比，估算苹果重量。第一章 matlab及阈值分割1.1 matlabMatlab是Matrix Laboratory的缩写，是当今很流行的科学计算软件。信息技术、计算机技术发展到今天，科学计算在各个领域得到了广泛的应用，在诸如控制论、时间序列分析、系统仿真、图像信号处理等方面产生了大量的矩阵及其他计算问题。Image Processing ToolboxTM(图像处理工具箱)提供一套全方位的参照标准算法和图形工具，用于进行图像处理、分析、可视化和算法开发，可以进行图像增强、图像去模糊、特征检测、降噪、图像分割、空间转换和图像配准。图像处理工具箱支持多种多样的图像类型，包括高动态范围、千兆像素分辨率、ICC兼容色彩和断层扫描图像工具箱用于探索图像、检查像素区域、调节对比度、创建轮廓或柱形图以及操作感兴趣区域。工具箱算法可用于还原退化的图像、检查和测量特征、分析形状和纹理并调节图像的色彩平衡。1.2阈值分割灰度图像f(x,y)，该图像的暗色背景上有一些明亮的物体，因此物体和背景像素的灰度分级就分为两种主要模式。从背景中提取物体的一种常用方法是选取一个阈值T来分隔着两种模式。然后满足条件f(x,y)T 的任意点(x,y)就称为物体点，而其它点则被称为背景点。阈值后的二值图像g(x,y)定义为 gx,y=a, fx,yTb. f(x,y)T 1-1标注为a的像素对应物体，而标注为b的像素对应于背景。通常，按照惯例a=1(白),b=0(黑)。1.3 使用Otsu方法进行最佳全局阈值分割令一幅图像的直方图成分表示为 pq=nqn q=0,1,2,L-1 1-2式中，n是图像中像素的总数，nq是具有灰度级q的像素数量，L是图像种可能的灰度级的总数（记住，灰度级是整数值）。现在假设已选定一个阈值k，C1是灰度级为0,1,2,k的一组像素，C2是灰度级为k+1,L-1的一组像素。Otus方法（Otsu1979）是最佳的，在某种意义上，它选择阈值k，使得其最大类间方差为B2k=P1km1k-mG2+P2km2k-mG2 1-3式中，P1k是集合C1发生的概率：P1k=i=1kpi 1-4m1(k)和m2(k)分半是集合C1和C2中像素的平均灰度。mG是全局均值（真个图像的平均灰度）： mG=i=0L-1ipi 1-5此外，直到灰度级k的平均灰度由下式给出：m=i=0kipi 1-6展开B2k的表达式，并由P2k=1-P1k,可把类间方差写成B2k=mGP1k-m(k)2P1(k)1-P1(k) 1-7该表达式计算上更为有效，因为对于所有k值只需要计算两个参数m和P1(只计算一次mG)。类间方差最大化的思想是方差越大，越接近正确分割图像的阈值。注意，这种最佳测度完全基于直接由图像直方图得到的参数。此外，因为k是区间0,L-1内的一个整数，所以找到最大的B2k非常简单：只需要选L个可能的k值中的一个，并在每步计算中计算方差。然后给出选择最大的B2k值的k。这个k就是最佳阈值。如果最大值不唯一，那么所用的阈值就是所找到的所有最佳k值的平均值。类间方差与图像总灰度方差的比值k=B2kG2是把图像灰度分为两类（如物体和背景）的一种测度，其取值范围为0(k*)1 式中k*是最佳阈值。该测度对于恒定图像(其像素完全不能分为两类)可达到最小值，对于二值图像则可达其最大值(其像素完全可分)。工具箱函数graythresh可计算Otsu阈值。其语法为T,SM=graythreshf其中，f是输入图像，T是产生的阈值取值为0到1，SM是可分性测度。然后再用工具箱函数im2bw完成图像的分割 f2=im2bw(f , T) 所得图像f2就是使用Otsu方法分割的图像，由于T取值为0到1，在分割前需要将T转换为具体的阈值，如原图像灰度级为255，则T=T*255。第二章 图像分割与处理 2.1实验设计流程针对苹果图像分割以及苹果大小估测，本次实验首先将苹果彩色图像转换为灰度图像，再对灰度图像进行对比度调节，通过直方图均衡突出细节，再经Otsu方法处理图像获得二值图像，再对二值图像进行形态学开操作删除小物体，通过调试对比度及开操作，获得最佳分割图像，经一系列矩阵运算最后实现苹果图像的分割。背景过亮，A3纸较苹果容易提取，先分割出A3纸，再在此基础上，对苹果区域进行处理。通过计算A3纸轮廓所占像素m与苹果轮廓所占像素n，由A3纸张面积即可得苹果视图面积s s=124 740 mm2*nm 1-7通过对部分苹果的分析，其形状似球，由球体积V公式与圆面积S公式即可推导出球体积V与其最大横截面积S函数关系 V=43r3 1-8 S=r2 1-9 V=43S3 1-10以此函数为参照，通过苹果重量与面积的分析，得出苹果重量与面积的简单函数关系g(s)，由此进行苹果重量的估算。实验总流程图如下 图2-1 实验流程图2.2采集苹果图像本次研究对象为成熟的红富士苹果，成熟果实主色为红，也有青黄等杂色。实验采用拍摄工具为iphone 6s，其摄像头像素为1200万，拍摄图像为4032*3024像素，图像为PNG格式。本次拍摄地点在室内，时间为下午4点左右，光线暗，未开闪光灯，部分图像有阴影。苹果果梗向上摆放，上方拍摄，预设参照物为A3纸，其尺寸420mm297mm，面积124 740 mm2。本次对9个大小不同苹果，拍摄距离变化，共采集图像30幅，针对实验设计选出1幅进行数字图像处理。采集的部分图像如图3.1所示。 （a） （b） （c） （d） （e） （f） （g） （h） （i）图2.2苹果原图 从采集的图像可以发现，背景过亮，苹果较暗。拍摄距离有远有近，图像上苹果近的大远的小，本文取图3.1（a）彩色图像进行处理，其光线适宜，苹果与背景分隔明确，果大，颜色红，与背景差异明显。由于光照原因，向光处亮度高，与白色背景分割很不明显，背光处图像与阴影分隔不明显。2.3 图像预处理以R、G、B为轴建立空间直角坐标系，则彩色图像的每个象素的颜色可以用该三维空间的一个点来表示，灰度图像的象素可以用直线R=G=B上的一个点来表示。于是彩色图像转灰度图像的就是三维空间到一维空间的映射， RGB的定义是客观的三个波长值，转换时需要考虑人眼对不同波长的灵敏度曲线，即有Gray = 0.29900 * R + 0.58700 * G + 0.11400 * B在matlab中，可以用函数rgb2gray，将图3.1中彩色原图a、b、c转换为灰度图像a1、b1、c1，灰度图像如图3.2。 （a1） （b1） （c1） 图2.3 灰度图像由于图像背景偏亮，对比不明显，在分割图像时效果不佳，在进行图像分割前要对图像进行处理，使图像分割效果变佳。本次实验使用imadjust函数进行gamme校正，gamme值大于1，其映射的值就被加权到较低的输出值，图像变暗；gamme小于1，则映射被加权到较高的输出值，图像变亮；缺省或值为1，则为线性映射。图2.2( a1)、(b1)、(c1)经过处理后的图2.3(a2)、(b2)、(c2)。 (a2) (b2) (c2) 图2.4gamme校正后的图像图像处理后，总体颜色变暗，a3纸与背景分隔明显，b2，b3图像相较a2图像处理并不理想，但方法是对的，以下将只对a2进行处理。 gamme校正前后a1与a2的直方图如图2.4。 （a1直方图） （a2直方图） 图2.5 a1校正前后直方图对比校正后，a2的像素值降低，像素集中范围也由高转低，图像变暗。2.4 图像的分割及处理对于图像的分割，将采用像阈值化分割，其实现简单、计算量小、性能较稳定，简化了分析和处理步，适用于目标和背景占据不同灰度级范围的图像。图像阈值化的目的是要按照灰度级，对像素集合进行一个划分，得到的每个子集形成一个与现实景物相对应的区域，各个区域内部具有一致的属性，而相邻区域不具有这种一致属性。这样的划分可以通过从灰度级出发选取一个或多个阈值来实现。本次实验将采用Otsu方法进行最佳全局阈值处理分割。Otsu方法是一种全局化的动态二值化方法，又叫大津法，是一种灰度图像二值化的常用算法。该算法的基本思想是：设使用某一个阈值将灰度图像根据灰度大小，分成目标部分和背景部分两类，在这两类的类内方差最小和类间方差最大的时候，得到的阈值是最优的二值化阈值。 形态学处理是指将数字形态学作为工具从图像中提取对于表达和描绘区域形状有用处的图像分量，比如边界、骨架以及凸壳，还包括用于预处理或后处理的形态学过滤、细化和修剪等。 二值形态学其基本操作为腐蚀和膨胀，用B(x)代表结构元素，对工作空间E中的每一点x，腐蚀和膨胀的定义为：腐蚀：X=EB=x:B(x)E膨胀：Y=EB=y:B(Y)E膨胀是以得到B的相对与它自身原点的映像并且由z对映像进行移位为基础的。E被B膨胀是所有位移z的集合，这样， 和E至少有一个元素是重叠的。 用结构元素B，扫描图像E的每一个像素 用结构元素与其覆盖的二值图像做“与”操作 如果都为0，结果图像的该像素为0。否则为1腐蚀是对Z中的集合E和B，B对E进行腐蚀的整个过程如下： 用结构元素B，扫描图像E的每一个像素 用结构元素与其覆盖的二值图像做“与”操作 如果都为1，结果图像的该像素为1。否则为0腐蚀处理的结果是使原来的二值图像减小一圈。形态学开处理则是先腐蚀后膨胀，可以消除图像中孤立的小点，毛刺和小桥（连通两块区域的）。图2.5 a4是将a3形态学开操作处理后的图像。已消除除A3纸之外的多余部分，处理效果很好。 (a3) (a4)图2.6图像的分割及处理2.5 矩阵操作通过对二值图图a4的翻转，得出图像a5，对a5进行形态学开操作，消除中心图像，得出图像a6，将a6翻转，就得分割出A3纸轮廓a7，如图2.6所示 (a5) (a6) (a7) 图2.7 二值图像矩阵操作 再将二值图像a7与图a5点乘，可以得到苹果的轮廓图像a8，进行形态学开处理，得到a9，将图像a9与灰度图像点乘，即可分离出苹果，图像如图2.7所示图2.7 苹果图像最终分割 （a8） (a9) (a10) 图2.8 苹果图像最终分割 从最终分割的图像a10看，图像分割背光处阴影边缘模糊，多分割背景图像一部分，总体实验还是不错的，在笔者这水平，耗费了好多脑细胞的。熬了几夜，终于做出来了。2.6 图像分割的应用 图像分割是图像处理到图像分析的关键步骤，本次实验通过苹果图像分割，计算出苹果的上视图面积，在通过面积与体积的关系以及果型分析估测苹果体积，又通过苹果体积与重量关系最终估测出苹果重量。通过计算二值图像a7中数值为1的像素点数量m= 4179395，又知道A3纸面积为124 740 mm2，再计算图像a9中的数值为1像素点数数量m2= 346253 ，则通过公式2-1得到苹果面积为10 334.41 mm2，此苹果重450g，由此可得面积S与重量G简单函数关系： G=k*43S3 1-11将数据代入即可得k取值1755.89232836169 G=1755.89*43S3 1-12此公式体积与面积公式取近似值，误差较大，仅可用于估算，且对于k的取值，未进行大量数据带入分析，也存在较大误差，不过，此方法差不多是目前我能想到最好的一种方法了。第三章 总结与展望本文以苹果的数字图像分割为题设计实验，通过matlab数字图像处理工具箱对灰度图像的阈值分割解决苹果图像分割的问题，采用Outs方法进行最佳全局阈值处理，方法简单易懂，通过矩阵的运算，能成功将苹果图像从背景图像提取出，简单降低了光照、阴影、边缘颜色、图像噪声的干扰，在实际生产生活中有一定参考借鉴意义，也可以此方法推广到不同水果的图像处理。通过设置参照物方式，由计算苹果图像像素数与设置的参照物像素数之比，测得苹果果梗正视角度图像面积，通过对其面积与重量加以对果型的分析，得出重量与果梗正视角度图面积的简单函数关系，能大体估算苹果重量。由于苹果种类众多，果型并不统一，且分析数据过少，函数的精确度不高，只能大体估算红富士苹果重量，其为估测数据只具有参考意义并非测得的精确数据。在本次实验中：1: 由于水平有限只使用灰度图像进行分割，相较于彩色图像分割不够精确，有很大的局限性。2: 仅采用Otsu方法，并未选择更多的处理方法做比较，处理情况并不理想。3: 未对原始图像多做处理，所以分割的精度受噪声干扰，图像的处理并不理想。4: 未对边缘进行细致处理，所得图像分割边缘过于粗糙。5：为降低难度挑选简单背景，对于拍摄环境并未做细致挑选设置，误差较大。6：在对于对照物设置时，并未挑选最佳的黑色对照物而采用白色背景参照，亮处边缘分割不精确。所以，下一步可以对1: 选择彩色图像进行采样处理，提高苹果图像分割的精确度。2： 选择多种处理方法，并对算法优化使其处理苹果图像更为精确。3： 在处理前对原始图像进行预处理，排除噪声干扰。4： 分割时对边缘要进行更加细致的处理。5： 可研究复杂背景下的苹果数字图像分割及处理。6： 可以研究不同背景不同光照下苹果灰度图像分割精确度问题。选出苹果图像处理分割最适合的光照及背景条件。苹果数字图像与重量关系并未经大量数据分析，函数关系误差较大，且在实际生产中，由于对苹果提取图像角度距离不同，所得面积与重量关系也会不同，不同果型间又有差距，此算法可以进一步进行研究，通过苹果图像的处