本科毕业设计--基于DSP的苹果识别系统的设计.doc

吉 林 农 业 大 学学 士 学 位 论 文 题目名称： 基于dsp的苹果识别系统的设计 学生姓名： 院 系：信息技术学院专业年级：电子信息2006级指导教师： 职 称： 讲师 2010年 5月 25日目 录题目i摘要及关键词i1前言11.1引言11.2数字图像处理的背景11.3图像识别和分类理论21.4 dsp芯片的发展31.5本课题研究的内容42 图像处理系统总体方案43 成像单元53.1 ccd摄像机与镜头的选取53.2光源与照明方式的设计54 苹果图像采集与处理单元64.1 苹果的图像采集64.2苹果图像的预处理74.2.1图像滤波74.2.1.1邻域平均法84.2.1.2 中值滤波84.2.2图像增强94.2.2.1线性灰度变换104.2.2.2直方图修正法104.3 图像分割114.3.1阈值分割114.3.1.1图像二值化114.3.1.2改进的灰度直方图法124.3.2边缘检测134.3.2.1 sobel边缘检测算子144.3.2.2 梯度算子154.3.2.3 roberts边缘检测算子154.3.2.4 prewitt算子164.3.2.5 laplacian算子164.3.2.6几种算子的比较174.3.3 图像细化及结果184.4 苹果的特征提取及识别204.4.1苹果大小特征提取204.4.2苹果形状特征提取215 苹果识别系统在dsp中实现225.1 硬件介绍235.1.1 dsp芯片的选择235.1.2 tms320c6713硬件结构235.2 ccs软件设计245.2.1 ccs开发环境的介绍245.2.2程序总体构架255.2.3与中断相关的初始化265.2.4编写boot程序266 结论与展望296.1主要研究结论296.2 展望30参考文献30致 谢32附录133附录238基于dsp的苹果识别系统的设计姓 名：徐微微专 业：电子信息科学与技术指导教师：宫 鹤摘 要：数字信号处理器为数字图像处理提供了良好的实现平台。本文讲述其自动检测中的应用基于图像识别的苹果分级，设计出苹果图像识别系统(按大小、形状)。为了根据苹果图像进行苹果分级，文中介绍了对苹果图像进行低层信息处理的所采用的方法，如图像增强、边缘检测、图像二值化、图像细化等。算法如中值滤波、边缘检测算子，改进的灰度直方图法做了重要探讨，并应用或改进应用于本人的设计中。其中改进的灰度直方图法就是在传统的灰度直方图法基础上改进的算法，效果较好。文中讲述了苹果图像识别系统设计的方法和步骤,建立苹果按大小、形状分等级的特征函数。最后，将上述各算法移植到ti的tms320c6713 dsp平台，以满足实时性要求。最终获得较好的识别效果。关键词：苹果识别；图像处理；边缘检测；dspthe design of apple identification system based on dsp name：xu weiweimajor：electronic information science and technologytutor：gong heabstract: image processing algorithms can run very well on dsp platform. this paper demonstrates of the appliance of image recognition in auto-detection, especially in apple image (designed the system of apple image recognition in size and shape).this paper narrates the lower layer image processing of the apple image to classify the apple based on the image such as image enhancement, edge detection, threshold, thinning, etc. much arithmetic is used such as median filter, sobel arithmetic operator, betterment gray scale histogram, etc. applied or betterment applied it to the graduating project. the threshold of gray scale histogram arithmetic is better than conventional one which is result very well. it is also detailed explained the method or step in image recognition during the image recognition system design founding the feature functions that classify the apple according to size and shape.at last, these algorithms mentioned above are transplanted to ti tms320c6713 dsp to meet real-time requirements. an acceptable result is obtained.keywords： apple recognition；image processing； edge detecting；dspi1前言1.1引言人们利用眼睛获取各种各样的图像信息，并传入大脑，由大脑根据经验或知识对图像信息进行加工处理，最后识别，理解周围环境。图像识别就是对人类视觉的一种模拟，它包括对图像信息的获取，传输，处理，存储与识别等过程1。图像识别在应用中很大程度依赖现代图像处理与模式识别技术，其广泛应用在工业检测和医学检测等方面。图像识别的应用极大地解放了人类劳动力，提高了生产自动化水平，改善了人类生活状况，有着极其广阔的应用前景。本文正是基于这一理论对苹果进行识别。苹果的品质有外部品质和内部品质两类。外部品质主要是考虑大小、形状、颜色和表面缺陷等，内部品质主要考虑糖含量、酸度、口味、硬度及内部缺陷等。内部品质的检测技术现在已发展相当成熟，例如，近红外线法和磁共振法测糖含量、酸度；提炼可挥发性芳香化合物法测口味；用声波脉冲响应法和超声波法测硬度；超声波检测水果内部缺陷等等。而目前我国水果外部品质分级主要由机械配合人工的方式完成完成。显然这种方式是一种有损分级，苹果下落的相互碰撞，对容器的碰撞都会使苹果表皮破损，也不能精细分级。与人工分选相比，基于图像识别的水果分级更精细，更准确，无疲劳效应，无损害，节省人力资源。而这种分级技术在国外已经具有相当成熟的水平，尤其是日本、美国，其对很多水果都进行了图像识别的研究，并已产生成熟的产品。比如黄瓜分级、樱桃分级、草萄分级等等。作为水果生产大国，及时研制开发并采用符合我国实际情况的苹果识别系统，提高苹果产品的市场竞争力具有实际意义25。1.2数字图像处理的背景一幅图像可定义为一个二维函数，其中是空间坐标，而任何一对空间坐标上的幅值称为该点图像的灰度。当和幅值为有限，离散的数值时，称该图像为数字图像6。数字图像处理是指利用计算机或者其他设备通过各种算法对数字图像进行处理。数字图像处理是现代图像处理的主要方法，具有再现性好、精度高、适用面广和灵活性大等优点。数字图像处理最早应用之一是在报纸业，当时，图像第一次通过海底电缆从伦敦传往纽约。早在20世纪20代年为了横跨大西洋使用电缆传输一幅图片，首先要进行编码，然后在接收端用特殊的打印设备重构该图片。从20世纪60年代至今，图像处理领域己得到了生机勃勃的发展。图像处理中，输入的是质量低的图像，输出的是改善质量后的图像，使得图像处理技术在许多应用领域受到广泛重视并取得了重大的开拓性成就。图像复原和增强过程用于处理不可修复物体的己损图像或者造价昂贵不可复制的实验结果。在考古学领域，使用图像处理方法己成功地复原了模糊的图片。在物理学和相关领域，计算机技术通常增强如高能等离子和电子显微镜方法等领域的实验图像。图像处理技术也广泛应用于生物学，工业制造及自动化，遥感，航空航天、生物医学工程、工业检测、公安司法、军事制导、文化艺术等领域。(1)宇宙探测。由于太空技术的发展，需要用数字图像处理技术处理大量的星体照片。(2)通信中的应用。图像信息的传输，电视电话等，包括静态图像和动态的图像序列的传送，主要是对图像数据进行压缩，以及对序列图像的处理。(3)遥感方面的应用。遥感有航空遥感和卫星遥感之分，它们都是用不同光源和技术获得大量的遥感图像。这些图像需要用数字图像处理技术加工处理并提取有用信息。它可用于地形地质，矿藏探查，森林、水利、海洋、农业等资源调查，自然灾害的预测和预报，环境污染的监测，气象卫星云图的处理，以及用于军事目的的地面目标的识别等等。现在，许多国家发射了各种不同用途的卫星，遥感图像资源的大量增加，对图像处理技术提出了更高的要求。(4)生物医学领域的应用。数字图像处理技术从一开始就引起了生物医学界的浓厚兴趣，首先应用于细胞分类，染色体分类和放射图像的处理。七十年代，数字图像处理在医学上的应用有了重大的突破。另外，数字图像处理技术正逐步运用到生物学领域，为生物进化、分类和其他研究提供了有力的工具。不同的图像处理的方法不同，基本的处理方法包括图像的获取，图像的增强，图像复原，彩色处理，小波分析，图像压缩，图像分割，表示和描述等。针对具体的图像处理，并不一定完全需要每一种上述列出的处理方法，只能根据具体的情况来选择具体的处理方法。1.3图像识别和分类理论图像识别的目的是研制能够自动处理某些信息的机器视觉系统，代替传统的人工完成分类和辨识的任务。已广泛应用于各个领域。例如：利用气象卫星的云图图像预测天气，智能交通系统中的车牌识别，手写体识别，医疗病变图像的计算机诊断，生产中实时带钢缺陷检测，纺织布匹缺陷检测等这些都属于图像识别系统的应用范畴。各领域所研究的图像是千差万别的，它们都含有本身特性的特征，因此，将它们区别或分类的可能性是存在的。所以除了对图像进行数字化处理外，还需要通过一些手段，将各类图像的重要性用数值表示出来，即特征提取。通常，反映某一类图像特性的特征较多，给计算带来繁重的工作量，同时由于特征的反映不精确，往往会带来一些误差，所以进一步的工作需要对特征进行选择与处理，减小特征值的误差而保留图像特征信息，这种找出比原来特征数目少而精的综合指标的方法称之为特征选择。因此，图像的三维或二维信息可用一组一维数值代替以供识别分类。图像识别方法主要有统计模式识别，结构模式识别，模糊模式识别和神经网络模式识别等4。这些识别方法有各自的优点，同时也存在不足的地方，近年来，许多学者提出多种新的识别方法，如：基于模板匹配的图像识别方法，基于支持向量机的判别方法等，在实际的应用中取得了很好的效果。图像识别系统通常涉及以下几个步骤：(1)图像获取，二维图像获取包括红外遥感成像，测距成像，ccd成像等各种途径。(2)图像预处理，进行预处理可以使图像更清晰，或从图像中提取某些特定的信息等。对含有噪声的图像，要除去噪声、滤去干扰、提高信噪比；对信息微弱的图像要进行灰度变换等增强处理；对己经退化的模糊图像要进行各种复原的处理；对失真的图像要进行几何校正等变换，以突出目标。(3)图像分割和目标提取，主要目的是从图像中获得感兴趣的区域。特征提取，是要获得对目标的有效特征表达和描述。(4)目标分类，是在提取特征的基础上实现判别和分类。1.4 dsp芯片的发展自1980年以来，dsp芯片得到了突飞猛进的发展，dsp芯片的应用越来越广泛。从运算速度来看，mac(一次乘法和一次加法)时间已经从80年代初的400ns (如tms32010)降低到40ns(如tms32c40)，处理能力提高了10多倍。dsp芯片内部关键的乘法器部件从1980年的占模区的40左右下降到5以下，片内ram增加一个数量级以上。从制造工艺来看，1980年采用4 11的n沟道mos工艺，而现在则普遍采用亚微米cmos工艺。dsp芯片的引脚数量从1980年的最多64个增加到现在的200个以上，引脚数量的增加，意味着结构灵活性的增加。此外，dsp芯片的发展，使dsp系统的成本，体积，重量和功耗都有很大程度的下降。近二十年来，随着集成电路技术的发展，导致了dsp技术和器件的迅速发展，使实时数字信号处理系统成为可能并蓬勃发展。近几年来，dsp的性价比越来越高，同时dsp的开发环境不断改善，开发难度越来越低，己经能被普通的应用开发工程师所接受。在通信、计算机、消费电子、自动控制、军事、航空、仪器仪表和办公自动化等领域的得到了广泛的应用。对dsp开发应用己经成为一个热门的研究课题。dsp芯片按照所支持的数据类型不同分为定点和浮点两大类。定点dsp在硬件结构上比浮点器件简单，具有价格低，速度快的特点，因而用的最多。浮点dsp的优点是精度高，不需要进行定标和考虑有限字长效应，但其成本和功耗相对较高，速度较慢，适合于数据动态范围和精度要求高的特殊应用7。dsp的主要结构特点有以下几点：(1).采用哈佛结构哈佛结构的特点是程序存储器和数据存储器各自具有独立的存储空间，独立的程序总线和数据总线，允许取指令和执行指令重叠执行，允许对数据和程序同时寻址，允许直接在程序和数据之间有两套或两套以上的内部数据总线。因此哈佛结构与冯.诺依曼结构相比，更适合处理具有高度实时性要求的数字信号。(2).特殊的指令系统dsp芯片通常都有一套自己的特殊指令，这些指令都是专门为数字信号处理而设计的，这对提高dsp的运算效率非常有效。(3).流水线技术流水线技术是提高dsp程序执行效率的重要手段，取指令和执行指令可以同时执行，从而减少指令执行时间，进一步增强处理器的数据处理能力。(4).高速的时钟周期和强大的处理能力dsp芯片的主频和处理能力不断提高，tms320c5000, 6000系列dsp的主频已经达到200mhz。tms320c6713的主频达到225mhz，处理能力达到1800mips。(5).采用硬件乘法器在信号处理中，用到大量的乘法运算，乘法运算很费时间，为此，在dsp中都有专门的硬件乘法器，现代高性能的dsp芯片甚至具有两个以上的硬件乘法器用以提高运算速度。(6).设有片内存储器外部存储器一般不能适应高性能dsp核的处理速度，因此在片上设置较大的程序/数据存储器以减少对外部存储器中程序，数据的访问次数，充分发挥dsp核的高性能。目前高性能dsp芯片上的可配置程序，数据ram高达7mb。采用大的片上存储器可以减少外部存储器接口的引脚，甚至省略外部存储器接口，而且也减小了芯片的封装体积。1.5本课题研究的内容本课题将结合图像识别技术，选用苹果图像作为研究对象，对苹果按大小、形状分级进行实用性主要研究。主要内容有：(1)对苹果图像的低层信息处理及算法研究：根据已有的图像处理的经典算法进行改进，提出图像处理算法，包括图像滤波、图像增强，图像二值化、边缘检测、图像细化等方面。运用于苹果图像处理，分析、研究、比较后选择出对苹果图像进行处理的实用性算法。(2)苹果识别研究：提取图像中的苹果大小、形状等特征参数，实现正确的识别。(3)编程。熟悉tms320c6713dsp芯片及相关硬件，建立基于techv-c6713dsk平台的苹果识别系统，利用ccs开发环境进行编程以实现图像处理算法在dsp中运行，完成了本课题的软件设计与实现。(4)实验结果分析及进一步研究的设想和展望。2 图像处理系统总体方案系统的总体结构如图2.1所示，按功能可分为3个部分：成像单元、图像采集与处理单元、识别分类单元。图像处理单元成像单元图像采集单元识别分类单元图2.1系统总体框图figure 2.1 overall system block diagram成像单元由ccd摄像机、led光源构成，负责原始图像数据的捕获，图像采集与处理单元是对捕获来的图像进行图像预处理、图像分割、特征提取等，最后进行分类识别。3 成像单元成像单元负责原始图像数据的采集，ccd摄像机向图像处理子系统输出模拟视频信号。对于不同苹果的检测项目，需要设置不的ccd摄像机与led光源进行检测。3.1 ccd摄像机与镜头的选取目前的图像传感器主要有cmos面阵传感器，ccd(电荷藕合器件)面阵传感器和ccd线阵传感器等，ccd摄像机将光信号转换成电信号（标准视频信号），以便于进一步的处理或显示。ccd传感器具有灵敏度高、抗强光、畸变小、体积小、寿命长、抗震动等优点。ccd摄像头的选择主要考虑以下几点：(1)分辨率的选择它决定了显示图像的清晰程度，分辨率越高，图像细节的表现越好。(2)快门速度快门速度是指摄像机获取一幅图像的曝光时间，曝光时间过长会造成严重的图像拖尾现象。但是快门速度越高对光源照明强度的要求成几何级数上升，因此综合考虑，选择的快门速度为1/2000s以上。(3)扫描方式的选择一般扫描方式有两种：隔行扫描方式和逐行扫描方式。隔行扫描是指一帧图像的显示由偶场和奇场组成。(4)异步重置外触发功能为了精确控制拍照时间，需要具有异步重置功能，在系统控制器发出拍照信号时，摄像机能够立即启动曝光。本文根据以上几点，结合现场要求，选用up-610系列的数字黑白摄像头。up-610是一款分辨率为的数字式摄像头，它使用了逐行扫描隔行传输的技术，具有外部异步采集功能，能够很容易的抓拍高速运动物体的图像。其ccd的方形像素更适合用于处理，测量和分析方面的应用。本产品体积小，重量轻，其数字和模拟输出，快门选择其后面板上的许多其它功能使用起来都十分简便。主要参数如下：有效像素() ，传感器芯片尺寸，帧速110 fps，电子快门1/110-1/62,000秒，16档可选，整帧快门状态下异步复位。扫描速度为110帧/秒。3.2光源与照明方式的设计光源照明的主要目标是以合适的方式将光线投射到被测物体上，突出被测特征部分的对比度。不合适的照明，会引起许多问题，如花点和过度曝光会隐藏许多重要信息，阴影会引起边缘的误检，信噪比的降低以及不均匀会导致图像阀值选择的困难。(1).光源种类的选择对于苹果在线检测系统来说，因为光源以常亮照明方式连续工作，它必须具有很长的寿命，且发光稳定，功耗较低，因此需要选择led光源。由于检测系统使用黑白摄像机，对被测物体的颜色选择没有特殊要求，而红色led的发光波长最为接近ccd的灵敏度峰值，所以选用红色led光源。(2).照明方式的选择ccd图像传感器从不同角度摄取现场反射或透射的图像信息，需要多路ccd摄像机来共同完成图像的采集8。光电感应开关，会在苹果位于最佳摄像位置时发送信号给控制单元和图像采集与处理单元，作为采样触发信号，以实现空瓶的精确定位。采集到的图像的清晰度在很大程度上取决于光源的好坏，为保证对各种不同透明或半透明的空瓶都能产生同一亮度和稳定的图像质量，led光源照明方式的设计不可忽视。应选择较好的光源，并且尽量使整个照明系统免受自然光或现场其他照明灯光的影响，保证采集的图像质量稳定。4 苹果图像采集与处理单元系统用ccd摄像机将苹果的图像摄入并经图像采集卡进行了d转换、暂存后通过dsp芯片进行处理，得出苹果个体的分类结果。本系统启动ccd摄像机将苹果目标灰度值图像摄入，并依据相应图像处理原理在dsp芯片内进行图像的显示、滤波、平滑、直方图二值化、边缘轮廓检测与分析等处理过程，提取其形状特征参数，如平均直径(粗度)、长度、面积大小等。 4.1 苹果的图像采集图像采集就是将图像通过数字化后输入到计算机的过程。被摄物体的图像经过镜头聚焦到ccd芯片上，ccd根据光的强弱积累相应比例的电荷，各个像素积累的电荷在视频时序的控制下，逐点外移，经滤波、放大处理后，形成视频信号输出。视频信号连接到监视器或电视机的视频输入端便可以看到与原始图像相同的视频图像8,9。如图4-1。图4-1 采集到的苹果图像figure 4-1 apple images collected4.2苹果图像的预处理由于图像在成像过程中会受各种条件的限制和许多随机因素的影响，获得的数字图像必须经过预处理。图像处理就是对图像中的像素点进行运算，因此需要很多的运算方法，而且根据不同的需要有不同的算法。而图像处理功能的实现也在于算法的提出和实现。到目前为止，还是有很多图像对于某些算法不适用，需要进一步研究探索出新的成果。本节结合本课题对苹果图像处理的应用，在设计过程中对图像按先后顺序进行了图像滤波（中值滤波）、图像增强(直方图修正法)、阈值分割（灰度直方图二值化）、边缘检测（sobel算子）、图像细化处理，以及对苹果图像斑点的清除处理。图4-2是苹果图像的处理过程。图像滤波：中值滤波边缘检测：sobel算子阈值分割：灰度直方图二值化图像细化图像增强：直方图修正法图4-2 苹果图像处理过程figure 4-2 apple image processing4.2.1图像滤波考虑到系统在采集，传输图像和量化图像过程中会产生噪声，影响图像质量。为了能够正确的识别图像，必须对图像进行消噪处理。图像噪声主要有加性噪声，乘性噪声和量化噪声等10。图像中信号主要分布在低频区域，而噪声主要分布在高频区域，但同时图像的细节也分布在高频区域。在传统的基于傅氏变换的信号去噪方法，我们使得信号和噪声的频带重叠部分尽可能较小，这样就可以在频域通过时不改变滤波，就将信号同噪声区分开。但是当它们的频域重叠区域很大时，这种方法就无能为力了。所以图像降噪处理中的一个矛盾的问题是如何在降低图像噪声和保留图像细节保持平衡，传统的低通滤波方法将图像的高频成分滤除，虽然能够达到降低噪声的效果，但破坏了图像细节。可以利用小波分析的理论，可以构造一种即能够降低图像噪声，又能够保持图像细节信息的方法11。但是其速度比较慢。本系统的实时性要求很高，在考虑速度的同时处理后的图像只要满足特征提取得要求即可，因此经过综合考虑，我们选用传统的低通滤波方法。一般常用的滤波方法主要有邻域平均法，中值滤波等方法。4.2.1.1邻域平均法邻域平均法是指图像区域内任意点的灰度值是该点邻域内各点灰度值的平均值。该法是实域内最为简单的方法。以邻域为例，以下是两种模板： 第二个模板是对第一个模板的修正，叫做加权平均模板，从权值上看，处于中心位置的像素比其他任何像素的权值要大，所以在均值计算中给定的这一像素最为重要。但此法的缺点是会造成高频的图像边缘部分出现模糊现象，且模糊程度与邻域半径的大小成正比。4.2.1.2 中值滤波本文采用中值滤波法对采集来的数字图像进行滤波，得到很好效果，同时中值滤波速度很快，能够满足系统对速度的要求12。中值滤波是指把以某点为中心的小窗口内的所有象素的灰度值按照从大到小的顺序排列，将中间值作为处的灰度值(若窗口中有偶数个象素，则取两个中间值的平均)。中值滤波采用模板增强的方法，用一个含有奇数点的滑动窗口，将窗口中各点灰度值的中值来替代指定点(一般是窗口的中心点)的灰度值。对于奇数元素，中值是指按大小排序后，中间的数值；对于偶数元素，中值是指排序后中间两个元素灰度值的平均值13。中值滤波对滤除脉冲干扰信号和图像的扫描噪声效果很好，且中值滤波在运算过程中无需要图像的统计特性，因此计算很方便。中值滤波的步骤是：(1)将模板在图像上漫游，并将模板中心与图像的某个像素(也可叫着基点)重合；(2)读取模板下各对应像素的灰度值；(3)将这些灰度值从小到大排成一列；(4)找出这些值里排在中间的一个值；(5)将这个中间值赋给对应模板中心像素。尽管中值滤波器是一种有效地滤除脉冲干扰如颗粒噪声等、保持图像边缘的滤波器，但随着窗口的增加，虽然滤波能力增强，但有细节损失，而且速度随着窗口的增大而降低。因此我们选择窗口时应该根据图像情况在保持良好滤波的同时尽可能选择小的窗口。本系统选择的滑动窗口。中值滤波去除噪声的原理如图4-3所示。 (a)原图 (b)处理后的图图4-3 中值滤波处理原理figure 4-3 the value of the filtering principle图中数字代表该处的灰度。可以看出，在(a)图中中间的6和周围的灰度相差很大，是一个噪声点。经过窗口(即水平3个象素取中间值)的中值滤波，得到右图(b)，可以看出，噪声点被去除。经过仿真试验，如图4-4是本课题在苹果图像采用中值滤波后的图像，与图2-2相对照可以看出，中值滤波的效果明显，消除了原图中的大量噪声(扫描线和孤立点)，因此对于水果来说采用中值滤波是合理的，满足研究要求。 图4-4苹果图像的中值滤波figure 4-4 median filtering of apple image4.2.2图像增强图像增强主要是为了突出目标图像，增加对比度，使目标从背景中分离出来，为特征提取做准备。根据处理所进行的空间的不同图像增强可以分为基于图像域的方法和基于频域的方法，即空间域法和频率域法。空间域法主要是在空间域上对图像的像素直接进行运算处理，即可直接得到增强后的图像；而频率域法是将图像变换到某个空间(例如频率域)中进行运算处理，最后将运算处理后的结果再进行对应变换的反变换得到增强后的图像。考虑到系统实时性要求，本文主要对空域法分析。空域图像增强的常用方法是灰度变换法和直方图修正法。两种方法都是通过一定的变换来实现对比度的增强，因为只有当黑白象素的灰度差异超过一定限度时，人的眼睛才能容易识别。4.2.2.1线性灰度变换从ccd摄像头得到的图象，常表现出对比度较差，为此需对图象中的每一象素的灰度级进行标度变换，扩大图象灰度范围，以达到增强图象的目的。标度输入图象的象素点的灰度级为，通过映射函数映射成输出图象的灰度级，即 (4.1) 当图象在成像时曝光量不适当或设备的非线性动态范围太窄时，都会产生对比度不足的情况，使图象中的细部不够清晰而影响后续的识别处理。这时如将图象灰度线性扩展，可以显著改善图象的观察质量。 设原图象的灰度范围为，希望变换后的图象动态范围为，则可用下式变换实现： (4.2) 对于处理中的水果图象，由于目标物体占图象的大部分面积，因此大部分图象灰度级为目标物体灰度，而小部分为背景灰度，为增强处理效果对上式进行改进，即： (4.3)利用改进后的算法，既可以将灰度级扩大，增大图象对比度达到增强图象的目的，又可以滤除部分过亮或过暗的图象点，达到改善图象的视觉效果。4.2.2.2直方图修正法直方图表示数字图象中每一灰度级的出现频数的统计概念。用横坐标表示灰度级，纵坐标表示出现频数。直方图从统计意义上给出图象的概括性描述，包括灰度范围、灰度级分布情况等，为进一步处理提供了依据。设变量代表要增强图像中的灰度值，即，经归一化处理后有：代表黑色，代表白色。经增强后的灰度级为s，s与r的关系为。且t满足：(1)，单调增加(2)，对于数字图像，灰度值是离散量，即。其中是灰度级的数目。设为图像中灰度级的像素数目，为图像中像素的总数。则取变换为： （4.4）在上式变换下，数字图像的直方图成为均匀分布形状，即直方图均衡变换。在均衡变换具体视线中，由于灰度级的离散型，增强后的图像的灰度级不会增加，灰度级只能有共个，但 并不一定能恰好对应这个离散值，因而必须对每一个给出一个最接近的值，。这样就造成不同合并成同一灰度级，即以减小图像灰度级换取对比度的扩大。具体实现步骤是：(1)求出直方图。(2)求出变换函数：。(3)合并。(4)以合并后的增强图像。图像增强处理结果如下图4-5所示， (a) 线性增强结果 （b）直方图均衡变换结果图4-5 图像增强处理figure 4-5 image enhancement processing4.3 图像分割4.3.1阈值分割阈值分割是一种区域分割技术，对物体和背景对比较强的景物分割特别有用。它计算简单，而且能用封闭和连通的边界定义不交叠的区域。当使用阈值规则进行图像分割时，所有灰度值大于或等于某阈值的象素归为一类。所有灰度值小于该阈值的象素为另一类，其中一类为背景，另一类为目标。阈值分割可分为二值化分割和半阈值分割两种情况。本文主要根据苹果的特点，主要考虑二值化分割。4.3.1.1图像二值化图像二值化是应用最为广泛的图像分割技术，在自动识别、图像分析、文本增强以及.ocr等图像处理中得到广泛应用。图像二值化的关键技术是阈值的选取。在过去的近三十年里，许多的学者在如何确定图像的阈值这个问题上做了大量的研究。根据其对像素的处理方式可以分为两大类：基于局部的阈值选取方法和基于全局的阈值选取方法。基于全局的阈值选取方法比较多经典的阈值选取方法以灰度直方图为处理对象，后来引入了嫡的概念于图像处理技术中，提出了许多基于嫡的二值化方法。现有的二值化的方法很多，灰度直方图法、微分直方图法、非等同嫡法、最小模糊度法等。其中灰度直方图法和微分直方图法是基于局部的阈值选取方法，基本思想是假设图像中的目标和背景之间的边界灰度值急剧变化。从而利用灰度的变化率来决定阈值。这种算法的实现比较简单，但是由于这种方法的假设条件，事实上有很多图像不满足该假条件。因此这种算法很不稳定，对于不满足该假设条件的图像二值化效果很差。本课题使用的是改进的灰度直方图法1415。4.3.1.2改进的灰度直方图法灰度直方图分割又是比较容易计算的一种方法，利用直方图对图像进行二值化有一个假设：图像由具有单峰物体目标和背景两部分组成，在物体目标和背景内部的像素灰度是相关的，但是在物体目标和背景相交的边缘像素的灰度值变化很大。这样图像的灰度直方图有两个驼峰，且这两个峰相距足够远，则这类图像用灰度直方图分割比较好，但是事实上很多图像都没那么理想的满足，因此必须针对不同的图像对这种算法进行一定的改进。最简单的利用阈值法分割灰度图像的的方法的步骤如下。首先设图像的灰度分布在和之间，确定一个阈值。然后将图像的灰度值与阈值进行比较，将比较结果分成两类：一类大于，另一类小于。即 （4.5）图4-6是一幅光线调整相对比较好的苹果图像，其直方图具有明显的双峰特性， a.原始图像 b.灰度直方图 c.二值化结果图图4-6 具有明显双峰的苹果图像二值化figure 4-6 shuangfeng distinct images of the apple into two values因此，只要选择合适的阈值，二值化的效果就不错。从苹果的灰度直方图可以看到都有峰值出现，但是有的有多个峰值，有的还有一些小的干扰峰值，而且整个灰度图毛刺(噪声)较多。如果在寻找阈值时首先对灰度图进行平滑处理16，然后在进行二值化效果会很好。进行平滑处理后，还会出现多个峰值，本算法采用求多个峰点的中间点作为阈值点。具体的处理过程如下：(1)灰度图平滑：在灰度直方图中，设横坐标用表示，纵坐标用表示。对直方图进行平滑时，的值为与相邻的的几个横坐标的纵坐标的平均值。用数学表示为： （4.6）其中-所取相邻的坐标的个数；-所要计算的横坐标；-的新值；-原处的函数值。直方图平滑后的图像特征明显，峰值和谷点都相对于处理前容易找到。(2)阈值计算：直方图经过平滑以后，还有很多的峰值和谷点，而并不象假设的那样容易的只有一个谷点。为此计算阈值本文采用求多个峰点的中间点，计算步骤为：首先在平滑后的直方图上找出所有的极大点，对求一阶导数和二阶导数可得；然后对所有的求得极大点求平均，平均值就是所要求的阈值。数学表示为： （4.7）在阈值计算时还应该考虑到除去小的噪声干扰，比如图像中小的峰值和谷点应该剔除。利用改进的灰度直方图二值化效果较好，可参见图4-7。 a.原始图像 b.直接二值化 c.改进二值化图4-7 二值化效果图figure 4-7 the value of design sketch4.3.2边缘检测边缘检测包括两个基本内容：首先抽取反映灰度变换的边缘点，而后剔除某些边界点或填补边界间断点，并将这些边缘连接成完整的线。这些边界把图像分成不同的区域。传统的边缘检测算子有一阶微分算子如sobel算子，梯度算子，robert算子， prewitt算子等；二阶微分算子如laplacian算子等17。4.3.2.1 sobel边缘检测算子sobel提出一种将方向差分运算与局部平均相结合的方法，即sobel算子。该算子是在以为中心的邻域上计算和方向的偏导数， 即 (4.8)实际上，上式应用了邻域图像强度的加权平均差值。其梯度大小为 (4.9)或取绝对值 (4.10)它的卷积算子为： 由上面两个卷积算子对图像运算后，代入(4.10)式，可求得图像的梯度幅度值，然后适当选取门限，作如下判断：如果，则为阶跃状边缘点，为一个二值图像，也就是图像的边缘图像。下面所示的两个卷积核形成了sobel边缘检测算子，图像中的每个点都用这两个核做卷积，一个核对通常的垂直边缘响应最大，而另一个对水平边缘响应最大，两个卷积的最大值作为该点的输出值。sboel算子很容易在空间上实现，sboel边缘检测器不但产生了较好的边缘检测效果，同时，因为sobel算子引入了局部平均，使其受噪声的影响也比较小。当使用大的领域时，抗噪声特性会更好，但这样做会增加计算量，并且得到的边缘也较粗。sobel算子利用像素点上下、左右相邻点的灰度加权算法，根据在边缘点处达到极值这一现象进行边缘的检测。因此sboel算子对噪声具有平滑作用，能提供较为精确的边缘方向信息，但是，这是由于局部平均的影响，它同时也会检测出许多的伪边缘，且边缘定位精度不够高。当对精度要求不是很高时，是一种较为常用的边缘检测方法。边缘检测后的二值化的效果图如图4-8所示： d.边缘检测图 e.直接二值化 f.改进二值化图4-8 边缘检测后的二值化效果图figure 4-8 the value of design sketch after the edge of the inspection4.3.2.2 梯度算子梯度对应一阶导数，梯度算子也就对应着一阶导数算子18。对于一个连续的函数，它在处对应的导数可表示为一个矢量： （4.11）这个矢量的幅度(梯度)和方向可表示为： （4.12） （4.13）以上三个偏导数都是对每个像素的位置计算，在实际中常用小区域模板的卷积来近似计算.对和各用一个模板，两个模板就可以组成一个梯度算子。4.3.2.3 roberts边缘检测算子roberts边缘检测算子是一种利用局部差分算子寻找边缘的算子。它在邻域上计算对角导数，它由下式给出： （4.14）其中-具有整数象素坐标的输入函数；又称robert交叉算子。在实际应用中，为了简化计算，用梯度函数的robert绝对值来近似： (4.15)另外还可以用robert最大值算子来计算 (4.16)上式能够提供较好的不变性边缘取向。对于同等长度但取向不同的边缘，应用robert最大值算子比应用rboert交叉算子所得到的合成幅度变化小。robert边缘检测算子的卷积算子为： 由上面两个卷积算子对图像运算后，代入(4.15)式，可以求得图像的梯度幅度值，然后适当选取门限，作如下判断：如果，则为阶跃状边缘点，为一个二值图像，也就是图像的边缘图像。4.3.2.4 prewitt算子两个卷积核形成了prewitt算子为： 梯度计算与sobel算子的方法一样，图像中的每个点都用这两个核进行卷积，取最大值作为输出。prewitt算子也产生一幅边缘幅度图。当用两个卷积算子组成边缘检测器时，通常取较大的幅度作为输出值。这使得它们对边缘的走向有些敏感。取它们的平方和的开方可以获得性能更一致的全方位的响应。这与真实的梯度值更接近。另一种方法是，可以将perwitt算于扩展到八个方向，即边缘样板算子。这些算子样板由理想的边缘子图像构成。依次用边缘样板去检测图像，与被检测区域最为相似的样板给出最大值。用这个最大值作为算子的输出值，这样可将边缘像素检测出来。4.3.2.5 laplacian算子laplacian是一种二阶导数算子25，对于一个连续的函数，它在位置的拉普拉斯定义如下： （4.17）在数字图像中，计算拉普拉斯的值可以通过计算各种模板实现。对模板的基本要求是对应中心的系数必须为正，而对应中心像素相邻系数为负，且这些系数的和为零。拉普拉斯是一种二阶导数算子，因此对噪声很敏感。而且它产生的边缘是双边的，不能确定边缘的方向，因此拉普拉斯算子很少用于边缘检测，而常常用于已知边缘像素后，确定边缘像素的明暗。以下是拉普拉斯算子计算的常用模板。laplacian边缘检测算子模板为： 4.3.2.6几种算子的比较以上几种边缘检测算子对苹果图像处理的结果如图4-9所示。 （a）原始图像 （b） sobel算子 （c）robert算子 （d）prweitt算子（e）laplacian算子图4-9 边缘检测结果figure 4-9 edge detecting of the test results我们可以得到以下结论：(1)robert算子是算子，对具有陡峭的低噪声图像响应最好。prewitt算子和sobel算子都是算子，对灰度渐变和噪声较多的图像处理得较好。(2)prewitt算子和sobel算子相比较，sobel算子对于象素的位置的影响做了加权，因此效果更好。(3)prewitt算子并不是各向同性的，所以如图所示，(d)图中我们看到的边缘并不是完全连通的，有一定程度的断开；而使用robert和拉普拉斯算子就不存在这样的问题。在图(b)中我们可以看到sobel算子已存在类似的问题。解决这个问题的方法是把它扩展成八个方向的sobel和prewitt边缘算子。由于检测出的边缘较粗，必须对检测出的边缘进行细化处理，综上我们可以看出，sobel算子效果较好，而且运算较快。因此本人在对苹果分级时使用的是sobel算子进行边缘检测。4.3.3 图像细化及结果在文字识别、地质构造识别、工业零件识别以及图像理解中常常用到图像细化。图像细化有利于突出目标物体的形状特征，去掉没用和重复的信息。一个图像的骨架是指图像中央的骨骼部分，是描述几何及拓扑性质的重要特征之一。图像细化的过程就是求图像骨架的过程。因为图像在利用边缘线计算重心时，应该只与边界点的位置有关，而与边缘上每个位置区域的像素的个数无关。如果不细化，则边缘线的粗细将严重影响重心的计算。采用细化后，边缘线都变成单象素线，这就能明显提高了重心点计算的精度。骨架是用一个点与一个点集的距离来定义的，用数学形式可表示成： （4.18）其中-图像里的一个点；-图像的边界；实际计算中都是采用逐次消去边界点迭代细化算法。在这个过程中必须满足三个条件：第一，不消去线段端点，第二，不中断原来图像的连通性，第三，不能过多的侵蚀区域。设已知图像的目标标记为1，背景点标记为0。定义边界点