水果图像识别系统——硕士学位论文

目录摘 要 关键词： 50ABSTRACT Keyword: 目录摘 要IABSTRACTI第一章 绪论31.1 课题背景31.2 国内外现状31.3 研究目的和主要内容41.4 论文的组织和安排5第二章 水果分类的图像算法设计62.1计算机数字图像处理62.2水果分类的基本图像处理算法72.3水果的图像特征92.4水果图像分类器122.5水果图像识别算法设计142.5.1水果图像背景提取142.5.2水果形状和颜色特征152.5.3水果分类算法172.6本章小结18第三章 水果图像识别系统总体设计193.1系统总体设计193.1.1系统需求分析193.1.2系统方案选择203.2硬件方案设计263.3 水果注册流程273.4水果识别流程293.5本章小结30第四章 水果图像识别系统设计314.1软件概要设计314.2图像处理模块详细设计324.2.1基本数据结构定义324.2.2水果识别API344.3应用管理及数据管理详细设计364.3.1应用管理模块364.3.2数据管理模块374.4人机交互模块详细设计384.5 本章小节39第五章 水果图像识别性能测试405.1 原型系统405.2 数据准备405.3 测试方法415.4 实验结果435.5 结果分析445.6 本章小节45参考文献47致 谢49 第一章 绪论1.1 课题背景随着计算机技术的不断发展，近年来基于模式识别技术逐渐推广应用到农业领域，例如利用遥感图像分析识别农业灌溉效果，稻田丰收欠收识别与估计，以及农作物的自动分拣与识别等。80年代出现了一些自动分类系统。在已有的水果识别分类系统中，应用得较多的包括水果的伤痕及缺陷检测，水果等级的自动识别与划分等1-4,6-9。这类分类系统大多要求将采摘的水果置于严格限定的状态之中，比如一类水果分类系统利用气味传感器件采集数据，然后以此作为特征对水果进行分类或者质量评估，分类准确率可以达到90%。但是这类系统的一个明显缺陷是必须将采摘的水果置于相对隔离的空间中，需要采用特殊的气味传感器件来采集数据，并且容易受到外部环境，例如流通的空气等因素影响。其它还有基于特殊传感器件的水果分类系统包括基于激光探测器，以及红外探测器的系统。特别地，由于水果类作物的图像具有显著的分辨特征，很容易进行图像特征采集，因此利用图像信息对水果分类和评级得到更为广泛的关注，可以在无损状态下进行快速而准确的自动分类。市场方面，水果产业是近年来快速发展的一个农产品产业, 据农业部统计, 2007 年我国水果产量已经达到1.05 亿吨 , 位居世界第1, 比5 年前增长了51%。但由于品种结构不合理, 产后商品化处理技术落后, 产品缺乏市场竞争力。西方发达国家在水果行业强调规模化、专业化, 在选果包装车间已普遍采用无损伤检测技术手段。因此，水果识别技术具有很高的市场推广价值。本课题将面向市场需求，开发一套基于2D图像的实用水果识别系统，控制开发成本，预期可以取得良好的经济效益。1.2 国内外现状80年代起国外开始研究机器视觉技术，在农业方面的应用主要包括农业机器人、农业遥感分析、粮食及水果的品质检测等技术。以计算机图像处理为基础的智能识别水果技术具有分类精度高，分类结果客观准确，自动化程序高，对水果损伤少等优点，正在逐步取代现有的人工分类，是当前水果实时检测与自动化分类技术发展的必然趋势。我国这方面的研究和应用起步较晚，还处于人工和半机械阶段。人工分选在很大程度上依靠分选工人的个人经验，这种主观评定受到环境、视力、颜色鉴别力、情感、疲劳等的影响，劳动强度大，速度慢，而且人眼很难定量估计着色、损伤等指标，大多数停留于定性评判，精度和可靠性低。另一方面，机械分选的主要指标是水果的大小和重量，不可避免对水果损伤，效率低，分选结果达不到国际要求。我国是世界果树大国，栽培历史悠久，品种丰富，水果和干果达50余种，是世界果树起源最早、种类最多的著名果树古国之一；同时，我国也是一个水果生产大国，据国家统计局统计，我国水果总产量约占世界总产量的14%左右，居世界首位。 但我国的水果出口量却很小，属于水果出口小国。造成这些现象背后其中一个主要原因就是国内水果的产后技术处理环节缺失。这其中存在行业技术推广的问题。反观世界发达国家，均将农产品的贮藏、保鲜和加工放在产业的首要位置。比如从农产品的产值构成来看，农产品的产值70%以上是通过产后的贮运、保鲜和加工等环节来实现的。美国用于农产品采摘的费用仅占30%，而70%的资金都用在采后环节。农产品产后产值与采收时自然值的比例，美国为3.7:1，日本为2.2:1，我国仅0.38:1。目前发达国家水果产后商品化技术处理比例达到80-90%，而我国技术处理比例(包括简单手工分类的在内)还不到总产量的2%。除了规模化的工业应用之外，目前还没有将水果识别应用到消费产品中，图像智能识别技术可以与传统设备相结合，获得更好的用户体验，提高工作效率。在水果识别学术研究方面，从80年代开始，国内外就有学者研究水果的计算机自动识别，传统的水果识别仅仅基于水果的轮廓曲线特征27，近年来出现了一些基于模式识别算法的较新方法，比如文献6,12描述了基于神经网络的水果识别系统，并利用了多种光谱下的水果图像来进行识别1。这些技术相比早期方法有了很大进步，但是还存在一些不足，大部分的研究都集中于分类器的设计，忽略了系统前端的图像信号采集和有效特征提取。神经网络系统对于输入的水果图像直接进行训练，没有考虑样本中存在的噪音。神经网络中最优参数的选择也只能根据经验。在图像采集方面虽然加入多光谱图像，但是成本较高，无法得到推广。在一个模式识别系统中，除了分类器的选择和训练，图像特征的筛选、采集环境、信号预处理、最佳训练样本选择都对系统性能有着重要影响，因此，为了获得更好的性能，必须基于用户的实际需求，从一个系统、整体的观点，来构建一个更加有效的水果识别系统。借鉴国际发展历史，水果智能识别技术必将越来越多的进入行业领域，因此，作为水果分级、分类识别中核心的计算机图像处理技术，可使分类检测实现全自动化、摆脱传统人工操作，可以为行业发展提供广阔空间，利用新兴的先进技术手段和方法可以大大提高我国水果产后的处理水平，提高生产效率，提升我国水果国际竞争力。水果图像分类还可以广泛应用于商业销售环节，比如自动称重，自动计价，提供便捷的人机交互方式，减轻人工负担。1.3 研究目的和主要内容水果分类识别是一个范围很广的课题，前人多研究单类水果的品质分级，缺陷检测，水果成熟度识别，机器人采摘系统等，鲜有研究多类水果识别的项目，而多类水果识别在实际中有着广阔的应用价值，比如在发达国家的超级市场，用户可以进行自助水果购买。在生产线上，多类分类还可以减少人工差错，提高生产效率。本文从国内外发展的状况及我国的国情出发，在现有项目组研究基础上，选取常见的几类水果为研究对象，主要内容是解决目前利用2D计算机图像来分类水果存在的问题，提高现有分类系统的识别精度，力求达到实用化水平。主要内容包括：（1）水果分类中的光照系统，水果识别系统工作在不同环境，而图像采集对于光照变化非常敏感，通过初步调研发现，现有的光照校正算法，无法彻底解决光照问题。为了从源信号保证系统的稳定性，课题需要研究如何设计一套针对水果识别的光照系统。目标是保证室内环境和室外环境下，水果颜色的恒常性。机器视觉检测有很多相关的实际产品，可以作为设计参考。（2）水果图像预处理算法，获得水果图像后，由于CMOS或者CCD传感器不可避免存在噪音，各种器件噪音水平有差异，噪音对于提取稳定的水果特征是有害的，因此，在进行特征提取前，首先要进行图像预处理，包括噪音去除，图像对比度增强，颜色还原，预处理算法一般会对图像造成失真，失真过大将破坏图像原有结构，因此，在设计预处理算法时，要充分考虑到后续的特征提取，在噪音过滤和特征保持之间做一个合理的平衡。（3）提取描述水果的有效特征，包括形状，颜色和纹理。描述一个水果需要很多特征，从人类视觉出发，这些特征包括水果形状，水果颜色，水果的纹理变化。不同的特征在分类中所起的作用是不同的，而且不同水果之间区分所用的特征也是不尽相同。在实际环境中，不同特征对于光照，角度的稳定性也是有差别，因此，需要设计一个完善的特征提取和组合策略，才能设计出一个性能很好的分类系统。基本的研究方法是进行计算机统计分析，在众多参数组合中进行优化。最终提取的水果特征，都表现为一串数字。特征提取是整个系统中最重要的一个步骤，这也是人类强大视觉识别功能的秘密所在。（4）水果分类器设计，特征提取结束后，每一张水果图像将得到一段数据，被输入到一个分类器中，经过判别，得出最终结果。分类器分为阈值分类器，最近邻，神经网络12，支持向量机14,15，线性判别34等多种类型，每一种类型具有不同的计算复杂度和性能。但是，当特征提取足够优化时，他们之间的差别就不明显了，在实际系统中，着重考虑的是分类器的复杂度，一般的，都采用阈值分类器和最近邻分类器。（5）分类算法的实现。嵌入式系统实现，在嵌入式上实现复杂算法具有很大的挑战，一方面产品设计有确定的需求，算法须高度优化，并且系统的稳定性也非常重要。这需要学习特定嵌入式系统的架构，以便进行代码优化，常见的优化方式有循环拆解，减少内存数据拷贝，利用操作系统的进程通信特性等。1.4 论文的组织和安排本论文的各章具体内容安排如下：第一章介绍了本课题的研究背景，总结传统水果图像处理系统的不足，指出了研究水果分类系统的必要性，并概括了主要研究的课题。第二章介绍了水果分类相关的基本理论基础和算法实现,详细讨论了本课题中使用的图像处理算法和模式识别方案。第三章阐述了水果分类系统的硬件整体设计和软件概要设计。包括光源、图像采集装置、嵌入式系统。第四章从工程实现角度，描述了软件详细设计和实现，包括具体数据结构定义，如何实现多线程，函数执行流程。第五章介绍了水果分类原型系统的实际应用和性能测试，包括识别精度、速度。并讨论存在的问题和后续开发方向。第六章总结了本课题的实施和完成情况，并对课题后续工作做了展望。 第二章 水果分类的图像算法设计2.1计算机数字图像处理数字图像处理（Digital Image Processing）又称为计算机图像处理5,16，它是指将图像信号转换成数字信号并利用计算机对其进行处理的过程。 数字图像处理最早出现于20世纪50年代，当时的电子计算机已经发展到一定水平，人们开始利用计算机来处理图形和图像信息。数字图像处理作为一门学科大约形成于20世纪60年代初期。早期的图像处理的目的是改善图像的质量，它以人为对象，以改善人的视觉效果为目的。图像处理中，输入的是质量低的图像，输出的是改善质量后的图像，常用的图像处理方法有图像增强、复原、编码、压缩等。首次获得实际成功应用的是美国喷气推进实验室（JPL）。他们对航天探测器徘徊者7号在1964年发回的几千张月球照片使用了图像处理技术，如几何校正、灰度变换、去除噪声等方法进行处理，并考虑了太阳位置和月球环境的影响，由计算机成功地绘制出月球表面地图，获得了巨大的成功。随后又对探测飞船发回的近十万张照片进行更为复杂的图像处理，以致获得了月球的地形图、彩色图及全景镶嵌图，获得了非凡的成果，为人类登月创举奠定了坚实的基础，也推动了数字图像处理这门学科的诞生。在以后的宇航空间技术，如对火星、土星等星球的探测研究中，数字图像处理技术都发挥了巨大的作用。数字图像处理取得的另一个巨大成就是在医学上获得的成果。1972年英国EMI公司工程师Household发明了用于头颅诊断的X射线计算机断层摄影装置，也就是CT（Computer Tomography）。CT的基该方法是根据人的头部截面的投影，经计算机处理来重建截面图像，称为图像重建。1975年EMI公司又成功研制出全身用的CT装置，获得了人体各个部位鲜明清晰的断层图像。1979年，这项无损伤诊断技术获得了诺贝尔奖，说明它对人类作出了划时代的贡献。与此同时，图像处理技术在许多应用领域受到广泛重视并取得了重大的开拓性成就，属于这些领域的有航空航天、生物医学工程、工业检测、机器人视觉、公安司法、军事制导、文化艺术等，使图像处理成为一门引人注目、前景远大的新型学科。随着图像处理技术的深入发展，从70年代中期开始，随着计算机技术和人工智能、思维科学研究的迅速发展，数字图像处理向更高、更深层次发展。人们已开始研究如何用计算机系统解释图像，实现类似人类视觉系统理解外部世界，这被称为图像理解或计算机视觉。很多国家，特别是发达国家投入更多的人力、物力到这项研究，取得了不少重要的研究成果。其中代表性的成果是70年代末MIT的Marr提出的视觉计算理论，这个理论成为计算机视觉领域其后十多年的主导思想。图像理解虽然在理论方法研究上已取得不小的进展，但它本身是一个比较难的研究领域，存在不少困难，因人类本身对自己的视觉过程还了解甚少，因此计算机视觉是一个有待人们进一步探索的新领域。 2.2水果分类的基本图像处理算法一个基本的图像处理系统由照明系统、图像采集、图像预处理、图像增强、图像归一化等步骤组成。处理的每一个步骤对于系统性能都很关键，但是根据不同的需求，每一个步骤的重点会有所不同。图像处理是一项典型的串行工作流，在进行系统设计时，必须考虑步骤之间的联系，才能做到可靠、优化的性能。图像成像必须要有光源，物体表面的形状变化，物体材质的不同属性，将在图像上呈现不同色彩、亮度，这是成像的物理基础，因此必须考虑光源的设计。在工业检测领域，一般使用高纯度，光强分布均匀的LED光源（图2-1），但是其造价高。在技术指标满足的条件下，可以使用替代的光源，满足光强近似均匀，光源从上方垂直向下照射，距离水果约30cm，如图2-2。 图2-1 工业LED光源 图2-2 水果识别的光源结构图像采集是将现实世界中模拟的图像信号转换为计算机可以处理的数字信号的过程。图像可以分为黑白图像和彩色图像，从采集器件方面考虑，目前业界成熟的技术有CCD和CMOS感光器件34,35。CCD （Charge-coupled Device），电荷耦合组件，是一种集成电路，上有许多排列整齐的电容，能感应光线，并将图像转变成数字信号。经由外部电路的控制，每个小电容能将其所带的电荷转给它相邻的电容。CCD的优点是光效率可达70%，并且是全局曝光成像，因此不会存在严重的拖影。但是缺点是尺寸较大，分辨率不容易提高，典型的CCD芯片如图2-3所示。而另一种广泛应用的器件CMOS（Complementary Metal-Oxide-Semiconductor），互补式金属氧化物半导体，具有分辨率大，尺寸小，功耗低的特点，越来越多的应用到工业和消费领域。CMOS是所有硅芯片制作的主流技术，CMOS感光组件造价低廉，CMOS感光组件跟CCD相比，耗电量较低，数据传输亦较快，典型的CMOS芯片如图2-4所示。CCD和CMOS具有不同的技术特点，因而具有不同的应用市场。 图2-3 CCD传感器 图2-4 CMOS传感器 图像预处理，包括去除噪音、几何校正。CCD和CMOS都会受到各种电子信号、温度变化的干扰，因此采集的数字图像与现实世界图像相比，存在一定程度的噪音（图2-5），这时需要使用图像滤波器进行图像去燥和平滑。采集系统中的光线是经过镜头透射到传感器表面，镜头的安装位置、镜头本身存在的缺陷，会导致图像失真，一般会对镜头进行标定，得到标定参数再进行图像校正，镜头成像光路如图2-6所示。 图2-5 图像噪音 图2-6 镜头成像光路 图像增强，图像采集过程中发生的噪音、图像模糊会降低图像质量，为了最大程度的还原图像信息，需要进行图像增强。特别的，图像处理系统往往关注图像某一方面的信息，比如颜色或者形状或者纹理，不同信息对于图像质量的要求是不同的，图像增强的目的就是最大化保留将要关注的信息。例如，颜色增强的方法是调节图像的彩色直方图分布，形状增强的方法是通过边缘检测，纹理增强方法是通过对比度调节，锐化滤波器实现。图像锐化和图像平滑的效果如图2-7和2-8所示。 图2-7 图像锐化效果 图2-8 图像平滑效果2.3水果的图像特征经过图像处理后，为了区分每一类水果不同的特点，需要对水果图像进行特征提取。根据文献29，基本的水果图像特征包括：水果大小、水果形状、水果颜色。下面将讨论如何提取得到这三个特征。水果大小，当图像传感器的距离与水果固定时，水果大小就是水果在图像中所占像素个数。为了计算水果像素个数，需要让计算机计算水果在图像中的区域。由于水果的形状是无法预测的，而且水果放置的位置也无法精确固定和测量。但是如果已知拍摄场景的背景，并且水果像素与背景像素不同，将含有水果图像的图像减去背景图像，则可以得到哪些像素发生了变化，即水果区域，这种方法称为背景差分法，如图2-9所示： 图2-9 水果区域提取方法在实际情况中，背景颜色的选择不能和水果颜色冲突，白色和黑色是合适的选择，考虑到光源对于白色背景会有强烈的反光，不利于表现水果的细节特征，因此选择黑色纸背景。由于摄像机的固有噪音，即使有光源，还是会受到环境光的感染，拍摄的背景图像不是理想的黑色，存在噪音，需要进行平均多幅背景图像去除噪音。最后得到的水果区域也不是理想的，可能会存在多个区域。注意到干扰的多个区域面积都比真正水果区域小很多，所以直接取最大的区域作为水果区域。水果形状，图像的形状特征包括周长、边界弯曲程度、接近圆的程度。苹果、橘子等水果边界都较为光滑，都接近圆形，而香蕉则属于条形，梨子属于长方形。假设水果区域面积为, 周长为，选择圆度参数参数来衡量形状接近圆的程度，如果为圆，则数值等于，若大于，则说明为非圆形。数值越大，越接近长方形。为了分析水果长轴和短轴，还可以进行下面的计算，假设水果形状可以建模为长方形，其变长分别为，那么根据测量的和，可以得到方程：(1)(2)计算出后，可以利用来定义长方形的长宽比，满足水果的颜色，颜色是区分各类水果最重要的一个特征，水果的颜色与水果品种直接相关。但是颜色不仅仅与物体的材质相关，还与成像的环境有关。人类可以观察到的颜色种类大约为一千六百多万种，而一般的图像采集系统很难达到如此精确的颜色还原度。幸运的是，区分常见种类的水果不需要如此高的颜色区分度。图像的颜色36一般使用颜色直方图表示，由于存在各种颜色空间，常用有RGB，CMY，HSV , RGB（红绿蓝）是依据人眼识别的颜色定义出的空间，可表示大部分颜色。常见的液晶显示器即采用这种颜色空间。但在科学研究一般不采用RGB颜色空间，因为它的细节难以进行数字化的调整。它将色调，亮度，饱和度三个量放在一起表示，很难分开。CMY是工业印刷采用的颜色空间。它与RGB对应。简单的类比RGB来源于是物体发光，而CMY是依据反射光得到的。具体应用如打印机：一般采用四色墨盒，即CMY加黑色墨盒。HSV颜色空间是为了更好的数字化处理颜色而提出来的，H是色调，S是饱和度，V是亮度。研究表明，HSV比较接近人类的视觉特性。图2-10表示了RGB和HSV颜色空间的特点。 (a) RGB三原色 (b) RGB颜色空间 (c) HSV颜色空间 (d) H色盘 图2-10 RGB和HSV颜色空间各种颜色空间可以进行转换，比如RGB转换为HSV，可以按照以下步骤进行：设 (r,g,b)分别是一个颜色的红、绿和蓝坐标，为0到1之间的实数。设max为r,g和b的最大值。设min为r,g和b的最小值。对应HSV 空间中数值计算公式36：(3) 在水果颜色中，起关键作用的是H，色调。其含义是颜色的主要成分，比如苹果的颜色主要为红色，而香蕉为黄色。在H色轮上，可以看出苹果与香蕉落在不同的点上。但是在实际系统中，光源与水果之间的距离非常近，光源不能视为平行光，水果是三维物体，水果上不同点到光源的距离不同，表面曲率也不同，所以拍摄的图像光照会出现不均匀分布，尤其是在水果区域边缘，由于曲面向下弯曲，光照强度急剧变化，逐渐接近背景颜色。随着亮度的降低，在HSV圆锥模型上，颜色将收缩到底部的顶点，在这一点处，色度和饱和度将失去物理意义，因为色盘已经收缩为一点。如图2-11所示，苹果在外置光源的作用下黄色标注的内圈部分由于距离光源较近，亮度比较高，颜色还原度比较真实，而绿色标注的外圈由于距离光源较远，亮度降低很快，颜色还原度较差。为了获得更加准确的颜色信息，在计算色调H的直方图时，亮度值小于某个阈值的像素点将被忽略。亮光区域暗光区域图2-11 水果图像光照变化直方图是一种衡量样本统计分布特性的方法。估计一组样本最简单的特征是均值，但是单独一个均值信息量太少，无法区分一些复杂的情况。直方图将数值分为若干个连续的区间，对于给定的大量样本，分别计算落入每一个区间的数量，由此形成一组数。这组数表示了样本在不同区间上的出现概率，具有很好的物理意义。一个典型的高斯分布的直方图图2-12所示： 图2-12 直方图示意图在图像识别中，直方图广泛用于度量图像的相似性，其优点：数据量小，便于快速计算。一副图像含有上百万个像素点，每一个点都有颜色值，直接计算图像之间的差异，计算量非常大。通过将图像像素统计为直方图，可以大大减少计算量。比如色度H的典型数值范围为0,360, 相比原始图像，节省了几百倍的运算量。数值更加稳定，由于传感器本身，原始图像存在固有的噪音，同类水果本身颜色也是有一定差别的，直方图是多个像素平均的数值，因此，可以很好的减弱噪音的影响，使得计算结果具有一定的稳定性。直方图是一种抽象的特征，与图像的位置，大小，形状无关。因此，对于水果图像的很多变化，都可以很好的描述其颜色属性。2.4水果图像分类器图像识别是一个复杂的课题，图像识别属于模式识别的一个分支，这个极具挑战性的课题吸引了无数研究人员的努力。对于人类而言，图像识别含义是对于出现在视觉场景中的物体，大脑通过计算给出其类别。研究人员的梦想是通过仿真人类的大脑，创造出一个与之功能相当的计算机，完成人类可以完成的识别任务。限于目前对于人类大脑的了解还非常肤浅，目前的识别模型是一种非常简化的模型。模式识别，所指的是一种过程，该过程首先对现实世界的物体分为若干类模型，然后通过某种感知方式，将感知数据（比如图像）转化为某种模式（对应直方图），选择出与模型最接近的类别。一个典型的模式识别系统图2-13所示图2-13 水果图像分类流程在水果识别系统中，数据采集即图像采集，特征选择即计算水果图像的形状特征和颜色特征，选择模型和训练分类器是分类器设计的核心问题，训练得到的分类器就可以完成分类任务。模式识别中的分类器有很多模型，比如基于概率的贝叶斯分类器，模拟人脑的人工神经网络分类器，最近邻KNN分类器。贝叶斯分类器的理论基础是贝叶斯公式，该模型假定物体属于某一类是一个概率事件，这个概率事件有固有的发生概率，称为先验概率。物体属于某一类这个事件一定会有很多表现，这里的表现即观测到的特征，其意义可以解释为固有发生概率的可信程度，通过先验概率与可信程度的乘积可以反向计算事件真实发生的概率，即物体属于每一类的概率。自然的，将概率最大的一类作为分类结果。人工神经网络12，是70年代发展起来的模拟生物神经网络的一种计算模型，其结构简单，通过多层节点的连接实现复杂函数的学习，最终输入数据可以被映射为输出值。一个三层的人工神经网络如图2-14所示。神经网络在大量的问题中取得了应用，但是由于神经网络结构需要人工设计，最优参数无法获取，具有一些不确定因素，因此在应用中需要大量的经验。 图2-14 三层人工神经网络KNN最近邻分类器，是一种简单的分类模型，这个模型不需要建立显示的模型。直接以参考样本以及其所属的类别作为模板，直接计算输入特征与参考样本之间的距离，取距离最近的点，或者加权距离最近的点为识别结果。这个模型具有物理意义直观的特点，而且在很多问题上的表现优异。图2-15表示了有三个类别的样本分布，蓝色点为第一类，红色点为第二类，绿色点为第三类，输入点为橙色，计算橙色点与所有样本点的直线距离发现，距离红色点比蓝色和绿色点更近，因此有理由相信橙色点的类别应该更接近红色。KNN的关键点是距离计算，常见的距离计算有：1） 欧式距离，即最常见的平面距离，距离越小，相似程度越大，距离越大，相似程度越小。(4)2） 绝对值距离，又称为街区距离，距离越小，相似程度越大，距离越大，相似程度越小。(5)3） cos夹角距离，在计算，距离越小，相似程度越大，距离越大，相似程度越小。(6)绝对值距离具有计算速度快，受噪音影响小的特点，因此，在本课题中，采用绝对值距离作为颜色直方图相似程度的度量。由于每一幅图像的像素个数不同，直方图的绝对数值有差异，为了避免图像大小引起的问题，在计算距离之前还要对直方图做一个预处理，将直方图每一个区间的数值求和，然和每一个区间的值除以总和，这样得到的直方图满足总和等于1。 图2-15最近邻分类器在算法实现中，采用了分级识别的策略：首先使用形状特征进行粗选，使用水果绝对面积s、周长平方与面积之比t作为形状特征。计算测试样本和注册模板之间的差异，将差异最小的前k个水果模板选出。然后在计算测试样本的颜色直方图与这k个模板之间的相似度，按照相似度排序。这样的实现策略有几个优点：1） 在不同阶段使用不同特征，形状特征和颜色特征互补。由于形状特征和颜色特征物理意义不同，而且特征的长度也差距很大，如果采用特征融合的方法，很难做到最优化。2） 采用从粗到精的识别策略，可以减少计算量，提高检索速度。由于直方图特征长度较长，每次计算耗费的时间较多，对于小型数据库影响不大，但是对于规模较大的数据库，尤其是每种水果会注册多个模板的场合，嵌入式系统的计算能力就出现瓶颈，层次化的识别策略很好的解决了这一问题。3） 采用从粗到精的策略，使得识别终端微型化具有可行性。在内存容量大的PC、嵌入式系统中，可以将所有特征数据载入内存进行对比，但是对于微型的计算机系统，内存容量非常有限，比如单片机系统的内存只有392KB，在这样的系统中，只有通过层次化，将简单的特征作为过滤条件，分情况将复杂特征载入内存进行对比，才可能实现可行性。2.5水果图像识别算法设计2.5.1水果图像背景提取为了准确计算水果的特征，首先必须获得准确的水果区域，本课题采用的是背景差分法。在背景差分算法中，最关键的是估计背景图像，常见的算法有中值法背景建模、均值法背景建模和基于卡尔曼滤波的背景建模。中值法取连续N帧图像序列，取序列中相同位置的像素点灰度值的中值作为背景图像中对应像素点的灰度值；均值法与中值法类似，区别在于使用平均值代替中值；卡尔曼滤波器模型把背景认为是一种稳态的系统，把前景图像视为噪声，用基于Kalman滤波理论的时域递归低通滤波来预测变化缓慢的背景图像，可以处理处于动态变化的背景。本课题使用了外部光源和黑色背景材料作为限制条件，减少了背景提取的难度，在算法设计中使用均值法来提取背景，当前图像与背景图像的差异小于某个设定的阈值时，背景提取完成。考虑到嵌入式平台的计算能力，在实际背景建模时，对图像进行了最近邻下采样，将图像尺寸控制在320x240大小。不仅可以提高计算速度，还能减少噪音。与传统的背景建模方法不同，本系统仅在开机时或者人工请求时执行背景提取，这是基于外部光照环境基本保持不变的假设。算法实际参数：图像序列数目N=11,输入图像尺寸640x480 RGB, 背景建模图像尺寸320x240 Gray, 背景计算公式：(7)详细的流程如图2-16所示。图2-16背景图像提取流程2.5.2水果形状和颜色特征根据上文的讨论，背景建模后将得到背景图像B， 水果区域可以由下述公式得到，其中I为输入图像，B为背景图像，A为输出二值图像，像素1表示水果区域，T为控制参数，意义为像素灰度差，在本系统中，取T=7。 (8)由于噪音，A可能会出现小的干扰，为了去除噪音，图像A中仅保留最大的连通区域。连通区域可以通过贪婪算法求出。算法描述如下：Algorithm: Connected Component Search1) Initiate S=, Find the first 1-value pixel, push into stack;2) While stack is not empty Pop out a element p set p with 0 value; Check the 8 neighborhood pixels, push the 1-value pixel into stack; Set S = S,p; Endwhile3) Output S通过简单的计数即可求得水果像素面积S，水果的轮廓可以通过Freeman链码跟踪算法5求得，OpenCV提供了对应的API，根据轮廓可以计算区域的周长，进而求出区域的圆度参数t=L*L/S。水果的颜色拥有丰富的特征，图2-17展示了常见水果的RGB直方图，从中可以看出，不同水果之间有着明显的差别。R通道G通道B通道图2-17不同水果的RGB颜色直方图差异对于相同水果，由于光照的影响，RGB直方图不是最佳的表示颜色的方式，HSV可以将颜色分解为色度，饱和度和亮度分量，图2-18展示了不同亮度条件下色度分量保持恒定的性质。S通道H通道V通道图2-18相同水果不同区域的颜色HSV直方图从图2-18可以看出，评估不同亮度区域S,V通道已经发生变化，但是H通道仍然具有很高的相似性，显然HSV颜色模型比RGB有更好的光照适应能力，本课题使用HSV颜色模型，取色度通道计算直方图，同时结合饱和度信息和亮度信息，将饱和度和亮度处于某个合理范围内的像素挑选出来计算直方图，忽略其他像素点，这个策略可以极大的抑制光照不均匀带来的问题。图显示了不同区域的色度分布和饱和度之间的关系。总之，假设原始图像经过HSV颜色空间变换后得到H,S,V三个图像，其数值范围统一归一化到0,1, 设定饱和度阈值s和亮度阈值v，按照以下规则挑选像素点。在本课题中设定s=0.2,v=0.3. (9)对于两幅水果图像，得到颜色直方图X,Y, 为了比较直方图形状的相似度，使用向量的余弦夹角作为计算公式。最终计算出的相似度数值范围为-1,1，数值越大表明越相似。2.5.3水果分类算法当获得了水果的绝对像素面积s，圆度特征t和颜色直方图x，不同特征需要进行融合，常见的融合方法是对特征分别训练分类器，然后将结果进行加权输出。但这种方案最大的问题是加权系数很难确定，并且在特征维数相差较大的情况下，结果对于加权系数非常敏感。分析这三种特征的特点，s和t是一维特征，具有比较强的物理意义和判别能力，适合构造规则，x是向量特征，适合采用统计方法。在本课题中，构造了基于规则和1-NN相结合的分类器。主要策略是：利用s和t进行粗搜索，将样本缩小对比范围，然后使用颜色直方图在一个较小的子集中进行对比，按照颜色相似度排序。图2-19展示了详细的分类流程：图2-19水果分类算法流程从图2-19可以看出，原始的数据集合D经过特征s的过滤，被分为两个子集A,B，选择满足条件的子集A继续用特征t过滤，A被分为两个子集C，D,最终在C集合中使用颜色直方图进行对比。这种分类策略避免了信息的融合，分阶段进行分类，特征之间的作用没有交叉，稳定性较好。2.6本章小结本章简要介绍了基本的图像处理的发展背景，基本图像的处理算法，水果特征的提取，以及水果特征的识别方法。图像处理的发展背景主要介绍数字化技术的兴起，基本的图像处理算法包括图像采集硬件、光源、图像传感器，格式等。水果特征提取讨论了如何利用形状信息，颜色信息描述水果图像，并介绍了颜色空间，尤其是RGB与HSV之间的转换关系，还探讨了实际的解决方案。水果特征的识别方法介绍了模式识别的基本概念，图像作为模式识别的一个分支的特点，介绍了常用的几种分类模型，重点介绍了最近邻分类器和关键的距离函数。最后，本章给出了本课题所采用的关键图像处理算法和分类器设计方案。 第三章 水果图像识别系统总体设计本章从需求分析出发，对系统的目标进行了设定，并给出了系统的硬件选型和软件整体架构，并对其中的细节进行了分析和论述。3.1系统总体设计3.1.1系统需求分析水果图像识别系统的目标是完成一套基于嵌入式系统的，常见水果的自动识别系统。按照需求的种类可以分为以下几个部分：1) 功能性需求：实现水果图像分类2) 硬件需求：采用的嵌入式系统要求3) 性能需求：识别速度，精度和人机交互的要求以下将对上述需求进行详细阐述。1. 功能性需求一个完整的图像识别系统需要具有图像识别、数据更新、系统配置四大功能：1） 图像识别：在识别状态，不借助人工，可以自动识别常见预先定义的水果类型（香蕉、苹果、梨子、柠檬等），可以方便的进行水果模型的注册，使用阈值来控制显示结果；2）数据更新：可以通过水果注册功能向模板库添加新的水果类型，可以编辑已经注册的水果类型的文本信息，可以删除已经注册的水果模板。水果模板信息以文件的形式存储在磁盘上。2. 硬件需求1）计算平台为嵌入式平台，触摸屏交互界面。硬件平台为Intel Atom CPU，内存512MB， Windows XP操作系统。 采用此平台可以大大节省系统开发周期，最大程度保持与桌面程序开发的兼容性。2）图像传感器，采用640x480分辨率，RGB图像格式，每秒30帧采集速度，USB2.0接口。3）光源，采用白光LED，供电采用USB 直流5V， 500mA电流。4) 背景采用反光率较小的方形黑色绒布。3. 性能需求1） 识别速度，目标是在10种水果样本的情况下，识别时间小于2秒。2） 识别精度，目标是在10种水果样本的情况下，前5位识别精度大于95%.3） 人机交互方式，所有的数据输入均通过触摸屏实现，显示方式包括屏幕和语音提示。在进行水果注册时，系统可以根据注册进度进行操作提示，用户按照提示操作成功后系统给出结果。在进行水果识别时，系统可以根据识别结果进行提示。3.1.2系统方案选择光源选择光源的目的是使得水果成像区域尽可能均匀，从而水果的颜色特征才能很好的表现水果之间的区别。光源设计需要考虑光的波长、光的亮度、光照区域的形状、光源功耗。颜色是由于不同波长的光产生的，人类可以感知的可见光波长范围为380nm-740nm（图3-1），小于380nm的称为紫外线和电磁波，有较强的辐射作用。大于740nm的称为红外线。可见光具有丰富的颜色信息，商用光学传感器绝大部分工作在可见光波段，对应的可见光波段的光源也比较普遍。紫外线和红外线需要特殊的成像设备和光源发生装置，成本高，而且颜色信息不丰富。因此，在本课题中，采用白色LED作为光源。白色光包含了可见光波段，物体反射后可以保留丰富的颜色信息，LED是冷光源，在发光过程中发热较低，具有很高的光线转化效率。而且成本低，体积小，非常适合作为大规模产品的模块。图3-1颜色光谱，摘自/wiki/颜色光源形状设计：常见的光源形状有圆形、方形和环形。各种形状如图3-2所示，根据课题应用环境，放置水果的实验平台为方形区域，因此选择方形光源。 图3-2原型、方形、环形光源光的亮度设计：理想的光源为平行光，平行光经过平面反射后可以得到均匀的亮度。但是这样的成像环境无法满足，课题中的光源有若干LED组成，每一个LED都是一个点光源，经过叠加，在特定的区域，亮度分布较为均匀。但是水果是三维物体，光源不能视为无穷远，那么水果物体表面也会出现亮度不均匀的情况。经过实验验证，水果图像的颜色信息在一定的亮度变化范围内，可以保持得较好，RGB经过HSV变换后，H通道的数值，不同水果之间的差异仍然较大。因此光的亮度分布指标不必使用复杂的光源设计即可满足课题要求。光源功耗：功耗是光源设计需要考虑的问题，系统采用USB2.0接口供电，需要计算LED总的功耗，经过实验测算，每一个LED等工作电压为1.5V，平均电流20mA， 50个LED功耗为1.5W，USB2.0接口可以提供输出功率2.5W，在USB不挂在大功率的其他设备时，满足设计要求。传感器选择光学传感器是水果成像系统中关键的器件，评价一个CMOS图像传感器的主要指标有：1）有效像素总数，传感器中每一个感光单元对应一个像素，像素总数越大，单位面积的像素密度越高，图像越清晰，细节表现越好。2）靶面尺寸，指图像传感器感光部分的物理尺寸大小，与通光量有密切关系。靶面越大，通光量越好，单位面积捕获的光子数量越大，对于微弱光线的成像能力越好。3）感光度，CMOS感应入射光线的强弱的能力。感光度越高，对光的敏感度就越强，快门速度就越高。4）电子快门，主要用来控制图像传感器的感光时间。一般来说，电子快门越快，感光度越低，越能适应强光下拍摄。一般CMOS的电子快门为卷闸式快门，但最新的技术也有实现全局快门。卷闸式快门，指感光面为一行一行顺次曝光（图3-3），数据一行一行进行传输，因此在高速运动时，会出现严重的拖影。一般卷闸式技术可以实现大于30ms曝光时间不出现拖影。CCD采用了全局快门曝光方式，数据是整体曝光和传输，但近年由于技术发展，CMOS也可以实现全局曝光。电子快门是可以调节的，一般CMOS都设置为自动曝光，根据环境光的强弱来自动调节曝光时间。 (a) 卷闸曝光(b) 全局曝光图3-3卷闸式和全局曝光的数据传输方式5、信噪比是信号电压对于噪声电压的比值，信噪比越大说明对噪声的控制越好。信噪比的典型值为4555dB。在暗光条件下，CMOS的噪音比较高，一个高的信噪比可以提供良好的弱光感应性能。6、一秒钟所记录的图片数量称为帧率，帧率反应了传感器的图像感应能力和数据传输能力。帧率与曝光时间相关，曝光时间越长，帧率越小。综合以上六个指标，本课题选择了一款OminiVision公司的传感器产品，型号为OV7725，具体参数如表3-1所示。表3-1 OV7725传感器参数表这款传感器具有良好的弱光感应能力，并且在640x480分辨率下，可达60帧/秒的帧率，非常适合水果识别。硬件计算平台为了满足产品微型化，必须将算法建立在嵌入式系统上。根据维基百科的定义，嵌入式系统（Embedded system）37，是一种“完全嵌入受控器件内部，为特定应用而设计的专用计算机系统”，根据英国电器工程师协会（ U.K. Institution of Electrical Engineer）的定义，嵌入式系统为控制、监视或辅助设备、机器或用于工厂运作的设备。与PC不同，嵌入式系统执行的是特定要求的预先定义的任务。正是由于嵌入式系统的专用性，设计人员能够对它进行高度优化，减小尺寸降低成本。随着计算机硬件技术的发展，各种手持设备，比如智能手机，平板电脑和上网本，具有强大的软件功能，这样的平台即具有很小的体积，同时还具有PC接近的性能，也普遍被认为是嵌入式设备。总的来说，嵌入式系统可以分为ARM、Atom、DSP、FPGA几大阵营。ARM架构38，即高级精简指令集机器（Advanced RISC Machine），是一种32位精简指令集（RISC）架构，被广泛地使用在许多嵌入式系统设计中。节能是其凸出的技术特点，因此ARM处理器非常适用于移动通信领域，小型信息化处理终端。当初ARM创始人的理想是让世界上每一个人都拥有一个ARM处理器，如今创始人的伟大理想已经实现，截止2011年，ARM的客户报告了79亿ARM处理器出货量，占有95的智能手机，90的硬盘驱动器，40的数字电视和机顶盒，15的单片机，和20的移动电脑，在2012年，微软还与ARM科技生产了新的Surface平板电脑。从1985年第一颗ARM芯片问世，ARM已经经过7代的演进，目前主流的ARMv7芯片处理器主频可达1.5GHz以上，具备了强大的处理性能。ARM的各种型号和内核如表3-2所示：表3-2 ARM处理器系列ARM处理器由于高性能、低成本，广泛的用于各种处理终端，与其搭配运行