（检测技术与自动化装置专业论文）基于计算机视觉与神经网络的芒果等级分类研究.pdf

桂林工学院硕士学位论文 摘要 研究水果品质快速无损检测技术，对于提高水果质量和生产效率、降低劳动 强度有着重要价值。本文以芒果为研究对象，利用计算机视觉技术及神经网络技 术对芒果分类的方法与表面的常见缺陷进行了研究。研究了芒果大小、颜色、缺 陷和小波特征，采用b p 神经网络技术实现芒果等级分类。主要研究内容和研究 结果如下： 由于芒果表面比较光滑，反光性较好，故选用黑色吸光物体作为背景。这样 有利于后续图像的处理。在此基础上，研究了图像处理窗口的确定、图像滤波、 图像增强、图像边缘检测、图像分割等多种图像预处理的方法。兼顾速度和效果， 采用超快速中值滤波法去除图像采集过程中受到的各种噪声的干扰。采用灰度线 性变换进行图像增强。采用小波变换的方法进行芒果图像边缘检测。因为缺陷部 分的亮度介于黑色背景与光滑的芒果表面之间，采用最大方差法进行芒果图像与 背景分割。 在研究芒果形状、颜色、缺陷和小波特点的基础上，选择了横径( w ) ，芒果颜 色( h 分量值) ( c ) ，果形指数( e ) ，缺陷面积所占百分比( p ) ，芒果的小波特征参数 ( c a l ，c h l ，c v l ，c d l ) 作为芒果的形状特征、颜色特征、缺陷特征，小波特征，对这 些特征进行了定性分析，研究了这些特征对芒果分类的影响。 介绍了神经网络用于模式识别的优点，对比了前向网络、反馈网络和自组织 网络的优缺点，选取结构简单、工作状态稳定、易于实现和通用性强b p 网络的 作为芒果品质鉴定模型。通过试验表明此网络分级效果较好。其分级准确率平均 可达8 7 。并用m a t l a b 初步开发了一套芒果品质的计算机视觉分级软件。该软 件界面友好，功能较强，操作简便，可实现芒果图像的预处理、特征提取及芒果 的分级。 本研究对于我国开展基于计算机视觉技术的芒果分级系统的产品开发，具有 一定的参考价值，对推广和应用芒果等级分类标准，提高芒果分级水平具有重要 的经济意义，将为进行芒果的等级分类探索理论依据和提供技术支持，从而对促 进我国芒果的商品化和经济发展具有重要意义，对促进计算机视觉在我国农业工 程领域的应用具有积极的意义。 关键字：计算机视觉；图像处理；小波变换；b p 神经网络 桂林工学院硕士学位论文 a b s t r a c t t h ef a s tn o n d e s t r u c t i v ei n s p e c t i o no nf r u i ti s v e r yi m p o r t a n tt oi m p r o v et h e p r o d u c t i o ne f f i c i e n c ya n dr e d u c et h el a b o ri n t e n s i t y t a k i n gm a n g oa st h es t u d yo b j e c t ， t h ep a p e rd e s c r i b e dt h em e t h o do fm a n g oc l a s s i f i c a t i o na n dt h ef l a wc h a r a c t e r i s t i co n t h es u r f a c eo fm a n g ob a s e do nt h ec o m p u t e rv i s i o nt e c h n o l o g ya n dt h en e u r a ln e t w o r k t e c h n o l o g y r e a l i z e dt h em a n g oc l a s s i f i c a t i o na c c o r d i n gt ot h es i z e ，t h ec o l o r , t h ef l a w a n dt h ew a v e l e tc h a r a c t e r i s t i co fm a n g o u s i n gt h eb pn e u r a ln e t w o r kt e c h n o l o g y t h e m a i nc o n t e n ta r ea sf o l l o w s ： t h es u r f a c eo fm a n g oi sq u i t es m o o t ha n dh a sg o o dr e f l e c t i o np e r f o r m a n c e ，s ot h e p a p e rs e l e c t e dt h eb l a c ke x t i n c t i o ni m a g eb a c k g r o u n df o ri t sa d v a n t a g e st ot h e f o l l o w i n gp r o c e s s b a s e do nt h i s ，t h ep a p e rd e s c r i b e dm a n yk i n d so fp r e p r o c e s s i n g m e t h o ds u c ha st h ei m a g ep r o c e s s i n gw i n d o wd e t e r m i n a t i o n ，t h ei m a g ef i l t e r , t h e i m a g ei n t e n s i f i c a t i o n ，t h ep i c t u r ee d g ee x a m i n a t i o n ，t h ei m a g ed i v i s i o na n ds oo n t a k i n gb o t hs p e e da n de f f e c ti n t oa c c o u n t ，t h ep a p e ru s e df a s tm e d i a nf i l t e r i n g a l g o r i t h mt oe l i m i n a t en o i s ed i s t u r b a n c em e r g e di ni m a g eg a t h e r i n gp r o c e s s ，u s e dt h e g r a yl i n e a rs u b s t i t u t i o nt oc a r r yo nt h ei n t e n s i f i c a t i o n ，u s e dt h ew a v e l e t t r a n s f o r m a t i o nt o c a r r yo nt h em a n g op i c t u r ee d g ee x a m i n a t i o n b e c a u s et h e b r i g h t n e s so ff l a wa r e aw a sb e t w e e nb l a c kb a c k g r o u n da n dt h es m o o t hs u r f a c eo f m a n g o ，t h ep a p e rd i v i d e dt h em a n g oi m a g ea n dt h eb a c k g r o u n du s i n gt h em a x i m a l v a r i a n c em e t h o d b a s e do nt h es t u d yt ot h es h a p e ，c o l o r , f l a wa n dw a v e l e tc h a r a c t e r i s t i co fm a n g o ， t h ep a p e rc h o s et r a n s v e r s ed i a m e t e r ( w ) ，t h em a n g oc o l o r ( hc o m p o n e n tv a l u e ) ( c ) ， f r u i ts h a p ei n d e x ( e ) ，t h ef l a wa r e ap e r c e n t a g e ( p ) ，m a n g o sw a v e l e tc h a r a c t e r i s t i c p a r a m e t e r ( c a l ，c h l ，c v l ，c d1 ) a si t ss h a p ec h a r a c t e r i s t i c ，c o l o rc h a r a c t e r i s t i c ，f l a w c h a r a c t e r i s t i c ，w a v e l e tc h a r a c t e r i s t i c ，a n dd e s c r i b e dt h e i ri n f l u e n c et oc l a s s i f i c a t i o n t h r o u g ht h eq u a l i t a t i v ea n a l y s i st ot h e s ec h a r a c t e r i s t i c s i n t r o d u c e dt h em e r i to fu s i n gt h en e u r a ln e t w o r kt ot h ep a t t e r nr e c o g n i t i o na n d i n t r o d u c e dt h em e r i ta n dt h ed e f e c to ff e e d f o r w a r dn e u r a ln e t w o r k ，t h ef e e d b a c k n e u r a ln e t w o r ka n ds e l f - o r g a n i z a t i o nn e u r a l n e t w o r k ，t h e ns e l e c t e db pn e t w o r ka s q u a l i t yc l a s s i f i c a t i o nm o d e lf o r i t s s i m p l es t r u c t u r e ，s t a b l ew o r k i n gs t a t u s ，e a s y r e a l i z a t i o na n dv e r s a t i l i t y t h ee x p e r i m e n tr e s u l ti n d i c a t e dt h em e t h o dh a dt h eb e t t e r 桂林工学院硕 士学位论文 p e r f o r m a n c ei nc l a s s i f i c a t i o n ，a n di t sa v e r a g ec l a s s i f i c a t i o na c c u r a c ya p p r o a c h e st o 8 7 b a s e do na b o v em e t h o d ，t h em a n g oc o m p u t e rv i s i o nc l a s s i f i c a t i o ns y s t e mw a s d e v d o p e d i nm a t l a b t h es y s t e mh a dm a n yp o w e r f u lf u n c t i o n ss u c ha si m a g e p i e p r o c e s s i n g ，c h a r a c t e r i s t i ce x t r a c t i o n ，m a n g oc l a s s i f i c a t i o na n ds oo n t h es o f t w a r e h a sn o to n l yp o w e r f u lf u n c t i o n s ，b u ta l s of r i e n d l yi n t e r f a c ea n di ti sv e r ye a s yt ob e o p e r a t e d t h ep a p e rh a sr e f e r e n c ev a l u et ot h ed e v e l o p m e n to fm a n g oc l a s s i f i c a t i o ns y s t e m b a s e do nt h ec o m p u t e rv i s i o ni no u rc o u n t r y , a n dh a se c o n o m i c a ls i g n i f i c a n c et ot h e a p p l i c a t i o no fm a n g oc l a s s i f i c a t i o ns t a n d a r da n dt ot h ep r o m o t i o no fc l a s s i f i c a t i o n l e v e lo fm a n g o ，a n dc a np r o v i d et h e o r yb a s i sa n dt e c h n i c a ls u p p o r tf o rm a n g o c l a s s i f i c a t i o na n dw i l lp r o m o t em a n g oc o m m e r c i a l i z a t i o ni nc h i n a ，a n dh a sp o s i t i v e s i g n i f i c a n c et ot h ea p p l i c a t i o no fc o m p u t e rv i s i o ni na g r i c u l t u r a le n g i n e e r i n gf i e l d k e y w o r d s ：c o m p u t e rv i s i o n ，i m a g ep r o c e s s i n g ，w a v e l e tt r a n s f o r m a t i o n ，b pn e u r a l n e t w o r k m 桂林工学院硕士学位论文 研究生学位论文独创性声明和版权使用授权说明 独创性声明 本人声明：所呈交的论文是我个人在张烈平副教授指导下进行的研究工作及取得 的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含他人 已经发表或撰写过的研究成果，也不包含为获得桂林工学院或其它教育机构的学位或 证书而使用过的材料。对论文的完成提供过帮助的有关人员已在论文中作了明确的说 明并致以了谢意。 学位论文作者( 签字) ：望墨墨至 签字日期： 塑! 盘： 版权使用授权说明 本人完全了解桂林工学院关于收集、保存、使用学位论文的规定，即：按照学校 要求提交学位论文的印刷本和电子版本；学校有权保存学位论文的印刷本和电子版， 并提供目录检索与阅览服务；学校可以采用影印、缩印、数字化或其它复制手段保存 论文；在不以赢利为目的前提下，学校可以公布论文的部分或全部内容。( 保密论文 在解密后遵守此规定) 学位论文作者( 签字) ； 指导教师签字： 签字日期： 主尘丝叠 型星：查：5 一 桂林工学院硕士学位论文 1 1 研究的目的和意义 第1 章引言 我国是农业大国，农业生产历史悠久，但是农业产值很低。其中影响农业产 值的一个重要因素就是农产品产后处理水平低。在我国农业生产中，水果生产在 农产品生产中占有很大的比重，而且种类多，品种丰富，经济价值较高。同时， 水果也是我国重要的外贸出口物资。但是，目前我国水果采后处理能力不到总产 量的5 ，采后烂票率高达2 5 以上，而发达国家采后处理比例高达5 0 。烂果率 仅1 一3 。另外，我国的果品转化加工比例不到总产量的3 5 ，加工附加值不到 5 0 。面发达国家水果的转化加工比例在3 0 以上，加工附加值高达7 0 - 1 4 0 。两 且，由于我国水果采后商品化处理不够，以致商品混等混级，良莠不齐；质次价 低残次劣果多。外销水果由于品质难以保障。因而经济价值低。上不了国外高 档货架，商品信誉低，在国际市场竞争力弱。以香港市场为例，我国出口柑桔数 量占香港市场的2 3 以上，但是我国的收汇收入只占i 3 ，其他国家的收汇占2 3 单价仅为其它国家产品的i 4 。价格如此悬殊的原因之一就是由于检测与分选的 手段落后。而国外产品按大小、形状、色泽和损伤等分级后，其品质得到提高， 售价也大大提高。因此，农产品按其品质进行严格的分级，是农产品流通和加工 过程中的一个重要环节，既可提高农产品的经济价值和出口竞争能力，增加农民 收入。又可保护消费者的利益。特别是现在，随着我国加入w t o 。我国将进一步 降低关税和开放农产品市场，这样一来，我国农业和农产品加工所面临的竞争将 会更加激烈。因此，当务之急是提高我国农产品的产后处理水平，从而增强我国 农产品的国际竞争能力。 目前，我国传统的水果分类采取的方法主要有以下三种： ( 1 ) 人工分类。通过入用眼睛直接观测水果来进行判断。其缺点主要有：劳动 量大、生产效率低、分类标准难以确定、分类精度不稳定。因为在芒果的分类标 准中着色面积和缺陷面积的度量，仅凭人的肉眼难以精确区分，而且人长时间 用眼，会造成视觉疲劳及情绪的不稳定，从而造成分类误差的波动。同时，效率 十分低下，无法和自动化生产线的生产能力相比。 ( 2 ) 机械化分类，主要有尺寸分类机和重量分类机。尺寸分类机主要由开有不 同尺寸圆孔的分类传送装置、分离滚轴、清理刷子和有分支的输送带装置组成。 大小不同的水果分别进入相应的圆孔，再由传送带运走。重量分类机利用杠杆原 理工作。在杠杆一端加有配重码，另一端为称重的圆盘，圆盘上盛放待检测水果。 桂林工学院硕士学位论文 当水果重量超过配重码的重量时，杠杆失去平衡，圆盘向下翻倒，水果被判别为 相应的等级。机械化分类虽然在一定程度上减轻了劳动强度，但它只能根据水果 的大小和重量来分类，无法完成形状、尺寸、成熟度、表面缺陷等方面的综合评 定。 ( 3 ) 光电分类。其中自动分选台的应用最广。光学自动分选台的工作原理是利 用水果表面对不同波长范围内的光的吸收和反射来分析其颜色特征，从而决定水 果的质量等级。该方法只能对水果的表面色泽进行判别，而忽略其它方面的特征， 故存在很大的片面性，不适合水果品质全面检测的需要。 近年来，计算机视觉识别技术在替代和超越人的视觉功能方面获得了一系列 惊人的成果。显示了强大的生命力。因而用计算机视觉代替人的视觉进行农产品 分级具有不言而喻的优越性。主要反映在以下几方面： ( 1 ) 计算机视觉分级精度高。基于计算机视觉的分级系统采用c c d 摄像头作为 传感器，标定好的c c d 在测量长度时有很高的精度，己在工业上广泛应用。因此 在水果尺寸的检测时误差很小，通过试验表明，静态情况下测量果径误差可小 于i m m ，远远满足水果分级的要求。 ( 2 ) 自动化程度高，一次可完成大小、形状、颜色、缺陷的检测和分析，可以 进行综合识别。这是任何传统的分级方法无法实现的。特别是形状、颜色、缺陷 的检测，传统的分级方法大部分是靠人工完成，分级过程又分几个工序进行。不 仅耗时耗力，分级结果比较差，而且分级过程复杂。 ( 3 ) 用计算机视觉检测属于非接触检测过程。检测时传感器c c d 通过扫描获得 图像，不损伤水果。而传统的机械分级方法，如韩国的网孔分选设备，容易在网 孔边缘产生挤压或划伤。 ( 4 ) 分级过程受软件算法控制。智能化的软件设计使分级可以基于知识和法 则下进行，对辅助设备要求低，机械结构简单。 ( 5 ) 传统设备无法一次完成多项指标的综合处理，分级工序多，设备种类多， 占地面积大。计算机视觉分级可以进行综合处理，要求设备少、占地面积也小。 用计算机视觉进行分级，可一次性地自动完成农产品形状、尺寸、颜色、表 面缺陷的检测与判定，大大提高了分级精度乜1 。它的出现使分级检测技术由半自 动化向全自动化、外部品质检测向内部品质检测、复杂化向简单化和方便化、规 格标准的文字化向数字化、机械设备结构的复杂化向简单化、数据的人工管理向 计算机管理方向转化。 另外，随着人们消费观念的改变和消费水平的提高，对各种各样农产品的质 量要求越来越高，客观上要求在农产品质量检测上开发新的技术，有效解决这一 2 桂林工学院硕士学位论文 问题，既可以保护广大消费者利益，又可以提高农产品的经济价值及出口竞争能 力，增加国家的外汇收入。 芒果是深受入们喜爱的一种水果近几年来，广西的芒果面积发展很快，在 增加农民收入方面起了很大的促进作用。芒果采后的商品化处理，是增强市场竞 争力，提高经济效益的重要手段，其主要技术环节包括收获后的挑选、清洗、分 级和包装等，其中分级是商品化处理的核心环节。芒果的分级主要包括对芒果的 外部品质和内部品质的自动检测。外部品质包括：大小、形状、颜色、表面缺陷 等；内部品质无损检测的项目有芒果的硬度、含糖量、酸度、口味及内部损伤等。 其中形状和颜色是芒果产品分级的重要依据之一，是分级的重要指标，一般讲， 外观规整，着色好且着色均匀一致的芒果有较高的商品价值，而表面着色与其成 熟度和内部品质有着密切的关系，所以对芒果形状和颜色的有效分级是芒果商品 化的关键一步。目前包括广西区在内的芒果生产地对芒果的分级手段还是采取人 工粗略分级，色泽、形状和表面损伤等指标仍然靠人工分级，只能靠目测和经验 来判断，不仅费时、效率低而且与检验员自身的技术水平有很大的关系，造成芒 果混等低价出售，影响经济效益，使种植者损失很大利益。此外，反复的分级不 仅精度提高有限，也造成水果人为损伤严重，难以保证芒果质量，无法满足市场 的要求，因此，建立基于计算机视觉和神经网络的芒果等级分类具有重要的意义。 1 2 国内外研究概况及发展趋势 计算机视觉检测技术即指利用计算机视觉系统来代替人工视觉进行产品质量 检测的新兴技术，是提高产品质量的有效途径阳1 。计算机视觉主要用计算机来模 拟人的视觉功能从客观事物的图像中提取信息，进行处理并加以理解，最终用于 实际检测、测量和控制。一个典型的光照系统可分硬件和软件两个部分，其中包 括光源、光学系统、图像捕捉系统、图像数字化模块、数字图像处理模块、智能 判断决策模块和机械控制执行模块。计算机视觉系统首先采用c c d 摄像机或其它 图像拍摄装置将目标转换成图像信号，然后转变成数字化信号传送给专用的图像 处理系统，根据像素分布、亮度和颜色等信息，进行各种运算来抽取目标的特征， 根据预设的容许度和其他条件输出判断结果。 1 2 1 国内外研究概况 国外从7 0 年代初开始研究利用计算机视觉对果实、蔬菜进行自动检测、分类 的技术，他们在这一领域做出了卓越的贡献。目前，国外发达国家在农业生产及 农业现代化方面己经开始应用计算机视觉系统。以下是国外利用计算杌视觉进行 3 桂林工学院硕士学位论文 水果品质检测和分级的具有代表性的研究和存在的主要问题： g r a f 儿副等( 1 9 8 1 ) 应用线性统计分析的方法对带有碰压伤的苹果图像进行分 割，从而确定碰压伤面积，但由于硬件设备的原因，该方法速度很慢，应用价值 不大。 t a y l o rr w t 6 1 等( 1 9 8 4 ) 首先报道了分别利用线扫描和模拟摄像机检测苹果损 伤的实验，结论为利用数字图像技术检测苹果损伤至少可以达到人工分级的精度， 而且线扫描摄像机在实际生产中应用前景似乎要更广阔一些。 r e h k u g l e r h 3 等( 1 9 8 6 ) 利用计算机视觉进行苹果表面碰压伤检测并依据美国 标准进行分级，该研究将各种表面伤痕全部作为碰伤处理，造成分级误差大。1 9 8 9 年，他们又对自己的研究作了改进，将碰压伤和其它坏损区分开来处理，但该研 究仅建立在苹果由机械装置定向的基础上，难以满足高速大批量分级的需要。 d a v e n e l 呻1 等( 1 9 8 8 ) 根据大小和碰压伤利用计算机视觉进行苹果分级的研究。 果梗、花萼对表面缺陷的识别影响很大，常将苹果的果梗、花萼区误判为缺陷， 所以分级误差很大，试验表明分级正确率只有6 9 9 6 。 m i l l e r 1 等( 1 9 8 9 ) 研制了一套检测和分级新鲜市售桃的彩色计算机视觉系 统，当桃子在输送带上通过照明箱时采集桃子的彩色数字化图像，并通过将桃子 的实际颜色和不同成熟度桃子标准颜色相比较来确定桃子的成熟度。结果表明， 计算机视觉成熟度检测的精度只有5 4 。 v a r g h e s e n 阳( 1 9 9 1 ) 使用计算机视觉系统对苹果进行了分级研究，其主要研究 内容为果形判别、颜色检测。在果形判别中需要将苹果的果梗、花萼轴人为定向， 同时还需要采集五幅不同角度的图像，在判别过程中采用图像形状分析方法中的 矩阵方法，该方法的缺陷是和苹果的旋转角度有关，故影响果形判别准确度。该 研究中的颜色检测具有较高的精度，能适合苹果分级要求。 y a n g u u ( 1 9 9 3 ) 针对将果梗与花萼作为坏损处理的这种情况提出了用结构光图 像来确定果梗与花萼。为此需要采集两幅不同的图像来判别苹果某一面的图像是 否含有坏损区域，这势必影响分级的处理速度。 ns i n g h n 2 1 等( 1 9 9 4 ) 应用桃子的直方图以及行和列的缺陷像素，发展了缺陷分 割和图像处理方法。分析并试验了机器视觉系统在检测和识别主要缺陷方面的性 能。识别有主要缺陷( 伤口、疤痕、碰伤和虫孔) 的桃子，总的识别误差为2 8 6 。 n o z e r n 3 1 等( 1 9 9 5 ) 研制了一种适应水果自动分级的机器视觉系统，利用水果的 颜色、尺寸、形状和重量参数汇合成为待分级水果的一个特征向量，并将其输入 一个我训练好的b p 神经网络进行等级判别，并用甜瓜作为实验样品，其正确分级 率为8 5 1 。 4 桂林工学院硕士学位论文 c r o w et g 和m j d e l w e c h e ( 1 9 9 6 ) n 钔n 印设计了一种能同时采集分别在漫射光 和结构光照射下的两幅图像的新方法，并采用图像合成电路将两幅图像合成。合 成图像中上半部分用于寻找黑点，下半部分用于区分黑点是由表面缺陷引起的， 还是由花梗、花萼等处的凹坑引起的，从而大大提高了分级精度。 t a o n 引( 2 0 0 0 ) 提出利用近红外和中红外摄像机同时采集图像的方法，解决了将 果梗与花萼误判为水果缺陷的问题。应用两台红外摄像机对水果进行检测的方法， 识别果梗的正确率为9 8 8 6 ，识别花萼的正确率为9 9 3 4 。 m a j u m d a r s 1 7 j 等( 2 0 0 0 ) 利用谷物的2 3 种形态特征来区分不同品种的麦粒，不 同品种的分级准确率：小麦为9 8 9 ，大麦为9 3 7 ，燕麦为9 6 8 ，黑麦为9 9 9 。 试验结果表明，利用形态特征能较好地进行不同品种的种子分级。 j i m e n e z n 引等( 2 0 0 0 ) 研究发现在果园中用c c d 摄像机可以检测到约8 5 的可见 水果，但是由于重叠水果的遮挡，会有4 0 以上的水果是探测不到的，必须研究 新的方法来解决重叠水果的遮挡问题。 p l e b e n 蚰等( 2 0 0 1 ) 为了开发甜橙自动收获机器人，研究了利用计算机视觉技术 识别树上的水果并进行定位的方法，研究发现由于光照条件和周围环境的多变性， 识别和定位精度还不能满足实际生产的需要。 p a n i t n a ty i m y a m 啪1 等( 2 0 0 5 ) 利用图像处理技术对芒果的大小、形状、表面 积和颜色进行了检测。 从目前报道的资料来看，用计算机视觉技术进行农产品的品质检测和分级是 一种有广阔应用前景的新技术，是一个新的研究领域。虽然国外对于计算机视觉 在农产品品质无损检测和分级中的应用已做了大量的研究工作，但由于研究时间 不长以及农产品具有多变性，所以仍只能实现对产品的部分参数进行检测，表面 缺陷检测的精度不高，水果果梗的检测一直是一个难题。因此，仍有需要进行更 多的研究工作。 计算机视觉在农业上的应用是国际上正在研究的课题。相对于国外的研究现 状而言，国内对机器视觉技术在农业工程领域的应用研究起步较晚，以下是国内 学者在计算机视觉方面所做的一些工作： 杨秀坤心订等( 1 9 9 7 ) 综合运用图像处理技术、人工神经网络、遗传算法、模拟 退火算法、决策树理论及专家系统等技术，研究了苹果、桃、鸡蛋等农产品的形 状、表面缺陷、颜色、尺寸和成熟度等品质特性的检测方法。 刘禾和汪懋华比列( 1 9 9 5 1 9 9 8 ) 等以苹果为研究对象，建立了一套适用于苹果品 质检测的机器视觉系统，提出了通过图像信息处理检测苹果的果面缺陷的方法， 并可将果面缺陷分成刺伤、碰压伤、虫伤、病虫果和裂果等类别。 5 桂林工学院硕士学位论文 何东健和杨青乜3 1 等( 1 9 9 7 以提高球形果实表面缺陷面积的计算机视觉测定精 度为目的，分析利用了投影图像直接测定球形果实表面缺陷存在的问题：提出并 建立了从投影图像恢复球形果实表面几何特征的像素点变换法和边界变换法，并 通过实验验证。 徐娟心郇( 1 9 9 7 ) 基于果面缺陷与颜色特征密切相关，在总结四种区域分割的方 法之后，根据颜色比的特征将苹果图像进行区域分割，在缺陷区域内先判别可根 据颜色确定缺陷，排除果梗与花萼，确定缺陷类别。 王江枫乜硝等( 1 9 9 8 ) 研究了应用计算机视觉进行芒果重量及果面坏损检测的方 法，这一方法对桂香芒、紫花芒检测的果重分级准确率分别可以达到9 6 和9 2 ， 果面坏损分级准确率分别为7 6 和8 0 。 应义斌啪1 等( 1 9 9 8 ) 利用梨果梗直径小的特点，选择不同大小的模板，判断图 像中是否存在果梗，进一步对果梗的完好性进行判断。试验结果表明，该方法可 以1 0 0 判断果梗是否存在，判断果梗是否完好的正确率达到9 3 。 张泰岭，邓继忠田1 ( 1 9 9 9 ) 对梨的碰压伤进行了检测，建立了碰压伤面积测量 数学模型，可检出梨的多处碰伤，并能将大多数测量相对误差控制在1 0 以内。 籍保平，吴文才汹1 ( 2 0 0 0 ) 提出了计算机视觉苹果分级系统。提出了计算机视 觉苹果分级系统对苹果的外部缺陷进行全面检测，在此基础上，可对苹果进行高 速和精确的分级。 章文英盟蚰( 2 0 0 1 ) 根据苹果果梗的特征，提出用分块扫描判断果梗是否存在， 分析苹果坏损表面和非坏损表面的不同反射特性与不同灰度值像素点数的统计特 性，找出坏损区域，区分果梗和果萼。对1 5 幅无果梗的图像判断准确率为1 0 0 ， 对9 0 幅果梗完好图像的准确率为8 8 。 李庆中啪3 等( 2 0 0 0 ) 提出了一种基于计算机视觉的新型苹果实时分级试验系统 的硬件组成：输送机构可把苹果4 个表面快速呈现给视觉检测系统；视觉系统可 同时采集苹果在可见光和近红外光谱范围内的图像信息；并送至计算机内存进行 处理：照明系统为c c d 摄像机的视区提供均匀恒定的光源。 冯斌口订等( 2 0 0 2 ) 提出了图像外边缘检测的两种新方法：邻域灰度检测算法和 模板检测算法。该方法处理图像面积小于传统方法的1 2 ，检测速度快。适合计 算机视觉进行实时检测；同时还通过对不同着色等级的水果分析，以各色度在水 果表面分布的分形维数为特征进行分级，建立人工神经网络识别模型，学习后的 模型分级准确率高达9 5 ，能满足计算机视觉实时分级水果生产线的要求；对于 识别水果的表面缺损，还提出了分割缺陷和识别的新方法，利用水果的三维空间 特性，实现了缺损与果梗、花萼的区分。 6 桂林工学院硕士学位论文 朱伟华，曹其新n ( 2 0 0 3 年) 在基于模糊彩色聚类的方法，对西红柿的缺陷进 行分割。先将水果缺陷图像的r g b 颜色模型转化为h s l 颜色模型，用三角隶属度 函数定义h s l 模糊集，进而构成模糊颜色集。在模糊颜色的基础上，定义模糊颜 色相似度测度，分析两种模糊颜色的相似性。将该分割方法应用于西红柿的缺陷 分割。试验表明，准确率达9 6 。但该方法也只能对不同缺陷图像的分割而不能 对缺陷的种类进行智能的判别。 从上面的综述可以看出，国外在水果的缺陷检测与分级水平在我国之上。就 利用机器视觉检测水果缺陷这方面，目前的研究现状可归纳为以下几点： ( 1 ) 美国、澳大利亚及一些欧洲国家他们对水果缺陷已经实现在动态条件下的 检测，且精度比较高，基本满足了现实生产线的要求。而我国对水果缺陷的检测 还基本上处于起步阶段，动态方面的研究较少，能够基本实现动态的检测，但是 检测的精度不高。 ( 2 ) 不管是国外还是国内，许多专家都对果梗和花萼进行的检测，但结果不是 很理想。主要存在的问题是，无法很好的进行果梗和花萼与缺陷的区分，容易造 成两者的误判。 ( 3 ) 国外的研究虽然能够实现对水果表面缺陷的在线动态检测，但国外很少有 学者进行水果表面缺陷的分类的研究。国外研究人员一般把缺陷坏损的程度分成 几个大类，而没有具体的对水果表面缺陷的类别进行检测。 ( 4 ) 国内对水果的缺陷的研究相对较晚一些，到目前国为止，也有少数学者对 水果表面的缺陷种类检测做过研究，但没有用于实际生产。相对国外来说，国内 对水果缺陷的检测还需要更多学者的努力。 1 2 2 水果品质无损检测研究发展趋势 水果品质的无损检测技术，对高品质水果的增值和推进创汇农业科技活动， 提高提高农业国际竞争能力有重要的经济意义，是农业高新技术应用研究及产业 化的重要切入点。水果在线品质检测的研究主要包括两方面，即外部和内部品质 的检测。从目前国内外的研究状况看，信息处理的速度是实现自动化分级的瓶颈。 要解决此难题，必须依靠先进信息处理技术、先进传感技术及机电一体化技术的 有机集成。在水果的外部品质检测方面，目前遇到的难题和可能解决的途径讨论 如下： 。 ( 1 ) 水果全表面机器视觉快速检查机构是实现水果外部品质快速检测的一个 关键，它要求水果在快速输送的同时，机器视觉可以快速获取水果全部表面的图 像。该难题可能解决的途径是采用机电一体化技术、光学技术和多视觉成像技术 桂林工学院硕士学位论文 的结合，通过设计合适的传送机构和成像系统来实现。 ( 2 ) 水果表面缺陷的快速识别是限制信息处理速度的主要因素，前人的大量研 究表明：缺陷的检测和区分需要的处理时间最长，已成为水果实时分级的障碍。 要解决此问题，需要从两方面入手，一是研究快速、有效的识别算法，二是在硬 件上采用多光谱技术与机器视觉技术的有机集成。 ( 3 ) 在水果形状和颜色检测方面，应开发适合在线状态下水果特征参数的提取 方法和分级方法，确定的方法必须快速而有效。 ( 4 ) 提高视觉信息处理速度的另一途径是在硬件上采用高速图像处理器或并 行处理技术。如采取先进的并行c p u 芯片，如t m s 3 2 0 c 8 0 ，t r a n s p u t e r 等，或采取 分布式并行处理计算机网络系统。随着计算机技术的飞速发展，图像信息处理速 度的瓶颈问题会逐渐得到解决。此外，图像处理板的设计应与视觉系统结合起来 考虑，如采集多路视觉信号的合成问题，机械机构与视觉系统的同步电路设计等。 ( 5 ) 在图像处理和识别算法的研究上，应把传统方法与现代新方法( 神经网络， 并行算法，遗传算法，模糊技术，人工智能，图像形态学，分形学，小波变换等) 结合起来，改变传统图像信息的数据量表达方式，寻求图像表达与解释的新方法， 力求图像处理和识别算法的快速性、有效性及鲁棒性。 在水果内部品质检测方面，声学振动法是实现水果硬度自动检测的有效方法， 但应设法消除影响测量精度的因素，并进行实用化产品的开发；近红外局部投射 法和磁共振法是水果糖含量、酸度等内部成份自动检测的有效方法，尤其是近红 外局部投射法，在中国更有应用前景：内部缺陷的无损检测应进一步研究新机理 和新方法，采取自己开发和从国外引进相结合的方式n 引。此外。应进行多种传感 器测量信息融合技术的研究，这是水果内外品质实现自动化检测与分级的有效途 径。 1 3 研究的主要内容及技术路线 1 3 1 主要内容 ( 1 ) 分析芒果的形状和颜色与芒果品质的关系，研究芒果品质的评判标准 参考 芒果外观等级标准( n y t 4 9 2 2 0 0 2 ) 及中华人民共和国国家标准芒 果贮藏导则( g b t1 5 0 3 4 9 4 ) 将分级的标准定为：优等品：有优良的质量，具有 该品种固有的特性。无缺陷，但允许有不影响产品总体外观、质量、贮存性的表 面疵点。一等品：有良好的质量，具有该品种的特性。允许有不影响产品总体外 观、质量、贮存性的轻微表面缺陷：轻微的果形缺陷；对于a 、b 、c 三个大小类 8 桂林工学院硕士学位论文 别的芒果，机械伤、病虫害、斑痕等表面缺陷分别不超过3 c m 2 、4 c m z 、5 c m z 。二等 品：不符合优等品、一等品质量要求，但符合基本要求。允许有不影响基本质量、 贮存性和外观的缺陷：果形缺陷；对于a 、b 、c 三个大小类别的芒果，机械伤、 病虫害、斑痕等表面缺陷分别不超过5 c m 2 、6 c m 2 、7 c m 2 ；一级和二级芒果中零散栓 化和黄化面积不超过总面积的4 0 ，且无坏死现象。 ( 2 ) 研究了芒果的边缘检测算法 对传统的边缘检测方法，如r o b e r t ，s o b e l ，p r e w i t t ，c a n n y ，l o g 进行了研 究和比较，并将传统检测方法的结果和利用小波变换进行边缘检测的结果进行了 对比。r o b e r t 算子检测到的边缘比较粗糙，c a n n y 算子比p r e w i t t 算子、s o b e l 算 子、l a p l a c i a n 算子的去噪能力强，能检测到比较精细的边缘但它也容易平滑掉一 些边缘信息。经实验检验，经小波变换边缘得到的效果最好。 ( 3 ) 研究基于计算机视觉的芒果特征提取方法 从芒果的形状特征，颜色特征，缺陷特征，小波特征几个方面研究了基于计 算机视觉的芒果特征提取方法，具体如下： 1 ) 芒果的形状特征：用最大果宽来估计最大果径，用果形指数来估计芒果的 形状。 2 ) 芒果的颜色特征：选取与人眼视觉接进的颜色模型h s i ，将图像的机器模型 转换为h s i 色彩。由于光源和光源强度一定，所以光源的纯度也是确定的，对彩 色的识别可只考虑h 分量来进行相对于r ，g ，b 三分量而言，其计算量减少了2 3 ， 有利于实时在线处理。因此，水果图像彩色模型应选为h s i 模型。 3 _ ) 芒果的缺陷特征：对缺陷区域进行特征分析，求出芒果缺陷面积占总体面 积的比值。 4 ) 芒果的小波特征：利用小波变换， 幅图片的系数先求平方和，再取平均值， 特征。 将图像进行一层小波分解，将得到的四 将得到的四个特征参数作为图片的小波 ( 4 ) 研究了基于神经网络的芒果自动等级分类并实现了仿真实验 通过比较研究不同神经网络的优缺点，选取b p 神经网络进行系统分类，并重 点研究了b p 神经网络实现问题。将b p 神经网络应用到本研究中的芒果分类问题， b p 网络采用8 1 0 3 结构，输入特征向量为8 个( 横径w ，果形指数e ，颜色c ，缺 陷像素比p ，小波特征( c a l ，c h l ，c v l ，c d l ) ) ，隐含层节点数为1 0 ，由于希望将芒果 分为三类( 优等品，一等品，二等品) ，故输出层节点数取3 。通过实验仿真表明 此网络分级效果较好，平均精度可达8 7 。 ( 5 ) 初步实现了一套基于计算机视觉的芒果分级软件。 9 桂林工学院硕士学位论文 采用姒t l a b 7 0 软件实现了芒果分级的软件。实现的软件根据功能划分，系 统可分成文件模块、图像采集模块、图像底层处理模块、特征提取模块、网络训 练模块、分级模块等六个模块。 1 3 2 技术路线 ( 1 ) 用c c d 照相机获取的芒果图像，对获取的图像进行图像滤波、图像增强、 图像边缘检测、图像分割等处理，获取芒果有效形状( 横径w ，果形指数e ) 、颜色 ( h 分量平均值c ) 、缺陷( 缺陷面积所占百分比p ) 和小波特征参数 ( c a l ，c v l ，c h l ，c d l ) 作为芒果的品质特征。 ( 2 ) 在本课题中。将研究各种可能的神经网络系统( b p 网络、r b f 网络等) ，找 出它们的优缺点，寻找出一种适合本实验系统聚类的神经网络，将它用于本课题 的模式识别。 ( 3 ) 以芒果的8 大特征参数( 形状( 横径、果形指数) ，颜色，缺陷和小波特征( 4 个) 参数) 作为输入，芒果的等级分类结果为输出，建立基于神经网络的芒果等级 分类系统，将芒果分为三个等级：优等品、一等品和二等品，实现芒果等级的自 动分类。 本课题的技术路线图如图1 1 所示。 图1 1 本课题的技术路线冒 1 0 桂林工学院硕士学位论文 第2 章芒果图像的预处理算法研究 本章从芒果分级快速准确的要求出发，对计算机视觉技术的底层环节进行了 研究，引入了多个快速有效的图像预处理算法。图像预处理是区别于图像理解和 识别的一种前期处理，我们在提取颜色特征之前需要的预处理过程包括以下几个 方面，一是灰度图修正：由于我们得到的灰度图进行阈值分割时的效果不是非常 好，所以我们对灰度图像进行一些修正，进行一些改善。二是图像的噪声去除： 图像中有噪声，对于进一步的研究会产生不利的影响，这样的话就需要对图像进 行平滑化处理，去除噪声。三是灰度图阈值分割：把原始图像进行灰度变化之后， 为了将芒果与背景分开，需要进行阈值分割处理；四是轮廓提取：我们在得到芒 果图像之后，还需要得到芒果的边界，以便