（机械设计及理论专业论文）基于机器视觉的苹果自动分级方法研究.pdf

基于机器视觉的苹果自动分级方法研究 摘要 水果分级是采后加工的重要环节之一，利用机器视觉技术对水果进行分级具有无损水 果、分级精度高、速度快等优点。本文以水果分级为目标，以红富士苹果为研究对象，进 行了基于机器视觉技术的水果自动分级研究。 针对传统的机器视觉技术在实现水果分级过程中，计算机对水果果梗、果萼和表面缺 陷判断困难且需要花费大量时间的不足，本文提出了利用机械设计与机器视觉相结合的思 路，明确了装置设计的基本要求，并设计了苹果试验系统。 为提高图像采集质量，减少图像处理时间，对图像采集中苹果背景颜色的选择进行了 研究，研究表明黑色背景有助于目标与背景的分离；为提高图像处理速度，在图像底层信 息处理中，引入了超快速中值滤波算法，并直接采用阈值法分割图像、进行轮廓跟踪，取 得很好的效果。 在苹果大小分级方面，在分析传统水果特征提取方法的基础上，提出采用当量直径代 替苹果直径作为其大小特征进行分级；在苹果形状分级方面，提出用提取圆形度的方法来 描述其形状特征：在对苹果进行颜色分级时，提出用h s i 模型描述其颜色特征，并根据 苹果色度直方图特点，采用4 个色度均值代替苹果色度值。在此基础上，建立了b p 神经 网络水果分级系统，试验结果表明该系统分级精度高，能够满足分级要求。 关键词：机器视觉；图像处理；水果分级；b p 神经网络 t 讧e t h o do f a p p k a u t o m a t i cg r a d i n gb a s e do nm a c h i n ev i s i o n a b s t r a c t g r a d i i l gi sv e r yi n o s ti m p o r t 姐t 缸k r 州ti sa d o p t e d w h e nm a c l l i n ev i s i o ni sa p p l i e di n g r a d i n g ，t l l e r ea r cm a n ya d v 趾诅g e ss u c ha sn od a m a g et o 丘u i t ，l l i 曲一s p e e d n em a c l l i n ev i s i o n a p p l i e di nt h em 血s o r t 访gv ，a ss t i l d i e di n 曲峙p a p e l h lf a c t ，i ti sd i 伍c u l tt od i s t i i l g u i s hs t e mo rc a l ”f r o md e f a u l to nm ef a c eo fa p p l eb y c o m p u t e r 锄di ti sa l s ot i m e c o n s l l | n i n 卫t h ei d e ao f c o m b i n i n go r i e n t a t i o nd e v i c cw i t hm a c h j e v i s i o nw a ss u p p o n e d t h ei n e c h a m c a ld e v i c ei n s t e a do fc o m p u t e rc o m p l e t e dp 枷a lt a s k s ， w 1 1 i c hc o l l l di m p r o v eg r a d i l l gs p e e d t h eb a s i cr e q u e s t so f 也ee q l l i 舯n td e s i g n 、e r ep u t f - o r w a r da ：n dt l l eo r i e n t a t i o ne x p e r i m e n 诅ld e v i c e 、v a sd e s i 霉1 e d i no r d e rt oi m p m v et h eq u a l i t yo fi m a g ea c q l l i s “i o na n ds p e e di m a g ep m c e s s i n g ，m e b a c k g r 0 衄dc o l o rw a ss t u d i e d t h er e s u l t ss h o w e dm a tt h eb l a c kw 骶c o n 缸b u t e dt om e s e p 锄f i o no ft a r g e ta n db a c k g r o u n d s u p e rm e d i a i l f i l t e rm e t l l o dw a se m p l o y e di n 也e l o w e r 1 a y e r 曲a g ep m c e s s i n gt oi n l p r o v ei i n a g eq u a l 时t h ct l l r e s h o l d 、a sa p p l i e dt os e g m e n t a p p l ei m a g ea i l dc o n t o u rw a sf o l l o w e d a n dc l e a ra 1 1 ds m o o t l lc o n t o l l rc o u l db eg o t b 踮e do n 姐a l y z i n gt l l en 丑d i t i o i l a lm “h o do f 也ee x 订a c t i o no f 行u i tf 色a t u r e s ，a u t l l o r1 l s e d e q u i v a l e n td i 锄e t e ri n s t e a do fa p p l er a d i u si nt h ea s p e c to fa p p l es i z e 趴dc i r c l l l a rd e g r e et 0 d e s c r i b ei n 也ea s p e c to ft l l ea p p l es h a p e t h eh s ic o l o rm o d e lw a su s e dt od e s c r i b em ec o l o r f e a t i 】r eo fa p p l ew h e nt h e 抒u i tw a sg r a d e db a s e do nt h ec 0 1 0 r t h ef o u rc ea v e r a g ev a l u e s w e r es u b s t i t u t e df o rt 1 1 ec 1 1 r o m eo fa p p l ea c c o r d i n gt ol l l ec h a r a c 把r i s t i co f 印p l ec e l l i s t 0 譬阳m ，o n 、h i c hb pn e l 】r a ln e t 、) l ，o r ks y s t e mw a sb u i l t t h ee x p e r i m e n t a lr e s l l l t ss h o 、e d 也a t t l l es y 咖mc o m d 掣a d ea p p l ep r e c i s e l ya n ds a t i s 分朗l m n gr e q u e s t s k e y w o r d s ：m a c h i n ev i s i o n ；i m a g ep r o c e s s i n g ；f u i tg r a d i n g ；b pn e u r a ln e t w o r k 致谢 v 上 9 0 6 3 9 1 本文是在导师赵茂程副教授的悉心指导下完成的。论文的选题、研 究方案的确定都得到了导师悉心的指点。在论文写作与实验过程中，导 师进行了精心指导，并对论文做多次修改。导师渊博的知识、严谨的治 学态度和求实的学风给我留下了深刻印象，必将对我将来的成长与发展 起到十分积极的作用，在此表示衷心的感谢。 在攻读硕士学位期间，参加由郑加强、赵茂程、徐幼林等老师组织 的小组活动，学到了很多知识，使我受益匪浅，在此深表感谢。 期间，还得到了单位领导和同事的大力支持，在此表示感谢。 感谢常州市科技攻关项目和南京林业大学“十五”人才基金项目的 支持。 感谢爱人刘晓芳对我攻读硕士学位的大力支持。 最后要感谢攻读硕士学位期间给予我关心、支持和帮助的人。 侯文军 2 0 0 6 年6 月于南京林业大学 1 1 水果分级意义 第一章绪论 我国是农业大国，也是世界水果生产大国，水果种植业在农业生产中占有较大的比重， 果品产量居世界前列。2 0 世纪8 0 年代中后期以来，我国水果业发展迅猛，到2 0 0 0 年， 水果种植面积已达8 6 7 万公顷，占世界水果种植总面积的1 8 ，占世界水果总产量的1 3 。 据国家统计局统计，1 9 8 5 年，我国水果产量为1 1 6 4 万吨，1 9 9 0 年为1 8 7 4 万吨，1 9 9 5 年 为4 2 1 5 万吨，1 9 9 8 年为5 4 5 3 万吨，2 0 0 0 年达到6 2 2 5 万吨。“。水果产量逐年呈上升 趋势。从1 9 9 3 年开始，我国的果产品总产量和果树栽培面积位居世界第一位，根据2 0 0 0 年的统计数据，我国的苹果、梨、桃、李的产量居世界第一，占世界总产量的比值分别高 达3 6 6 9 、5 0 2 8 、2 7 0 5 、4 2 3 2 啪。 但是，我国水果的高产并没有带来高效益，参与国际市场的比例很低。国内主要水果 的价格大都低于国际市场价格，按统一口径计算，苹果比国际市场低4 1 ，鸭梨低7 9 ， 柑桔低4 7 。因此，无论是从生产还是从价格来看，我国水果都具有很强的出口竞争力。 然而根据联合国粮农组织的统计数据，1 9 9 9 年我国的水果出口量仅占世界出口总量的 1 2 9 6 ，1 9 9 8 年为8 0 9 ，水果业低成本、低价格的比较优势并没有体现在贸易量上“1 。 以苹果为例，1 9 9 5 年我国苹果出口量为1 0 1 9 万吨，2 0 0 0 年为2 9 7 7 万吨，还不足我国 苹果总产量的1 5 。从创汇情况看，1 9 8 5 年仅为7 8 9 8 万美元，1 9 9 0 年为1 0 2 8 6 万美元， 1 9 9 5 年4 4 4 7 0 万美元，1 9 9 8 年3 6 9 9 7 万美元，2 0 0 0 年3 4 8 3 6 万美元。以香港市场为例， 我国出口柑桔数量占香港市场的2 3 以上，但是我国收汇只占1 3 ，单价仅为其他国家产 品的1 4 “。 尽管如此，由于水果属劳动密集型农产品，国内劳动力价格低廉，目前我国水果价格 在国际贸易中仍还占有一定优势。然而，经济全球化使得发达国家不断把他们的生产基地 转移到发展中国家，充分利用其廉价劳动力和丰富的水土优势发展水果出口业。我国承诺 入世5 年内，将农产品关税从2 2 1 降到1 7 ，其中水果的进口关税下降幅度达6 7 一 7 0 。2 0 0 5 年5 月3 日，受中共中央和国务院的委托，中共中央台湾工作办公室、国务 院台湾事务办公室主任陈云林在上海宣布，扩大开放台湾水果准入并对其中l o 余种实行 零关税。因此我们不仅面临着先进技术的挑战，就连曾经引以为豪的廉价劳动力和土地资 源优势也将逐渐不复存在。 水果分级是采后加工的关键环节，造成我国水果在国际贸易中竞争力低的一个重要原 因就是水果的产后处理( 清洗、打腊、分级、包装) 技术落后，处理能力不到总产量的 5 ，采后烂果率高达2 5 以上0 1 ，从而导致水果混等混级，良莠不齐，质量混杂，影响 价值，无法达到国际出口的标准，进而也无法在国际市场上取得好的经济效益。随着生活 水平的提高，人们对水果的需求已不再满足于对量的关注，而是更多地注重水果的品质， 因此提高水果产后处理技术，加大产后处理能力，尽早实现水果自动分级是积极应对入世 挑战的重要策略。 1 2 传统的水果分级方法 水果分级一般按大小和品质进行。按大小分级是将水果分为大、中、小、过小等几个 规格，评价指标包括直径、长短、粗细、轻重等。品质分级分为优、良、中、合格、等外 级等几种规格，评价指标有外观颜色、光泽度、内部糖度、酸度、果肉软硬度、有无外部 损伤和内部缺陷等。常用的分级方法有人工分级和机械式分级。 人工分级是目前国内普遍采用的分级方法。这种分级方法通常是操作人员站在传送带 的两侧，用眼睛观察传送带上运动水果的外观特征，并与相关标准进行对比后取舍，从而 达到分级目的。这种方法所用设备简单，虽然能最大限度地减轻水果的机械伤害，但分级 标准容易受人的主观鉴别能力和情绪等因素影响，往往偏差较大，且需要大量劳动力从事 机械劳动，工作效率低。 机械式分级常用的设备有滚筒式分级机、三辊筒式分级机、带式分级机、果径大小分 级机、果实质量分级机等，其原理大同小异，或是根据果实直径大小进行形状选果，或是 根据不同轻重进行的质量选果。工作时，将水果由输送带或输送链传送到分级部件，利用 若干级别尺寸的孔框或缝隙进行筛选，当水果外形稍小于孔隙时，可依靠其本身重力穿过 或跌落输出，从而实现分级。这种分级方式能够消除人为心理因素的影响，生产效率较高， 而且可设置多个级别，但存在一定的缺陷，主要表现在：物料全程机械式翻转筛分容易造 成鲜果表皮碰伤、擦伤及压伤；分级精度不高，级差不可设置过小；容易出现大小“串级” 现象；适应性较差，只对柑桔等近圆形、硬皮类水果适用性较好，而对苹果、梨、桃、柿、 芒果等薄皮水果则不太理想。 此外还有测量光幕法。测量光幕的发射器和收光器对应分布于输送带两侧，当水果 穿过光线时，收光器接收的光线强度产生变化，其变化值触发开关信号，实现检测功能。 但当传感器处于最大检测距离状态时，光学透镜会被空气尘埃所污染，使接收光线强度减 弱而导致工作不稳定，且该检测方法仅能检测水果的一维尺寸，分级效果不是很理想。 1 3 基于机器视觉的水果自动分级方法 机器视觉是随着计算机技术的发展迅速成长起来的。机器视觉是指计算机对三维空间 的感知，包括捕获、分析、识别等过程。它是计算机科学、光学、自动化技术、模式识别、 人工智能技术的综合。现己广泛应用于林业、工业、农业、军事、交通、品质检测等领域。 机器视觉系统主要由三部分组成：图像的获取、图像的处理和分析、输出或显示。目前机 器视觉技术在农业生产的应用主要表现在以下几个方面0 1 ： 1 农产品的品质检测：水果、蔬菜的检测与分级：禽蛋、肉食类的检测与分级：经 济作物的检测与分级，如烟叶、茶叶等；谷物籽粒的检测与分级，如大豆、花生、玉米、 大米等。机器视觉技术用于农产品品质检测具有能减轻人工劳动和人为误差、速度快，精 度高的优点。 2 收获机器人：日本在这方面的研究较多，如摘水果机器人，温室或大棚等设施农 业中的番茄、蘑菇、黄瓜、卷心菜、葡萄收获机器人，挤奶机器人等。其机器视觉部分一 般由c c d 摄像机与激光扫描型距离传感器相结合，从而完成对物体的三维综合测量。 2 3 精细农业：所谓精细农业( 3 s 农业) 即把地理信息系统( g i s ) 、全球定位系统( g p s ) 及遥感技术( r s ) 有机组装在一起并应用到现代农业中，这是未来农业发展的方向。在3 s 农业中，机器视觉技术也起着重要作用，如利用多光谱遥感成像技术进行农作物产量的估 测，为中耕服务的杂草识别技术，为植保服务的病、虫害识别与预报技术，以及大型牧场 的管理等。此外，还有农业机械的自动化导向视觉技术、秧苗移栽机的视觉技术等。 4 生物生长状态的监控技术：利用计算机视觉在设施农业中进行植物生长状态的检 测与控制、动物行为的监控、水产养殖中鱼苗及虾苗的监控，农业基础研究中生物细胞的 检测及组织培养的检测等。 与人工分级和机械分级相比，机器视觉技术具有无损水果质量，能减轻人工分级的大 量劳动和人为误差，且速度快，精度高的优点。 1 3 1 国外研究情况 上世纪8 0 年代中期，国外对计算机视觉在农业应用方面主要集中在农业机器人、杂 草识别、农业遥感分析及粮食和水果的品质检查方面，但由于视觉处理速度较低，达不到 应用要求。8 0 年代后期，由于计算机技术的迅速发展，计算机硬件价格大幅度下降而计 算速度成倍增长，为计算机视觉技术的广泛应用创造了条件。国外众多学者对提高分级速 度也进行了多方面的研究和努力，在理论和应用上有了较大进展。 1 缺陷检测 1 9 8 6 ，r e h k u 9 1 e r 等o “1 用黑白c c d 图像检测苹果的表面缺陷，依据缺陷的等级进行 分类。由于很难获取水果全部表面图像，且水果表面缺陷情况复杂，再加上处理方法的问 题，分级误差较大。为提高分级正确率，他利用机械定向机构使苹果梗、萼处于垂直方向 并绕梗萼轴旋转，c c d 不需检测果梗、萼区，从而提高了分级正确率，但由于受定向机构 速度的限制，在实际生产线中很难实现实时分级，因而它的应用受到影响。 1 9 8 8 年，d a v e n e l 等“”、1 9 9 1 年，m i l l e r 1 3 “1 等用机器视觉技术检测水果表面缺陷， 对桃子等表面的缺陷、果梗、果萼区进行识别，试验表明，由于水果的果梗、花萼对表面 缺陷的识别影响很大，在图像处理技术中经常把果梗、花萼误判为缺陷，导致分级误差较 大，不能满足实际应用要求。 1 9 9 3 年，y a n g “6 川开始研究计算机视觉在苹果分级方面的技术，他集中研究了水果表 面缺陷的识别方法，提出以结构光下形成的图像来识别果梗、花萼和缺陷，但由于水果缺 陷种类多、外形复杂，识别时易将缺陷误判为果梗或花萼，从而影响分级正确率。1 9 9 6 年，y a ng i ”对上述方法进行改进，同时利用结构光条图像、普通图像来识别果梗、花萼 与缺陷。从两种图像中获取的信息比仅用结构光条图像信息量丰富，经过综合提取特征信 息作为输入参数，采用b p 人工神经网络分类器进行识别，对苹果的果梗、花萼与缺陷区 的分级正确率达9 5 ，改进的方法基本满足应用要求。但是识别一处缺陷需要同时处理相 关的两幅图像，工作量增加了一倍。另外，外形复杂的缺陷易被误判为果梗与花萼。 1 9 9 6 年，t a o 2 “4 4 州提出表面缺陷球形体灰度变换法分割水果。该方法根据带缺陷 的原始图像计算出与原图像相应的反向无缺陷图像，由二者相加得到的变换后图像消除了 物体的空间形状对于图像灰度值的影响，保留了水果表面缺陷与正常部分之间由于反射系 数的不同所产生的灰度变化情况，利用单阂值进行分割，但计算过程复杂，耗费时间较多。 1 9 9 8 年，t a o 等。”研制出基于计算机视觉的苹果缺陷检测系统，通过缺陷变换，最大限度 地保留了果面上任何水平的缺陷，包括灰度值低于背景的像素。然后通过形状变换算法， 对光照进行有效的补偿，达到了快速、全面捡测的效果。 2 颜色检测 1 9 9 0 年，s h e a r e r 啪等将r g b 三色激励值定量转化为h s i 三个参数，并基于r g b 值构 造了8 个色调变量，根据颜色和损伤对青椒进行分级。1 9 9 7 年，k a x u h i r o “7 1 采用二级神 经网络对苹果进行颜色分级。通过将苹果果面沿花萼、花梗方向分区并分别进行处理，解 决了因苹果果面曲率不同而引起的反射梯度不同的问题。1 9 9 9 年，m u h a 哪a d 等用彩色 摄像系统研究扁豆的分级问题，用神经网络建立色彩识别模型，色彩分级的正确率为9 0 。 同年，s h a c h a r n 等踟研究设计视觉分选系统，对西红柿、甜瓜、块根作物分类，系统识 别正确率8 8 ，包括颜色、暗伤、大小等参数。2 0 0 2 年，s l a y k i n 啪1 等利用机器视觉对 西红柿分类进行了研究，该系统由两部分组成，一部分是下部视觉单元，放置一部视角朝 上的相机，用于拍摄西红柿的果梗和形状：另一部分是上部视觉单元，放置两台呈6 0 度 的照相机，用于拍摄西红柿的颜色、缺陷和颜色一致性。实验结果表明，对颜色一致性判 断的正确率为9 0 ，对颜色判断的正确率为9 2 。 3 大小和形状检测 1 9 8 8 年，m a r c h a n t 等“。以三个6 8 0 1 0 单片系统同时处理三条传送带图像，构造了土 豆的大小和形状分选系统。采用的方法是以硬件并行处理手段提高系统速度，分级速度达 到了每秒4 0 个，基本满足实用要求。在分级中主要考虑大小和形状等指标进行处理。2 0 0 0 年，i n g r i dp a u l u s 等采用边界半径和傅立叶变换对苹果的形状进行描述，研究表明， 苹果的形状可以由前1 2 个正弦值和1 2 个余弦值表达，相关性超过o 9 8 。2 0 0 3 年，b 1 a s c o 等1 开发了一套计算机视觉系统，对桔子、桃和苹果的形状的检测准确率在9 1 一9 5 之间。 总之，国外学者从开始利用计算机视觉技术进行水果分级研究到如今己经具有相当成 熟的水平，尤其是日本和意大利已生产出成熟的产品，并得到了较好的应用。美国每年有 5 0 的水果经过机器视觉系统分级，为美国的水果产业带来了巨大的经济效益。 1 3 2 国内研究情况 我国的水果自动分级研究起步始于9 0 年代，从事机器视觉水果自动分级系统研究的 科研院所并不多，但为我国研究水果分级系统奠定了基础，目前在水果外部品质分级技术 方面的研究主要体现在以下方面。 1 按大小分级 按大小分级是水果分级的一个重要组成部分。应义斌研究了利用机器视觉技术精确检 测水果尺寸方法，建立了图像中的点与被测物体上的点之间的定量关系，他提出利用物体 的边界信息求出物体的形心坐标的新方法。实验表明所测水果最大横径与实际最大横径的 4 相关系数为o 9 6 。“。章文英、应义斌等针对苹果的外形特征，应用苹果的最小外接矩形 ( m e r ) 的尺寸表示横径和纵径，取得了较为理想的结果o ”。高华、王雅琴用傅立叶半径 描述子的前9 个分量测量水果的大小1 。冯斌、汪懋华以苹果的自然对称形态特征为依据， 取垂直于水果轴向的最大宽度为水果大小，水果大小检测最大绝对测量误差为3 m mo “。 2 按形状分级 果实形状是水果品质检测与分级的一个重要指标1 ，宁纪锋、何东健等利用图像形态 学方法，按内切圆面积占苹果图像面积的比例进行分级。利用形态学进行果实品质检测只 需进行膨胀和腐蚀的组合调用，算法容易，但由于反复调用，算法执行效率较低。赵静、 何东健提出用半径指标、连续性指标、曲率指标、半径指标的对称性、连续性指标的对称 性、曲率指标的对称性6 个特征参数表示果形，利用人工神经网络对果形进行识别和分级 “。应义斌、景寒松等提出在黄花梨的分级过程中采用傅立叶变换与傅立叶反变换对来描 述果形。研究发现该傅立叶描述子的前1 6 个谐波的变化特性足以代表梨体的主要形状，采 用傅立叶描述子与人工神经网络相结合的方法进行果形识别的精确率可达9 0 “。 3 按颜色分级 颜色也是衡量水果外部品质的重要指标之一，同时该指标也能间接反映水果的内部品 质。因此按颜色分级也是水果分级的一项重要内容。冯斌、汪懋华通过对不同着色等级的 水果分析，以各色度在水果表面分布的分形维数为特征进行分级，该特征值不仅考虑了各 色度点时累计特性，而且考虑了色度点空间分布特性，使颜色分级更符合实际情况“。何 东健、杨青等通过机器视觉自动检测苹果表面着色度，获取彩色图像，并将r g b 值转换成 h s i 值；在分析苹果颜色特性的基础上，确定了用合适色相值累计着色面积百分比进行颜 色分级的方法。分级试验结果表明，计算机视觉分级与人工分级的一致度在8 8 以上“。 李庆中、张漫等确定了苹果颜色特征的提取方法，利用遗传算法实现了多层前向神经网络 识别器的学习设计。 4 按表面缺陷分级 表面缺陷是水果分级的重要指标之一。李庆中、汪懋华在实数域分形盒维数计算方法 的基础上，提出了双金字塔数据形式的盒维数快速计算方法。对于待识别水果图像的可疑 缺陷区，提出用5 个分形维数作为描述该区域粗糙度和纹理方向性的特征参数，并用所提 出的快速计算方法进行计算，然后利用b p 神经网络作为模式识别器，区分水果表面的缺 陷区和梗萼凹陷区。“”刘禾、汪懋华根据苹果表面缺陷特征，同时考虑缺陷形状的投影畸 变，提出了一种苹果表面缺陷分类方法。该方法利用二叉树将一个复杂的多模式分类问题 分解为多级的、相对简单的二类模式分类问题，并采用人工神经网络与阈值判别相结合的 方法，将苹果表面缺陷分为碰压伤、刺伤、裂果、病虫果和虫伤。何东健、杨青以提 高球形果实表面缺陷面积的计算机视觉测定精度为目的，分析了利用投影图像直接测定球 形果实表面缺陷存在的问题；提出并建立了从投影图像恢复球形果实表面几何特征的像素 点变换法和边界变换法，试验表明，两种方法可使测定相对误差减小3 5 左右“。朱伟华、 曹其新在h s l 颜色模型的基础上，提出了基于模糊颜色聚类的缺陷分割方法。将r g b 颜色 模型转化为h s l 颜色模型，用三角隶属度函数定义h 、s 、l 模糊集，进而构成模糊颜色集， 在该基础上，定义模糊颜色相似度测度，分析两种模糊颜色的形似性。“ 以上是国内学者对水果分级的研究，大多利用一般的微机和图像采集卡，开发一些图 像处理和模式识别的新算法。但由于图像处理硬件速度较低，在研究中未考虑实际分级中 水果传输的动态特性，识别率、效率都很低，多数限于静态水果图像分选的算法研究，很 难满足实际生产的需要。 1 4 本研究的主要内容 本课题为常州市科技攻关项目( 课题编号为c e 2 0 0 4 2 0 6 ) 和南京林业大学“十五”人 才基金项目。本文将以实现苹果的实时自动分级为目的，在总结国内外先进研究成果的基 础上，研究苹果分级的简单、快速处理方法。水果分级流程示意图如图l l 所示，本文主 要研究内容有以下几点： 1 、根据苹果的光学特点，确定图像采集条件( 包括背景的选择和光源的布置) 。 2 、研究以苹果分级为目的的图像的预处理方法，从中选择适合苹果预处理的方法。 3 、研究苹果的图像分割方法，从中选择最适合的方法。 4 、研究苹果的大小特征，建立大小数学模型，并根据该模型实现大小分级。 5 、研究苹果的形状特征，建立形状数学模型，并根据该模型实现形状分级。 6 、研究苹果的颜色特征，采用人工神经网络实现苹果的颜色分级。 本章小结 本章阐明了水果分级的意义，介绍了传统的水果分级方法和机器视觉技术在农业生产 中的应用，分析了国内外用机器视觉技术进行水果品质分级研究的现状及存在的问题，提 出了本研究的主要内容。 待 i # * 分 r _m “目 级 j r 图像采集单j 水 图像采集室设计 果 i 图像采集卡 上 计算机 r 苹果图像处理 一划、当量嚣代替苹果 形状：用圆形度来描述苹 果形状特征 特征提取l i 颜色：用4 个色度均值代 i 替苹果色度值，并用b p i神经网络分级 一优等l 1 确定等级i l 一“ i 一 一二级l 一等外级l 7 圆穗4 擀 h 凿； i 司口* ，j i ：x l 蛙干，u 分级控制机构 土 执行分级 图卜l 水果分级流程示意图( 其中虚线框内为本课题主要研究的内容) 7 第二章基于定向装置的 苹果机器视觉自动分级试验系统 人类通过眼、耳、鼻、舌等器官接受信息，感知并认识和改选世界。视觉作为人类重 要的感觉器官，是人类获取信息的重要来源，占人们依靠五官由外界获得信息总量的 7 5 h 川。图像作为信息传播的媒介，对人类至关重要。人的眼睛从周围环境获取大量信 息后传入大脑，由大脑根据知识或经验，对信息进行加工和处理工作，最后作出理解和判 断。机器视觉就是用计算机模拟人眼的视觉功能和脑的识别功能，从图像或图像序列中提 取信息，对客观世界的三维景物和物体进行形态和运动识别。 2 1 机器视觉与数字图像处理 机器视觉是在2 0 世纪5 0 年代从统计模式识别开始的，当时的工作主要集中在二维图 像分析、识别和理解上，如光学字符识别、工件表面、显微图片和航空照片的分析和解释 等。6 0 年代，r o b e n s 通过计算机程序从数字图像中提取出诸如立方体、楔形体、棱柱体 等多面体的三维结构，并对物体形状及物体的空间关系进行描述。1 9 7 3 年，英国的m a r r 教授应邀在麻省理工学院的人工智能创建并领导一个以博士生为主体的研究小组，从事视 觉理论方面的研究。1 9 7 7 年，m a l t 提出了m a i t 视觉理论。该理论在2 0 世纪8 0 年代成为 机器视觉研究领域中一个十分重要的理论框架。 机器视觉系统一般以计算机为中心，主要由视觉传感器、高速图像采集系统及专用图 像处理系统等模块构成m ，如图2 1 所示。 图2 1 机器视觉系统基本组成模块 基于机器视觉的水果分级系统通常由载物平台( 输送带) 、c c d 摄像机、图像采集 室、图像采集卡、计算机、分级控制装置等构成，其硬件组成示意图如图2 - 2 所示，在分 级过程中，水果位于传送带上方，c c d 摄像机配置在传送带的上方及周边，在传送带的 两侧安装有检测装置。当水果通过c c d 摄像机时，c c d 摄像机将通过图像采集卡将水果 图像传入计算机，由计算机对图像进行一系列处理，确定水果的颜色、大小、形状、表面 损伤情况等特征，再根据处理结果控制伺服机构，完成分级。 8 7 图2 2 机器视觉水果分级系统硬件组成示意图 1 图像采集室2 待分级苹果3 水果输送带4 计算机 5 图像采集卡( 插入计算机内) 6 c c d 摄像机7 光源 在机器视觉系统中，计算机主要负责进行图像处理。图像处理可分为模拟图像处理和 数字图像处理。模拟图像处理( a 1 1 a l o g u ei m g ep r o c e s s i n g ) 速度快，精度低，灵活性差， 基本上无判断功能和非线性处理功能。数字图像处理( d i g i t a li m a g ep r o c e s s i n g ) 是指利用 数字计算机或其他高速、大规模集成数字硬件，以期提高图像处理的质量或达到人们所要 求的某些预期的结果n 。 在机器视觉系统中，数字图像处理常常是必不可少的内容。 一幅黑白图像可用二维函数f ，y ) 表示，其中x ，y 是平面的二维坐标，f ( x ，y ) 表示 点( x ，y ) 的亮度( 即灰度值) ，一幅彩色图像可用f ( x ，y ， ) 表示，其中 为波长。若 是运动的彩色图像还应是时间t 的函数，表示为f ( x ，y ， ，t ) 。 为便于计算机对图像进行处理，必须对连续的函数进行离散化，这个离散的过程就叫 采样。通常把一幅连续图像在空间上分割成m n 个网格，每个网格对应一个像素点，用 一定亮度值来表示，其像素灰度值可以用m 行、n 列的矩阵g 表示。 g = g mg m 2 g 。， 数字图像处理主要包括以下几方面内容： ( 1 】图像获取和表示 主要是把模拟图像信号转化为数字形式，并将其显示或打印出来。主要包括图像获取、 光电转换、数字化等步骤。 f 2 1 图像复原 图像复原的主要目的是去除干扰和模糊，从而恢复图像的本来面目。 ( 3 ) 图像增强 图像增强的作用主要是突出图像中感兴趣的信息，同时减弱或者去除无关的信息，其 主要目的是使处理后的图像对某种特定的应用来说，比原始图像更适用。常用方法有直方 图增强和伪彩色增强等。 9 r 钔图像分割 图像分割是指把图像分成区域的过程，从中找出感兴趣的区域。图像自动分割是图像 处理中最困难的问题之一。 ( 5 ) 图像分析 图像分析是对图像和特征进行提取，从而有利于计算机对图像的分类、识别和理解。 ( 6 ) 图像重建 图像重建起源于c t 技术的发展，是一门新兴的数字图像处理技术，主要是利用采集 的数据来重建出图像，是一种由数据到图像的过程。图像重建的主要算法有代数法、迭代 法、傅立叶反投影法和使用最广泛的卷积反投影法等。 ( 7 ) 图像压缩编码 图像编码研究属于信息论中信息源编码的范畴，其主要宗旨是利用图像信号的统计特 性即人类视觉特性对图像进行高效编码，从而达到压缩图像的目的。图像编码是数字图像 处理中一个经典的研究范畴，有6 0 多年的研究历史，目前己经制定了多种编码标准，如 j e p g 和m e p g 等等。 ( 8 ) 模式识别 模式识别也是数字图像处理的一个新兴的研究就方向，当今的模式识别方法通常由3 种：统计模式识别、句法结构模式识别法和模糊识别法。目前应用广泛的文字识别( o c r ) 技术就是应用模式识别技术开发出来的。 2 2 基于定向装置的机器视觉苹果自动分级 目前，国内学者对基于机器视觉的水果自动分级技术的研究，主要集中于软件算法上， 即研究水果图像的获取、图像处理、分析等，而水果位置的确定、缺陷的查找、分类等工 作均需要计算机完成。由于计算机需要完成所有工作且受硬件条件的限制，分级精度、速 度等均存在很大问题，不能满足实时处理的需要。 国内学者在水果自动分级技术研究中，所研究的水果都是杂乱无章的，光线在水果表 面之间相互反射的不规则造成了摄入水果图像质量的不稳定；水果所处的状态也直接影响 着对其大小和形状的判断，在处理过程中首先要通过大量数据分析来判断其状态；水果缺 陷与梗、萼凹陷等水果固有部位在灰度图像上的相似性又决定了计算机在进行处理时极易 将两者相混淆，c r o w e 、c 锄p i n s 、y a n g 、p e n m a n 等研究发现当数字图像用于缺陷检测时， 不可能在图像分割前确认果梗和花萼“2 6 3 “6 ”，这就需要进行大量复杂的计算来判断，且 结果并不理想，这也是水果自动分级的一个难点。因此水果的状态直接影响着分级的精度 和速度，如能将水果在传送过程中变杂乱无章为井然有序，将大大减少计算机的运算量， 从而提高水果分级的精度和速度。 2 2 1 苹果定向装置设计的基本思路 根据上面的分析，作者提出一种基于机械设计与机器视觉相结合的水果自动分级技 术。其主要思想是设计一种定向装置，通过该装置的机构运动，将原本杂乱无章的水果进 行有序排列，使所有排列后水果的梗、萼全部位于同一方向。在采集水果图像时，就不再 1 0 采集梗、萼区域，在图像处理时也不必对梗、萼进行判断，从而实现图像处理中较为困难 的部分，节省时间，提高分级精度和效率，其分级流程示意图如图2 3 。 i待分级水果 一位置定向卜_ 叫水果图像采集h 无需采集果 i l 一l _ j l r _ _ jl 梗和花萼图像l ll _ j rr 广立_ r i执行分级h 一确定综合等级h 一计算机处理卜_ 一无需对果梗和i 。j 。| 。j i 垄! 兰堡型望f 图2 3 基于定向装置的水果自动分级流程示意图 定向装置需要满足以下几点要求：定向装置的存在不得影响图像采集质量；定向装置 不得影响水果的光照；定向时间要短，且所有水果的定向结果要一致，即所有水果的果梗 和花萼要位于同一方向：水果图像采集不得影响传送设备的正常运转；定向装置结构要尽 可能简单，重量轻，价格要便宜；定向装置要能适用于大小不同的水果；装置要能实现带 果梗水果的定位，并解决由果梗带来的所有问题。图2 4 为试验用定向装置。 图2 4 试验用苹果定向装置 2 2 2 苹果背景的确定 计算机所采集的水果图像质量的好坏对实时准确处理有着非常大的影响，如果图像背 景选择合适，可以大大减少计算机的后期处理，加快处理速度，提高计算效率。在i 虱像处 理中，背景颜色直接关系着图像的分割结果，它的作用是衬托目标，使目标的大小、形状、 轮廓和颜色等特征能明显地显现出来。分割是一种标记过程，即对分割所得属于同一区域 的像素点给予相同的标记值55 1 ，因此水果的背景应当与水果颜色有较大的区分度。为此， 对同一苹果在红、黄、蓝、白、黑五种颜色背景下的苹果r 、g 、b 直方图进行研究，如 红色背景r 红色背景g 红色背景b 黄色背景r黄色背景g 黄色背景b 蓝色背景r蓝色背景g 蓝色背景b 白色背景r 白色背景g 白色背景b 黑色背景r 黑色背景g 黑色背景b 图2 5 不同背景颜色下同一苹果的r g b 直方图 1 2 图2 5 。研究十五张不同背景下的苹果直方图，我们不难发现，当苹果背景为红、黄、蓝 色时，其r 、g 、b 直方图均未出现明显的双峰现象，背景和目标的区分不明显，而当背 景为白色时，g 和b 通道有双峰，背景和目标区分明显，背景为黑色时，r 和b 通道都 有明显双峰，且其灰度分布范围比背景为白色时更广。因此，本研究选择黑色作为背景。 2 3 2 光源的布置 合理的光源布置可以提高图像采集质量和图像处理效率，增强识别结果的准确性。光 源的布置与采光室光线的均匀性以及图像背景的一致性有关。为保证图像采集室内物体表 面的反射特性均匀，光源要对称地布置在c c d 的四周，使室内反射均匀，光源布置示意 图如图2 3 。 uouu ” o v ，、。 v 图2 5 光源布置示意图 i 传送带2 日光灯3 c c d 摄像机4 苹果 本章小结 本章介绍了数字图像的表示方法和数字图像处理的主要内容，介绍了基于机器视觉的 苹果自动分级系统的基本原理和硬件组成，设计了分级流程，提出了基于定向装置的苹果 机器视觉自动分级方法。通过对同一苹果不同背景的直方图进行比较，确定了图像采集的 背景，设计了图像采集光源。 第三章苹果图像预处理方法研究 图像预处理是相对于图像识别、图解理解而言的一种前期处理。不论采用何种手段， 原始的输入图像往往不能令人满意，因此在对图像进行理解前需要进行预处理。 3 1 直方图 在对一幅图像处埋之前，需要了解该幅图像整体或局部的灰度分布情况，从而有针对 性的进行相关处理。 设图像f 的灰度级范围为( z j ，靠) ，p 表示( z ，“) 内所有灰度级出现的相对频 率，p ( z ) 为z 的函数，通常称p 图形为图像f 的直方图。如图3 - 1 为一幅苹果图像的直方 图。其中横坐标代表灰度级，纵坐标代表该灰度级出现的频率，它是图像最基本的统计特 征。 图3 1 一幅苹果图像和它的灰厦直方图 灰度直方图的计算非常简单，在离散形式下， p ( 吃) = 生o s 吃1 l p o ，l ，2 ，l 一1 ( 3 1 ) 力 其中，为图像中出现吒级灰度的像素数，n 是图像像素总数，砌是第k 个灰度级， k = o ，l ，2 ，l 一1 3 2 图像增强 图像在形成、传输或变换的过程中，受诸如光学系统失真、系统噪声、相对运动、曝 光不足或过量等因素的影响，往往与原始景物之间或图像与原始图像之间产生某种差异， 引起图像质量的下降，从而直接影响计算机对图像处理的准确性或使人对图像质量不满 意，这种现象通常称为降质或退化。在对图像进行分析前，需要对其进行预处理。图像预 处理包括两个方面，一是图像的增强，二是图像的复原。 图像增强是图像处理中的一类基本技术，其目的是突出图像中感兴趣的信息，去除或 削弱不需要的信息。通过图像增强一方面可以改善图像的视觉效果，提高图像的清晰度， 另一方面可将图像转换为种更适合人类或机器进行分级处理的形式p “。 图像增强技术可分为频域处理和空域处理两大类。频域处理方法的基础是卷积定理， 通过采用修改图像傅立叶变换的方法实现对图像的增强。空域法是直接对图像中的像素进 行处理，基本上是以灰度映射变换为基础。 1 4 图像复原也是出于改善图像质量目的，一般需要了解退化图像的过程和先验知识，通 过建立降质模型来重建或恢复原有图像。 由于本文所研究的图像是在特定条件下得到的，只需进行简单处理就可以了。 从c c d 摄像头拍摄的图像，常表现出对比度不明显现象，为此需要对图像中像素的 灰度级进行变换，扩大图像灰度级范围，以达到增强图像的目的。 假定输入图像氕x ，力的灰度级范围为【a ，b ，希望变换后图像9 0 ，力的灰度范围扩展 到【c ，d 】，则线性变换可表示为 ，一， g ( x ，y ) = 莩二 ，( x ，y ) 一口】+ c( 3 - 2 ) d 一口 这样做，实际上是使曝光不充分图像中黑的更黑，白的更白，从而增强了图像的对比 度。而对于处理的苹果图像，由于苹果占图像的大部分面积，因此大部分图像灰度级为目 标物体灰度，而小部分为背景灰度，为增强处理效果，需要对上式进行改进，即 g ( x ，j ，) = 0 x ，) ，) a 【，( x ，y ) 一口 + ca f ( x ，y ) b b f 【x ，” ( 3 - 3 ) 利用改进后的算法，既可以将灰度级扩大，增大图像对比度，增强图像，还可以滤除 部分过亮或过暗的图像点，达到改善图像视觉效果的目的。 3 3 图像平滑 图像在形成、传输的过程中，不可避免地受到外部干扰和内部干扰，如光电转换过程 中敏感元件灵敏度的不均匀性、数字化过程的量化噪声、传输过程中的误差以及人为因素 等。“。这些干扰通常被称为噪声。图像噪声按其产生的原因可分为外部噪声和内部噪声。 外部噪声是指系统外部干扰从电磁波或经电源传进系统内部而引起的噪声，如电气设 备、天体放电现象等引起的噪声。内部噪主要有以下几种。： 1 光和电的基本性质所引起的噪声。 2 电器的机械运动产生的噪声。如，各种接头因抖动引起的电流变化所产生的噪声； 磁头、磁带抖动引起的抖动噪声等。 3 元器件材料本身引起的噪声。如，磁带、磁盘表面缺陷所产生的噪声。 4 系统内部设备电路所引起的噪声。如，电源系统引入的交流噪声，偏转系统和筘 位电路引起的噪声等。 5 图像噪声从统计特性可分为平稳噪声和非平稳噪声两种。统计特性不随时间变化 的噪声称为平稳噪声；统计特性随时间变化的噪声称为非平稳噪声。 噪声的存在使得图像质量变差，影响图像处理结果，因此有必要对图像进行去噪处理。 图像去