（农业机械化工程专业论文）番茄收获机器人中视觉目标的自动分割与识别.pdf

江苏大学_ t - 学硕士学位论文 摘要 农产品( 特别是水果) 的自动化收获机器人有着良好的应用前景。在国 外，这项工作已经进行了很多年，并且取得了一定的研究成果；而在国内，这 个领域的应用研究还相对落后，离实际应用还有很大距离。本文以成熟的红色 番茄为研究对象，从番茄收获的实际情况出发，利用番茄的颜色特征，在计算 机上实现了对自然场景下的成熟番茄进行自动分割与识别的方法，为以后实现 番茄的准确定位与机械采摘打下基础。 基于上述目的，本文主要完成的工作有： 1 针对自然环境的复杂多变，本文采集了番茄在不同自然环境下的大量 彩色图片以保证能对所解决的问题有较全面的认识，从而使设计的算法具有良 好的适应性。 2 统计了番茄的各类颜色分布直方图，分析了番茄的颜色特征，为下一 步图像的分割与识别提供判断依据。设计了常见的基于边界和区域的分割方 法，然后试验分析了这些方法对番茄的色度及各类色差图像的分割效果。大量 的试验表明这些方法仍存在的一些不足：对自然环境的变化适应性较差，算法 的稳定性还有待提高。 3 提出了将神经网络应用于番茄图像分割的方法，分析了网络应用的可 行性，然后设计了网络的输入输出和网络的结构类型，并对该网络做了进一步 的参数优化设计与试验分析，确定了网络的最佳参数。试验表明，该网络的分 割效果优于前面的常规方法，但仍有值得研究的地方。 4 本文针对在实际情况中可能存在的几种情况下的番茄目标位置识别问 题( 番茄被遮挡，多个番茄重叠) 做了讨论研究。计算了番茄目标识别中几个 有用的形状和位置特征量。对于重叠的番茄，本文提出了使用距离算法和分水 岭算法将多果分离的方法；并对被遮挡的不完整番茄提出了判定其区域与质心 的方法。 最后，本文总结了所做的主要研究工作，讨论了未来的研究方向。本文的 研究对于将机器视觉应用于水果自动化收获，并最终在硬件上实现水果收获机 器人的识别定位功能具有一定的意义。 关键词：计算机视觉( 机器视觉) ，番茄收获，彩色图像处理，神经网络，特征 识别。 江苏大学工学硕士学位论文 a b s t r a c t a u t o n o m o u sr o b o tf o rh a r v e s t i n gf a r mp r o d u c e s ( s u c ha sf r u i t s ) h a sag o o d a p p l i c a t i o nf o r e g r o u n d i na b r o a d ，t h er e s e a r c hi nt h i sf i e l dh a sb e e nd o n ef o rm a n y y e a r sa n dh a sb e e nh a ds o m e r e s u l t s b u ti n0 1 1 1 - c o u n t r y , t h er e s e a r c hd e v e l o p m e n ti s s l o w t h e r ei sal o n gw a yt oa p p l yt h er o b o tt op r a c t i c e i nt h es t u d yo fm yp a p e r , m y s t u d yo b j e c tm o s t l yi so u t d o o rt o m a t o ，a n dt h ep a p e ra c h i e v e sa ni n t e l l i g e n tm e t h o dt o i d e n t i f yt o m a t oi no u t d o o re n v i r o n m e n t t h ep a p e rm a i n l yh a sb e e na c c o m p l i s h e d w o r ka sf o l l o w e d ： 1 t h eo u t d o o re n v i r o n m e n ti sc h a n g e f u l ，s oal o to fp i c t u r e sw e r eg r a b b e di n s o m ek i n d so fo u t d o o re n v i r o n m e n tt h a tw ec o u l dh a v eag e n e r a lu n d e r s t a n da b o u t a c t u a lp r o b l e m si ni d e n t i f y i n gt o m a t o 2 c a l c u l a t i n gd i f f e r e n tt o m a t oh i s t o g r a m ，t h e na n a l y z i n gt h ec o l o rf e a t u r eo f t o m a t oi no u t d o o re n v i r o n m e n t b a s e do nt h ea n a l y s i sr e s u l to fc o l o r , t w om e t h o d s t h a ta r er e s p e c t i v e l yb a s e do nb o u n d a r ya n dr e g i o nh a v eb e e nd e s i g n e da n dt e s t e di n r g b ( h l s ) i m a g e sa n ds o m ei m a g e s ，w h i c ha r ed e r i v e df r o mr g b ，a n dh l si m a g e s t h ee x p e r i m e n t a t i o n sh a v ep r o v e dt h a tt h e s em e t h o d sa r en o tg o o db e c a u s et h e a r i t h m e t i c sf l e x i b i l i t yi sd i s c o n t e n t e d 3 p u t t i n gf o r w a r da na r t i f i c i a ln e u r a ln e t w o r k ( a n n ) m e t h o d t os e g m e n tt o m a t o i m a g e f i r s t ，t h ep a p e ra n a l y s e st h ef e a s i b i l i t yo fa n n , t h e nt h ep a p e rd e s i g nt h et y p e a n ds t r u c t u r eo fa n n f i n a l l y , t h ep a r a m e t e r so fa n nh a v eb e e no p t i m i z e d t h e e x p e r i m e n t a t i o n sh a v ep r o v e dt h a tt h i sm e t h o di sb e t t e rt h a nt w oa b o v em e t h o d s ，b u t i ta l s on e e dm o r es t u d y 4 a n a l y z i n g t h ef a c t p r o b l e m s i n h a r v e s t i n g ，s u c h a ss e v e r a lt o m a t o e s o v e r l a p p e da n dt o m a t op a r tc o v e r e de t c t h e nu s i n gd i s t a n c ea r i t h m e t i ca n dw a t e r s h e d a r i t h m e t i c , t os e p a r a t es e v e r a lt o m a t o e s p u t t i n gf o r w a r dt w om e t h o d st oc a l c u l a t e t o m a t o sc e n t e ro fg r a v i t yw h e nt o m a t oi sp a r tc o v e r e d f i n a l l y , t h ep a p e rs u m m a r i z e st h em a j o rr e s e a r c hw o r k ，a n dd i s c u s s e st h ef u t u r e a b o u tt h j sr e s e a r c h k e y w o r d s ：c o m p u t e rv i s i o n ( m a c h i n ev i s i o n ) ，t o m a t oh a r v e s t i n g ，c o l o ri m a g e p r o c e s s i n g ，a r t i f i c i a ln e u r a ln e t w o r k ，p a t t e mr e c o g n i t i o n 1 i 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定。同意学位保 、一 留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借 阅。本人授权江苏大学可以将本学位论文的全部内容或部分内容编入有关数据库 进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。 本学位论文属于 保密口，在 年解密后适用本授权书。 不保密氏形 学位论文作者签名： 指导教师签名： 瞍棚 2 帅厂年6 月) le l。r 年月f 日 本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独立进 行研究工作所取得的成果。除文中已注明引用的内容以外，本论文不 包含任何其他个人或集体已经发表或撰写过的作品成果。对本文的研 究做出重要贡献的个人和集体，均已在文中以明确方式标明。本人完 全意识到本声明的法律结果由本人承担。 学位论文作者签名：脒 日期：一2 删s 年6 月f 日 江苏大学工学硕士学位论文 第1 章绪论 1 1课题背景 我国是一个农业大国。农业是国家政治稳定和人民安居乐业的基础。随着 我国加入w t o 以后，农业将面临前所未有的巨大挑战和机遇。目前，国际 化、机械化、自动化已成为我国农业发展的一个基本趋势。加入世贸组织将是 我国农业向国际化、机械化、自动化迈进的极为关键的一步，它有利于我国农 业更好地进入世界市场，同时也将给农业机械的发展带来严峻挑战。当今科技 的发展和农业作业模式的变革促进了农业机械的升级和进步，对农业机械的智 能化、自动化的要求也越来越高；而农业机器人作为高科技时代的产物，是农 业机械智能化的中坚力量，在农业工程中有着广阔的前景。可以预见，2 1 世纪 将是农业机器人在实际中广泛应用的世纪。 农业机器人的优点是显著的【l 】：提高农业劳动生产率，解决劳动力不足的 问题；改善农林业人员的生产环境，防止农药、化肥等对人体的伤害：提高作 业质量和作业成功率等等。目前，在日本、美国、荷兰等发达国家，由于农业 人口的减少，农业生产的规模化、多样化和精确化，劳动力不足的现象越来越 明显。这些因素都促进了农业机器人在上述国家实际生产中的应用。 在我国，由于机械化、自动化程度比较低，8 0 的人口是农民，人均土地 面积非常少，所以农业机械化、自动化的需求似乎不像发达国家那么迫切。但 是随着科技的发展，信息化的要求，同时为了适应精确农业的需要，不管是从 技术上紧跟国际发展趋势，处于竞争的有利地位；还是在实现农业的新发展， 促进国民经济发展等方面，农业自动化方面的研究都有着相当重要的影响，是 实现农业现代化必不可少的一环。 机器视觉是农业自动化作业中一个十分重要的前期环节，因为任何一种农 业自动化设备都依赖于对作业对象的正确识别。机器视觉技术在农产品自动化 领域中的应用是目前最受关注的研究课题之一，国外目前已有不少成果用于实 际生产。机器视觉在农业自动化领域的应用包括农产品的检测分级、农产品的 生长监控和农产品的种植收获等等。但是，哥前在国内机器视觉的研究还主要 集中在农产品品质检测和分级上，而对于其在蔬果自动化种植、收获方面的研 究应用还不多。目前，国外在机器视觉技术应用于农产品收获和加工自动化领 域已有部分研究成果得到实际应用，而我国仅有少数学者做过这方面的研究， 尚处在起步阶段，与国外相比差距较大，离实际应用还有很大的距离。所以， 必须进一步开展广泛、深入的研究，在充分了解国内外在农业自动化收获领域 江苏大学工学硕士学位论文 的发展状况的基础上，借鉴国外的先进经验，缩小我国在这个领域与国外先进 水平的差距，提高我国农业生产的自动化和智能化水平，以满足未来农业自动 化收获等方面作业的需要，早日使这项极有应用前景的研究在国内与商品化生 产实际相结合1 1 2国内外研究现状 机器视觉也可称为计算机视觉。它是利用一个或多个图像传感器获取物体 的图像，然后将图像传送到计算机或特定的d s p 芯片等系统中，并利用计算机 或d s p 芯片等系统中相应的程序模块来模拟人的判断准则去理解和识别图像， 从而达到分析图像和做出结论的目的。它是一门包括了数学、光学、计算机科 学、模式识别、数学形态学、人工智能、自动控制、c c d 技术等等众多学科综 合组成的交叉学科。这项技术是2 0 世纪7 0 年代在遥感图像处理和医学图像处 理技术成功应用的基础上逐渐兴起的，并逐渐应用于多种领域1 2 】。机器视觉在 农业上的应用是目前国内外的一个热点研究课题。其涉及领域十分广泛，贯穿 于整个农业生产过程中，如种子的辨别，作物的种植、生长监视和最终收获， 农产品的检测与分级等等。下面对机器视觉技术在农业自动化收获中的国内外 研究现状做简单的介绍。 1 2 1国外研究现状 机器视觉技术在农产品自动化收获领域中的应用是目前农业领域中最热门 的研究课题之一。国外( 如英国、法国、荷兰和日本等) 已经都做了大量的研 究，其中已有部分成果应用于实际的生产。 s i t e sp w 1 3 1 1 4 1 等研究了一套图像采集系统及图像增强和特征信息的提取 算法，他们采用的全域阈值法、图像光滑及分割等预处理方法可以明显地增强 原始图像及“多果”、“单果”和“噪声”的几何差别，并可以去除许多噪 声。他们分别于白天和晚上在桃园和苹果园进行了试验，结果表明提取的特征 信息可以将目标分成“多果”、“单果”和“噪声”，该方法识别水果的正确 率约为8 9 。 s l a u g h t e l dc 1 3 胴等利用在自然环境下拍摄图像的亮度和色度信息识别桔 子，他们建立了利用彩色图像颜色信息从桔树上识别桔子的识别模型，试验证 明在自然环境下识别桔子的正确率约为7 5 ，识别桔子形心的误差约在6 ，速 度基本能满足实际工作的需要，但精度较低。 德田胜等【3 】【6 1 研究开发了一套用于西瓜收获机器人的机器视觉系统。他们将 摄取到的西瓜图像类型从r g b 变换为h s i 。然后观察其色调和饱和度。他们发 现色调直方图中的峰值像素数与峰值左侧的像素数之比随着西瓜成熟度的增加 江苏大学工学硕士学位论文 而减小( 如图1 1 所示) ，图像饱和度的平均值随着西瓜成熟度的增加而线性下 降。据此可利用机器视觉技术检测西瓜的成熟度，从而控制收获机器人采收成 熟度合适的西瓜。另外，他们还提出利用送风装置摇动叶子，再对所产生的连 续动态图像进行处理，可检出利用普通方法无法检出的隐蔽西瓜。 9 _ n 量5 挂 誊， 江苏大学工学硕士学位论文 红色时，探测范围可以从1 5 m l l j 5 5 m ，当为黄绿色时，距离在2 m l j 4 m 。测量距 离误差大约为5 。 v a nh e n t e n ”】等开发出了一个温室智能黄瓜收获机器人系统。该系统包括 四个收获机械人和一个机器人停靠站。每个机器人包括智能控制运动装置、采 摘操作手、终端感应器( 防止机械对黄瓜产生伤害) 和两个计算机视觉控制系 统( 采用两个c c d 进行3 维重建的方法用于黄瓜的识别定位) 。由终端控制单元 为机械手产生在收获过程中无碰撞的运动轨迹，完成采摘的全过程。其视觉系 统经过实验证明可以识剐出温室中9 5 的黄瓜。在实际应用中，该系统的机器 人能达到8 0 的采摘成功率，平均每个机器人采摘一个黄瓜大约需要4 5 秒。 除此以外w h i t t a k e ra ，d i t 3 、k o n d 。n 1 1 q 等和i d m 五7 于步i t s 等许多 研究人员也在这个领域做了很多工作。 1 2 ，2 国内研究现状 相对国外而言，我国在农业自动化收获领域的研究则显得不足，尚处在起 步阶段。周云山、李强”等用机器视觉技术在采摘器上对蘑菇进行识别。该系 统主要由蘑菇传送带、摄像机、采摘机器手、三自由度气动伺服机构、机器手 抓取控制系统和计算机等组成。采摘机器手由三自由度的气动伺服机构根据计 算机视觉系统提供的信息传送到指定位置。抓取动作由抓取控制系统完成。当 机器手到位后机器手的橡胶吸盘通入压力空气把蘑菇投入盒中。计算机视觉系 统为蘑菇采摘机器提供分类所需的尺寸、面积信息，并引导机器手准确抵达待 采摘蘑菇的中心位置，防止对不准，影响吸盘的密封造成抓取失败或损伤蘑菇 的现象。 张瑞台、姬长英【”等运用双羁视觉的方法研究了番茄收获中番茄的精确定 位问题。通过实验发现：当目标与摄像机的距离为3 0 0 m m 一4 0 0 i r a 时，其深度误差 可控制在3 - 4 。但是对番茄的识别问题设有做深入的探讨。 杨国栳l l ”等介绍了农业机器人利用计算机视觉为向导采用色度和强度信息 对自然背最下的果实进行采摘的方法，提出了仅用颜色特征采用贝叶斯决策分 类模型对自然背景下的西红柿进行判别并应用质心计算技术对这种分类模型进 行了评价，褥出对西红柿像素分类的正确性在8 0 以上的结论； 。 综上所述，有关农产品自动化收获的进一步研究与应用为机器视觉技术在 本领域的应用提供了广阔的前景。虽然，目前国外的科技人员已经取得了不少 研究成果，但是还有许多急需解决的问题。例如，如何进一步提高在自然光照 和背景变化的实际生产环境中鉴别农产品的精度和速度；如何提高对多品种目 标的识别精度等等。目前，我国对机器视觉技术在农业上的应用研究大都集中 江苏大学工学硕士学位论文 在农产品品质检测领域，仅有少数学者做过机器视觉技术在农产品自动化收获 领域的应用研究工作，与国外的研究相比还有较大的差距，离实际应用还有一 定的距离，急需进一步开展广泛而深入的研究，以满足提高农产品收获的自动 化程度和提高农业生产效率的需要。 1 3研究内容 本文是江苏教育厅自然基金的资助项目( 项目号：0 3 k j d 2 1 0 0 7 4 ) 的组成 部分之一。本文的主要任务是跟踪世界的先进技术，充分利用国内外在这方面 已取得的研究成果，并结合我国实际，探索出一套切实可行的适合农产品收获 的彩色视觉系统和图像处理算法，为促进该技术在我国农业工程领域的研究与 应用尽一份力。 1 3 1技术路线 机器视觉的处理过程一般可以用下图1 2 表示： 图1 2 机器视觉系统的处理流程 根据上述流程，本文具体的研究内容主要有： 1 图像的采集。为了对自然环境下的复杂情况有充分的了解，弥补过去 同类研究中对样本图像获取不足的缺陷；本文在各类自然环境下采集了大量的 番茄图像用以今后的分割与识别研究。 2 建立图像处理分析软件。由于没有现成适用的图像处理识别软件，本 文使用c + + 语言开发了一套较完整的适用于本文研究的图像处理分析软件。 3 图像的前期处理研究。讨论了对采集图像的噪声去除方法：统计并分 析了大量番茄图像在r g b 与h l s 下及其各类色差图像的直方图与二维直方图 分布；讨论了各种常规方法在番茄图像分割中的表现，包括边界的分割与区域 的分割，各类色差图像与r g b 彩色图像的分割对比。 4 神经网络在番茄图像分割中的应用。分析了神经网络在番茄图像分割 中的可行性，设计和优化了神经网络结构，并分析了它的特点。 5 特征量的统计分析。特征量是计算机用以描述番茄及其状态的基本方 式。本文分析了番茄在完整显示及被遮挡和多个目标接触或重合等三种情况下 的一些特征量。如长短径，紧密度，周长，面积等等。 6 分水岭算法的应用。分水岭算法可以应用于多重目标的分离和图像的 区域分割中，本文主要讨论了分水岭算法在番茄目标重合中的应用。 江苏大学工学硕士学位论文 7 番茄的位置识别。针对不完整显示的番茄情况，讨论了2 种确定其区 域与重心的方法。 1 3 2关键问题 首先，本文的研究对象是在自然环境下采集的番茄图像。采集的图像受很 多因素的影响，其中包括天气、地点、时间、光线、拍摄角度和拍摄距离等 等。这些因素对于番茄图像分割与识别算法的稳定性和精确度有重要的影响。 因此，本文将研究重点放在如何确定番茄与背景之间最优分割阂值的确定上， 并进而提出了具有良好稳定性和精确度的神经网络分割方法。 其次本文研究的最终目的是为机器人采摘提供番茄的位置信息：而在实 际采集的图像中，不完整显示的番茄和多个番茄重叠的情况都会影响到将来番 茄的定位与采摘，本文针对这两种情况也做了一定的研究，并提出了相应的解 决方法。 1 3 3预期效果 本文的预期效果是研究出快速而稳定的成熟番茄目标分割与识别算法，期 望能够满足实时作业的要求，且具有很高的识别率，能为后期实际空间定位提 供良好的位置信息。 1 4 本章小结 本章主要阐述了在自然背景下成熟番茄自动分割与识别方法研究的目的和 意义，对国内外在农产品自动化收获领域的研究现状作了介绍和分析。最后简 要介绍了本文的研究内容、关键问题及预期效果。 - 6 江苏大学工学硕士学位论文 第2 章机器视觉系统的理论与实现 本文的研究需要拍摄和分析大量的图像资料，一个工作良好的机器视觉系 统是本文研究得以继续的前提，本章在理论和实际两方面对该视觉系统的建立 分别做了论证和介绍。 2 1机器视觉系统的理论基础 机器视觉系统是为了完成视觉任务，即采集、处理、分析、理解视觉信息 而构造的系统。对于一个通用视觉系统来说，其性能主要取决于两方面的因 素：一方面在总体上如何组织的，由哪些模块组成，模块间如何联系：另一方 面每个模块内采用了何种技术，如何对信息进行加工。在这里，一个完善的机 器视觉理论对整个系统的建立起着重要的指导作用。 机器视觉的研究始于6 0 年代，在7 0 年代后取得了长足的进展，这主要归功 于m a r r 的机器视觉理论的提出。m a r r 的理论系统地概括了心理物理学、神经生 理学、临床病理学等方面的研究成果，提出了一个较为完善的视觉系统框架模 型。它的提出使得人们对视觉信息的研究有了明确的内容和较完整的基本体系。 m a r t 理论【1 9 】的要点如下： 1 视觉是一个复杂的信息加工的过程。 这里要解决两个问题：一个是视觉信息表达问题，另一个是视觉信息的加 工问题。 2 视觉信息加工的三要素。 要完整的理解和解释视觉信息，完成视觉任务，需要同时把握三个要素： 计算理论、算法实现、硬件实现。他们的含义可以解释如下表2 1 表2 1视觉信息加工三要素的含义 要素 名称 含义和所解决的问题 l计算理论什么是计算目的，为什么要这样计算 2表达和算法 怎么样实现计算理论，什么是输入输出表达，用什么算法实现表 达间的转换 3 硬件实现怎样在物理上实现表达和算法，什么是计算结构的具体细节 3 视觉信息的三级内部表达。 m a n ：的视觉理论将视觉信息的处理过程自下而上分成三个阶段： 第一阶段：e a - - 维图像中的边缘点、直线段、曲线、顶点、纹理等特征组 成“基元图”。 第二阶段： 对环境的2 5 维描述，即重建三维物体在观察者为中心的坐标 江苏大学工学硕士学位论文 系下的三维位置，是部分的、不完整的三维信息描述。 第三阶段：进一步处理以得到物体本身在某一坐标系下的完整三维描述。 按照m a n 的理论，整个视觉任务的完成过程如下图2 1 所示： 广象素表达下基素表达r2 s 0 表达下3 0 描述 输入图早期加工中期j j n q -后期加工 图2 1 视觉任务的处理过程 4 视觉信息处理是按照功能模块形式组织起来的。 根据这个观点，复杂的处理可用一些简单的独立功能模块完成，然后根据 环境用不同的权系数结合不同的模块来最终完成视觉任务；从而可以简化研究 方法。降低具体实现难度，符合工程角度的要求。 5 计算理论形式化表示必须考虑约束条件。 在图像采集过程中，原始场景中的信息会发生各种变化，包括：( 1 ) 当3 - d 的场景被投影为2 - d 图像时，丢失了物体深度和不可见部分的信息；( 2 ) 图像 是从特定视角获取的，同一物体的不同视角图像会不同。另外由于物体遮挡也 会丢失信息：( 3 ) 成像投影使得照明、物体几何形状和表面反射特性、摄像机 特性、光源与物体和摄像机之间的空间关系等都被综合成单一的图像灰度值， 很难区分；( 4 ) 在成像过程中不可避免地会引入噪声和畸变。 针对这些问题，我们要根据外部客观世界的一般特性找出有关问题的约束 条件，并把它们变成精密的假设，从而得到确凿的、经得起考验得结论，约束 条件一般是借助先验知识获得。 m a r t 的理论是对视觉研究第一个影响较大的理论。多年来对图像理解和机 器视觉的研究发展起了重要作用，虽然它还有一些不足。近年来人们提出了一 系列改进的思路，不断丰富这个理论，在本文中不再作详细介绍。 本研究中的机器视觉系统主要就是按照m a r t 的视觉理论模型来构建的。但 是，本文所研究的内容还仅限于图像的2 维识别表达领域，没有讨论图像目标 的3 维空间求解。 2 2机器视觉系统的实现 2 2 1硬件构成 从硬件上讲，机器视觉系统般可以分为两类：一类是基于p c 图像采集 卡的视觉系统，另一类是基于非p c 的集成视觉系统，主要采用d s p 芯片或其 他集成电路来完成计算。本文的研究采用的是前者，因为它的灵活性和适应性 较好，适合科学研究的需要，缺点是工作环境不易改变。 江苏大学工学硕士学位论文 一般地，基于p c 图像采集卡的视觉系统由c c d 摄像头、图像采集卡、个 人计算机( p c ) 、光箱及光源等组成。 c c d 摄像头和图像采集卡完成了图像的原始输入。个人计算机主要完成了 对图像的“基素表达”及其后期处理，包括一系列的图像处理和识别算法。光 源和光照箱属于辅助的图像输入环境控制设备。 根据本文的实际研究需要，本视觉系统的硬件设备包括c c d 摄像头、图 像采集卡、p c 计算机和数码相机等。因为本文的研究对象是在自然环境中的， 所以没有采用光源和光箱。 c c d 摄像头：图像的获取器件，将来自被测对象的光线通过特定的光学系 统转化为电信号加以记录。本文采用p u l n i x 公司的t m c - - 7 d s p ( n t s c ) 彩色 c c d 摄像头。 图像采集卡：图像采集卡可以将摄像头采集的电信号转换为数字信号，将 图像数字化，以便计算机对其进行各种必要的处理。本文采用m a t r o x 公司的 m e t o r - i i m c 采集卡。三通道模拟可变帧扫描输入，支持逐行隔行黑自或彩色 r g b ，采样频率最高3 0 m h z ，图像抖动+ - 1 5 ，可变增益放大器，三个2 5 6 x 8 b i t 可编程l u t s ，分离的点时钟、行同步、场同步、曝光及辅助的f o ，同步或 异步触发输入，可接2 个r g b 或6 个黑自信号源，4 m b 缓存。 p c 计算机：主机采用i n t e lp 41 7 g 处理器，2 5 6 m 内存，4 0 g 硬盘。图像 处理的运算量大，运算时间长，经过试验研究，采用以上配置可以满足要求。 数码相机：拍摄自然环境下的图像以供p c 计算机处理研究。本文的研究 对象是在自然环境下工作，但是传统的基于p c 的视觉系统很难有条件在实际 的农田中工作。基于下述原因，本文使用c c d 数码相机以代替c c d 摄像头完 成大部分的图像采集任务：( 1 ) 本文现阶段的研究内容还仅限于目标的二维识 别研究并不涉及目标的三维空间定位研究；( 2 ) 数码相机和c c d 摄像机在成像 的硬件与原理上并无区别；( 3 ) 数码相机的使用十分方便，具有全天候工作的 条件，便于采集各种自然环境下的番茄图像。 2 2 2软件实现 本机器视觉系统的软件部分是本文研究的重点部分之一，它主要完成用户 和系统的界面接口，提供各种所需的处理模块，完成图像的“基素表达”及后 期操作。一个完整、高效与操作简洁的软件系统对于机器视觉系统能否稳定高 效准确的运行至关重要，并对保证本文研究的顺利进行具有重要意义。 ( 1 ) 开发环境与工具：本软件的开发平台是在w i n d o w s 2 0 0 0 下。软件采 用的开发试验工具有v i s u a lc + + 6 0 、m a t r o xi m a g i n gl i b r a r y ( m i l ) 视觉开发 软件包和m a t l a br 1 2 。 江苏大学工学硕士学位论文 u s u a lc + + 6 0 是m i c m s o f i 公司开发的一套功能强大的软件开发工具，其开 发出的程序有着运行速度快、可移植性高等优点。 m i l 是m t r a o x 开发的一套专业的高层视觉开发库，包含大量的优化函数用 于图像的采集，传输，处理( 点对点、统计、滤波、形态、几何变换、快速傅里 叶变换、j p e g 编解码及图像分割) ，模式匹配，区域( b l o b ) 分析，测量，校 正，条码和矩阵码读取，o c r ，图形，显示等等。为了能够快速开发w i n d o w s 应用程序，m i l 中捆绑了a c t i v e m i l 。它是专为控制图像采集、传输、处理、 分析及显示而集成的a c t i v e x 控件。a c t i v e m i l 完全地融入了微软的v i s u a l b a s i c c + + 快速应用开发( r a d ) 环境中。使用a c t i v e m i l ，用户可以专心于图像 任务而不是完善用户界面，从而节省时间。在本文中，v c 与m i l 共同用于开 发图像的采集与处理软件。 m a t l a br 1 2 是m a t l l w o r k 公司开发的工程数值计算。m a t l a b 易于使用，功 能强大，广泛应用于数值计算、信号处理、控制系统设计、通信和系统仿真等 领域，非常适合科学研究的需要。在本文中，m a t l a b 主要用于数据统计计算和 神经网络计算。 ( 2 ) 本软件利用v c 6 o h 和m i l 结合开发，累计代码1 0 0 0 0 余行，在功能 上，完全满足了实际的应用要求，并在w i n 9 x 及谢n 2 0 0 0 下钡4 试通过，具有良 好的兼容性。本图像处理软件的运行界面如图2 2 所示： 图2 2 图像处理软件的运行界面 t o 江苏大学工学硕士学位论文 ( 3 ) 功能介绍：根据功能划分，本软件可以分为用户界面模块、图像采 集模块、文件的输入输出模块、图像的处理模块、图像特征计算模块、自定义 模块等部分。 a 用户界面模块：用于完成用户和系统的交流与通信，显示图像的不同分 量和处理结果，显示算法处理过程中的相关信息( 如采用的模板和计算时间) 等。 b 图像采集模块：控制图像采集卡和c c d 摄像头的采集，包括设置采集 的一些参数( 采集图像的类别与大小) 和图像的采集方式( 单帧采集或连续帧 采集) 。 c 文件输入输出模块：保存图像处理的结果；读取保存在硬盘或其他存储 介质上的图像文件。支持读取与保存的文件包括：+ b m p 、* j p g 、* t i f f , * m i m 等等格式。 d 图像处理模块：该模块提供了常见的图像算法处理功能和本文中使用的 一些图像处理算法，主要有：图像的点对点运算、空域和频域操作、直方图统 计和直方图均衡化、图像的阈值分割、形态学操作、色彩空间的变换等等。 e 图像特征计算模块：该模块主要是对图像分割后的区域进行特征量的计 算并提供特征的条件滤除，也可以称为图像的b l o b 分析。可测量的特征物理 量包括面积( a r e a ) 、周长( p e r i m e t e r ) 、长短径( f e r t e r ) ，紧密度 ( c o m p a c t n e s s ) 、重心( c e n t e ro f g r a v i t y ) 和边框( b o x ) 等。 f 自定义模块：提供对图像的批处理操作以简化用户处理大量图像时的工 作量。另外，该模块还实现了本文提出的完整图像处理流程，实现了从原始的 输入图像到最终的识别结果获取。 2 3 本章小结 本章说明了本文中机器视觉系统的建立过程。首先介绍了建立机器视觉系 统的理论基础。然后分别从硬件和软件两方面介绍了本机器视觉系统的构成。 江苏大学工学硕士学位论文 第3 章番茄图像的采集与处理 从采集的原始样本图像到初步获得番茄目标的分割图像是本章主要讨论的 内容，其中包括图像的噪声去除，番茄图像的直方图统计分析，图像的常规方 法分割研究等。目前，图像处理还没有统一的权威性的定义，因为还没有一个 可以衡量图像处理质量的通用标准。一个适合的图像处理流程需要经过大量的 试验验证才能最终确定。所以，本文要充分结合理论知识和实际需求，逐步分 析解决番茄图像处理与识别中的问题。作为收获机器人视觉系统的一部分，本 视觉系统的图像处理流程应该遵循以下几个原则： 1 实时的原则；收获机器人从“看”到水果到执行采摘动作，这个过程 是不能过长的。在采摘全过程中视觉识别的时问应该控制在一定的时间内。 2 简单的原则：作为在田间作业机器人的视觉系统应该易于处理和实 现，其算法的复杂度不应该过高，而导致难以在软硬件上实现。如果算法简单 并易于实现，则同时也容易满足实时性的要求，这两者是相辅相成的。 3 良好的适应能力：当然这个收获机器人视觉系统的图像处理算法还应 该保证本文在第一章中所要求的较高识别率为前提。 3 1番茄图像的采集 为了使番茄目标的分割与识别算法对自然环境因素的影响具有很好的适应 性，需要采集番茄在各种自然环境下的样本图像。而根据未来该视觉系统工作 环境的特点，在采集番茄的样本图像时，需要注意以下几个重要的影响因素： 时间，地点，天气，拍摄角度和拍摄距离。本文具体的采集环境如下： 时问：番茄的成熟期7 、8 月，包括上午6 8 点，中午l 一3 点，傍晚5 7 点。 地点：田间种植，大棚种植。 天气：晴天，多云和阴雨。 拍摄角度： 向光，背光。 拍摄距离：3 0 c m 1 2 0 c m 。 按照上述要求，一共采集了这些因素各种组合条件下的番茄样本图像共计 5 0 0 幅，采集的目标对象是红色的成熟番茄，基本上满足了本文研究的需要。 3 2 噪声去除 试验拍摄的图像不管采用何种方式。在拍摄、传送和处理过程中难免遇到 各种外界因素( 噪声) 的影响，还有拍摄设备本身的一些系统误差，这些误差 超过一定程度后都会影响到我们拍摄图像的质量和后期的目标分割与识别。所 江苏大学工学硕士学位论文 以有必要首先进行图像的噪声去除，也就是滤波处理。 一般地，图像的滤波处理可以分为空域和频域两种方法【2 0 】。空间滤波是对 图像像素的直接操作，也就是在待处理图像中逐点的移动掩模( 也叫模板操 作) 。其机理是在每一点( x ，y ) 处，滤波器在该点的响应通过事先定义的关系 来计算。空间滤波包括线性空间滤波和非线性空间滤波。对于线性空间滤波， 其响应由滤波器系数与滤波掩模扫过区域的相应像素值的乘积之和给出。假设 滤波器是3 3 的掩模，则在图像中的( x ，y ) 处，用该掩模线性滤波的响应r 为： r = w ( - 1 ，- 1 ) f ( x l ，y 1 ) + 以- 1 ，o ) f ( x - 1 ，y ) + + w ( o ，o ) 厂( 力+ ，、 + w ( 1 ，o ) f ( x + l ，y ) + w ( 1 ，1 ) f ( x + l ，y + 1 ) 其他m x n 大小盼模板则依此类推。 对于非线性空间滤波，其机理与线性空间滤波一样。所不同的是它的响应 算法是非线性的。如中值滤波，其响应是基于图像滤波器包围的图像区域中像 素的排序，取第5 0 个值而得名。中值滤波对脉冲干扰和椒盐的抑制效果较 好，在抑制随机噪声的同时能使边沿减少模糊。 ( t ) 模板系数的选择。对于线性滤波器，采用了常见的高斯滤波模板 i - 1 2 1 1i - 111 土 24 2 l 和均值滤波器三i i1 1 ( 黑点表示滤波器中心元素，对应图像的 1 6 l 1 2 l j9 【1 l l j 处理点) 。对于非线性滤波器采用了应用最为广泛的中值滤波器。模板的大小都 是3 3 模板。试验表明，中值滤波的效果是三种算法中最符合课题需要的： 既较多地去除了一些不相干的细节，又较好的保持了识别目标的特征细节。 ( 2 ) 模板大小的选择。验证了3 x3 、7 7 、1 5 1 5 等大小的均值滤波 器和中值滤波器的滤波效果。试验表明，随着使用的模板增大，图像的细节消 除明显，图像变得模糊，不利于后期边界的提取。同时随着模板的增大，滤波 的时间也在增加，导致不能满足实时性的要求。 在多次重复应用相同模板对，使用均值滤波器的图像越来越模糊，相对来 说，中值滤波器对图像的影响要小。中值滤波与其他线性滤波器相比，由于没 有进行领域的平均运算，所以对目标本身的颜色值改变很小，这一点对于以后 目标的颜色统计分析是很好的。需要说明的是。因为课题的研究对象是彩色图 像，采集的原始图像是r o b 格式输入的图像，包括r g b 三个分量。对于线性 滤波器，彩色图像的处理可以看成是对标量的处理，即可以分别对r g b 三分量 图应用模板滤波，将结果叠加。而对于中值滤波器这样的非线性滤波器，在彩 色向量空间执行时就必须找到一种向量排序方案1 2 1 l ，这一过程相当复杂。所 以，在本文的处理中，使用了与均值滤波相同的方法对彩色图像进行中值滤 1 3 江苏大学工学硕士学位论文 波，试验表明，滤波效果可以满足要求，同时计算时间大大减少了。综合以上 的分析和试验比较，选择3 3 模板的分量中值滤波法作为滤波处理的主要方 法。 对于频域的滤波，我们知道在数字信号处理中信号的滤波可以用卷积的形 式表示。而在数字图像处理中，图像卷积的基本概念和机理是和空间域滤波的 机理一致的。所以，从某种意义上说，在频域滤波和在空域滤波是相同的，而 将图像变换到频域，再反变换到空域的计算量( 如常见的f f t 和i f f t ) 是相当 大的。所以，考虑到实时性的要求，本文没有讨论在频域对图像进行滤波处 理。 3 3番茄的颜色特征 3 3 1颜色模型 本文中研究的图像是彩色图像，因为彩色图像包含了比灰度图像更为丰富 的信息内容，更有利于对目标的识别。人类大脑对颜色的感知和理解是种复 杂的心理和生理现象，虽然这一现象还没有完全被了解，但是对于颜色空间的 划分模型，研究人员已经根据实际问题提出了不少相应的理论模型。试验表 明，在不同的颜色空间下图像处理的效果有很大的不同，所以选择在一个合适 的颜色模型下进行图像的分析与处理很重要。本文中主要用到r g b 和h l s 两 种颜色模型。 3 3 1 1 r g b 颜色模型【2 2 】 根据人眼的结构，所有颜色都可以看作3 个基本颜色红( r e d ) ，绿 ( g r e e n ) 和蓝( b l u e ) 的不同组合。在r g b 颜色模型中。每种颜色出现 在红、绿、蓝的原色光谱分量中，这个模型是基于笛卡尔坐标系统的，3 个轴 分别为r 、g 、b ，如图3 1 所示。 图3 1r g b 模型示意图 这种模型是面向硬件的，我们采集的彩色图像一般就是被分成r 、g 、b 的 1 4 罗 江苏大学工学硕士学位论文 成分加以保存处理的。 3 3 1 2 h l s 颜色模型【2 4 】 r g b 颜色模型很易于硬件的实现，但是不能很好地解释人眼对色彩的感 受。与r g b 模型相比，h l s 颜色模型与人对色彩的感觉较为一致，反映了人 类对色彩的认知方式，在图像处理上也较为方便。在h l s 颜色模型中，h 代表 色度( h u e ) ，l 代表亮度( l i g h t n e s s ) ，s 代表饱和度( s a t u r a t i o n ) 。这个模型 基于两个重要的事实：1 l 分量与图像的彩色信息无关；2 h 和s 分量与人感 受颜色的方式是紧密相联的。 在空间描述上，它是一个双圆锥体，如图3 2 所示。 l 青 s 鄹3 2h l s 模型示意图 色调用红色为起点的角度表示，沿反时针方向环绕h l s 模型时，颜色将按 着下面的顺序出现：红、黄、绿、青、蓝、品红；它是绕圆锥中心轴的角度。 饱和度是颜色点与中心轴的距离：在轴上各点，饱和度为0 ，在锥面上各点，饱 和度为1 ，灰度光的饱和度为零。亮度是从下锥顶点的0 逐步变换到上锥顶点的 1 ，它不受其它颜色信息的影响，因此可以减少照明亮度产生的影响。 3 3 1 3 r g b 与h l s 颜色模型的转换 由于爵像处理的要求，我们需要在这两个模型之间进行转化。 从r g b 到h l s 转换的转换公式口5 1 ： l = 毒( 尺+ b + g )( 3 2 ) s 2 1 一i i ：丢i 面【m l n ( r ，g ，曰) 】( 3 - 3 ) = a r c c o s ；。r 【(