（农业生物环境与能源工程专业论文）收获机器人成熟番茄视觉识别技术研究.pdf

江苏大学硕士毕业论文 摘要 近年来，农业生产正朝着规模化、多样化、精确化方向发展，农业劳动力的 成本迅速上升，劳动力不足的现象日趋明显，农业机器人技术越来越受到关注。 本研究针对番茄收获过程中的视觉识别系统存在的问题( 室外作业光照变化，实 时性要求) ，对番茄收获机器人视觉识别系统作如下研究： ( 1 ) 实验系统设计。阐述了双目视觉机器人视觉系统的软硬件组成与设计： 介绍了本课题的实验环境，并根据实验环境和实验要求设计了图像采集的实验方 案。 f 2 ) 图像预处理。通过实验比较彩色图像锐化处理的几种算法，得出采用 p r e w i t t 算子有较好的边缘增强效果。并提出了去除图像中噪声的多种滤波算 法，实验证明，中值滤波算法计算简便，处理时闻相对较少，基于机器人视觉系 统实时性的考虑，本论文作者选用了中值滤波算法。 ( 3 ) 图像的分割识别。根据比较各种颜色模型的优缺点，结合机器人视觉的 特点，本研究选择能把亮度信息从颜色中分离的h s i 和y u v 两颜色空间作为颜 色分割的模型，并以此提出了h s i 颜色模型色调直方图统计的双阙值方法和基 于y u v 颜色空间色差闽值分割方法。其中，本文作者首次提出了将基于y u v 颜色空间的分割方法应用于成熟番茄识别，实验证实，该方法有很好的分割效果。 且具有较好的实时性。 f 4 )图像分类和特征提取。本文作者提出腐蚀加膨胀的算法以及种子填充 算法消除对成熟番茄分割后残留的噪声。在特征提取中，提取了面积和质心两个 特征，其中质心特征的提取是为后面的目标定位研究做准备。 ( 5 1 根据所提出的算法，在v i s i o nc + + 6 0 环境下编程设计了成熟番茄视觉 识别软件( r o b o t v i s i o n l 0 ) ，并对上述算法进行了实验验证和比较。 本文的研究内容对我国开展农业收获机器人视觉识别技术领域的研究具有 重要的参考价值，对提高我国农业的国际竞争力有重要的经济意义。 关键词：番茄，收获机器人，视觉识别技术，彩色图像，颜色空间y u v 颜色空 间，分割 江苏大学硕士毕业论文 a b s t r a c t r e c e n t l y ，t h ed e v e l o p m e n to fa g r i c u l t u r ei sh e a d i n gt om a s sp r o d u c t i o n ， d i v e r s i f i c a t i o na n dp r e c i s i o n ，t h ec o s to fl a b o rf o r c ei nt h ef i e l di sg e t t i n gh i g h e r , a n d t h ep h e n o m e n o no fl a c ko fl a b o rf o r c ei sg e r i n gs e r i o u s t h e r e f o r e ，m o r ea n dm o r e p e o p l ep a ya t t e n t i o nt ot h er e s e a r c ho na g r i c u l t u r er o b o t i nt h er e s e a r c ho ft o m a t o h a r v e s t i n gr o b o t ，t h e r ea r et w ov e r yi m p o r t a n ti s s u e s ：t h ei n s t a b i l i t yo fi m a g eq u a l i t y b r o u g h ta b o u ti l l u m i n a t i o na n dr o b o tr e a l t i m e ，i nt h ep a p e r , t h ef o l l o w i n gr e s e a r c h a c h i e v e m e n t sh a v eb e e nf u l f i l l e d ： ( 1 ) e x p e r i m e n td e s i g n m a n ym e t h o d so fi m a g ed e e p n e s s ，t h em e t h o do ft w o l e n s e sm e a s u r i n gd i s t a n c ei ss u i t a b l ef o ro u re x p e r i m e n ts y s t e m t h eh a r d w a r ea n d s o f t w a r eo fr o b o tv i s i o ns y s t e mi si n t r o d u c e d a n dt h ee n v i r o n m e n ta n dp r e c e p to f t h e e x p e r i m e n ti sd e s i g n e d ( 2 ) i m a g ep r e p r o c e s s i n g ，t h el i g h tc o m p e n s a t i n gm e t h o da n dt h eh s i t o g r a m e q u a l i z a t i o na l g o r i t h m sa r ei n t r o d u c e d m o r e o v e r , t h ep r e w i t ta l g o r i t h mi ss e l e c t e d b a s e do nt h ec o l o ri m a g ep r o c e s s i n gr e s u l t so ft h es e v e r a li m a g e - s h a r p e n i n g a l g o r i t h m s s e v e r a l i m a g es m o o t h i n ga l g o r i t h m s ， i n c l u d i n g m e d i a n f i l t e r k n e a r e s t - n e i g h b o rf i l t e ra n ds y m m e t r i cn e a r e s tn e i g h b o rf i l t e r , a r eb r o u g h t f o r w a r dt oc l e a ru pt h en o i s e si nt h ei m a g e ，a n dc o m p a r e dw i t ht h e i re x p e r i m e n t r e s u l t s ，i ti sp r o v e dt h a tt h em e d i a n - f i l t e ra l g o r i t h mi se f f e c t i v eb e c a u s eo fi t s r e a l t i m ea n de a s yc a l c u l a t i o n i no u re x p e r i m e n ts y s t e m ，t h e r e f o r e ，t h em e d i a n - f i l t e r a l g o r i t h mi sa d o p t e d ( 3 ) i m a g es e g m e n ta n dr e c o g n i t i o n c o m p a r ew i t ha l lk i n d so fc o l o r - s p a c e s ， t h eh s ic o l o r - s p a c ea n dt h ey u v c o l o r - s p a c e w h i c hc a ns e p a r a t et h ei n t e n s i t yf r o m c o l o r , a r es e l e c t e db a s e do nt h e f e a t u r eo fr o b o tv i s i o n a sar e s u l t ，t h e h u e h s i t o g r a ms t a t i s t i cd o u b l e - t h r e s h o l da l g o r i t h mb a s e d o nh s ic o l o r - s p a c ea n d t h ed o u b l e t h r e s h o l da l g o r i t h mb a s e do ny u v c o l o r - s p a c ea r ep u tf o r w a r d a n di t i sp r o v e db ye x p e r i m e n tt h a tt h el a t t e ra l g o r i t h mh a st h eb e t t e rr e a l - t i m ea n dt h eb e t t e r e f f e c tt h a nt h eo t h e n i i 江苏大学硕士毕业论丈 ( 4 ) i m a g es o r t i n ga n df e a t u r ee x t r a c t i n g t h ed i l a t i o n a n dt h ee r o s i o n a l g o r i t h m ，w h i c hf i l eb i n a r ym o r p h o l o g ya l g o r i t h m ，a n dt h es e e d f i l l i n ga l g o r i t h m ， a r es e l e c t e dt oc l e a ru pt h en o i s e si nt h es e g m e n t e di m a g e i nt h ef e a t u r ee x t r a c t i n g s e c t i o n ，t h et w of e a t u r e s ，o b j e c ta r e aa n do b j e c tc e n t e r , a r ea b s t r a c t e d i ti sp r e p a r e d f o rt h ef o l l o w i n gp r o j e c t ，w h i c hw i l lp o s i t i o nt h eo b j e c t ，t oe x t r a c tt h eo b j e c tc e n t e r f e a t u r e ( 5 ) b a s e d o na b o v ea l g o r i t h m s ，t h eh a r v e s t i n gr o b o tr i p et o m a t o v i s i o n r e c o g n i t i o ns o f t w a r e ( r o b o t v i s i o n l 0 ) i sd e s i g n e dt ov a l i d a t et h o s ea l g o r i t h m s i nt h i sp a p e r , an e wa p p r o a c hf o rr i p et o m a t or e c o g n i t i o ni sp o i n t e do u t i ti so f s i g n i f i c a n c e f o rd e v e l o p i n ga g r i c u l t u r er o b o tr e s e a r c h a n dr a i s i n g a g r i c u l t u r e i n t e r n a t i o n a lc o m p e t i t i o ni no u rc o u n t r y k e yw o r d s ：t o m a t o ，h a r v e s t i n gr o b o t ，v i s i o nr e c o g n i t i o nt e c h n i q u e ，c o l o ri m a g e ， c o l o rs p a c e ，y u vc o l o rs p a c e ，s e g m e n t i i i 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学位保 留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借 阅。本人授权江苏大学可以将本学位论文的全部内容或部分内容编入有关数据库 进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。 本学位论文属于 保密口，在年解密后适用本授权书。 不保密回。 学位论文作者签名：枷节钢 指导教师签名： 彬年莎月罗日 职声 0 一b 产6 月f 。日 本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独立进 行研究工作所取得的成果。除文中已注明引用的内容以外，本论文不 包含任何其他个人或集体已经发表或撰写过的作品成果。对本文的研 究做出重要贡献的个人和集体，均已在文中以明确方式标明。本人完 全意识到本声明的法律结果由本人承担。 学位论文作者签名：秭孝明 日期：形歹年莎月罗日 江苏大学硕士毕业论文 第1 章绪论 1 1 研究目的和意义 进入二十一世纪，我国的农业和农村经济发展正面i | 缶瓶的机遇和挑战。一方 面，由于加入w t o ，农业和农村经济发展正面临着世界各地的冲击和挑战；另 一方面，加入w t o 给我国带来了一次加快农业和农村经济发展以及对农村经济 结构调整的绝好的机遇。由于历史原因，我国农业的发展不仅远远落后于发达国 家，而且落后于许多与我国经济发展水平相当的国家。因此，加快农业和农村经 济的发展，大力发展农业信息技术及其产业化，为农村经济的发展培育新的增长 点，对推进我国农业现代化进程提高农产品的国际竞争力有着重要的意义。 随着科学技术的飞速发展，智能化和视觉化已成为机器系统发展的必然趋势 之一。据报道【“，人类感知的外界信息有7 0 来自视觉，在人工智能方面，视觉 信息的作用是其它信息不可替代的。信息技术飞速发展的今天，视觉技术已成为 当前信息研究的中心之一。机器人技术的发展中，赋予机器以人的视觉功能，让 机器能够像人一样感知外部世界，对实现机器人的智能化以及机器人升级换代起 决定性作用。 近年来，农业生产正朝着规模化、多样化、精确化方向发展，农业劳动力的 成本必然迅速上升，劳动力不足的现象会日趋明显，农业机器人技术越来越受到 关注。农业生产中，许多作业项目如蔬菜、果实的收获和分选、苗木的嫁接等都 是大量重复性繁重的工作，这会使工作人员容易疲劳，工作效率下降。机器人应 用于农业可节省人力，降低劳动强度，并可大大提高工作效率；喷药机器人还可 以改善农业的生态环境，防止农药对人体的伤害。同时还可以充分发挥机器人的 信息感知能力( 与人的视觉相比，计算机视觉的主要优点是对光谱的敏感范围广、 测量精度高) ，对水果的成熟度进行鉴别，从而保证了采摘果实的质量。然而， 计算机自动化识别技术用于农产品的收获，由于农业作物生长环境的特殊性帮复 杂性，至今仍未达到令人满意的效果。因此，目前这些工作主要还是手工操作来 完成。我国是一个农业大国，要实现农业现代化，农业装备的机械化、自动化必 定要大力予以开展。随着信息化时代的到来，我国提出要发展自己精确农业、数 字农业，这给农业机器人的研究提供了广阔的空间。 江苏大学硕士毕业论文 1 2 国内外研究现状 1 2 1 国外研究现状 在国外，应用计算机视觉技术实现对蔬菜水果自动化采摘的收获机器人系统 的研究开发，日本和荷兰起步得较早。s c h e r t z 和b r o w n 2 1 ( 1 9 6 8 ) 最早提出果实自 动化采摘的想法。在他们的文章中，建议果实的位置可以通过光度信息测定，尤 其是利用叶子和果实对可见光或者电磁光谱红外部分反光度的差异。同时文章中 也指出了在果实自动化检测中必须考虑的问题：( 1 ) 不均匀照明；( 2 ) 枝叶遮挡 使得只有7 0 到1 0 0 的果实可以看到。受s c h e r t z 和b r o w n 想法的启发，各种 有关果实自动化采摘的研究在世界各地陆续开展起来。 1 9 7 7 年，美国学者p a r r i s h 和g o k s e l t 3 1 设计的视觉系统包括一台b w 照相机 和一个用于增强红色苹果和绿色叶子对比度的红色光学滤波器。这个系统利用象 素亮度值和连通性对图像进行分析，分为以下三步：( 1 ) 采用亮度闽值分割选择 属于红色表面的比较亮的象素；( 2 ) 采用形态学滤波器对前面步骤处理后的二值 图像进行平滑，以便消除噪声和不相关的细节：( 3 ) 对分割后的每一部分或者说 由连续象索构成的每一区域分别计算其水平和垂直最大长度。这样，一个完整的 检测进行完毕，同时可以得到质心和半径。然后用圆形窗口计算区域密度。其大 小由测量得到最大平均值决定。如果区域密度大于预先设定的阈值，则认为是苹 果。 1 9 8 7 年，w h i t t a k e r l 4 j 首先提出基于形状信息检测果实的方法。他认为基于局 部象素颜色值的分析方法不适用于建立对颜色不敏感的处理系统，建议基于形状 信息同时考虑局部象素颜色值和整体颜色值的内在关系，在处理的过程中用到了 优化圆形h o u g h 变换。该方法虽然仅限于理论上的探讨，但是开辟了果实识别 的一个新的途径。 1 9 9 0 年，匈牙利和美国科研联合基金会0 5 1 联合研制开发出苹果收获机器人。 该机器人用立体视觉探测系统自动检测苹果，给出检测到的苹果的空间位置。试 验结果找到了4 1 的可视果实并出现了一些错误检测。他们认为出现这样的结 果，原因有两个：一是图像分割时出现了一些错误的判断，图像上有些非苹果部 分被判定是苹果：二是利用立体视觉寻找果实上同一部分在两幅图像上的对应区 域时，由于遮挡的缘故，当果实在果树深处时，不可避免会出错。 江苏大学硕士毕业论文 s l a u g h t e rd c 巾1 等( 1 9 9 3 ) 首先研究了利用室外自然光条件下拍摄的图像的 色度和亮度信息对桔子收获机械手进行导向，建立了一个利用彩色数字化图像中 的颜色信息从桔树上识别桔子的分类模型，其识别桔予的正确率为7 5 ，识别桔 子形心的误差率为6 ，速度基本能满足实际工作的需要，但精度较低。 1 9 9 5 年，意大利的b u e m i 7 1 开发了用于温室番茄采摘的自动化系统。该视觉 系统使用提供h i s 成分的彩色相机获取图像，利用色调和饱和度对图像进行分 割，通过对同一场景两幅不同的图像进行空间匹配获得三维信息，试验结果认为 可以检测到大约9 0 的成熟番茄，出现的错误检测，基本上都是由于遮挡问题造 成的。 s u b r a t ae ta l 引( 1 9 9 5 ) 研制的西红柿采摘机器人。该视觉系统中有两个激光二 极管，一个发射红光。波长为6 8 5 n m 另一个发射近红外光，波长为8 3 0 r i m 。它 们根据成熟番茄与茎、叶对某种波长的光谱有不同的反射特性来识别番茄是否成 熟。反射的光由位置敏感元件p s d ( p o s i t i o ns e n s i t i v ed e v i e e ) 测l 量，测量的红光信 号和近红外光信号的比值用于识别成熟的红西红柿；而深度距离的测量是测量近 红外反射光时，根据p s d 两个输出电极信号的比值，由三角测距原理得到。 k o n d an 【9 1 等( 1 9 9 6 ) 研究用于温室内的水果收获机器人，在关于视觉识别方 面，他们提出了检测樱桃番茄位置的有效算法，即采用了双目立体成像技术，试 验结果表明检测正确率为7 0 。 碾树槐【1 0 】等( 1 9 9 6 ) 根据苹果的形状特征从果树中找出苹果的研究，试验表 明，该方法不受苹果品种及光线条件的影响，可用来控制苹果收获机器人。为进 一步提高检测精度，还利用苹果果实、时子和树校存在温差这一特点，采集了苹 果、叶子和树枝的热红外图像，并利用遗传算法对图像进行识别，为全天候苹果 收获机器人的研究创造了条件。 德田胜【1 l 】等( 1 9 9 7 ) 研制成功了用于西瓜收获机器人的智能搜索视觉系统， 首先将摄取到的西瓜图像从r g b 变换为h i s ，然后观察其色调和饱和度。色调 直方图的峰值象素数与峰值左侧的象素数之比随着西瓜成熟度的增加而减小，图 像饱和度的平均值随着西瓜成熟度的增加而线性下降。据此，可利用计算机视觉 技术检测西瓜的成熟度，从而指导收获机器人采收成熟的西瓜。 西班牙的c e r e s l l 羽等认为使用光学相机的系统中造成错误检测的问题源于光 江苏大学硕士毕业论文 照的差异和场景中同果实具有相同分割结果的区域。1 9 9 8 年，他们在西班牙 a g r i b o t 工程中提出使用激光区域探测传感器获得图像，基于形状识别果实。 他们把检测的目标近似看作球体，把轮廓线、凸度、凸面、反射率四种不同的点 阵用于估计球体的参数：空间位置、半径、反射率。分别利用人工树和自然树进 行了测试，8 0 的可视果实被探测到，没有错误检测。根据他们的视觉识别系统， 果实的空间位置可精确到1 0 m m ，估计的半径和反射率可以用于选择性采摘，根 据半径可以采摘具有一定大小的果实，根据反射率可以采摘具有一定成熟度的果 实。但是该系统扫描和处理速度很慢，在1 5 0 m h z 的奔腾处理器上，5 0 x5 0 的 图像分别需要2 0 和6 0 秒。 b u l a n o n 】等( 2 0 0 2 ，日本) 根据颜色和灰度的组合特征对不同光照条件下 的f u i 苹果进行识别，可视果实的识别率8 8 ，另外有1 8 的误识别，他们认 为影响识别结果的主要因素是光照条件。 荷兰农业环境工程研究所( i m a g b v ) 1 4 1 ( 2 0 0 2 ) 研究开发了一种移动式黄瓜收 获机器人样机( 图1 - 1 ) ，该研究在荷兰2 h m 2 的温室里进行。黄瓜按照标准的园 图1 1 黄瓜收获机器人样机 艺技术种植，按高拉线缠绕方式吊挂生长。该机器人机械手只单个收获，收获成 熟黄瓜过程中不伤害其他未成熟的黄瓜。采摘通过末梢执行器来完成，它由机械 爪和切割器构成。末梢执行器和机械手安装在行走车上，行走车是一个稳定的工 作平台，同时为机械手的操作和采摘系统的初步定位服务。收获后黄瓜的运输由 一个装有可卸集装箱的自走运输车完成。机器人和自走运输车不用人工干预就能 在温室里工作。实验结果表明，高峰期需要4 台机器人。每台机器人每日工作1 8 h ， 江苏大学硕士毕业论文 作业速度为1 0 秒，根，相当于1 2 个工人每曰6 h 的工作量。蔬菜果实收获自动化 可以节约果实收获人工费用，但要满足商用产品的各种要求，还需对样机加以改 进和完善。 综合国外相关文献来看，对计算机视觉在农产品收获中的应用的研究起步很 早，尤其是在树上果实的检测方面做了很多工作，为我们的研究提供了许多宝贵 的经验。而农业收获机器人视觉的研究，由于农业工作环境的复杂性特殊性，其 研究基本上也处于试验阶段，离应用于生产实际尚有距离。 1 2 2 国内研究现状 在国内，机器视觉技术应用于农业方面的研究起步九十年代初期，近年来比 较受重视，发展迅速。但是。机器视觉在农业生产中的应用的研究大部分集中在 对农产品的分级和品质检测方面，而对于机器视觉应用于蔬菜水果的收获机器人 方面的研究很少。 1 9 9 7 年，吉林工业大学的杨秀坤等i ”】提出利用计算机视觉对果实表面缺陷 进行检测的方法。该方法首先对果实图像进行滤波、增强等预处理，然后根据象 素颜色值，利用自适应特征聚类神经网络和模糊加权决策树相结合的方法对果实 表面缺陷进行检测。实验结果认为该方法优于传统的检测方法。 1 9 9 8 年，浙江大学的应义斌 1 6 - 1 8 1 等人等利用计算机视觉技术对静态黄花梨 的品质检测与分级技术进行了研究，提出了与静态黄花梨图像相应的大小、形状、 果梗、缺陷等检测方法。在预处理过程中，采用分区域的灰度双峰法，将梨与背 景分割开，并采用了十字形模板对梨表面进行中值滤波，用梯度算子对图像完成 了边缘检测及其细化。在果梗检测方面，提出了使用正方形模板鉴别果梗存在与 否的算法，并根据果梗的斜率对果相的完好性进行判别。 1 9 9 8 年，西北农业大学的何东健等【1 9 l 提出利用计算机视觉对果实进行分级 的方法。该方法将果实图像的r g b 值转换成h l s 值，选用色调值为特征值，利 用累计色调值对果实进行分级。实验结果表明，利用计算机视觉进行分级与人工 分级的一致度在8 8 以上。 吉林工业大学的张书慧【刈等( 1 9 9 9 ) 开发了苹果、桃等农副产品品质检测与分 级系统。该系统包括种类选择、图像采集、预处理、特征检测、自动分级、结果 输出等模块，通过对1 0 0 个红富士苹果进行实验，认为在相应图像数据库建立的 江苏大学硕士毕业论文 前提下，可以实现对农副产品的检测与分级，且满足国家标准。 2 0 0 0 年，江苏理工大学的蔡健荣等t 。3 1 开发了烟叶质量分选系统。该系统对 采集系统进行定标，控制光感度，对图像进行从r g b 模型到孟赛尔模型的转换， 依据颜色曲线选取1 8 0 个特征参数，利用神经网络进行学习和分类。对不同地区 的烟叶进行了多次检测，结果表明，该系统性能稳定，与人工评判吻合率在8 0 以上，半数在9 0 以上。 2 0 0 0 年，李庆中【2 2 埘】利用计算机视觉对静态苹果进行检测与分级，取得较好 的分级精度和速度。在缺陷检测中，提出基于参考图像的缺陷分割方法，可快速 有效地分割出水果表面缺陷，并可消除球形水果表面反射强度以及水果表面亮度、 大小变化的影响：在水果表面缺陷检测方面，用5 个分形维数作为描述缺陷可疑区 域粗糙度和纹理方向性的特征参数，并用双金字塔数据形式的盒维数快速计算方 法提高有向分维的计算速度，然后利用人工神经网络作为模式识别器，完成苹果 表面真正缺陷与梗粤凹陷区的区别：在水果颜色分级中，以颜色信息的色度分量 作为分级指标，并利用遗传算法实现了颜色分级神经网络的结构设计和训练。 2 0 0 2 年，中国农业大学的孙明等【2 5 】提出利用计算机视觉识别萝h 幼苗。该 方法首先突出图像中各象素的绿色颜色分量，然后结合亮度信息，采用最大方差 自动取阈值等方法识别目标。 2 0 0 3 年，江苏大学的徐贵力【2 6 3 0 】等建立了基于计算机视觉的缺素模式识别 系统，并进行了识别测试，结果认为，对不易肉眼判别的番茄缺氦和缺钾初期叶 片的识别准确率在8 5 以上，能够满足生产要求。中国农业大学的李长缨等( 2 0 0 3 ) 提出基于计算机视觉实现对温室植物生长情况的无损监测，该方法以黄瓜幼苗为 研究对象，首先通过图像处理取得植株叶冠面积，然后通过对叶冠面积变化的分 析获取植物生长状况有关信息。 国内利用计算机视觉技术在农业收获机器人方面的研究起步较晚。我国学者 周云t h t 噜( 1 9 9 5 ) 研究了具有计算机视觉的蘑菇采摘机器人，使蘑菇生产从苗床 管理到收获分类实现了全过程自动化。该视觉系统由摄像机采集到蘑菇，计算其 面积、周长和中心坐标，面积和周长用于蘑菇分类，中心坐标用于引导机械手采 摘，但研究只是在二维平面内的识别问题，离实际推广还有一定距离。2 0 0 1 年， 南京农业大学的张瑞合等口2 】对自然环境下番茄的识别与定位进行了研究，他们 江苏大学硕士毕业论文 根据颜色特征识别从图像上识别番茄，利用双目立体视觉从两幅二维图像中恢复 出番茄的三维空间坐标，实验结果认为当目标与番茄的距离为3 0 0 4 0 0 m m 时， 深度误差可以控制在3 - - 4 。 综上所述可以看出，国内对计算机视觉在农产品加工和收获中的应用进行了 大量的研究，但与国外仍存在一定差距，特别是在农产品收获机器人应用方面， 国内的研究很少。为了赶超过国外先进水平，为了我国农业生产自动化的早日实 现，我们必须进一步开展广泛和深入的研究。 l _ 3 研究内容、关键问题、技术路线及预期效果 1 _ 3 1 研究内容 利用计算机视觉技术对温室作物环境下成熟番茄和周围叶片进行智能识别 的研究。由于番茄的种类很多，成熟状态时的颜色也不相同，主要有：红、黄、 绿。本研究打算以成熟时为红色的番茄为研究对象。 具体内容如下： ( 1 ) 研究番茄的光谱特性，以此特性为依据建立一套适应于成熟番茄识别分 割的计算机视觉硬件系统。 ( 2 ) 研究番茄成熟度的颜色特征，找到一种适合对成熟的红色番茄快速分割 的颜色空间，探索对番茄不同成熟度的有效分割算法，提高分割识别的速率及鲁 棒性。 ( 3 ) 研究具有较强适应性的成熟番茄与叶片分类的理论与方法，并根据其理 论方法建立一套能自动检测与分类的应用软件。 ( 4 ) 通过实验，验证算法的正确性及软件的可靠性。 1 3 2 关键问题 1 光照影响 光源亮度的强弱对采集到的图像质量有至关重要的影响，直接影响到图像的 分类识别的正确率。外界自然光时强时弱，而且其照射方向也是时变的，很不稳 定，影响图像的质量。 解决的办法：采用对光强变化影响较小的颜色空间模型做图像处理，这样可 大大减少自然光的影响，提高识别的准确率。 7 兰坠芏堑主芏些笙圭 根据颜色特征识别从图像上识别番茄，利用双目立体视觉从两幅二维图像中恢复 出番茄的三维空间坐标，实验结果认为当目标与番茄的距离为3 0 d 4 0 0 m m 时， 深度误差可以控制在3 。4 。 综上所述可以看出，国内对计算机视觉在农产品加工和收获中的应用进行了 大量的研究，但与国外仍存在一定差距，特别是在农产品收获机器人应用方面， 国内的研究很少。为了赶超过国外先进水平，为了我国农业生产自动化的早日实 现，我们必须进一步开展广泛和深入的研究。 13 研究内容、关键问题、技术路线及预期效果 1 3 1 研究内容 利用计算机视觉技术对温室作物环境下成熟番茄和周围叶片进行智能识别 的研究。由于番茄的种类很多，成熟状态时的颜色也不相同，主要有：红、黄、 绿。本研究打算以成熟时为红色的番茄为研究对象。 具体内容如下： ( 1 ) 研究番茄的光谱特性，以此特性为依据建立一套适应于成熟番茄识别分 割的计算机视觉硬件系统。 ( 2 ) 研究番茄成熟度的颜色特征，找到一种适合对成熟的红色番茄快速分割 的颜色空间，探索对番茄不同成熟度的有效分割算法，提高分割识别的速率及鲁 棒性。 ( 3 ) 研究具有较强适应性的成熟番茄与叶片分类的理论与方法，并根据其理 论方法建立一套能自动检测与分类的应用软件。 ( 4 ) 通过实验，验证算法的正确性及软件的可靠性。 13 , 2 关键问题 1 光照影响 光源亮度的强弱对采集到的图像质量有至关重要的影响，直接影响到图像的 分类识别的正确率。外界自然光时强时弱，而且其照射方向也是时变的，很不稳 定，影响图像的质量。 解决的办法：采用对光强变化影响较小的颜色空问模型做图像处理，这样可 大大减少自然光的影响，提高识别的准确率。 大大减少自然光的影响，提高识别的准确率， 江苏大学硕士毕业论文 根据颜色特征识别从图像上识别番茄，利用双目立体视觉从两幅二维图像中恢复 出番茄的三维空间坐标，实验结果认为当目标与番茄的距离为3 0 0 4 0 0 m m 时， 深度误差可以控制在3 - - 4 。 综上所述可以看出，国内对计算机视觉在农产品加工和收获中的应用进行了 大量的研究，但与国外仍存在一定差距，特别是在农产品收获机器人应用方面， 国内的研究很少。为了赶超过国外先进水平，为了我国农业生产自动化的早日实 现，我们必须进一步开展广泛和深入的研究。 l _ 3 研究内容、关键问题、技术路线及预期效果 1 _ 3 1 研究内容 利用计算机视觉技术对温室作物环境下成熟番茄和周围叶片进行智能识别 的研究。由于番茄的种类很多，成熟状态时的颜色也不相同，主要有：红、黄、 绿。本研究打算以成熟时为红色的番茄为研究对象。 具体内容如下： ( 1 ) 研究番茄的光谱特性，以此特性为依据建立一套适应于成熟番茄识别分 割的计算机视觉硬件系统。 ( 2 ) 研究番茄成熟度的颜色特征，找到一种适合对成熟的红色番茄快速分割 的颜色空间，探索对番茄不同成熟度的有效分割算法，提高分割识别的速率及鲁 棒性。 ( 3 ) 研究具有较强适应性的成熟番茄与叶片分类的理论与方法，并根据其理 论方法建立一套能自动检测与分类的应用软件。 ( 4 ) 通过实验，验证算法的正确性及软件的可靠性。 1 3 2 关键问题 1 光照影响 光源亮度的强弱对采集到的图像质量有至关重要的影响，直接影响到图像的 分类识别的正确率。外界自然光时强时弱，而且其照射方向也是时变的，很不稳 定，影响图像的质量。 解决的办法：采用对光强变化影响较小的颜色空间模型做图像处理，这样可 大大减少自然光的影响，提高识别的准确率。 7 江苏大学硕士毕业论文 2 目标图像识别的实时性 机器人视觉与其他的计算机图像处理技术很大的不同就是在于它的实时性。 根据彩色r g b 颜色空间转化成h i s 、h s v 、y u v 等颜色空间，通过色n - - - 维直方图来分割目标和背景。 1 3 3 技术路线 1 图像采集。通过彩色c c d ( c h a r g ec o u p l ed e v i c e ) 传感器双目视觉技术， 对温室环境种植下的番茄采集图像，通过对图像模拟量的抽样、量化，转化为数 字图像。 2 图像预处理。对采集到的数字图像预处理，主要有两种方法：一是基于 空间域技术的方法，一是基于频率域技术的方法。主要解决图像的增强、平滑、 锐化、滤波等问题。 3 图像分割。图像分割主要有基于象索的方法、基于区域增长的方法、基 于边缘检测的方法。本课题中决定根据目标图像的颜色特征，选取合适的颜色空 间，采用基于象索和基于区域增长的算法来分割目标图像。 4 特征提取与目标识别。分割完成后，提取面积和质心两个特征。面积特 征决定出该对象是目标还是噪声；质心特征的提取是为后面对目标的识别定位研 究做准备。 图1 - 2 机器人视觉技术处理算法基本流程 1 3 ，4 预期效果 编制一套应用程序，能够实现对番茄成熟度的识别，区分果实与叶片，为下 一步对目标的正确定位，对实现番茄的自动化收获打下基础。 1 4 本章小结 本章首先介绍了研究的目的和意义，然后对国内外研究情况做了介绍，最后 提出本研究的主要内容、关键闯题、技术路线及预期效果。 8 江苏大学硕士毕业论文 第2 章番茄收获机器人视觉系统的组成与实验设计 课题组在江苏大学农业装备研究院，以k h 一1 0 0 型自动引导( a g v ) 小车、 日本安川公司的m o t o m a n 机器人及其控制系统为载体，进行一系列机器人领 域的学习和研究。要求机机器人对温室栽培的番茄识别出其成熟果实并确定成熟 番茄的空间位置然后控制机器人手臂和末端执行器完成采摘动作。机器入系统的 硬件部分主要由m o t o m a n 机器人及其配套的机器人控制器、控制计算机、视 觉系统及k h - 1 0 0 型a g v 小车等组成。视觉系统的主要任务是识别成熟番茄并 获取它的空间位置信息，由传感器装置和相应的算法来实现。 2 1 机器人视觉方法与双目视觉系统 2 1 1 视觉方法选择 与农产品品质检测中的计算机视觉技术相比农业机器人中的视觉技术不仅 需要对生物对象进行平面二维视觉信息的获取，还要进行三维或距离深度的测 量。目前，获取距离的方法和技术有很多，根据光源的类型分为两大类：主动测 距法和被动测距法【”1 。主动测距法又分为行程时间法和主动三角测量法。文献【3 8 1 利用行程时间法测量目标图像的距离。文献8 埽0 用主动三角测量法需要采摘的番 茄位置信息。主动测距法是用光电感知的方法来获取物体的距离信息，用光电技 术来获取距离的方法很多行程时间法、主动式光学三角测量法和莫尔技术法等， 它需要特殊的光源( 一般为激光光源) ，并且需要对光源的位置及亮度进行控制。 双目视觉是多目视觉中最简单常用的方法，它不需要专门的主动光照射装置，通 常在自然光或一定环境光照明的条件下，由相距一定距离的两个摄像机各自摄取 目标的图像，找出空间物点在两个图像中的对应点，就能得到点的距离信息。 综上所述，计算机视觉方法很多，不同的方法有其不同的适用范围。主动视 觉的方法测量精度高，但由于需要特殊的光源，有的还需要制作光栅，因此它的 设备比较昂贵，应用范围较小。在被动视觉中，单目视觉只能恢复出三维物体的 表面朝向，要想获得物体的三维结构，必须应用假设条件进行约束，这样获得的 误差较大。因此。在本研究中，我们选择双目立体视觉的方法来获取成熟番茄的 空间坐标，其主要原因为： 9 江苏大学硕士毕业论文 ( 1 ) 价格便宜。双目立体视觉系统的硬件组成比较简单，不需要昂贵的设 备。 ( 2 ) 计算结果精度较高。由文献 2 s 1 可知，用双目立体视觉技术计算的结果 其绝对误差可达到o 0 3 m l i 】a 以下，完全达到我们的要求。 ( 3 ) 不需要对光源进行特殊控制，便于推广。 2 2 2 双目立体视觉简介 根据三角测量原理，利用物体在两个视点的图像可计算出物体的深度距离， 如图2 - 1 所示。图中l 代表两视点( c c d ) 的水平距离，d 为在镜头轴线方向目标 物至镜头的深度距离，d 为镜头中心面至成像面的距离，x l 为在视点1 位置时， 目标物成像点离成像面边缘的水平距离，x 2 为在视点2 位置时。目标物成像点 离成像面边缘的水平距离，根据三角测量原理，深度距离d 可按下式计算： d = d ；( x l x 2 )( 2 1 ) 图2 - 1 双目三角测距法原理图 该方法属于被动测距法，在自然光线下就可进行三维测量但其最大缺点是图 像处理的时间太长，主要原因是左右两幅图像中匹配点的寻找比较困难。目前匹 配点寻找的算法有两种，一是根据左右图像中象素邻域点的相似性；二是根据左 右图像某些特征的相似性。该方法的关键是解决左右图像匹配点的实时寻找问题。 1 0 江苏大学硕士毕业论文 2 2 番茄收获机器人视觉系统的组成与设计 机器人视觉系统的重要特点是数据量大且要求处理速度快。处理速度是机器 人视觉系统从实用角度急待解决的一个瓶颈问题。一个成功而实用的机器人视觉 系统其总体结构如图2 2 所示【”，包括硬件、软件两部分。 2 2 1 硬件组成 图2 2 机器人视觉系统的组成 图2 3 机器人视觉系统硬件装置 图2 2 是我们研究的机器人双目视觉系统硬件组成。该系统的硬件部分主要 由两个c c d ( c h a r g ec o u p l e d e v i c e ) 摄像机、光源、云台、图像采集卡及控制主机 等设备构成。 成熟番茄果实和茎、叶片的最大反射率的光波长分别为6 0 0 n m ，7 5 0 n m ，本 研究中所选的两个摄像头都要求相应的光谱区间要包括5 5 0 - - 8 0 0 n m ，采用美国 江苏大学硕士毕业论文 p u i n i x 公司生产的c c d 摄像头，型号为t m c 一7 d s p ，c c d 面阵为= 1 ，象素尺 上 寸8 4 u r n 9 8 u r n ，象素个数为6 4 0 4 8 0 ，r 、g 、b 分路输入，精度较高，噪声较 小，镜头选用了最小焦距( f = 8 r a m ) 和大视角的镜头。 图像采集系统和计算机选用与之配套的加拿大m a t r o x 公司生产的图像采集 系统( m e t e o r 4 s i g h t l l ) ，a d 转换精度较高，而且可以同时对两路c c d 进行连 续采集和实时处理，以适应在空间目标定位时实现实时的目的。 2 2 2 相关图像处理软件 软件由下述几个部分组成： 1 计算机系统软件：操作系统等系统软件。 2 机器人视觉信息处理算法：图像预处理、分割、特征提取、识别定位算 法软件。图像识别所用软件由本人基于v i s u a lc + + 6 0 自行开发。 3 机器人控制软件：由机器人控制器硬件自带。 2 _ 3 番茄收获机器人视觉系统实验环境与方案 本课题设想在自然光照条件下，对温室内种植的成熟后为红色的番茄果实自 动化收获进行研究。 2 3 1 实验环境 实验中图像采集地点是镇江市润州区蒋桥农业蔬菜示范园，日期为2 0 0 4 年 1 0 月至1 1 月，图像采集时间从上午1 0 点至下午4 点。番茄品种为金鹏l # ，成 熟时的颜色为红色，番茄种植日期为2 0 0 4 年8 月。图2 4 是本实验图像采集的 实验场景。 图2 4 视觉系统实验环境 江苏大学硕士毕业论文 2 3 2 实验方案 实验采用双目视觉的视觉方法，实验前先对双目系统进行标定( 具体标定方 案的设计由本课题组作定位研究的成员完成) 。实验时，两c c d 摄像头固定安装 在三角支架上，两摄像头保持平行，使它们间距约5 0 c m ；调节好三角支架的高 度让c c d 镜头中心距地面高度约8 0 c m ；两c c d 摄像头对准目标区域，且使两 c c d 摄像头与目标区域的垂直距离约为7 0 c m 。 试验时，对包含了不同背景的番茄图像进行图像采集( 例如背景为纯叶片和 背景中有叶片与土壤等) ，以检验不同背景下的分割效果。采集时选取不同成熟 度的番茄，让有丰富的番茄种植经验的专家判断，并测定它们各自的阈值，以检 验不同成熟度的识别效果。采集的图像的分阴天、晴天和多云的天气进行，这样 做的目的是为了检验光照变化对采集的图像的质量影响及由此引起的识别效果。 设定实验采集的图像尺寸6 4 0 4 8 0 象素。 2 4 本章小结 本章主要介绍了