（计算机应用技术专业论文）自然场景下果蔬识别定位系统的关键技术研究.pdf

浙江工业大学硕士学位论文 自然场景下果蔬识别定位系统的关键技术研究 摘要 果蔬采收是一项劳动密集型的工作，在很多国家，随着劳动力的 高龄化和人力资源的缺乏，人工采收的成本在果蔬的整个生产成本中 占了很大的比例。而我国是一个农业大国，果蔬产量多，品种丰富， 出口量大。但是，现阶段的采收基本依靠人力，成本高、效率低。因 此，实现果蔬采收的自动化迫在眉睫。 利用计算机视觉系统对自然场景下的果蔬进行分割识别是实现 机器人自动化采摘关键的步。但是，自然场景下生长的果蔬具有极 高的随机性，要实现一个完整的果蔬识别系统，必须解决六大问题， 包括实现果实在自然光照条件下、阴影下、被遮挡情况下以及与背景 色相似情况下的有效识别；解决果实中心点和采摘点的准确定位问 题。 针对上述六大难题，本文主要的工作有： ( 1 ) 根据各颜色模型的特点，提出了两种新的颜色模型l h m 和 y n m 。在分析其实验结果后选用l h m 模型作为本文的颜色模型。依 据分类识别的原理和l h m 的聚类性成功解决了被遮挡、自然光照下 和阴影下的果蔬识别问题。 ( 2 ) 研究和利用灰度共生矩阵提取纹理特征，得到可区分果实和 背景的两大纹理特征：熵和能量。然后，综合颜色特征和纹理特征， t 浙江工业大学硕士学位论文 解决了果实和背景颜色相似的识别问题。 ( 3 ) 构造了果蔬模型，解决了定位果蔬中心的难点；给出了几何 校正和果蔬采摘的新理念，解决了被遮挡的、自然下垂生长的和非自 然下垂生长的果蔬采摘点的定位问题。 关键词：自然场景，果蔬目标，识别，定位 浙江工业大学硕士学位论文 t h ek e y t e c 删- i q u es t u d i e so n f r u i ta n d g e t a b l e sr e c o g n i t i o na n dl o c a t i o n s y s t e mu n d e rn a 兀瓜es c e n e s a b s t r a c t f r u i th a r v e s t i n gi sal a b o r - c o n c e n t r a t e dj o b i nm a n yc o u n t r i e s ，w i t h t h es e n i l i t ya n dl a c ko fl a b o r , t h ec o s to fm a n u a lh a r v e s t i n gt a k e sal i o n s s h a r ew i t h i nt h et o t a lc o s to fy i e l d i n gt h ef r u i ta n dv e g e t a b l e s y e t , o u r c o u n t r yi sag r e a ta g r i c u l t u r a lc o u n t r y , i sr i c hi ny i e l d ，v a r i e t ya n de x p o r t q u a n t i t y b u tg e n e r a l l ys p e a k i n g ，n o w a d a y s ，t h eh a r v e s t i n go ft h ef r u i t a n dv e g e t a b l e sm o s t l yd e p e n d so nt h em a n p o w e rt h a ti sh i g hc o s tb u tl o w e f f i c i e n c y s o ，t h er e a l i z a t i o no f a u t o m a t i ch a r v e s t i n gi se x t r e m e l y u r g e n t i ti sac r u c i a ls t e pi nr e a l i z i n gt h er o b o t i ch a r v e s t i n gb yu s i n gt h e c o m p u t e rv i s i o nt os e g m e n ta n dr e c o g n i z et h ef r u i tu n d e rn a t u r es c e n e s h o w e v e r , d u et ot h ef a c tt h a tt h eg r o w t ho f t h ef r u i tu n d e rn a t u r es c e n e s b e a rh i 曲r a n d o m c i t y , t h u s ，i no r d e rt oi m p l e m e n ta ni n t a c tr e c o g n i t i o n s y s t e m , w en e e d t or e s o l v es l xp r o b l e m s i n c l u d i n g t h ee f f i c i e n t r e c o g n i t i o no ft h ef r u i to b j e c tu n d e rn a t u r ei l l u m i n a t i o n ，i ns h a d o w s ， i i i 浙江工业大学硕士学位论文 w h e nt h ef i u i t o b j e c tp a r t i a l l yo c c l u d e do rs i m i l a rb a c k g r o u n dc o l o r p o s s e s s e d ；髂w e l la st h ep r e c i s el o c a t i o no ft h ef i u i to b j e c tc e n t e ra n d a b s c i s s i o np o i n t a i m e da tt h ep u z z l e sm e n t i o n e da b o v e ，t h em a i nt a s k sw eh a v ed o n e a r ea sf o l l o w s ： ( 1 ) p u tf o r w a r dt w on e wc o l o rm o d e l sl h m a n dy n m a c c o r d i n gt o t h ec h a r a c t e r i s t i c so f e a c hm o d e l ，a d o p t e dt h el h mm o d e la f t e r a n a l y z i n gt h ee x p e r i m e n t a lr e s u l t b yt h ep r i n c i p a lo ft h ec l a s s i f i c a t i o n a n dt h ec l u s t e r i n gc h a r a c t e r i s t i co f l h m ，w es e t t l e dt h er e c o g n i t i o no f t h e f r u i tp a r t i a l l yo c c l u d e d ，u n d e rn a t u r ei l l u m i n a t i o no rs h a d o ws u c c e s s f u l l y ( 2 ) g o t t w ot e x t u r e f e a t u r e s ：e n t r o p y a n de n e r g yw h i c hc a n d i s t i n g u i s ht h ef r u i ta n dt h eb a c k g r o u n db ym a k i n gu s eo ft h eg r a y l e v e l c o o c c u r r e n c em a t r i x i n t e g r a t i n gt h ec o l o ra n dt e x t u r ef e a t u r e sa st h e f o l l o w i n gs t e p ，w es o l v e dt h er e c o g n i t i o no ft h e f r u i tw h o s ec o l o ri s s i m i l a rt ot h eb a c k g r o u n d ( 3 ) c o n s t r u c t e dg e o m e t r ym o d e l sf o rt h ef r u i ta n dv e g e t a b l e s ，w o r k o u tt h ed i f f i c u l t yo fl o c a t i n gt h ec e n t e ro ft h ef r u i t ；b r o u g h tf o r w a r dt h e n o v e lc o n c e p t i o no fg e o m e t r i c a le m e n d a t i o na n df r u i th a r v e s t i n g ， r e s o l v e dt h el o c a t i o no f t h ef r u i tw h i c hc o v e r e dt h es i t u a t i o nt h a tt h ef r u i t a m p a r t i a l l yo c c l u d e d ，d e v e l o pn a t u r a l l yh a n g a n du n n a t u r a l l yh a n g k e yw o r d s ：n a t u r es c e n e s ，f r u i to b j e c t , r e c o g n i t i o n ，l o c a t i o n i v 浙江工业大学硕士学位论文 浙江工业大学 学位论文原创性声明 本人郑重声明：所提交的学位论文是本人在导师的指导下，独立进行研 究工作所取得的研究成果。除文中已经加以标注引用的内容外，本论文不 包含其他个人或集体已经发表或撰写过的研究成果，也不含为获得浙江工 业大学或其它教育机构的学位证书而使用过的材料。对本文的研究作出重 要贡献的个人和集体，均已在文中以明确方式标明。本人承担本声明的法 律责任。 作者签名乎五五 日期。6 年m 堋 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学 校保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被 查阅和借阅。本人授权浙江工业大学可以将本学位论文的全部或部分内容 编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和 汇编本学位论文。 本学位论文属于 1 、保密口，在年解密后适用本授权书。 2 、不保密口。 ( 请在以上相应方框内打“、”) 作者签名：事噩噩 剔磁轹肯1 日期：口年，1 月绷 日期：o t ：m ，o 月z 占日 浙江工业大学硕士学位论文 第一章绪论 随着我国经济与科学技术的飞速发展，人们对农产品日益增长的需求和现 代农业生产力发展缓慢的矛盾日渐尖锐，落后的农业生产严重阻碍了经济的发 展。在此背景下，农业机器人应运而生。本章针对我国果蔬业发展迅速但采摘劳 动力效率低下的现状，重点介绍了果蔬采摘机器人，并对其中的视觉系统部分进 行了具体分析，提出了论文的研究内容和目标。 1 1农业机器人及其视觉技术 随着科学技术的突飞猛进，诞生于美国的机器人技术已受到世界各国重视。 机器人已被广泛应用到了化学、机械、电子、食品、制药、航天、军事、农业等 各个领域。在农业领域，机器人的研究始于上世纪8 0 年代，特别是在日本和一些 欧美国家，已取得了一些成果，开始进入了应用阶段【l j 。从近期看来，我们可能 会得出农业机器人成本过高的结论，但是从长远看来，农业机器入却是可以解决 人类农产品生产问题的一种战略手段。实践证明，在规模化生产条件下，机器人 作业和人类作业相比更能实现低成本效益。可以解决劳动力的季节性不足，可以 提高劳动生产率，改善农业的生产环境，防止农药化肥等对人体的伤害，提高作业 质量 2 1 。随着信息化时代的到来和设施农业、精确农业的出现，农业的新发展 尤其离不开生物工程与信息化，在这方面，机器人具有得天独厚的优势。 农业机器人技术的发展使得如播种、水稻收获等工作对象是规则的农业生产 实现了机械化和自动化。但是，农业中有大量的工作，它们的对象并非是完全规 则的，比如杨梅、西红柿、苹果、黄瓜、西瓜等果蔬的生长具有极高的随机性， 并且生长环境有不同的自然气候、地形地貌以及不同的种植制度等等1 4 j 。对于必 须处理这些复杂又模糊的信息。还要进行综合判断的农业生产作业来讲，实现其 机械化和自动化是极为困难的。只有靠具有与人类相同的知识启发和学习功能的 智能农业机械农业机器人才可能得以实现。这就对农业机械提出了更高的要 浙江工业大学硕士学位论文 求，需要这些机械具有判别能力，具备一定的智能。 进入2 0 世纪9 0 年代，随着计算机技术和信息采集与处理技术的发展，人工智 能、计算机视觉等新技术在农业机械中的应用研究得到了重视。结合了农艺技术、 机械技术、电子技术、信息技术和人工智能技术等多种技术的农业机器人的研制 成为当前国内外农业机械研究领域的热点之一。 我们知道，任何一种农业机器人的正常工作都依赖于对作业对象的正确识别 嘲。例如除草机器人必须能够区别杂草和农作物；果蔬采摘机器人要能够分辨出 果实的成熟程度；喷药机器人要能实现均匀喷撒和对靶喷撒等。这些功能的实现 首先必须取决于机器人对周围环境和农作物的理解。一般来说，机器人对外界信 息的获取是通过相应传感器来实现的，例如视觉、距离、力、触觉、嗅觉等传感 器，其中8 0 的信息是通过视觉来获得的。农业机器人视觉系统的组成有多种方 案，多数是由拍摄外界景物的摄像机和信号处理装置组合而成，同时用距离传感 器来获得距离信息。目前更多的设想是在图像理解的基础上实现视觉系统。 视觉系统是农业机器人获取外界信息的重要途径，是实现机器人智能化不可 或缺的部分。农业机器人视觉系统中涉及的计算机视觉技术是- - l - i 交叉性很强的 边缘学科，由于它涉及计算机、自动化、数学、光学、色度学、最优控制、脑研 究、人工智能、数学形态学、数字图像处理、模式识别、神经网络及遗传算法等 学科，因此人们在研究工作中碰到了许多问题。现今的计算机视觉系统都是非柔 性系统，不一定具备通用性，其理论体系还处于百家争鸣的状态，因此本文在前 入的基础上继续研究果蔬采摘视觉系统的关键技术对将来实现机器入果蔬采摘 系统具有一定的学术价值和现实意义。 1 2 果蔬采摘机器人概述 果蔬采摘机器人是一类针对水果和蔬菜，可以通过编程来完成这些作物的采 摘、转运、打包等相关作业任务的具有感知能力的自动化机械收获系统p ，是集 机械、电子、信息、智能技术、计算机科学、农业和生物等学科于一体的交叉边 缘性学科，需要涉及机械结构、视觉图像处理、机器人运动动力学、传感器技术、 浙江工业大学硕士学位论文 控制技术以及计算信息处理等多方面的学科领域知识f 7 】嘲。 上个世纪6 0 年代起源的水果机械作业化，由于简单的机械收获易造成果蔬损 伤，所以在收获柔软、新鲜的果蔬等方面还存在很大的局限性。因此，在果蔬收 获中采用机器人作业，实现果蔬采摘的自动化和智能化，是解决上述问题的最好 方式。研究和开发果蔬采摘智能机器人技术对于解放劳动力、提高劳动生产效率、 降低生产成本、保证果蔬品质要求等方面都有着重要的意义。 果蔬采摘机器人，作为一种农业机器人，有不同于工业机器人的特性，主要 包括以下这些方面【9 】：作业环境的非结构性，作业对象的个体差异性和随机性， 作业对象的柔软、易损性，操作要求简单性，采摘机器人成本方面的特殊性等。 一般来说，采摘机器人要面对的工作环境是随机的，非结构化的，工作对象 也是不确定的，未知的。而主要的使用者是农民，他们不具有或只有很少的机械、 电子方面的知识，因此要求农业机器人必须具有高可靠性和易操作性。另外，由 于农业机器人以个体经营为主，并且农产品几乎都具有季节性，如果不能满足价 格低廉这个前提条件，就很难普及。采摘机器人的工作流程图1 1 所示。 ( 俸慰器的作用 信息处理部分的判健斤和执行机构的控静j ) i 一下 n b t | - 打 ，t 糯= l l 箸手箱矮茹：弱；驻 。需移动 机器人本体精确移动 l + 不需移动1 棚器人本体精确停止 l i z i e c ：* m 目，口，工田霄 一e * n “；冉t 6 扭- 、 i u 【w l 唷果实1 。二。 月 i 玎鹏缳e 疋 f 。不适合收q l _ 酐州h k n h n ；k f e 月 w f e 田imr v m m j j l + 不需移动机授臂移动 事止 图1 - ! 采摘机器人的工作流程图 概括起来，采摘机器人在工作过程中主要解决三个问题：( 1 ) 怎样导航机器 人在庄稼或者果树间移动；( 2 ) 怎样识别和定位果树上的果蔬；( 3 ) 怎样摘取已被 识别出的果蔬。 第一个问题涉及到机器人的视觉导航技术。视觉导航主要包括无线引导和有 浙江工业大学硕士学位论文 线引导两种，主要以前者为主。一般机器人根据c c d 摄像机对周围环境实时探测 获得信息，规划出所需路径，并能够沿着该路径在没有人工干预的情况下，移动 到预定目标。 第二个问题涉及到机器人的识别和定位技术，这主要依靠视觉系统。一般首 先获取果蔬的数字化图像，然后再运用图像处理算法，最后确定果蔬的位置。传 感器是机器人视觉系统最重要的部件，包括图像传感器和距离传感器等。图像传 感器有c c d 黑白相机，彩色摄像机或者立体摄像机等。果蔬采摘机器人视觉系统 主要分为基于二维和基于三维的。但是无论哪种视觉系统，最基本的任务都是获 取场景中各点的信息。基于二维的视觉系统一般采用一个摄像机和一个距离传感 器来获得果蔬的位置。而基于三维的视觉系统一般使用两个相隔一定距离的摄像 机同时获取场景图像，这一对场景图像存在的一定的差别称为视差，然后根据三 角测距原理获得三维位置信息，所以归根到底，基于二维的视觉系统是基础。 为了简化计算机视觉理解的任务，通常将其分为两个层次：低层的图像处理 和高层的图像理解。低层计算机视觉技术通常指数字图像处理，在这方面已经有 多年的实践经验了。一般的处理步骤如下：由一个传感器，比如摄像机，获取一 幅图像并将其数字化，去除噪声；然后可以根据需要增强一些必要的物体特征； 接下来可以进行边缘提取，再进行图像分割等处理。高层的处理取决于知识、目 标以及如何达到这些目标的计划，比如人工智能。目前应用在果蔬采摘机器人视 觉系统中的计算机视觉理解属于低层视觉。 第三个问题涉及到机械手的设计和控制。机械手又称操作机，它能代替人手 做某些动作，是机器人赖以完成工作任务的机械装置。对于采摘机器人，机械手 的主要任务就是将末端执行器移动到可以采摘的目标果实所处位置。机械手一般 可分为直角坐标、圆柱坐标、极坐标、球坐标和多关节等多种类型。机械手的自 由度数是衡量机器人性能的重要指标之一，它直接决定了机器人运动的灵活性和 控制的复杂性。果蔬采摘机器人往往工作于非结构性环境中，工作对象常常是随 机分布的，因此在机械手的设计过程中，必须考虑采用最合理的设计参数，包括 机器人类型、工作空间、机械臂数量以及机器人结构方式等。 果蔬采摘机器人的采摘模型如图1 2 所示 浙江工业大学硕士学位论文 图i - 2 果蔬采摘机器人的采摘模型 图1 3 至图1 8 是目前世界上比较典型的果蔬采摘机器人f 1 0 】。 图l - 3 西红柿采摘机器人 图1 5 葡萄采摘机器人 图l - 7 西瓜收获机器人 图1 4 黄瓜采摘机器人 图i - 6 柑橘收获机器人 圈i - 8 卷心菜机器人 浙江工业大学硕士学位论文 1 3 研究的目的和意义 2 1 世纪，我国农业已经进入了新的发展时期，农业科技进步对农业增长的 贡献率已经远远超过了土地、劳动力以及物资投入要素等对农业增长的贡献率。 党的十六大提出：力求通过5 8 年的不懈努力，农业科技进步贡献率达到5 5 以 上，科技成果转化率提高到6 0 。我国是一个农业大国，8 0 的人口是农民，广 大农村的机械化、自动化程度比较落后，我国农业机械化对农业生产的贡献率仅 为1 7 。但是在国外发达国家已经基本实现了机械化。 我国在加入w t o 后，全球经济一体化正以前所未有的速度影响着我国的经 济发展，尤其是农业经济的发展。到2 1 世纪中叶，我国经济要达到世界中等发 达国家水平，占我国总人口8 0 的农民收入必须迅速增加。为了加速我国农业经 济的发展，必须加快农业产业化经营步伐，提高劳动生产率，必须使整个农业实 现可持续发展。为此，必须实现农业现代化，用新技术条件下的技术优势来装备、 升级传统农业。实现农业生产的机械化和自动化将是一个必然的趋势，必须进一 步提高农业机械的通用性、智能化、自动化，广泛应用农业机器人，实施“精确 农业”，提高资源利用率和农业产出率，降低劳动强度，提高经济效率。 ， 果蔬产业是我国农业中的重要产业之一。近几十年来，我国果蔬产业规模和 产量有大幅度的增长，特别是中国加入w t o 以来，增长速度更加明显，据统计， 到1 9 9 3 年，我国水果总产量跃居世界第一位，到1 9 9 6 年，全国水果总产量己达 4 6 2 5 8 万吨，其中苹果和梨的产量仍居世界首位【i l l 。到2 0 0 2 年，果园面积达9 0 9 8 千公顷，总产量达6 9 5 2 万吨，分别比1 9 8 5 年增长2 2 3 和4 5 6 。其中，苹果 产量2 2 8 0 万吨，柑橘产量1 2 7 8 万吨，梨产量9 7 4 万吨。中国水果产量已占世界 总产量的4 0 i l q 。 果蔬采收属于一项劳动密集型工作。在很多国家，由于劳动力的高龄化和人 力资源日渐缺乏，劳动力不仅成本商，而且还不容易获得【1 3 1 ，人工收获的成本 在果蔬的整个生产成本中所占的比例高达2 5 - - 3 3 【1 4 1 ，果蔬果实收获机器人不 仅可以在很大程度上减轻劳动强度、提高生产效率。而且具有广阔的市场应用前 景【i s i 。因此实现果蔬收获机械化的需求变得越来越迫切。 在我国，为了促进果蔬业的发展，除了提高产量外还要提高果蔬的采摘效率。 6 浙江工业大学硕士学位论文 近年来，特别是加入w t o 以来，我国的果蔬出口量呈增长趋势，但与此同时， 现阶段我国果蔬采收基本依靠人力，果蔬采收的大部分成本来自人力成本。而由 于人的活动要受到许多条件的限制，加上果蔬的季节性较强，人工采摘作业效率 不高，导致部分果蔬腐烂，影响产量。比如我国浙江省杨梅盛产的时间是6 月中 旬到7 月初，短短2 0 天左右时间，要保证果实的质量和产量，要求有一定的采 摘技术。但是限于杨梅生长的地点和时间，导致果实不能及时采收而降低产量。 由于可用劳动力的减少、劳动力价值的增加、自然条件限制等诸多原因，对 果蔬的采摘进行自动化技术的研究和应用已十分必要。但我国农业生产自动化程 度较落后，采摘机器人在我国的应用和发展将面临观念和技术两方面的挑战【2 】。 要实现果蔬的自动化采摘，对自然场景下的果蔬进行判断和识别是最关键的 一步。其中涉及的技术主要是计算机视觉技术，又称为图像理解和图像分析。作 为当今世界上最为活跃的也是最有争议的学科之一，计算机视觉在农业上的应用 已经崭露头角，如上文提及的各种农业机器人，都是在此基础上发展的，可以说， 视觉技术是农业机器人中最重要的一环。 1 4 国外研究现状 日本是研究农业机器人最早的国家之一，早在2 0 世纪7 0 年代后期，随着工业 机器人的发展，对基于计算机视觉技术的农业机器人的研究工作逐渐启动，已研 制出多种农业生产机器人，如施肥机器人、嫁接机器人、移栽机器人和采摘机器 人等。2 0 世纪9 0 年代以来，“精确农业”技术的研究与应用在发达国家受到了普 遍的重视，已被国际农业科技界认为是2 l 世纪实现农业可持续发展的先导性技术 之一。具有相当智能的农业机器人是精确农业体系中有效装备之一，得到重视和 发展。许多国家根据自己的情况开发出了各具特色的农业机器人，如澳大利亚的 剪羊毛机器人，荷兰开发的挤奶机器人，法国的耕地机器人，日本和韩国的插秧 机器人等。 其实，早在1 9 6 8 年，学者s c h e n z 和b r o w n 就提出自动化采摘果蔬的思想。在 文献1 1 6 1 中，s e h e r t z 和b r o w n 就指出果蔬的识别和定位应该根据周围的光测信号， 浙江工业大学硕士学位论文 特别是基于果实和叶子在电磁光谱的可见光和红外区域反射率特性。他们在文献 中同时也提出了自动识别需要考虑的一些问题：( 1 ) 不均衡的光照；( 2 ) 植物生长 的随机性导致一部分果实不可见。 1 9 8 7 年，g r a n dd e s n o n 利用彩色摄像机为m a g a l i 机器人开发了一套视觉系 统。该系统主要由一个模拟信号处理系统组成，可以在给定的图像中选择色彩点， 然后进行二值图像处理确定中心。但是，该系统需要人为把树后面的背景变黑以 避免一些由于光照等因素引起的不必要的错误识别【1 7 1 。1 9 8 8 年，r a b a t e l 对该系 统进行了改进，采用3 台彩色摄像机和3 个不同波长的光学滤波( 9 5 0n m ，6 5 0n m 和5 5 0 n m ) 获得3 幅互补的亮度图。研究表明对于多数的苹果树，光谱带主要集中 在9 5 0 n m 处，并且不同种类的苹果几乎有相似的反射率。这个特征使得该系统对 光照变化不再那么敏感，通过获取6 5 0 n m 、5 5 0 r i m 、和9 5 0 n m 处的图像，计算两 两之间的比例可以判定当前像素是否属于果实或者属于叶子【1 8 1 。 同时在1 9 8 7 年，w h i t t a k e r 开发了一套在自然场景下识别和定位西红柿的视觉 系统，该系统对果实成熟度不敏感，即对色彩的改变不敏感。他认为不应该基于 局部像素值来识别果实而应通过全局像素间的关系来识别果实。利用b wc c d 摄像机获得2 5 6 色灰度图。通过s o b e l 算子获得梯度向量图，并通过阙值法，对梯 度向量图获得边界图和方向图。再利用边界图和方向图，优化圆形h o u g h 变换算 法探铡图像中和西红柿边界对应的圆弧【1 9 1 。 以上这些开发的收获机器人在工作过程中几乎都需要人的参与，因此都只能 算是半自动化的收获机械。 1 9 9 1 年，t i l l e t tr d 和b a t c h e l o rbj 介绍了基于机器视觉的蘑菇采摘机器人的 图像处理技术，为群体蘑菇识别奠定了良好的基础啪l 。1 9 9 4 年，英国科学家研 发了蘑菇采摘机器人，利用c c d 黑自摄像杌识别作物对象，这种机器人对独立对 象较易识别，重合对象较难识别，识别率达至u 8 4 。用直角机械手进行收获，为 防止损伤蘑菇，执行器部分装有衬垫，吸附后用捻的动作进行收获，收获率达6 0 ，完整率达5 7 【2 “。 1 9 9 6 年，荷兰农业环境工程研究所( i m a g ) 研制出一种多功能黄瓜收获机器 人圆。该研究在2 h m ! 的温室里进行，黄瓜按照标准的园艺技术种植并把它培养 为高拉线缠绕方式吊挂生长。该机器人机械手单个收获，收获成熟黄瓜过程中不 浙江工业大学硕士学位论文 伤害其它未成熟的黄瓜。视觉系统由两台摄像机和图形加工软件组成。在采用机 器人收获时，能对作业区域内的黄瓜进行探铡，评价果实的成熟度，找出果实的 精确位置。通过对黄瓜果实与叶子反射性及含水率的大量研究，得出探测黄瓜果 实采纳的图形加工技术可利用近红外线的一些可选频率来实现的结论。采用光学 设备在实验室和温室里对图形加工技术进行了测试。这个视觉系统具有三大功 能：将果实同周围背景物区分开来、辨认果实和探测它的位置。 1 9 9 8 年，意大利成功开发a j d ( a g r i c u l t u r a li n d u s t r i a ld e v e l o p m e n t - s p a ，c a t a n i a ) 视觉系统，被应用在柑桔识别系统中。该系统利用人造光，通过模拟电子滤波增 强图像，再进行一系列的处理获得图像的轮廓，与预先存储的对象模型进行匹配， 然后根据相似度进行判断。 接着，韩国研制成功第一架自动苹果采摘机器人。这架机器人由识别成熟苹 果的处理影像系统、主体、机械手和行走装置4 部分组成。如果用计算机控制采 摘成熟度达九成以上的苹果，它能在果树之问自由走动，并通过摄像机寻找适当 颜色和大小的苹果，然后用机械手准确地摘下来。且前，摘1 个苹果约需l o 秒到 2 0 秒，能不分昼夜工作2 0 小时左右，工作效率是1 个果农的3 至4 倍。在行走和采 摘时，该机器人可左右旋转，上下前后活动3 米，不损伤树枝而只摘下成熟苹果。 此外，还有很多的科研工作者在进行视觉系统的研究。m i y a n a g at 等人介绍 了基于机器视觉的瓜果秧苗嫁接技术，并已经制造了该种嫁接机器人 2 3 o j i m 6 n e z a 等研究了利用激光幅度探测仪，根据果实形状进行识别和定位。该文根据激 光幅度探测仪，得到范围信息，然后根据形状信息提取四组特征图片迸行识别 洲。在柑桔收获自动化方面，s l a u g h t e r d c 等首先研究了利用室外自然光条件下 拍摄图像的色度和亮度信息对柑桔收获机械手进行导向，建立了一个利用彩色数 字化图像中的颜色信息从柑桔树上识别柑桔的分类模型【2 5 】。另外，p l e b ea 和 c l r a s s og 也对这方面进行了深入的研究，在文献 2 6 1 中具体介绍了桔子采摘机器 人0 p r 系统。该系统有2 个机械手臂，每个机械手臂都安装2 台摄像机。各摄像机 分别获取图片信息，得到左手臂图像和右手臂图像，通过立体匹配两手臂中的图 像得到一个位置信息，将位置信息输入给训练过的神经网络系统就可以计算出果 实的具体坐标。德田胜研制成功了一种能搜索西瓜的机器视觉系统。首先将摄取 到的西瓜图像类型从r o b 变换为h i s ，然后观察其色调和饱和度。利用计算机视 浙江工业大学硕士学位论文 觉技术检测西瓜的成熟度，从而控制机器人采摘成熟度合适的西瓜 2 7 1 。 1 5 国内研究现状 国内在基于计算机视觉的农业机器人方面的研究起步较晚，始于2 0 世纪9 0 年代中期，并且主要的应用集中于基于计算机视觉的果实分级研究。但是，近些 年来，发展也非常迅速，很多院校、研究所都在进行智能农业机器人的研究。 虽然我国农业机器人大多还停留在实验室阶段，但是就视觉系统来讲，每年 都有一定的成果，有大量的科技文献或报道发表。 中国农业大学的张铁中教授领先在我国开展了基于视觉系统的自动化嫁接 技术的研究工作，利用传感器和计算机图像处理技术，实现了嫁接苗子叶方向的 自动识别判断。 浙江大学的应义斌教授等人对苹果、柑桔、黄花梨等水果的品质和分级进行 了较深入的研究，开发了基于计算机视觉的水果自动分级机器入。该系统可以按 照不同水果的国家分级标准所需的外部特征信息，包括果形、大小、重量、表面 光洁度、表面缺陷和损伤等因素对果实进行实时分级，生产率达到3 - 5 吨小时， 得到了国家“8 6 3 ”计划的支持。 在喷药机器人视觉技术中，沈维政等人研究了基于计算机视觉的田问杂草识 别方法。采用可变阈值法滤除了土壤背景，应用形态学方法识别出杂草。同时根 据杂草投影中心的像素位置确定田间杂草的实际位置，可以有效从阔叶植物中识 别出窄时稗草f 2 8 。 浙江工业大学张立彬、胥芳等人也在进行农业机器人的视觉系统方面的研 究。文献【2 】和文献e 2 9 论述了农业机器人视觉传感系统的主要实现技术和应用状 况，分析了实现农业机器人视觉的主要方法。 另外，蔡健荣等介绍了在自然场景下成熟水果的计算机视觉识别方法，利用 o t 蛳算法自动获取分割阈值。提取目标区域【3 0 】周云山等研究了计算机视觉在 蘑菇采摘机器人上的应用，研究了蘑菇和苗床图像信息的数字特征，提取蘑菇边 界所用的算法，封闭曲线的周长、面积和中心坐标的计算【3 “。张树魁等还进行 浙江工业大学硕士学位论文 了根据苹果的形状特征从果树中找出苹果的研究，实验表明该方法不受苹果品种 及光线条件的影响，可用来控制苹果采摘机器人 2 7 1 。孙明为苹果采摘机器人开 发了果实识别机器视觉系统，并研究成功了二值图像的像素正确率大于8 0 9 6 的彩 色图像处理技术 2 7 1 。 此外，我国是一个产棉大国，同样面临以人工采摘为主的局面，为此我国科 学家在引进国外先进技术的前提下，开发了套适合自然场景下实时采摘的棉花 采摘机。用图像增强、特征提取和图像理解3 个过程，同时结合现代数学领域的 小波分析、分形几何、模糊与粗糙集理论、人工神经网络和支持向量机等完成视 觉需要完成的任务一棉花的识别和分类，投入生产，效果良好【3 2 】。 1 6 研究的内容和目标 上述这些研究，从不同角度提出了从复杂自然场景中提取果蔬目标的方法， 基本思想都是把获得的图像通过颜色空间变换，利用颜色特征参数来提取果蔬目 标。但都没有完全解决三大问题：( 1 ) 当果蔬颜色和背景颜色差异较小的时候， 如何识别果蔬目标；( 2 ) 当果蔬非自然下垂生长的时候，如何确定采摘点；( 3 ) 当 多个果蔬叠加在一起，无法检测其整体边缘的时候，如何确定中心和采摘点。如 果不解决这三个问题，意味着机器人采摘可能失败。 鉴于上述思想，本文研究的目的是通过计算机视觉正确识别出果蔬和定位果 蔬；找到一种合适的算法，可以对自然场景下的果蔬图像进行识别，可以不受光 照、果蔬颜色等因素的影响，利用果蔬固有的特征比较合理地把果实和背景分割 开来，实现果蔬的识别。其次，利用几何原理找到一种合理的方法解决采摘点确 定问题。因为自然环境中生长的果蔬具有随机性，果蔬生长可分为自然下垂生长 和非自然下垂生长两种情况，丽这两种情况下的果蔬采摘点情况是不同的。所以 归纳起来，本文要解决的问题如下： ( 1 ) 识别自然光照条件下的果蔬 ( 2 ) 识别阴影下的果蔬。 ( 3 ) 识别部分被遮挡的果蔬。 浙江工业大学硕士学位论文 ( 4 ) 识别和背景颜色相似的果蔬。 ( 5 ) 对于识别出来的果蔬，获取它的中心点。 ( 6 ) 对于识别出来的果蔬，确定它的采摘点。 、 另外，从研究的通用性和实用性出发，本文对于研究目标的选取主要是苹果、 西红柿这类有代表性的球形果蔬。 综上所述，概括起来，本系统的工作流程图如图1 - 9 所示。 1 7 论文的体系结构 图1 - 9 本系统工作流程图 基于上文对果蔬采摘机器人和视觉系统的论述，本文着重对采摘系统的识别 和定位技术进行研究。论文的体系结构如下： 第一章绪论。主要介绍了果蔬采摘机器人和其视觉系统的国内外研究现状， 面临的主要问题，研究的目的和意义以及研究的内容和目标。 第二章图像预处理。介绍了图像预处理的内容，主要研究图像中的噪声来 源和消除噪声的方法。 第三章颜色空间。介绍了颜色空间的基本概念，重点研究了常用的颜色模 型，模型和模型之间的互换，以及这些模型的特点和适用范围。为第四章的分割 识别做好准备 第四章果蔬图像分割识别方案研究。重点研究了适合果蔬图像分割识别的 方案。 第五章i 刍然场景下果蔬分割识别的实现。针对第四章提出的果蔬分割识别 1 2 浙江工业大学硕士学位论文 方案，改进传统分割方法，对以颜色信息进行分割和以综合信息进行分割的实验 结果做了详细的论证。 第六章中心点和采摘点的确定。为研究对象分别构造几何模型，用改进的 连通域标记算法消除分割以后的小区域，重点介绍了中心点和采摘点确定问题。 第七章系统实现。介绍了根据本研究工作所做的系统实现，包括系统功能 和实例介绍。 第八章总结和展望。对论文进行总结，展望了今后的研究与发展方向。 1 8 小结 本章针对我国果蔬业发展迅速但采摘劳动力效率低下的现状，提出了实现智 能化果蔬采摘机器人的迫切性。本章首先阐述了农业机器人及其视觉技术，接着 具体介绍了果蔬采摘机器人及其涉及的各个关键技术，并对果蔬采摘机器人最关 键部分视觉系统重点进行了阐述。然后详细论述了本研究的目的和意义。在 分析了国内外研究现状以后，提出了本研究的内容和目标是实现自然场景下的果 蔬识别定位系统，这对实现农业果蔬采摘机器人的智能化将具有一定的理论意 义，对促进我国的农业经济发展将具有一定的现实意义。最后给出了论文的体系 结构。 浙江工业大学硕士学位论文 第二章图像预处理 预处理是指在处于最低抽象层次的图像上所进行的操作，它不会增加图像的 信息量，只会降低图像的信息量。因此，从信息理论的角度考虑，最好的预处理 是没有预处理，避免预处理最好的途径是着力于高质量的图像获取。但是，图像 在拍摄和转换成计算机可处理的数字图像的过程中，由于种种原因，图像的画质 会出现不尽人意的噪声、退化等，使图像质量下降，对图像分割的准确性产生很 大的影响。因此，有必要抑制或消除这些噪声而改善图像质量，即通过图像预处 理在进行下一步处理前去除噪声的影响，预处理常采用平滑滤波等操作。 2 1 噪声的来源 噪声可以理解为! 妨碍人们感觉器官对所接受的信息理解的因素”。噪声在 理论上可以定义为“不可预测，只能用概率统计方法来识别的随机误差”。图像 在摄取、传送、记录、显示过程中总要受到噪声的干扰，反映在图像上，噪声使 原本均匀和连续变化的灰度突变概率增加，形成一些虚假的物体边缘或轮廓，使 得图像的后续处理容易引入误差。噪声主要来自三个方面1 3 3 】：胶片颗粒噪声、 电子噪声和光电噪声。 2 2 图像中的噪声 文献【3 4 】把图像中常见的噪声分为5 类：加性噪声、乘性噪声、量化噪声、 冲激噪声和胡椒盐噪声。图像中的噪声往往和信号有关联，如果去噪处理不当， 就会导致图像本身的细节丢失，从而使图像降质。所以图像的平滑实际上是以丢 失细节为代价的。如何在这两者之间达到一个平衡，是图像平滑研究的主题。 1 4 浙江工业大学硕士学位论文 2 3 噪声消除方法 如何从一幅有噪声的图像中把噪声除去是去噪的主题。此时，图像中的噪声 把像素的真值隐蔽起来，表现为图像变暗或不清晰。去噪目的就是得到视觉清晰 的图像。把有噪声于扰的图片2 - 1 放大后研究，如图2 - 2 所示。可以发现：噪声 的浓度与其四周像素的浓度存在很大的浓度差。正是因为这种浓度差，使人的肉 眼受到刺激。利用噪声的这种性质除去噪声的方法，称之为平滑。但因为图像的 边晃部分也存在着急剧变化的浓度差，所以如何将这类边界与噪声恰当地分离， 只把噪声去掉，正是执行平滑所要解决的最主要的方面。在无法预知噪声的发生 模型时，一般采用平滑滤波的操作达到去噪效果。 2 4 滤波 图冬l噪声图像图2 - 2 噪声图像局部放大图 目前，有很多关于图像平滑滤波的算法，典型的有【3 5 1 ： 2 4 1 均值滤波法 均值滤波包括算术均值滤波、几何均值滤波和谐波均值滤波。它是用一个有 奇数点的滑动窗口在图像上滑动，将窗口中心点对应的像素点的灰度值用窗1 ：3 内 的各个点灰度值的平均值代替。这种方法就是对一个噪声点进行模糊。由于参加 平均的像素在原始图像中灰度值是不等的，但在去噪过程中有像素都进行了平 均，所以这一处理技术可能会使边界模糊。举个例子：对于图2 - 3 输入图像的像 素数组，最简单的算术均值滤波的思想就是利用这9 个像素的平均值来代替中点 1 5 浙江工业大学硕士学位论文 的像素值，如式2 1 所示。 p 0 p lp 2 邸p , i p 5 1 , 6 p 7p 8 图2 - 3 像素数组 p 4 ；p o + p 1 + p 2 + p 3 + p ：4 + p s + p 6 + p 7 一+ p 8 ( 2 - i ) o 对于图2 1 的噪声图像，分别对其3 个分量图进行均值滤波，然后重建r g b 图像，效果如图2 - 4 ( a ) ( b ) 所示： a 一次均值滤波 图2 - 4 均值滤波效果图 2 4 2 中值滤波法和矢量中值滤波 b 五次均值滤波 中值滤波是以局部中值代替局部均值。在滑动窗口内，首先把所有像素点的 灰度值按大小进行排序，然后选取处于正中位置的那个灰度值。这样，把被处理 点的某一邻域中像素灰度中值作为该点灰度的估计值。所以，它和均值滤波比起 来，后者将噪声成分也放到了平均计算中，因此其最后的输出也受到噪声的影响。 而在中值滤波法中，每次都是选用排在中间位置的像素值，噪声成分很难被选到， 对最后的输出图像不会有什么影响。因此，对同一3 x 3 图像，显然中值滤波法在 去除噪声能力上略胜一筹。所以本实验采用中值滤波方式对图像进行预处理。 在一维形式下，中值滤波是一个含有奇数个像素的滑动窗口，经排序后，窗 口像素序列为： 局v ，i 1 ，用，翻， 。其中，w - ( l 一1 ) 2 ，为窗口长 度，只为窗口像素的中值滤波输出。记g i = m e d f j v ，最- i ，e ，毋，) 。 m e d ，表示取窗口中值。如一窗口长度为5 ，像素灰度分别为 2 0 ，1 0 ，3 0 ，1 5 ，2 5 ， 浙江工业大学硕士学位论文 则g i = m e d 1 0 ，1 5 ，2 0 , 2 5 ，3 0 - - 2 0 。 再举个简单的例子，有图2 5 所示的输入图像的像素数组。为求出带7 f 划线 处的像素值，将3 x 3 区域