（机械电子工程专业论文）草莓收获机器人采摘系统研究.pdf

摘要 为了实现草莓收获的自动化以及智能化，在前人研究的基础上，对草莓收获机器人采 摘系统进行了研究。搭建了一个三自由度的直角坐标机械手，设计了该机器人的视觉系统， 并为机器人建立了一个开放式的控制系统，最后重点对草莓图像处理算法以进行了研究，并 编程实现。 开放式机器人控制器可以提高系统的柔性、可扩展性、可靠性和复用性等性能。以工控 机和g a l i l 运动控制器为核心，建立模块化、开放式的机器人控制系统。采用v c + + 语言 来编写系统程序，通过矢量运动节省作业时间。试验结果表明，控制系统运行良好 采用l r c d ( 1 u m i n a n c ea n dr e d c o l o r d i f f e r e n 嘲方法分割草莓图像。在r g b 色彩模型中， 求得图像中每个像素的色差，在灰度图像中显示以色差值为灰度值的色差图像，取合适的阐 值对该图像二值化，得到分割后的草莓图像；提取分割后草莓图像的几何特征，由边界到重 心的最长距离来确定草莓果尖的位置，并在过果尖与重心的反相延长线上取一合适的点( 例 如，本研究中取其到重心的距离与果尖到重心的距离相等) 作为采摘点。并通过坐标变换， 获得该采摘点在空间上的实际坐标值。试验结果表明，视觉系统对采摘点位置的判断误差 3 m m 。 该开放式机器人控制系统能够准确到达指定位置，其图像处理方法切实可行。 关键词：草莓收获，图像处理，开放式控制系统，机器人 a b s t r a c t t oa u t o m a t i z ea n di n t e l l i g e n t i z et h ep r o c e s so fs t r a w b e r r y - c o l l e c t i n g ，t h ep i c k i n gs y s t e mo f s t r a w b e r r y - h a r v e s t i n gr o b o t si ss t u d i e do nt h ep r e v i o u sb a s i s ac a r t e s i a nc o o r d i n a t em a n i p u l a t o r w i t ht h r e ed e g r e e - o f - f r e e d o m s ( d o f s ) a n da no p e ns t r u c t u r ec o n t r o ls y s t e ma r es e tu p , a tt h es a m e t i m et h ev i s i o ns y s t e mi sd e s i g n e d ，t h e nt h ea r i t h m e t i co fi m a g ep r o c e s si se s p e c i a l l yr e s e a r c h e d a n dp r o g r a m m e d t h ec o n t r o l l e rh a so p e ns t r u c t u r es oa st oe n h a n c et h ef l e x i l i t y t h ee x t e n s i o n ，t h er e l i a b i l i t y a n dt h er e p e t i t i o u sr i s eo ft h es y s t e m w i t ht h ec o r eo fp ca n dg a l i lc o n t r o l l e r , t h eo p e na n d m o d u l a rc o n t r o ls y s t e mi ss e tu p t h es y s t e mp r o g r a mi sw r i t t e nb yv c + + t h ev e c t o rm o v e m e n t c a ns a v et h ew o r k i n gt i m e t h er e s u l ts h o w st h a tt h es y s t e mo p e r a t e sw e l l l r c d ( i u m i n a n c ea n dr e d c o l o rd i f f e r e n c e ) m e t h o di sa d o p t e dt os e g m e n ti m a g e o f s t r a w b e r r y t h er e s u l ta r es h o w ni nag r a yi m a g e s e g m e n t e di m a g ei sg a i n e db yt r a n s l a t i n gt h e g r a yi m a g et oab i n a r yi m a g ea f t e rs e l e c t i n ga na p p r o p r i a t et h r e s h o l d a f t e re x t r a c t i n gg e o m e t 】节 f e a t u r eo fs e g m e n t e ds t r a w b e r r yi m a g et h et i pp o s i t i o nc a l lb ea s c e r t a i n e db yt h el o n g e s td i s t a n c e f r o mt h eb o u n d a r yt ot h eb a r y c e n t e r ，t h e nt h ep l u c k i n gp o s i t i o ni sg a i n e di nt h er e v e r s el i n ef r o m t h et i pt ot h eb a r y c e n t e r ( t h ed i s t a n c ef r o mt h ep l u c k i n gp o s i t i o nt ot h eb a r y c e n t e ri se q u a lt ot h a t f r o mt h et i pt ot h eb a r y c e n t e r ) t h ep l u c k i n gp o s i t i o n sa c t u a lc o o r d i n a t e sc a nb eg o tb y t r a n s f o r m i n gt h ec o o r d i n a t e s t h er e , s u i tr e v e a l st h a tt h ee c c e n t r i c i t yo ft h ep l u c k i n gp o s i t i o nw i l l b en om o r et h a n3m mi nt h er o b o tv i s i o ns y s t e m ， t h i so p e nc o n t r o ls y s t e mc a na r r i v et h ep o s i t i o ns p e c i f i e dw e l la n dt r u l ya n dt h em e t h o dt o p r o c e s si m a g e si sf e a s i b l e k e yw o r d s ：s t r a w b e r r y - c o l l e c t i n g ，i m a g ep r o c e s s ，o p e n s t r u c t u r ec o n t r o ls y s t e m ，r o b o t 独创性声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研究成 果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发 表或撰写过的研究成果，也不包含为获得中国农业大学或其它教育机构的学位或证郝 而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明 确的说明并表示了谢意。 研究生签名： 访，耷j 囊 时间：硝年孑月膨日 关于论文使用授权的说明 本人完全了解中国农业大学有关保留、使用学位论文的规定，即：学校有权保留 送交论文的复印件和磁盘，允许论文被查阅和借阅；学校可以用不同方式在不同媒体 上发表、传播学位论文的全部或部分内容，可以采用影印、缩印或扫描等复制手段保 存、汇编学位论文。 ( 保密的学位论文在解密后应遵守此协议) 研究生签名： 路，列g 时间：桦年；月，占日 导师签名 圜 时间：御j 年3 月，5 目 中国农业大学硕士论文第一章绪论 1 1 机器人技术概述 1 1 1 机器人的发展历史 第一章绪论 机器人是2 0 世纪人类的伟大发明之一。它作为人类的新型生产工具在减轻劳动强度、提高 生产率以及改变生产模式等方面显示出极大的优越性，并且正在逐步把人类从危险、恶劣的工作 环境中解放出来。目前由机器人与其它设备组成的生产线极大地提高了企业的生产率和产品质 量，大大地缩短了产品更新换代的周期，机器人的出现和发展已使传统的生产方式发生了根本性 变化。机器人不仅在工农业生产上应用越来越广，而且在社会服务、海洋开发、原子能利用、空 间探索、地下矿藏、抢险救灾、军事等领域也具有重要的实用价值 机器人技术是一门多学科交叉的技术，涉及机械、电子、计算机、控制理论、仿生学、人工智 能、传感器技术等学科领域。它的研制开发和应用充分反映了机器进化和生产系统的发展方向。 因此，机器人技术己成为当今应用广泛、发展迅速和最引人注目的高新技术之一。 机器人的概念从古代神话就已存在，但直到上世纪中期的1 9 5 4 年美国g c d e v o l 发表“通用 重复机器人”专利论文和c o n s o l i d a t e d 发表“数字控制机器人”论文，才揭开了现代机器人研究 的序幕。从技术角度，机器人的发展经历了以下三代： 第一代机器人含义比较广泛，既包含固定程序( 上下料机械手) 和可编程( 可改变工作程序) 的机器人，又包含具有记忆装置的示教再现型机器人它的特点是对环境没有感觉和反馈。不能 适应变化的环境，只能重复再现预定的工作。 第二代机器人是指那些具有视觉、触觉等传感器和摄像机、计算瓠组成的“手眼”协调系统。 它通过有关传感器和摄像机感知环境，并将环境信息通过计算机进行计算处理，自动控制操作机 器人进行运动和操作。因此，它具有智能特性。有触觉、感觉、力觉和简单的视觉，能简单的修 改运动及操作规则以适应环境变化，保证操作质量 第三代机器人是所谓智能机器人。这种机器人装有多种传感器，具有更多人的功能，不但具 有触觉、感觉、力觉和视觉还具有听觉，能用语言进行对话并将多种传感器探测到的信息进 行“融合”( 多传感器融合) ，有效的适应变化的环境，具有较强的自适应能力，并具有自学习、 自治( 自己管理自己、自主决策) 能力。 目前，从世界范围来看，各国都非常重视机器人的研究开发。特别是一些经济技术实力比较 雄厚的国家都制定了近期和长期的发展计划，如日本的a r t r a ( 极限环境作业机器人) 计划。 该计划从1 9 8 2 年开始历时8 年，研制核安全机器人、水下机器人、油田救灾机器人三种极限 环境作业机器人。美国、法国、德田、英国也都制定了相应的计划，投入了大羹的人力物力， 进行机器人技术的开发，取得了大量的成果。这些国家的机器人技术水平最高，而且涌现了许多 高水平的专业开发公司。如美田的t r c 、a l i a n t ，德国的i p a 、d o m i e r , 英田的m o r f a x ，日本的e a s t j a p a np e a l w a y 。法国的c y b e r b e t i x 、d m 等。 我国机器人研究开始于1 9 7 0 年，但仅仅停留在样机的研制上。到1 9 8 5 年，国际上机器人已 中国农业大学硕士论文第一章绪论 大量投入使用，计算机技术、伺服驱动技术已日见成熟，并且国内工农业生产对机器人提出了更 多要求。在这种情况下，国家首次在“七五”科技攻关项目中立项支持。在技术上，主要立足于 国产机器人的研究、开发和应用，机器人技术与机器人用户紧密结合起来，使中国机器人技术一 起步就进入实用化阶段。国家“8 6 3 ”计划将机器人技术作为重点资助的主题，国防科工委也制 定了智能机器人的发展计划，包括空阐机器人、水下机器人、陆地自主车等，许多大专院校和科 研机构都在进行机器人的研究开发，并取得了一定的成果。同时，批以机器人技术为核心的新 兴企业脱颖而出，如沈阳自动化研究所的机器人技术国家工程研究中心、哈工大博实公司、北京 机械自动化所机器人中心、上海交大海泰公司等它们作为国家8 6 3 计划智能机器人主题的产业 化基地。致力于我国机器人技术研究开发和产业化，其研制的智能机器人基本达到世界同类产品 的同期水乎。 1 1 2 机器人的组成 机器人是一个依靠自动控制实行操作功能或移动功能的完整的系统( 图1 1 ) ，主要包括以 下几部分： 执行机构完成机器人的操作或移动，包括铰链连接的基座、肩肘、夹持器 - t - 爪) 以及行 走轮等部分。 动力元件为执行机构提供动力，常用的动力元件有交直流电动机、液压及气压的动力元件。 传动装置将动力元件提供的动力传送到执行元件，常采用齿轮、链轮、蜗轮蜗杆等。 传感器分为内部传感器和外部传感器两类。内部传感器用来确定整个系统的各组成元件之 间的位置与位姿；外部传感器用来获得机器人的环境状态信息，如安装在机器人本体上的摄像机、 力检测器、接近俦感器等。 计算机它是机器人的大脑，用来处理机器人传感器所接受的信息及进行控制运算。 图1 1 机赫人组萨示意图 2 中国农业大学颈士论文第一章鳍论 1 2 机器人在农业中的应用 随着科学技术的发展，机器人已经被应用到了许多领域。但在农业领域，还没有达到实用 化。国际上一些发达国家，特别是日本，从上世纪八十年代开始研究，取得了一些成果，开始 进入了应用阶段。我国在该领域中的研究还处于起步阶段必须加快步伐，才能达到世界先进 水平。 1 2 1 研究农业机器人的意义 1 ) 提高生产率。 2 ) 解决劳动力不足的问题。 3 ) 改善作业者的安全、卫生环境。 4 ) 提高作业质量。 5 ) 提高机械的通用性。 1 2 2 国内外农业机器人研究现状 在日本、美国等发达国家，农业人口较少。随着农业生产向规模化、多样化、精确化的方向 迈进，劳动力不足的现象越来越明显。许多作业项目如蔬菜、水果的挑选与采摘，蔬菜的嫁接等 都是劳动力密集型的工作，再加上时令的要求，劳动力缺乏的问蹶很难解决。正是基于这种情况， 这些发达国家大力进行农业生产机器人的研究，并取得了很好的成果。尤其是日本，借助其在工 业机器人领域的技术优势，在农业机器人的研究当中也一马当先。以下为一些农业机器人的研究 实例。 日本的喷农药机器人；这种机器人的外形很像一部小汽车，机器人上装有感应传感器，自动 喷药控制装置( 就是一台能处理来自各传感器的信号以及控制各执行元件的计算机) 以及压力传 感器等。在果园内，沿着喷药作业路径铺设感应电缆，工作时，电缆中流过由发送机发出的电流， 在电缆周围产生磁场。机器人上的控制装置根据传感器检测到的磁场信号控制机器人的走向机 器人在作业时，不需要手动控制，能够完全自动的对树木进行喷药机器人控制系统还能够根据 方向传感器和速度传感器的输出，判断是直行还是转弯，而且，对没有树木的一侧，机器人能自 动停l t 喷药。也可以根据需要解除转弯时自动停止喷药的功能。在喷药作业时，当药罐中的药液 用完时，机器人能自动停止藏药和行走。在作业路径的终点，感应电缆铺设成锐角形状于是由 于磁场的相互干扰，感应传感器就检测不到信号，于是所有功能就会停止下来。当机器人的自动 操作功能解除时，还可以利用遥控装置或手动操作运行，把机器人移动到作业起点或药液补充地 点。机器人在工作时的安全是十分重要的，这个喷药机器人在前端装有2 个障碍物传感器( 就是 一种超声波传感器) ，可以检测到前方约一米左右距离的情况当有障碍物时，行走和喷药均停 止：另外机器人前端还装有接触传感器，当机器人和障碍物接触时，接触传感器发出信号动作 全部停止；在机器人左右两侧还装有紧急手动按钮。当发生异常情况时，可以用手动按钮紧急停 止。另外当信号发送机出现故障，感应电缆断线或者机器人偏离感应电缆时，由于感应传感器检 中国农业大学顿士论文第一章鳍论 测不到磁场信号，机器人就会自动停止。这些功能使机器人在作业时，保证了机器人和周围环境 的安全。由于使用了喷农药机器人，不仅使工作人员避免了农药的伤害。还可以由一人同时管理 多台机器人，这样也就提高了生产效率，所以这种机器人将会有更大的发展。 嫁接机器人：嫁接机器人技术是近年在国际上出现的一种集机械、自动控制与园艺技术于一 体的高新技术，它可在极短的时间内，把蔬菜苗茎杆直径为几毫米的砧术、穗术的切口嫁接为一 体，使嫁接速度大幅度提高：同时由于砧、穗木接合迅速，避免了切口长时间氧化和苗内液体的 流失，从而又可大大提高嫁接成活率。因此，嫁接机器人技术被称为嫁接育苗的一场革命。日本 西瓜的1 0 0 ，黄瓜的9 0 ，茄子的9 6 都靠嫁接栽培，每年大约嫁接十多亿棵。从1 9 8 6 年起日 本开始了对嫁接机器人的研究，以日本“生物系特定产业技术研究推进机构”为主，一些大的农 业机械制造商参加了研究开发，其成果已开始在一些农协的育茁中心使用由于看到了蔬菜嫁接 自动化及嫁接机器人技术在农业生产上的广阔前景，日本一些实力雄厚的厂家如y a n m a 、 m i t s u b i s h i 等也竟相研究开发自己的嫁接机器人，嫁接对象涉及西瓜、黄瓜、西红柿等。总体 来讲。日本研肯6 开发的嫁接机器人有较高的自动化水平，但是，机器体积庞大。结构复杂，价格 昂贵。9 0 年代初，韩国也开始了对自动化嫁接技术进行研究，但其研究开发的技术，只是完成部 分嫁接作业的机械操作，自动化水平较低，速度慢，而且对砧、穗木苗的粗细程度有较严格的要 求。在欧洲农业发达国家如意大利、法国等，蔬菜的嫁接育苗也相当普遍，大规模的工厂化育苗 中心全年向用户提供嫁接苗。由于这些国家尚未有自己的嫁接机器人，所以嫁接作业一部分仍采 用手工嫁接，一部分采用日本的嫁接机器人进行作业。 蔬菜水果采摘机器人：国外已经开发出了一大批蔬菜水果采摘机器人，如番茄采摘机器人、 葡萄采摘机器人、黄瓜收获机器人、西瓜收获机器人和蘑菇采摘机器人等。下面以黄瓜收获机器 人为例说明：1 9 9 6 年，荷兰农业环境工程研究所( i m a g ) 开始研制出一种多功能黄瓜收获机器人。 该研究在荷兰的温室里进行，黄瓜按照标准的园艺技术种植并把它培养为商拉线缠绕方式吊挂生 长。该机器人只进行单个收获。收获成熟黄瓜过程中不伤害其它未成熟的黄瓜。采摘是通过末端 执行器来完成，它由机械手和切割器构成。末端执行器和枫援手安装在行走车上，行走车为机械 手的操作和采摘系统的初步定位服务。机械手有7 个自由度采用三菱( m i t s u b i s h i ) r v - e 2 六自 由度机械手，在底座增加了一个线性滑动自由度。整个系统无人工干预就能在温室工作试验结 果为工作速度1 0s 根，在实验室中效果良好，但还不能满足商用的各种要求日本也研制了类似 的黄瓜收获机器人。 施肥机器人：其行走部分是能在狭窄的稻秧间行走的窄型橡皮车轮、四个轮子均可横向转动 9 0 度。施肥装置是把糊状肥料经过肥料泵加压、由喷嘴向土中施肥，喷嘴是两个一组共有四组， 利用喷嘴柄把喷嘴插入土中1 5 c m ，进行点注深层施肥。机器人能沿着水稻垄自动行走，能自动 保持作业部分的深度，自动控制施肥量机器人工作时无人操纵通过前方传感器自动检测地头 的土埂，在设定的土坯处自动停止转动9 0 度，再横向移动8 条稻垄，再转动9 0 度，继续向相 反方向进行作业。美国明尼苏达州一家农业机械公司的研究人员推出的施肥机器人别具一格。它 会从不同土壤的实际情况出发，适量施肥，它的准确计算合理的减少了施肥的总量，降低了农业 成本。 除了以上介绍的几种农业机器人，现在已开发出来的农林业机器人还有：喷药机器人、蔬菜 4 中国农业大学硬士论文第一章绪论 嫁接机器人、收割机器人、蔬菜水果采摘机器人、林木修剪机器人、果实分拣机器人、耕耘机器 人、施肥机器人、除草机器人等。 国内在农业机器人方面的研究始于2 0 世纪9 0 年代中期，相对于发达国家起步较晚，但是发 展很快，很多院校、研究所都在进行农业机器人和智能农业机械相关的研究。 中国农业大学张铁中教授率先在我国开展了自动化嫁接技术的研究工作，先后成功开发了自 动插接法、自动旋切贴合法嫁接技术，填补了我国自动化嫁接技术的空白，形成了具有我国自主 知识产权的自动化嫁接技术。嫁接机器人能完成砧木、穗木的取苗、切苗、接合、固定、排蓖等 嫁接过程的自动化作业。操作者只需把砧木和穗木放到相应的供苗台上，其余嫁接作业均由机器 人自动完成，从而大大提高了作业效率和质量，减轻了劳动强度。嫁接机器人可以进行黄瓜、西 瓜、甜瓜苗的自动嫁接，为蔬菜、瓜果自动嫁接技术的产业化提供了可靠条件。 上海交通大学机器人研究所的曹其新等人进行了用于精确农业的智能农业机械的研究工作， 已经完成了智能化联合收割机、蔬菜工厂化育苗播种流水线样机的研制正在进行草莓挑选机器 人、黄瓜采摘机器人的研究。 浙江大学应义斌教授研究的水果自动分级机器人系统得到国家“8 6 3 ”计划的支持。吉林大 学王荣本、子海业在9 0 年代中期开始进行农用自动引导行走车的研究。南京农业大学姬长英、 沈明霞等人，浙江工业大学青芳、张立斌等人，在进行农业机器人的视觉研究。江苏大学纪良文、 吴春笃进行了喷药机器人的研究，他们采用超声测距作为喷药机器人的辅助视觉系统。 1 3 草莓采摘机器人 1 3 1草莓采摘机器人的研究意义 草莓( s t r a w b e r r y ) 因其果实色泽鲜艳，液汁丰富，味美可口，极富营养价值和保健价值， 有“水果王后”和“生龠之果”的美称。近4 0 年来。由于草莓的育种、繁育与栽培技术、病虫 害的防治以及采摘后加工技术的进步，草莓在全世界得到了极大的推广。 我国近几年的草莓种植面积迅猛增加，1 9 8 5 年大约为3 3 0 0 公埂，1 9 9 5 年增加到3 6 7 0 0 公顷， 2 0 0 0 增到4 6 7 0 0 公顷，2 0 0 1 年叉增加到6 7 7 0 0 公顷，比1 9 8 5 年增加了1 9 5 倍，而在今后几年 全国的草莓种植面积也会以1 0 左右的数度增长，总价值在十五亿以上。我国革莓生产地主要分 布在河北、辽宁、山东、江苏、上海、浙江、四川、吉林等地。 草莓有其独特的生长方式。草莓多为二鼓聚伞花序，按次序先后开花结果，造成果实的不定 期成熟，这就需要人工不定时地进行判断和收获。由于不同的人在判断草莓成熟度上存在差异， 容易造成收获后草莓的等级差异大。另外。草莓一般在开花后3 0 天左右，果实进入成熟期。露 地栽培的草莓- 采摘期达2 0 天左右，而温室种植的革莓采摘期可达5 - 6 个月据调查在草莓 温室生产中，每亩地需要人工约5 5 个，其中收获作业约4 5 个。约占整个生产过程的8 1 ，并且 在草莓收获期，每天至少收获两次，a 工采摘草莓，劳动强度和作业量非常大随着农村劳动力 向第二、三产业转移以及农村劳动力的妇女化和老龄化，用于生产草莓的劳动力日趋紧张，由此 开发一种能够代替人工作业的草莓收获机器人势在必行。 中国农业大学硕一l 论文第一章绪论 从未来草莓生产的发展来看，草莓的生产绝不会仅限于鲜食用。当草莓制舳的消费流行起来 以后，将会出现专为生产草莓酱、草莓果汁和草莓罐头等草莓制品的_ i ：厂提供原料的栽培基地。 这样的基地将具有种植面积大、工厂化管理等适合机械化采摘的特点同时加工用草莓对外观的 要求不会太高，这样更加有利于实现机械化、自动化采摘。 基于以上情况，可知在当前草莓生产中其收获的机械化和自动化是一个亟待解决的问题。 草莓采摘机器人的研制可以有效的减轻果农的劳动负担井有利于更人面积的推广草莓生产，获 得更多的经济效益。 1 3 2 草莓采摘机器人的研究现状 在日本，农业机器人技术已用于水果、蔬菜的拣选、包装其至收割上对丁草莓虽然因其 形状复杂，果实娇嫩，难于用机械处理，但他们还是对草莓生产自动化进行了大姑的研究， ：取 得了不少成果。 图l 一2 所示的草莓拣选机器人是其中的一种。它的主要工作流程是在皮带传送台上完成的 传送台的两侧备有一个用于推动草莓的直动气缸。传送带的上方有c c d 摄像头，当草莓从摄像 头的下方经过时。糙个图像处理系统会根据草穰的外形特征对其等级进行判断，然后由气缸推动 对应的草莓果实到对应级别的收集机构上。该机器人综合运用了图像处理和神经网络方面的知 识。 日本学者还研究了其它多种拣选方式，其中种是这样的：果农采摘时使用波浪形的果盘， 这样可以使草莓按规定形式排列，方便用机器人进行分级。机器人使_ 日；i 气吸的方式从萼片帛l 果梗 处将草莓吸住然后转动机械手臂，将草莓放入相废等级的果盘中。 基于对草莓分级研究的技术储备，日本学者对草莓收获机器人的研制也走在前列。目前主要 有两种形式，均采用直角坐标系，其中一种用气动手爪进行草猿的切断和夹取针对的栽培模式 是传统的摧作栽培 另外一种是针对高架栽培草莓的它采用气吸加切断装簧米收获吊住宅中的 草莓。 围1 2 簟莓拣选机矗人的系统构成圈 我国目前的革莓栽培全部都是由人 ：完成。在丹东地区。有少量的钢筋结构的暖棚实现了机 6 中国农业大学硕士论文 第一章绪论 械卷帘，这免去了每天都要人工卷帘的繁重劳动。但是对于革莓分级和收获自动化的研究，现在 才都刚刚起步。中国农业大学张铁中教授在国内率先开展了革莓收获机器人的研究工作，通过图 像处理的方法来检测草莓在空间上的位置，并控制机器人采摘草莓。 1 4 研究内容与目标 本课题主要是研究草莓采摘机器人采摘系统，该系统主要包括一个三自由度的笛卡儿坐标系 机械手，末端执行器，控制系统以及视觉系统。该系统主要涉及到图象处理技术，自动控制以及 机械电器知识。其主要研究内容有： l ，采摘系统结构设计，设计一个三自由度的笛卡儿坐标系机械手；建立机器人视觉系统， 用来采集草莓图像以及获取目标点的位置。 2 创建一个开放式的运动控制系统，并通过该控制系统，控制机械手及末端执行器的运动。 3 图象处理算法研究及软件开发，采用图像处理的方法提取草莓重心位置以及采摘点的位 置。 4 控制系统算法设计及软件开发，通过该程序来控制视觉系统按指定要求工作，并控制机 械手准确采摘草莓。 7 第二章草莓采摘系统整体设计 2 1 机械结构设计 设计了一个三自由度的直角坐标机械手以及一个末端执行器来实现机器人对草莓的采摘作 业。该机械手的运动主要由三个互相垂直的直线运动( 水平x 轴、水平y 轴、竖直z 轴) 复合 而成，其结构如图2 一l 所示。与其他类型的机械手相比，它具有定位精度高，作业空间大，操 作方便，控制简单的特点人工收获草莓时，采用掐断草莓果梗的方法收获草莓，针对这个特点， 机器人采摘爪( 末端执行器) 在收获草莓时，首先由一个夹持机构夹住草莓果梗，再采用一个剪 切机构切断果梗，其结构如图2 2 所示。 瑚 圈2 - - i 直角坐标机械手示意圈 田2 2 采摘爪机械结构 机械手的直线运动采用伺服电机驱动直线导轨来实现其中x 轴和y 轴采用韩国i n c o m t e c h n o l o g y 公司的r o b o s e n 一体化导轨x 轴为滚珠丝杠导轨，y 轴为齿形带导轨。直线导轨通 用性能强，采用一体化直线导轨，使机械手设计变得简单易行，安装拆卸方便x 轴导轨行程为 8 0 0 r a m ，位置重复精度为0 0 2 m m ；y 轴导轨行程为8 0 0 m m ，位置重复精度为o 0 5 m m 。x 轴 和y 轴重复精度高，因此在水平面上可以达到很高的精度，能够满足在水平面上对目标物体准确 定位的需求。z 轴采用自行设计的丝杠传动直线导轨，其行程为3 2 0 m ，在其上面安装了用来抓 取和切断草莓果梗的末端执行器 机器人在工作时，通过摄像头采集草莓图像，并采用图像处理的方法获得草莓的位置信息。 根据该位置信息，确定机器人的动作然后电机驱动机械手运动，使末端执行器到达指定的位置， 采摘草莓。在这个工作过程种，摄像机起到了传感器的作用系统整体框架图及实物图分别如图 8 中国农业大学硕士论文第二章草莓采摘系统整体设计 2 3 和2 - - 4 所示。 2 2 视觉系统设计 田2 - - 3 草莓收获机一人采摘系统示意图 图2 - - 4 系统实物田 2 2 1 视觉系统结构及工作原理 机器人视觉系统硬件由1 台计算机、2 台c c d 摄像机和2 张数字图像采集卡组成。其示意图 如图2 - - 3 所示其中摄像机l 固定在机架上，距离地面较远，获取图像面积大，分辨率低：摄 像机2 安装在机械手的z 轴上，可以随机械手一起运动，且摄像机2 距离地面较近。获取图像面 积小，分辨率高。 草莓采摘机器人系统的工作原理如下：摄像机l 摄取水平地面上收获区域内草莓的图像，经 图像分割后提取收获区域内所有成熟草莓的重心位置，计算草莓个数，并按照重心坐标值对草莓 9 中国农业大学硕士论文 第二章草莓采摘系统整体设计 排序。当机械手移动到第1 个草莓重心处时，摄像机2 获取该草莓的图像，经图像分割后提取该 草莓重心和采摘点位置，驱动机械手收获草莓，然后移动到第2 个草莓重心处。循环上面的操作 直到收获区域内所有草莓都采摘完毕。为最大限度的降低草莓的机械损伤。采用切断草莓果梗的 方法采摘草莓。采摘点位于草莓果梗上，距离花萼5m m 左右。 视觉系统相当于传感器，控制系统根据它所获得的草莓重心坐标以及采摘点的位置指挥机器 人作相应的运动。而视觉系统的工作也离不开控制系统的帮助，首先控制系统确定了摄像机采摘 图像的时序：其次。摄像机2 的运动要由控制系统完成。因此，机器人采摘系统是一个有机的整 体，视觉系统，机械系统，控制系统彼此联系紧密。 2 2 2 视觉系统主要硬件 ( 1 ) 计算机 对于草莓采摘机器人来说，计算机的性能至关重要，它不仅要实现图像采集的功能，进行图 像处理，还要在机器人运动控制中起到关键作用。为了满足作业环境的需求采用研华工控机， 它比普通p c 机稳定性好，抗干扰能力强。计算机主板为研华的p c m9 5 7 5 嵌入式主板( 图2 5 ) a 田2 - 5p 酬9 5 7 5 嵌入式主板 其具有如下特性： 板载低功耗v i ae d e n8 0 0 m h z 处理器 0 6 0 c 可无风扇工作 支持p c 1 0 4 + 扩展 支持网络、m o d e m 唤醒功能 支持l c d 背景光关闭功能 1 0 0 1 3 3m h zf s b ，4 倍速a g p ，适用高性能图形处理 ( 2 ) 数字图像采集卡 数字图像采集卡的功能是将c c d 摄像机所采集的模拟信号转变成数字信号，再交由计算机处 1 0 中国农业大学硕士论文 第二章草莓采摘系统整体设计 理。系统中使用的图像采集卡是大恒的d h - c g 3 2 0 图像采集卡，其工作原理如图2 - - 6 所示。该卡 萋于p c 1 0 4 - p l u s 结构。具有稳定性好、体积小等优点。视频图像经多路切换器、解码器，a i d 变换器，将数字化的图像数据送到数据缓冲器。经裁剪、比例压缩及数据格式转换后，由内部r i s c 控制图形覆盖与数据传输，数据传输目标位置由软件确定，可以是显存，也可以是计算机内存。 音频信号经a d 转换后，由r i s c 控制将数据传到指定内存位置。它的性能和主要技术指标如下： l 复台视频输 i 卜多吨丑咂至岬pv g a l 复合视频输入2 卜 路c 显卡 l 复合视频输入3 卜 切 国由 i l 复合视频输入4 卜 换 接 悼“”。叫一团叫葑一 口 一系统 j 内存 l 图2 6图像采集卡的工作原理 三路复合视频输入，一路s - v i d e o 输入，软件切换其中第一路为音，视频复用，s - v i d a o 的亮度信号输 入也可作为符台视频输入 支持p a l 、n t s c 彩色黑白视频信号输入，p a l 制帧率为2 s 帧，秒，n t s c 制帧率为3 0 帧，秒。 图像分辨率最高： p a l 制：7 6 8 * 5 7 6 n t s c 制：6 4 0 * 4 8 0 灵活采集图像：可按单场、单帧、连续场、连续帧、间隔几场或几帧等多种方式 硬件完成输入图像的比例缩放( s c a l e ) 、裁剪( c l i p ) 和色度空间变抉( c o l o rs p a c e c o n v e r t i o n ) ，输入图像的大小、位置可灵活设置，并可支持y u v 4 2 2 ，r o b 3 2 ，r g b 2 4 ，r g b l 5 ， r g b l 6 和y 8 等多种图像显示和存储格式 可稳定地接收录相机的视频信号 亮度、色调、色饱和度、对比度等软件可调 开发工具；提供w i n d o w s9 8 、w i n d o w sn t 、w i n d o w s2 0 0 0 及l i n u x 环境下的开发工具及演 示程序 该卡基于p c 1 0 4 一p l u s 结构，因此可以非常方便的与研华p c m9 5 7 5 连接。 ( 3 ) c c d 摄像机 摄像机相当于机器人的眼睛。在机器视觉研究领域使用的摄像机一般都是c c d ( c h a r g e c o u p l e dd e v i c e s ，电荷耦合器件) 摄像机。本课题中使用的是p a n a s o n i c ( 松下) 的w v - c p 4 7 0 彩色数字摄像机，其技术特点如下： 自动亮度控制( a l c ) ，电子亮度控制( e l c ) s u p e r d i i 功能可以消除倒如亮点等使摄像机图像变暗的强背景光干扰，动态范围为4 8 d b 各种外部同步功能。包括总锁定功能 自动手动自平衡功能 电子快门功能 内置数字移动检测 中国农业大学硕士论文第二章草莓采摘系统整体设计 信嗓比5 0 d b 水平分辨率为4 8 0 线 通过2 h 型垂直扩展获得更高的图像清晰度 2 3 控制系统设计 2 3 1 模块化的控制系统系统结构 采用模块化结构、主从方式组成的分布式多处理机系统是多机器人控制系统的发展方向。现 代机器人控制系统中，几乎无一例外地采用分布式结构，其优点是：由于控制系统采用了模块化 的硬件组合，在硬件发生改变的情况下，仅需要改动与它相连的总线配置，增加或减少机器人自 由度也非常方便，大大减少了改动系统硬件所需要的时间。现场总线可连接的设备类型和设备数 目也相对较多，除了能连接伺服驱动器外，还可以连接智能传感器和其它i o 设备。此外还使得 软件编程的灵话性大大提高，可以采用结构化、模块化和面向对象的软件体系结构，下层的控制 节点在控制伺服电机的同时，还可以完成一部分控制和轨迹差补任务，分担了上一级计算机的负 担，上一级计算机可以通过总线及时获得位置和转速的反馈信息，进行步态和姿态的补偿校正， 从而提高整个系统的控制性能。 2 3 2 开放式结构的控制系统方案 开放式结构的控制系统是指控制系统的各个层次对用户开放，用户可以方便的扩展和改进其 性能。开放式机器人控制器可以提高系统的柔性、可配置性、可扩展性、交互性、可交换性、可 移植性、可伸缩性、可靠性和复用性。其主要思想是： ( 1 ) p c 硬件和软件平台是在工业界可接受的硬件部件和软件常规标准下建立的，所以草 莓收获机器人可以采用基于p c 平台的软、硬件资源，为控制器扩展创造条件。 ( 2 ) 采用标准的操作系统和控制语言，从而可以改变各种专用机器人并存但互不兼容的 局面，草莓收获机器人利用w i n d o w s 操作系统和v c 十+ 标准语言。 ( 3 ) 采用标准的总线结构，使得为扩展机器人系统性能而必需的硬件如各种传感器、i o 板、运动控制板等能够很容易地集成到原系统中。草莓收获机器人采用标准的总线结构，实现p c 机与g a l i l 运动控翩器、i ( 3 扩展卡以及增量编码器等的连接这样，在系统硬件发生改变时， 只需改变相应的总线配置，这样可以极大地减少系统硬件改动所需要的时间。 ( 4 ) 利用网络通讯，实现资源共享或远程通讯。目前几乎所有的控制器都设有网络功 能，利用网络功能可以提高系统变化的柔性。 草莓收获机器人采摘系统采用基于p c 平台以及g a l i l 运动控制器的开放式结构的控制系统。 图2 7 是以g a l i l 运动控制器( 8 轴) 为核心的草莓收获机器人采摘控制系统的硬件结构。 中国农业大学硕士论文 第二章草莓采摘系统整件设计 机器人本体( 3 自由度) 2 3 3 系统主要硬件 围2 7 开放式的机器人运动控恻系统 ( 1 ) 运动控制器： 运动控制器与功率放大器、电机、编码器组成伺服系统，接收电机位置信号并将位置信号反 馈到控制器，一种典型的伺服系统如图2 - 8 所示。 田2 - - 8 伺服系统元件构成 运动控帛4 器种类很多，国外如美国d e l t at a u 公司生产的p m a c 系列、g a l i l 公司的d m c 系 列；国内的有深圳摩信科技的m c t 系列运动控制卡。这里采用美国g a l i l 公司的d m c 2 2 8 0 ( 图 2 - 9 ) ，其技术特点如下： 圈2 - - 9d 啪2 2 8 0 运动控制器 以m o t o r o l a6 8 3 3 1 系列3 2 位徽处理罂位核心 可独立于主计算机运行，8 个应用程序同时执行 中国农业大学硕士论文第二章草莓采摘系统整体设计 可控制l 8 轴伺服电机或步进电机或二者任意结合 接口te t h e m 吐1 0 0 b a s e - t 、2 x r s 2 3 2 4 2 21 1 5 k b 接收1 2 m h z 伺服编码器反馈信号3 m i - i z 步进电机命令( 脉冲+ 方向) 带速度及加速度前馈、积分限制、n o t c h 及低通滤波器的p i d 采样周期6 2 5u 跏 运动方式：j o g ，p t p 定位，轮廓直线、圆弧插补，电子齿轮 4 m 非易失存储器存储应用程序，变量，阵列；4 mr a m 双编码器反馈回零，正、反向限位输入接口 通用i o ：8 8 ( 1 , - 4 轴模式) ，1 6 1 6 ( 5 8 轴模式) 可配置i o ：6 4 点 8 通道通用模拟输入a d c1 2 位( 1 6 位可选) l1 6 位d a c 速度指令输出 高速位置锁存及比较( 0 1us ) 无刷伺服电机正弦波换向控制 体积小，1 2 i 。x 2 2 ”x 6 3 金属盒： 编程方式：两字符形象化指令，变量，数组、突发事件触发( 0 1 邺) 、多任务、v b 、v c 、c ，c + + 等等 支持开发环境；d o s 、l i n u x 及当前所有w i n d o w s 版本 采用g a l i ld m c2 2 8 0 可以保证硬件系统具有良好的扩展性、灵活性和实时性，可以控制多种 不同自由度的机器人机械部分和不同的末端执行器。 ( 2 ) 输入输出模块 输入输出模块用来实现a d 、d a 转换，光电隔离以及电流电压放大等功能。中宝伦公司的 p i c m - - 3 9 0 0 互联模块通过一个1 0 0 针信号电缆与d m c 2 2 8 0 数字运动控制器相连接。用户可以 通过4 个1 5 p i n 的d 型连接器与伺服驱动器或步进驱动器相连接来控制四个轴，1 个3 7 p m 的d 型连接器与外部输入信号相连接，其中包括8 个输入点、8 个模拟输入信号、4 个轴的正、负限 位、回零输入信号以及控制器复位和急停输入信号；1 个1 2 p i n 的p h o e n i x 连接端子为输出口连 接器，与外部信号相连接，控制8 个输出点和控制器的报警输出信号。同时对所有t 1 l 电平输入 输出信号进行光电隔离电路处理，提高了整个系统的抗干扰能力每件p i c m - 3 9 0 0 提供与4 个 坐标轴信号接e l ，当使用4 轴以上d m c 数字运动控制器时，可以选用2 件p i c m - 3 9 0 0 。 在该互联模块中，输入输出口的电气隔离电路如图2 一1 0 和2 一l l 所示。 隔离型输入信号电气连接 田2 1 0 输入信号电器隔离 1 4 中国农业大学硕士论文第二章草莓采摘系统整体设计 隔离型输出信号电气连接 ps ? 506 一 图2 一”输出信号电气隔离 ( 3 ) 其它元件 安川s g l 瑚i 伺服电机，x 轴y 轴功率为4 0 0 w z 轴功率为5 0 w 。s g d i l 伺服单元可以进行扭矩、 速度和位置控制。 1 3 比特增量式编码器，即每一转编码器脉冲数为2 ”= 8 1 9 2 。经测量，x 轴电机每转动一转，传 动距离为l o m m ，y 轴电机每转动一转，传动距离为1 1 4 3 m m 。也就是说，脉冲距离比x 轴为8 1 9 2 p m m ， y 轴为7 1 7 p m m 其中p 为单位脉冲数。采用p i d 控制，各参数设置如下：k i = o 。k p = i 。k i ) = 2 。在该 参数设置下，对编码器误差进行测量，发现其平均偏差为2 个脉冲。则对于x 轴，由这两个脉冲所 产生的偏差为2 8 1 9 2 = 0 0 0 2 m m ，y 轴为2 7 1 7 = 0 0 2 8 m m 。 2 3 4 采摘控制流程 草莓采摘，其实就是要在x y 平面上抓起并切