（控制理论与控制工程专业论文）果树采摘机器人控制系统研究与设计.pdf

江苏大学硕士学位论文 摘要 果树采摘机器人是一个集环境感知、动态决策与规划、运动控制 与执行等多种功能于一体的综合系统。研究果树采摘机器人关键技 术，不仅对于适应市场需求、降低劳动强度、提高经济效益有着一定 的实用价值，而且对于追踪世界农业新技术，加快我国农业现代化进 程有着重要的现实意义。本课题在国家“8 6 3 高新技术发展计划基 金( 2 0 0 6 a a l o z 2 5 4 ) 的支持下，以果树采摘机器人为研究对象，对采 摘机器人建模、控制方法与实时避障算法以及控制系统软、硬件设计 等方面进行了研究。主要工作包括： 1 、果树采摘机器人运动学建模。通过对该机器人机械结构的分 析，建立了摄像机模型和移动平台模型，采用几何结构算法，建立了 果树采摘机器人正、逆运动学方程，为机器人控制奠定理论基础。 2 、基于果树采摘机器人机械结构的特点，对采摘机器人控制方 法进行了研究，设计了基于图像的视觉伺服控制器，采用小步长逼近 的控制算法引导机器人末端执行器实现对目标果实的准确定位。根据 伺服控制系统非线性和强耦合的特点，设计了模糊p i d 控制器并将其 应用在果树机器人机械臂关节的伺服运动控制中。 3 、采摘机器人控制系统设计实现。根据开放性和实时性的设计 原则，构建了开放式果树采摘机器人控制系统的软、硬件平台。硬件 方面主要对组成控制系统的工控机、串行通信接口转换器、关节驱动 电机等关键模块进行了选型，为机器人选取了符合其工作特性的传感 器并设计了相应的信号采集电路，这使机器人具备了图像获取、目标 定位、对障碍物感知及限位保护的能力，提高了果树采摘机器人的智 能水平和对外界环境信息的感知能力；软件方面主要从实时性角度考 江苏大学硕士学位论文 虑，应用v f w 技术实现对目标图像的实时采集，给出了实时避障搜索 算法，以v c + + 语言为开发平台，采用多线程技术实现了具有串行通 信、图像采集与目标识别、实时避障控制、限位保护等功能的果树采 摘机器人控制系统软件。 4 、对构建的果树采摘机器人样机实验平台进行了实验室环境和 果园环境下的采摘作业试验。采摘机器人在实验室环境下能完成自动 连续采摘，采摘成功率较高，试验效果良好；在环境复杂的果园里能 完成采摘作业，试验效果一般，离预期目标有一定差距。这表明本课 题所研制的果树采摘机器人控制系统具有良好的可靠性和一定的适 应性，如果要实现机器人在果园环境下进行连续采摘作业，还需要进 一步地优化果树采摘机器人控制系统。 关键词：果树采摘机器人，视觉伺服，模糊p i d 控制，控制系统，避 障，多线程技术 江苏大学硕士学位论文 a b s t r a c t f r u i tp i c k i n gr o b o ti sa ni n t e g r a t e ds y s t e m ，w h i c hc a ni m p l e m e n t e n v i r o n m e n t a l a w a r e n e s s ，d y n a m i cd e c i s i o n m a k i n g a n d p l a n n i n g ， m o v e m e n tc o n t r 0 1 r e s e a r c h i n go nt h ek e yt e c h n o l o g yo ff r u i tp i c k i n g r o b o tc a nn o to n l ym e e tt h ed e m a n do ft h em a r k e ta n dr e d u c el a b o r i n t e n s i t y , b u ta l s ok e e p u p w i t ht h e p a c e o ft h en e wd e v e l o p i n g a g r i c u l t u r a lt e c h n o l o g y i nt h em o d e mw o r l da n di m p r o v ee c o n o m i c e f f i c i e n c y a t t h es a m e t i m e ，i t i s i m p o r t a n t f o r i m p r o v i n gc h i n e s e a g r i c u l t u r a lm o d e m i z a t i o n o u rs t u d yp l a ni ss u p p o r t e db yt h en a t i o n a l h i 曲t e c h n o l o g y r e s e a r c ha n d d e v e l o p m e n tp r o g r a m o fc h i n a ( 8 6 3 p r o g r a m ，n o 2 0 0 6 a a 10 2 2 5 4 ) t h i sw o r kd os o m er e s e a r c ho na p r o t o t y p eo ft h ef r u i tp i c k i n gr o b o t ，s u c ha sm o d e l i n go f t h ep i c k i n gr o b o t ， c o n t r o lm e t h o d ，r e a l t i m eo b s t a c l ea v o i d a n c ea l g o r i t h ma n dt h ed e s i g no f c o n t r o ls y s t e ms o f t w a r ea n dh a r d w a r e t h em a i nw o r ki sa sf o l l o w s ： 1 k i n e m a t i c ss i m u l a t i o nm o d e l i n go ft h ef r u i tp i c k i n g r o b o t t h r o u g ha n a l y s i n gt h er o b o t s m e c h a n i c a ls t r u c t u r e ，w eh a v ef i n i s h e d b u i l d i n g t h ec a m e r am o d e la n dt h em o b i l ep l a t f o r mm o d e l i n t h e m e a n t i m e ，w eh a v ea d o p t e dt h eg e o m e t r i cs t r u c t u r ea l g o r i t h mt oe s t a b l i s h f o r w a r da n di n v e r s ek i n e m a t i c se q u a t i o n so ft h ef r u i tp i c k i n gr o b o t t h u s w eh a v el a i db a s i ct h e o r e t i c a lf o u n d a t i o nf o rt h er o b o tc o n t r 0 1 2 w eh a v ec o n d u c t e dr e s e a r c ho nc o n t r o lm e t h o d so ft h ep i c k i n g r o b o tb a s e do nt h ec h a r a c t e r i s t i c so ft h er o b o t sm e c h a n i c a ls t r u c t u r e m e a n w h i l e ，w eh a v ed e s i g n e da ni m a g e b a s e dv i s u a ls e r v o i n gc o n t r o l l e r a n da d o p t e dc o n t r o l l i n ga l g o r i t h m so fs m a l ls t e pa p p r o x i m a t i o nt og u i d e t h er o b o t se n d e f f e c t o rt oo r i e n t a t et h et a r g e tf r u i te x a c t l y w eh a v e d e s i g n e daf u z z y p i dc o n t r o l l e ra c c o r d i n gt ot h en o n l i n e a ra n ds t r o n g c o u p l i n gc h a r a c t e r i s t i c so ft h es e r v oc o n t r o ls y s t e ma n dp u ti t i nu s et o t h es e r v om o t i o nc o n t r o lo ft h er o b o t sm a n i p u l a t o rj o i n t s 3 d e s i g no fp i c k i n gr o b o t sc o n t r o ls y s t e m i nt e r m so fo p e n e s sa n d r e a l t i m ep r i n c i p l e ，w ef i n i s h e db u i l d i n gt h eo p e ns o f t w a r ea n dh a r d w a r e p l a t f o r mf o rt h ef r u i tp i c k i n gr o b o t sc o n t r o ls y s t e m s i nt h e h a r d w a r e 江苏大学硕士学位论文 d e s i g n ，w eh a v ef o c u s e dm o s t l yo nt h e s e l e c t i o nf o rt h ef o l l o w i n gk e y m o d u l e st h a tc o m p o s et h ec o n t r o l s y s t e m ，s u c ha si n d u s t r i a lp e r s o n a l c o m p u t e r , s e r i a lc o m m u n i c a t i o ni n t e r f a c ec o n v e r t e r ，j o i n td r i v em o t o r w e h a v es e l e c t e ds e n s o ri nc o n f o r m i t yw i t hi t sw o r k i n gc h a r a c t e r i s t i c sa n d d e s i g n e dc o r r e s p o n d i n gs i g n a la c q u i s i t i o nc i r c u i t ，t h e r e b ye q u i p p i n gi t w i t hs u c ha b i l i t i e sa si m a g ea c q u i s i t i o n ，t a r g e tl o c a l i z a t i o n ，p e r c e p t i o no f t h eo b s t a c l e s ，p o s i t i o nl i m i t i n gp r o t e c t i o na n ds oo n a sar e s u l t ，t h er o b o t g e tb e r e ri ni n t e l l i g e n c ea n dp e r c e p t i o no f t h ee n v i r o n m e n t a li n f o r m a t i o n o nt h ee x t e r n a l a sf o rt h es o f t w a r ed e s i g n ，m a i n l yf r o mt h ep e r s p e c t i v eo f r e a l t i m e ，w ea p p l i e dt h et e c h n o l o g yo fv f w t oa c h i e v er e a l t i m ei m a g e a c q u i s i t i o n a n dw o r k e do u tar e a l t i m eo b s t a c l ea v o i d a n c es e a r c h a l g o r i t h m o nt h eb a s i so fv c + + l a n g u a g e w eu t i l i z e dm u l t i - t h r e a d i n g t e c h n o l o g yt oa c c o m p l i s ht h ew h o l ec o n t r o ls y s t e ms o f t w a r e ，w h i c hi s c a p a b l eo f s e r i a lc o m m u n i c a t i o n s ，i m a g ec a p t u r ea n dt a r g e tr e c o g n i t i o n ， r e a l t i m eo b s t a c l ea v o i d a n c ec o n t r o la n dl i m i tp r o t e c t i o n 4 c a r r yo ne x p e r i m e n t sw i t ht h ef r u i tp i c k i n gr o b o tp l a t f o r mi nb o t h la b o r a t o r ya n do r c h a r de n v i r o n m e n t i nt h el a b o r a t o r ye n v i r o n m e n t ，t h e p i c k i n gr o b o tc a nf i n i s ht h ew o r ka u t o m a t i c a l l ya n dc o n t i n u o u s l yw i t ha r e l a t i v e l yh i g h r a t eo fs u c c e s s f u l l yp i c k i n g w h e r e a s ，i tc o u l do n l y p r e l i m i n a r yc o m p l e t ep i c k i n go p e r a t i o n s i nt h e c o m p l e x o r c h a r d e n v i r o n m e n ta n ds h o w e dg e n e r a le f f e c tw i t hac e r t a i ng a pf r o mt h e e x p e c t e do u t c o m e s t h e s er e s u l t s d e m o n s t r a t et h a tt h ef r u i tp i c k i n g r o b o t sc o n t r o ls y s t e md e v e l o p e di no u rs u b j e c th a sr e l a t i v e l yg o o d r e l i a b i l i t ya n dac e r t a i nd e g r e eo fa d a p t a b i l i t y h o w e v e r ，t h ep i c k i n g r o b o t sc o n t r o ls y s t e mi sn e c e s s a r yt ob ef u r t h e ro p t i m i z e di fw ew a n tt o a c h i e v et h e g o a l o fc o n t i n u o u s h a r v e s t i n g o p e r a t i o n s i no r c h a r d e n v i r o n m e n t k e yw o r d s ：f r u i tp i c k i n gr o b o t ，v i s u a ls e r v o i n g ，f u z z y p i dc o n t r o l ， c o n t r o ls y s t e m ，o b s t a c l ea v o i d a n c e ，m u l t i t h r e a d i n gt e c h n o l o g y i v 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学 校保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查 阅和借阅。本人授权江苏大学可以将本学位论文的全部内容或部分内容编入 有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本 学位论文。 本学位论文属于 保密口，在年解密后适用本授权书。 不保密 学位论文作者签名：指导教师签名：瑾j 蠢农 么毡c 电改 弘厶年占月 ，f 日 2 0 ，口年多月，曰 独创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独 立进行研究工作所取得的成果。除文中已注明引用的内容以外，本论 文不包含任何其他个人或集体已经发表或撰写过的作品成果。对本文 的研究做出重要贡献的个人和集体，均已在文中以明确方式标明。本 人完全意识到本声明的法律结果由本人承担。 学位论文作者签名： 砌 f 日期：弘加年，月f f 日 江苏大学硕士学位论文 第一章绪论 1 1 课题研究的意义及来源 水果产业在我国农业产业中占有重要地位，近几十年来，我国水果产业规模 和产量均有较大幅度的增长，特别是加入w t o 之后，增长速度明显加快。据来 自2 0 0 0 年全国果业学术研讨会的资料表明，我国目前的水果种植面积为8 4 0 力 公顷，占世界果树总面积的2 1 左右；水果年总产量达5 9 0 0 多万吨，占世界果 品总产量的1 3 4 ，这两项指标均已跃居世界第一位l lj 。2 0 0 4 年我国苹果栽培面 积达1 8 7 7 万公顷、产量2 3 6 7 5 万吨，分别占世界苹果栽培面积4 1 5 和产量的 3 7 5 。近1 0 年来，我国对世界苹果产量增长的贡献率高达8 4 i 引。迈入二十一 世纪，我国的农业和农村经济发展j 下面临新的机遇和挑战。由于加入w t o ，一 方面，农业和农村经济发展正面临着来自世界各地的冲击和挑战；另一方面，也 给我国带来了一次加快农业和农村经济发展以及对农村经济结构调整的好机遇。 随着农业生产j 下朝着规模化、多样化、精确化方向发展，农业劳动力的成本 必然迅速上升，劳动力不足的现象也会r 趋明显，区l 此以机器人技术为代表的高 新技术应用于农业领域是大势所趋、人心所向。果园收获作业的机械化、自动化 成为广大果农们最为关注的热点问题之一。开展果树采摘机器人研究，不仅对于 适应市场需求、降低劳动强度、提高经济效率有着一定的现实意义，而且对于追 踪世界农业新技术、促进我国农业科技进步、加速农业现代化进程有着重大的历 史意义。 本课题来源于国家“8 6 3 ”高新技术发展计划资助项目( 2 0 0 6 a a l 0 2 2 5 4 ) 果 树采摘机器人关键技术研究的一部分。 1 2 果树采摘机器人发展概况及特点 机器人技术的发展是一个国家高科技水平和工业自动化程度的重要标志和 体现f 3 l 。机器人集成了计算机、控制论、机构学、信息和传感技术、人工智能、 仿生学等多学科的发展成果，代表高技术的发展前沿，是当前科技研究的热点方 向1 4 j 。2 1 世纪是农业机械化向智能化方向发展的重要历史时期。我国是一个农业 大国，要实现农业现代化，农业装备的机械化、智能化是发展的必然趋势。随着 江苏大学硕士学位论文 计算机和自动控制技术的迅速发展，机器人已逐步进入农、l p 生产领域。目前，国 内浆果采摘作业基本上都是靠人工完成的，采摘效率低，费用占成本的比例约为 5 0 7 0 。采摘机器人作为农业机器人的重要类型，其作用在于能够降低工人劳 动强度和尘产费用、提高劳动生产率和产品质量、保证果实适时采收，冈而具有 很大的发展潜力l m 。 1 2 1 国外研究成果及现状 自从2 0 世纪6 0 年代( 1 9 6 8 年) 美国人s c h e r t z 和b r o w n 提出， j 机器人采摘 果实之后，对采摘机器人的研究便受到广泛重视。随蓿科学技术的发展，农业机 器人在国外迅速发展起来。最早的机械采摘方法是机械振摇式和7e 动振摇式两种 方法，但这两种方法不仅容易损伤果实，采摘效率也不高，同时容易摘到未成熟 果实i6 1 。1 9 8 3 年，第一台采摘机器人在美固诞生，在以后2 0 多年的时m 晕，同、 韩及欧美国家相继研究了采摘番茄、黄瓜、苹果、蘑菇、柑橘、番茄和甜瓜等的 智能机器人。 l 、日本的番茄采摘机器人：日本的果蔬采摘机器人研究始于19 8 4 年，他们 利用红色的番茄与背景( 绿色) 的差别，采用机器视觉对果实进行判别，研制了番 茄采摘机器人。该机器人有5 个自由度，对果实实行三维定位。由于不是全自由 度的机械手，操作空间受到了限制，而且孥硬的机械手爪容易损伤果实。 日本冈山大学的k o n d o 等人研制的番茄采摘机器人，山机械手、末端执行 器、行走装置、视觉系统和控制部分组成，如图1 - 1 所示。 t s l 争 7 7 7 7 一 图1 1 番茄采摘机器人结构简图 s 1 一前后延伸棱柱关节；s 2 一上下延伸棱柱关节：3 、4 、5 、6 、7 一旋转关节 该机器人采用由彩色摄像头和图像处理卡组成的视觉系统来寻找和识别成 熟果实。考虑到番茄的果实经常被叶茎遮挡，为了能灵活避开障碍物，采用具有 江苏大学硕士学位论文 冗余度的7 自由度机械手。为了不损伤果实，其末端执行器配带2 个带有橡胶的 手指和1 个气动吸嘴，把果实吸住抓紧后，利用机械手的腕关节把果实拧下。行 走机构有4 个车轮，能在! t l 问自动行走，利用机器人上的光传感器和设置在地头 土埂的反射板，可检测是否到达土埂，到达后自动停止，转向后再继续前进。该 番茄采摘机器人从识别到采摘完成的速度大约是1 5 s 个，成功率在7 0 左右。有 些成熟番茄未被采摘的主要原因是其位置处于叶茎相对茂密的地方，机器手无法 避开叶茎障碍物。因此需要在机器手的结构、采摘工作方式和避障规划方面加以 改进，以提高采摘速度和采摘成功率，降低机器人自动化收获的成本，才可能达 到实用化1 7 , 8 1 。 2 、荷兰的黄瓜采摘机器人：1 9 9 6 年，荷兰农业环境工程研究所( 1 m a g ) 研制 出一种多功能黄瓜收获机器人。该机器人利用近红外视觉系统辨识黄瓜果实，并 探测它的位置；末端执行器由手爪和切割器构成，用来完成采摘作业。机械手安 装在行走车上，机械手的操作和采摘系统初步定位通过移动行走车来实现，机械 手只收获成熟黄瓜，不损伤其他未成熟的黄瓜。该机械手有7 个自山度，采用三 菱公司( m i t s u b i s h i ) r v e 2 的6 自由度机械手，另外在底座增加了一个线性滑动自 由度。收获后黄瓜的运输由一个装有可卸集装箱的自动行走的运输车来完成。整 个系统无人工干预就能在温室工作，工作速度为5 4 s 根，采摘率为8 0 。试验结 果表明：该机器人在实验室中的采摘效果良好，但由于制造成本和适应性的制约， 还不能满足商用的要求l 引。 3 、韩国的苹果收获机器人：韩国庆北大学的科研人员研制出节果采摘机器 人，它具有4 个自由度，包括3 个旋转关节和1 个移动关节。采用三指夹持器作 为末端执行器，其手心装有压力传感器，可以起到避免苹果损伤的作用。它利用 c c d 摄像机和光电传感器识别果实，从树冠外部识别苹果的识别率达8 5 ，速 度达5 个s 。该机器人末端执行器下方安装有果实收集袋，缩短了从采摘到放置 的时问，提高了采摘速度。该机器人无法绕过障碍物摘取苹果；对于叶茎完全遮 盖的苹果，也没有给出识别和采摘的解决方法【l o l 。 4 、英国的蘑菇采摘机器人：英国s i l s o e 研究院研制了蘑菇采摘机器人，它 可以自动测量蘑菇的位置、大小，并选择性地采摘和修剪。它的机械手包括2 个 气动移动关节和1 个步进电机驱动的旋转关节；末端执行器是带有软衬挚的吸引 器；视觉传感器采用t v 摄像头，安装在顶部用来确定蘑菇的位置和大小。采摘 3 江苏大学硕士擘位论文 成功率在7 s 左右，采摘速度为6 7 s 个，生长倾斜是采摘失败的主要原因。如 何根据图像信息调整机器手姿态动作来提高成功率和采用多个未端执行器提高 生产率是亟待解决的问趔1 。 5 、西班牙的柑橘采摘机器人：西班爿：科技人员发明的这种柑橘采摘机器人 主体装在拖拉机上，由摘果手、彩色视觉系统和超声传感定位器3 部分组成。它 能依据柑桔的颜色、大小、形状束判断柑桔是否成熟? 决定是否采摘。采下的桔 子还可按色泽、大小分级装箱。这种采桔机器人采摘速度为1 个s ，比人工提高 效率6 倍多1 2 1 。 6 、以色列和美国联合研制的甜瓜收获机器人：以色列和美国科技人员联合 开发研制了一台甜瓜采摘机器人。该机器人丰体架设在以拖拉机牵引为动力的移 动平台上，采用黑白图像处理的方法进行甜瓜的识别和定位，并根据甜瓜的特殊 性来增加识别的成功率。在两个季节和两个品种的 h 问试验证明，甜瓜采摘机器 人可以完成8 5 以上的 h 问甜瓜的识别和采摘1 = 作 1 。 表1 1 给出了国外部分国家果蔬收获机器人同期研究进展统计。 表1 1 部分国家果蔬采摘机器人研究进展统计表 1 2 2 国内研究成果及现状 国内在农业机器人方面的研究始于2 0 世纪9 0 年代中期，与发达国家相比，虽 然起步较晚，但不少大专院校、研究所都在迸行采摘机器人和智能农业机械方面 的研究，已有很多研究成果披露，简介如下： l 、林木球果采摘机器人：东北林业大学的陆怀民研制了林木球果采摘机器 人，主要由5 自由度机械手、行走机构、液压驱动系统和单片机控制系统组成， 如图1 2 所示。采摘时，机器人停在距离母树3 5 m 处，操纵机械手回转马达对准 母树。然后，单片机控制系统控制机械手大、小臂同时柔性升起达到定高度， 采摘爪张开并摆动，对准要采集的树枝，大小臂同时运动，使采摘爪沿着树枝生 4 江苏走学硕士学住论文 长方向趋近i5 - 2 m ，然后采摘爪的梳齿夹拢果技，大小臂带动采集爪按原路向后 返回，梳下枝上的球果- 完成一次采摘。这种机器人效率是5 0 0 k 天，是人工的 3 0 一5 0 倍。而且，采摘时对母树的破坏较小，采净率矧川。 整 ，穗嚣蔓一 瀛 矧 “m 莎一 母i 2 林木球果采摘机器 原理圆 2 、蘑菇采摘机器人：吉林工q k 大学的周云山等人研究了蘑菇_ = 壬摘机器人。 该系统主要由蘑菇传送带、摄像机、采摘机器手、二自由度气动伺服机构、机器 手抓取控制系统和计算机等组成。汁算机视觉系统为蘑菇采摘机器提供分类所需 的尺寸、面积信息，并且引导机器手准确抵达待采摘蘑菇的中心位置，防止因对 不准造成抓取失败或损伤蘑菇i l ”。 3 、草莓采摘机器人：中国农业大学的张铁中等人针对我国常见的温室罩垄 作栽培的草莓设计了3 种采摘机器人。分别采用桥架式、4 自由度毛门式和3 自 由度直角坐标形式的机械手进行跨行收获，通过彩色c c d 传感系统获取彩色图 像，经过图像处理进行目标草莓的识别和定位，进而控制末端执行器进行收获。 同时，对草莓的生物特性、成熟度、多个草莓遮挡等实际问题进行了研究，为草 莓采摘提供设计依据和理论基础 1 6 1 。 4 、番茄采摘机器人：南京农业大学的张瑞合、姬长英等人在番茄采摘中运 用双目立体视觉技术对红色番茄进行定位，将图像进行灰度变换，而后对图像的 二维直方图进彳亍腐蚀、膨胀以去除小团块，提取背景区边缘，然后用拟合曲线实 现彩色图像的分割，将番茄从背景中分离出来。对目标进行标定后，用面积匹配 实现共轭图像中目标的配准。运用体视成像原理，从两幅二维图像中恢复目标的 三维坐标。通过分析实验数据得出的结论为当目标与摄像机的距离为 3 0 0 m m - 4 0 0 m m 时，深度误差可控制在3 4 t ”i 。 。岛 江苏大学硕士学位论文 5 、黄瓜采摘机器人：中国农业大学汤修映等人研制了6 自由度黄瓜采摘机 器人，采用基于r g b 三基色模型的g 分量来进行图像分割，在特征提取后确定 出黄瓜果实的采摘点，未端执行器的活动刃口平移接近固定刃口，通过简单的开 合动作剪切掉黄瓜。同时，提出了新的适合机器人自动化采摘的斜栅网架式黄瓜 栽培模式。 6 、节果采摘机器人：中国农业大学的孙明等人为苹果采摘机器人开发了一 套果实识别机器视觉系统，并成功研究了一种使二值图像的像素分割j 下确率大于 8 0 的彩色图像处王甲技术。通过对果实、叶、茎等的色泽信号浓度频率谱图的分 析，求 l 闽值，然后运用此值对彩色图像进行二值化处理l 。引。 1 2 3 果树采摘机器人的特点 1 、采摘对象的非结构性和不确定性 果实的生长是随着时f h j 和空问而变化的。生长的环境是变化的，直接受土地、 季节和天气等自然条件的影响。这就要求果树采摘机器人不但要具有与生物体柔 性相对应的处理功能，而且还要能够顺应多变的自然环境，在视觉、知识推理和 判断等方面具有很高的智能性。 2 、采摘对象的娇嫩性和复杂性 果实具有软弱易伤的特性，必须细心轻柔地对待和处理；并且其形状复杂， 生长发育程度不一，导致相互差异很大。果蔬采摘机器人一般是采摘、移动协调 进行，行走轨迹不是连接出发点和终点的最短距离，而是具有狭窄的范围、较长 的距离以及遍及整个果园表面等特点。 3 、具备良好的通用性和可编程性 因为果树采摘机器人的操作对象具有多样性和可变性，这就要求采摘机器人 具有良好的通用性和可编程性。只要改变部分软、硬件，就能进行多种作业。 4 、操作对象的特殊性和价格的实惠性 农民是果树采摘机器人的主要操作者，他们不具有相关的机电理论知识，因 此要求果树采摘机器人必须具有高可靠性和操作简单的特点；另外，农业生产以 个体经营为主，如果价格太高，就很难普及。 1 3 研究的方法与内容 l 、研究果树采摘机器人运动学建模。通过对该机器人机械结构的分析，建 6 江苏大学硕士学位论文 立摄像机模型和移动平台模型，采用几何结构算法，建立果树采摘机器人正、逆 运动学方程。 2 、基于果树采摘机器人机械结构的特点，对采摘机器人控制方法进行研究， 设计基于图像的视觉伺服控韦0 器，采用小步长逼近的控制算法引导机器人末端执 行器对目标果实的准确定位，根据视觉伺服控制系统具有时变、强祸合和非线性 的特点，设计模糊p i d 控制器并将其应用在果树机器人机械臂关节的伺服运动控 制中。 3 、根据开放性和实时性的设计原则，构建丌放式果树采摘机器人控制系统 的软、硬件平台。硬件方面主要对务i 成控制系统的工控机、串行通信接口转换器、 关节驱动电机等关键模块进行选型，并为机器人选取符合其工作特性的传感器并 设计相应的信号采集电路；软件方面主要从实时性考虑，应用v f w 技术实现对 目标图像的实时采集，设计出实时避障搜索算法流程，以v c + + 语言为开发平台， 采用多线程技术实现具有串行通信、图像采集与目标识别、实时避障控制、限位 保护等功能的果树采摘机器人控制系统软件。 4 、构建果树采摘机器人样机实验平台。并在实验室环境和自然环境下进行 采摘作业试验。 7 江苏大学硕士学位论文 第二章果树采摘机器人建模与控制方法研究 本章主要对果树采摘机器人运动学问题及相关模型进行研究，在此基础上对 果树采摘机器人运动控制方法进行理论研究，并为实现机械臂关节的控制设计模 糊p 】d 视觉伺服控制器。 2 1 果树采摘机器人机械结构简介 本课题研究的果树采摘机器人机械本体是出江苏大学与中国农业机械化科 学研究所联合研制，主要由两部分构成，分别为两自由度的移动载体和五自由度 的机械臂。移动载体的底盘为履带式，且加装了工控机、控制柜、电源箱、采摘 辅助装置等；血自山度机械臂为自行设计，由相应关节驱动装置进行驱动。本机 器人为开链连杆式关节型结构，机械臂被固定在履带式移动平台上，采摘作业时 直接与果实相接触的木端执行器固定连接在机器人机械臂的末端，机械结构如图 2 1 所示。 l 、履带小车2 、收集筐3 、柔性带4 、末端执行器5 、收集装置6 、电动推杆7 、小臂电机8 、 大臂9 ，大臂电机1 0 、腰部电机1 1 、腰部1 2 、升降台1 3 、电源及动力控制设备1 4 、地面 图2 1 机器人本体结构方案简图 果树采摘机器人的机械臂为p r r r p 结构，第一个自由度为升降自由度，中间 三个自由度为旋转自由度，第五个自由度为棱柱关节。机械臂各自由度的作用： 第一个自由度主要是为了抬升机械臂；第二个自由度可以使机械臂绕腰部旋转； 8 扛苏太幸硕士擘住论文 第三、四个自由度是旋转轴，起升降末端操作器的作用，中问二、三、四自由度 能够实现末端执行器在工作空问中朝向于任意靠向；第五个自由度是伸缩自由 度，根据机器人控制指令，将末端执行器送到采摘对象的位置，实现果实的采摘。 机械手的升降出气泵驱动升降台完成，能廊对采摘过程中遇到较高果树作物的特 殊情况；机械手旋转关节，棱柱关节采用伺服电机驱动。主要参数如表2 1 所示。 袁2 i机器人机械机构主要参数 黄竹 升降台0-08m 腰部旋转差u 人臂旋转天节 小臂旋转笑廿 棱柱芙u 1 6 0 。一1 6 0 一8 0 一8 旷 一8 0 一8 旷 其中棱柱关节的伸缩丰丁选用美国d a n af e r 电动推杆，其体型号为： e c 2 一x 一1 0 0 4 a 一4 0 0 一m e 2 一m t m 一2 3 x ，其伸缩行程为4 0 0 m m 。晟高速度h 蝌= 03 m s 。 额定推力：f = 】2 0 n 。 目前在农业采摘作业中出现许多新型的末端执彳亍器，为了实现采摘、移栽、 喷雾等生物生产作业过程，已经丌发出带有手指、吸引器、桶状、剪刀等样式的 末端执行器i i ”“。本课题研究的采摘机器人采摘的对象主要以节果为主，根据苹 果的物理属性和实际采摘中采用掐断果梗的方法收获果实，设计了一种勺状末端 操作器，实物图如图2 2 所示。其中。前端的央持装置设计成勺状的，并通过气 缸驱动其开合，在夹持装置的一侧装有旋转割刀，由末端执行器后端的直流电机 带动其旋转，来达到切断果柄的目的。收获果实时首先由夹持机构夹住苹果， 然后旋转刀具切断果柄。 图22 末端执行嚣实物图 9 江苏大学硕士学位论文 2 2 视觉系统模型研究 视觉系统可以实现对目标图像信息的采集及处理，是实现采摘机器人自主采 摘作业的基础，因此在建立机器人运动学模型前首先对视觉系统模型进行研究是 非常必要的，视觉系统一般采用摄像机作为视觉传感器，对视觉系统研究主要是 对摄像机模型及成像原理进行理论研究。 2 2 1 针孑l 成像原理 1 5 世纪初【l jb r u n e l l e s c h i 首先提出的针孔透视投影模型尽管模型简单，但是 它对成像过程的近似程度是可以接受的，投影成像如图2 3 所示，它产生的是一 幅颠倒的图像，有时为了分析方便设想了一个虚拟的像，这幅图像落在一个处于 针孔前面的平面上，它到针孔的距离等于实际成像平面到针孔的距离，这幅虚拟 图像除了图像是倒立的以外，与实际图像是完全等价的【2 3 1 。摄像机是一种能够摄 取连续视频图像的设备，比较简单、实用，已经得到公认并被普遍采纳，本文采 用透视投影模型。一般情况下，可以将透视投影中的成像设备一摄像机线性化， 等效为针孑l 成像模型。从简化的几何光学出发，同时人们为了计算上的方便，在 保持数学关系不变的前提下，通常采用与场景同向的正立虚像成像平面几何模 型，在选取合适的坐标系后，其计算模型如图2 4 所示。 图 像 平 面 图2 3 针孔成像系统模型图2 4 摄像机成像系统计算模型 图2 4 中的q 点为摄像机光心，q z 轴为摄像机的光轴，它与成像平面垂 直。x 轴和y 轴分别与图像平面的x 轴和y 轴平行，光轴与图像平面的交点d l 即 为图像坐标系的原点。光心到焦平面的距离q q 称为焦距，图中e ( x ，y ) 为空 间点p ( x ，y ，z ) 在图像平面上的投影。 1 0 江苏大学硕士学位论文 2 2 2 图像平面坐标系的建立 摄像机采集的图像一般以标准电视信号的形式输入计算机，在计算机内存储 为m n 数组，即m 行n 列，其中数组中的每个元素( 常称为像素) 的数值即是图 像点的亮度( 或称为厌度) ，例如3 2 0 x2 4 0 ，表示该图像是由3 2 0 x2 4 0 个像素点构 成。如图2 5 所示，在图像上定义直角啦标系u ，v ，每一个象素的坐标( u ，v ) 分 别是该象素在数组中的列数和行数，所以，( u ，v ) 是以象素为单位的图像坐标系 坐标。出于( u ，v ) 只表示象素位于数组中的列数和行数，并没有用物理单位表示 出该象素在图像中的位置，因而，需要再建立以物理单位( m m ) 表示的图像坐标系 ( x ，y ) 。设图像坐标系的x ，y 轴分别同u ，v 平行，原点0 。在摄像机光轴和图像平 面的交点上，该点一般位于图像中心处，但由于摄像机制作的原因，也会有些偏 离，若o 。在u ，v 华标系中的举标为( ，v o ) ，每一个象素在x ，y 轴方向上的物理 尺寸为d x ，d y ，则图像中任意一个象素在这两个坐标系下的坐标有如下关系： x 扰2 _ + 1 , 1o d x y ( 2 1 ) v5 一+ v o a y 为分析方便不妨取两原点重合，则有： 甜：车，v ：车 ( 2 一2 一) 甜= ，v = 二1 ) 出咖 、7 u ， x o i 7 ( ，) v v 图2 5 摄像机图像平面坐标与物理尺寸坐标变换关系图 2 2 3 摄像机模型 我们将摄像机线性化，等效为小孔成像模型，根据前面的成像系统计算模型 可知，若空间点坐标为p ( x ，y z ) ，图像平面投影点坐标为p ( x ，y ) ，则两者存在如 下关系： 江苏大学硕士学位论文 叫兰，y = 厂薹 ( 2 3 ) f 1 4 式( 2 1 ) 一( 2 3 ) 可建立以像素为单位的图像坐标系与摄像机坐标系之问的 关系，即： ”= 以譬，y = m 譬 ( 2 4 ) 其中n ，代表像素与空间长度的转换因子，单位为像素嗍。 2 3 履带式移动平台模型研究 本课题所研究的移动载体由刚性车体和刚性履带两部分组成，移动载体的左 右两边的履带模型可以简化为两轮模型，为建立移动平台模型作如下假设： l 、刚性载体一般在二维平面内运动； 2 、车体的运动速度较低，一般低于l o k m h ； 3 、理想状态下载体无纵向滑动； 4 、车胎受到的横向力垂直于其纵向负载。 通过对果树采摘机器人的移动平台进行分析发现，当日 o r 时，为移动平台 顺时针转弯；当岛 9 ( 移动平台顺时针转弯) 时计算公式，这罩仅把与够 p ( 移 动平台逆时针转弯) 时不同的公式列h ： ，：螋一d ( q o r ) 2 ( 2 1 3 ) p = ( 岛一e , ) x r d( 2 1 4 ) a x = l x c o s a = 2 x r x 删2 ) x 删2 ) = ，x s i n ( 功= 嬲x - ds i n ( ( 纠) 删功( 2 1 5 ) 蚪如o r ：2 x f x 删2 ) 飒吩州l 一句= 嬲斟d 叫( 纠) 刚句) ( 2 1 6 ) 1 3 江苏大学硕士学位论文 当谚= p 时，a x = o r xr = 易r ：6 y = 0 ；0 = 0 ( 2 1 7 ) 2 4 果树采摘机器人运动学问题研究 果树采摘机器人的运动学问题包括j 下运动学及逆运动学两个问题，它们之间 的关系如图2 7 所示，本文根据自行设计的果树采摘机器人本体机械结构特点， 采用几何算法求解机器人萨、逆运动学问题。 机器人机城臂 结构参数 机器人行灭节父节角度 8 l ，8 2 o n 机器人备天节角度o l ， 8 2 9 n 姿参数 图2 7 机器人运动掌关系示意图 2 4 1 果树采摘机器人正运动学问题研究 在采摘作业中，采摘机器人首先要确定目标果实位黄信息与机器人各关节的 关系，这个环节有两部分组成：首先确定目标果实3 d 坐标与其在摄像机平面上 的2 d 坐标之间的关系；其次确定摄像机坐标系与机器人坐标系之间的关系。 采摘机器人结构关系示意图如图2 8 所示，采摘机器人的摄像机采用 e y e i n h a n d 方式安装，摄像机坐标系( x c ，r ，z c ) 与机器人基座坐标系( x 。，艺，z 。) 的各坐标轴相互