（农业机械化工程专业论文）基于三维视觉的水果采摘机器人技术研究.pdf

摘要 本论文综述了农业机器人的特点，以及国内外相关研究和应用现状，指出影响农业机器人应 用的三个关键问题。并从解决这些问题出发，在嵌入式系统平台上开展水果采摘机器人相关技术 的研究。 本文重点研究了水果采摘机器人的三维立体视觉技术。为了解决农业机器人的智能水平和成 本水平相互制约的问题，研究工作主要在嵌入式系统平台上进行。在研究水果采摘机器人三维视 觉系统的过程中，提出了一种基于果实表面颜色色彩空间参照表的果实目标识别新方法，使得计 算机系统适应多种蔬菜水果的采摘工作，提高农业机器人的使用率，有利于降低单位生产成本； 在研究农业机器人三维视觉系统过程中，实现了种易于使用且灵活可靠的摄像机标定方法，使 机器人更加容易使用，且在摄像机标定的过程中不需要精密昂贵的校准设备，有利于降低机器人 的使用成本降低。 本文还针对农业机器人作业任务的特点，设计了一个4 自由度轻型机械手模型，根据这个模 型可降低机器人的制造成本。 最后，本文基于g a l i ld m c2 2 8 0 运动控制器建立了机器人运动控制系统，从视觉系统获得目 标在空间的位姿参数，实现对水果采摘机器人进行运动控制。 关键词：水果收获，机器视觉，机器人，农业机器人，嵌入式系统 a b s t r a c t t h ec h a r a c t e r i s t i ca n dt h er e s e a r c hs t a t u so fa g r i c u l t u r er o b o ta r es u m m a r i z e di nt h i sp a p e r t h r e ek e y p r o b l e m st h a ti n f l u e n c et h ea p p l i c a t i o no fa g r i c u l t u r er o b o ta r ep o i n t e do u t i no r d e rt or e s o l v et h o s e p r o b l e m s ，t h er e l e v a n tt e c h n o l o g i e sf o rf r u i t - p i c k i n gr o b o ta r es t u d i e do nt h ep l a t f o r mo f e m b e d d e d s y s t e m i nt h i sp a p e r , t h em a i ns t u d yt a s ki st h e3 dc o m p u t e rv i s i o nt e c h n o l o g yo ff r u i t p i c k i n gr o b o t i no r d e r t or e s o l v et h ep r o b l e mo ft h ec o n d i t i o n a l i t yb e t w e e na r t i f i c i a li u t e l l i g e n c el e v e la n dc o s to fa g r i c u l t u r e r o b o t , s t u d yw o r ki sm a i n l yc a r r i e do u to ot h ep l a t f o r mo fe m b e d d e ds y s t e m d u r i n gt h ec o u r s e o f s t u d y i n g t h ev i s i o ns y s t e m ，an e wm e t h o do fr e c o g n i z i n gf r u i tt a r g e tb a s e do nc o l o rs p a c er e f e r e n c el i s t o ff r u i ts u r f a c ec o l o rd i s t r i b u t i o ni sp u tf o r w a r di nt h i sp a p e rt h i sa p p r o a c hm a k e s t h ec o m p u t e rs y s t e m o ff r u i t - p i c k i n gr o b o ta b l et op i c kv a r i o u sf r u i t ，e n h a n c e st h eu s i n gf r e q u e n c yo fa g r i c u l t u r er o b o t ，a n d r e d u c e st h ec o s tp e rp r o d u c t i nt h ec o u r s eo fs t u d y i n gt h ev i s i o ns y s t e m ，w ep r o p o s ea n e wf l e x i b l e t e c h n i q u et oe a s i l yc a l i b r a t ec a m e r a s ，w h i c hm a k et h er o b o tm o r ee a s yt ou s ea n dm a k eu n n e c e s s a r y e x a c ta n dc o s t l ye q u i p m e n tf o rc a l i b r a t i n gc r l n e r a s ，t h e r e f o r ea l s or e d u c et h ec o s to f u s i n g r o b o t c o n s i d e r i n g t h ef u n c t i o n so f a g r i c u l t u r er o b o t ，as i m p l el i g h tm o d e l o f4 d o fr o b o t ，w h i c hc a nr e d u c e t h ec o s to f t h er o b o t ，i sa l s od e s i g n e d f i n a l l y , t h er o b o tm o t i o nc o n t r o ls y s t e mi sd e s i g n e db a s e do nt h eg a l i ld m c 2 2 8 0m o t i o nc o n t r o l l e r , w h i c hg e t s3 dc o o r d i n a t ep a r a n l e t e r so fo b j e c tf r o mv i s i o ns y s t e ma n dc o n t r o l st h em o v e m e n to f f r u i t - p i c k i n gr o b o t k e y w o r d s ：f r u i th a r v e s t ，c o m p u t e rv i s i o n ，r o b o t ，a g r i c u l t u r a lr o b o t ，e m b e d d e ds y s t e m i 独创性声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研究成 果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发 表或撰写过的研究成果，也不包含为获得中国农业大学或其它教育机构的学位或证书 而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明 确的说明并表示了谢意。 研究生签名 撅鑫 时间：伽尹年弓月口日 关于论文使用授权的说明 本人完全了解中国农业大学有关保留、使用学位论文的规定，即：学校有权保留 送交论文的复印件和磁盘，允许论文被查阅和借阅，可以采用影印、缩印或扫描等复 制手段保存、汇编学位论文。同意中国农业大学可以用不同方式在不同媒体上发表、 传播学位论文的全部或部分内容。 ( 保密的学位论文在解密后应遵守此协议) 研究生签名：。士b 豪言吃5 l 7 。 。 导师签名： 圈 时间： 口吖年 月叫日 时间：刎年多月叫目 中国农业太学硕士学位论文 第一章绪论 1 1 引言 第一章绪论 在发达国家，从2 0 世纪7 0 年代中期开始，由于农业机械设计和制造技术已趋于成熟，电子 信息技术b 速发展，一批面向生产者应用的各种机电一体化技术产品开发出来并装备到农业机械 上，使得诸如耕整、插秧、小麦收获等_ t 作对象是均质平面的农业生产作业实现了机械化和自动 化。但是，要实现工作对象是分散的、并且需根据判断进行选择的上作如除草、间苗、蔬菜收获 和水果收获等作业的机械化和自动化则是极为困难的，这些作业要求农业机械具备一定的智能。 进入2 0 世纪9 0 年代，随着计算机技术和信息采集与处理技术的发展，人工智能、机器视觉 等新技术在农业机械中的应用研究得到了重视。结合了农艺技术、机械技术、电子技术、信息技 术和人工智能技术的农业机器人的研制是当前国内外农业机具研究领域的研究热点之一。 使用机器人有很多好处，比如可以提高劳动生产率，解决劳动力的不足：改善农业的生产环 境，防止农药、化肥等对人体的伤害；提高作业质量等。 1 2 农业机器人的特点 和工业机器人相比，农业机器人有以下特点： ( 1 ) 农业机器人作业对象的娇嫩性 生物具有软弱易伤的特性，必须细心轻柔地对待和处理。且其种类繁多，形状复杂，在三维 空间里的生长发育程度不一，相互差异很大。 ( 2 ) 农业机器人的作业环境的非结构性 由于农作物随着时间和空间的不同而变化，机器人的工作环境是变化的、未知的，是开放性 的环境。作物生长环境除受园地、倾斜度等地形条件的约束外，还直接受季节、大气和时间等自 然条件的影响。这就要求生物农业机器人不仅要具有与生物体柔性相对应的处理功能，而且还要 能够顺应变化无常的自然环境。要求农业机器人在视觉、知识推理和判断等方面具有相当的智能。 ( 3 ) 农业机器人作业动作的复杂性 农业机器人一般是作业、移动同时进行，农业领域的行走不是连接出发点和终点的最短距离， 而是具有狭窄的范围，较长的距离及遍及整个田间表面等特点。 ( 4 ) 农业机器人的使用者 农业机器人的使用者是农民，不是具有机械电子知识的工程师，因此要求农业机器人必须具 有高可靠性和操作简单的特点。 ( 5 ) 农业机器人的价格特性 工业机器人所需大量投资由工厂或工业集团支付，而农业机器人以个体经营为主，如果不是 l 中国农业大学硕士学位论文 第一章绪论 低价格，就很难普及。 1 3 国外农业机器人研究状况 在日本、美国等发达国家，农业人口较少，随着农业生产的规模化、多样化、精确化，劳动 力不足的现象越来越明显。许多作业项目如蔬菜、水果的挑选与采摘，蔬菜的嫁接等都是劳动力 密集型的工作，再加上时令的要求，劳动力问题很难解决。正是基于这种情况，农林业机器人应 运而生。 ( 1 ) 喷农药机器人口1 为了防治树木的病虫害，就要给树木喷涌农药，为了改善劳动条件，防止农药对作业人员的 毒害，日本开发出了喷农药的机器人。 这种机器人的外形很像一部小汽车，机器人上装有感应传感器，自动喷药控制装置( 就是一 台能处理来自各传感器的信号以及控制各执行元件的计算机) 以及压力传感器等。 在果园内，沿着喷药作业路径铺设感应电缆，对于栽种了苹果树这样的果园，是把感应电缆 铺设在地表或者是地下( 大约3 0 c m 深的地方) ，而对于像栽种葡萄等的果园，则把感应电缆架设 在空中( 地上约1 5 0 2 0 0 c m 处) 。考虑到果树的距离，相邻电缆的距离最小为15 m 左右，电缆的 长度则受信号发送机功率以及电缆电阻的限制。工作时，电缆中流过由发送机发出的电流，在电 缆周围产生磁场。机器人上的控制装置根据传感器检测到的磁场信号控制机器人的走向。 机器人在作业时，不需要手动控制，能够完全自动对树木进行喷药。机器人控制系统还能够 根据方向传感器和速度传感器的输出，判断是直行还是转弯，而在转弯时，在没有树木的一侧机 器人能自动停止喷药。如果转弯时两边有树木也可以根据需要解除自动停止喷药功能。在喷药作 业时，当药罐中的药液用完时，机器人能自动停止喷药和行走。在作业路径的终点，感应电缆铺 设成锐角形状，于是由于磁场的相互干扰，感应传感器就检测不到信号，于是所有功能就会停止 下来。当机器人的自动功能解除时，还可以利用遥控装置或手动操作运行，把机器人移动到作业 起点或药液补充地点。 机器人在t 作时的安全是十分重要的，这个喷药机器人在前端装有2 个障碍物传感器( 就是 一种超声波传感器) ，可以检测到前方约一一米左右距离的情况，当有障碍物时，行走和喷药均停 止；另外机器人前端还装有接触传感器，当机器人和障碍物接触时，接触传感器发出信号，动作 全部停止；在机器人左右两侧还装有紧急手动按钮，当发生异常情况时，可以用手动按钮紧急停 止。另外当信号发送机出现故障，感应电缆断线或者机器人偏离感应电缆时，由于感应传感器检 测不到磁场信号，机器人就会自动停止。机器人在作业时，这些功能保证了机器人和周围环境的 安全。 由于使用了喷农药机器人，不仅使上作人员避免了农药的伤害，还可以由一人同时管理多台 机器人，这样也就提高了生产效率，所以这种机器人将会有更大的发展。 ( 2 ) 嫁接机器人“1 嫁接机器人技术，是近年来在国际上出现的一种集机械、自动控制与园艺技术于一体的高新 技术，它可在极短的时间内，把蔬菜苗茎杆直径为几毫米的砧术、穗木的切口嫁接为一体，使嫁 2 中国农业大学硕士学位论文第一章绪论 接速度大幅度提高；同时由于砧、穗木接含迅速，避免了切口长时间氧化和苗内液体的流失，从 而又可大大提高嫁接成活率。因此，嫁接机器人技术被称为嫁接育苗的一场革命。 日本西瓜的1 0 0 ，黄瓜的9 0 ，茄子的9 6 都靠嫁接栽培，每年大约嫁接十多亿棵。从1 9 8 6 年起日本开始了对嫁接机器人的研究，以日本“生物系特定产业技术研究推进机构”为主，一些 大的农业机械制造商参加了研究开发，其成果已开始在一些农协的育苗中心使用。由于看到了蔬 菜嫁接自动化及嫁接机器人技术在农业生产上的广阔前景，日本一些实力雄厚的厂家如y a n m a 、 m i t s u b i s h i 等也竞相研究开发自己的嫁接机器人，嫁接对象涉及西瓜、黄瓜、西红柿等。总体 来讲，日本研制开发的嫁接机器人有较高的自动化水平，但是，机器体积庞大，结构复杂，价格 昂贵。9 0 年代初，韩国也开始了对自动化嫁接技术进行研究，但其研究开发的技术。只是完成部 分嫁接作业的机械操作，自动化水平较低，速度慢，而且对砧、穗术苗的粗细程度有较严格的要 求。在蔬菜嫁接育苗配套技术方面，日本、韩国已生产出专门用于嫁接苗的育苗营养钵盘。在欧 洲，农业发达国家如意大利、法国等，蔬菜的嫁接育苗相当普遍，大规模的1 ：厂化育苗中心全年 向用户提供嫁接苗。由于这些国家尚未有自己的嫁接机器人，所以嫁接作业，一部分仍采用手工 嫁接，一部分采_ h j 日本的嫁接机器人进行作业。 ( 3 ) 蔬菜水果采摘机器人 国外已经开发出了一大批蔬菜水果采摘机器人，如番茄采摘机器人、葡萄采摘机器人、黄瓜 收获机器人、西瓜收获机器人和蘑菇采摘机器人等。下面以黄瓜收获机器人为例说明： 1 9 9 6 年，荷兰农业环境工程研究所( i m a g ) 开始研制出一种多功能黄瓜收获机器人【j j 。该研 究在荷兰2 h m 2 的温室里进行，黄瓜按照标准的园艺技术种植并把它培养为高拉线缠绕方式吊挂 生长。该机器人机械手只单个收获，收获成熟黄瓜过程中不伤害其它来成熟的黄瓜。采摘是通过 末端执行器来完成，它由机械手爪和切割器构成。末端执行器和机械手安装在行走车上，行走车 为机械手的操作和采摘系统的初步定位服务。机械手有7 个自由度，采用二菱( m i t s u b i s h i ) r v - e 2 六自由度机械手，在底座增加了一个线性滑动自由度。收获后黄瓜的运输由一个装有可卸集装箱 的自走运输车完成。整个系统无人工干预就能在温室工作。试验结果为工作速度1 0s 根在实验 室中效果良好，但还不能满足商用的各种要求。日本也研制了类似的黄瓜收获机器人。 ( 4 ) 施肥机器人 图1 - 1 是日本开发的能在土质松软的水田中自动行走，进行深层作业的水稻施肥机器人。其 行走部分是能在狭窄的稻秧问行走的窄型橡皮车轮、四个轮子均可横向转动9 0 度。施肥装置是 把糊状肥料经过肥料泵加压、由喷嘴向土中施肥，喷嘴是两个一组共有四组，利用喷嘴柄把喷嘴 插入土中1 5 c m ，进行点注深层施肥。机器人能沿着水稻垄自动行走，能自动保持作业部分的深 度，自动控制施肥量，机器人工作时无人操纵。通过前方传感器自动检测地头的土埂，在设定的 土坯处自动停止，转动9 0 度，再横向移动8 条稻垄，再转动9 0 度继续向相反方向进行作业。 美国明尼苏达州一家农业机械公司的研究人员推出的施肥机器人别具一格，它会从不同十壤的实 际情况山发，适量施肥，它的准确计算合理的减少了施肥的总量降低了农业成本。由于施肥科 学，使地f 水质得到改善。1 以上只介绍了几种农业机器人，现在已开发出来的农林业机器人还有很多比如有：收割机 器人、林木修剪机器人、果实分拣机器人、耕耘机器人、除草机器人等。 3 中国农业大学硕士学位论文第一章绪论 $ o n s o ru n h sl d ev j e w 图1 - 1 施肥机器人 1 4 国内农业机器人研究现状 国内在农业机器人方面的研究始于2 0 世纪9 0 年代中期，相对于发达国家起步较晚，但是发 展很快，很多院校、研究所都在进行农业机器人和智能农业机械相关的研究。 中国农业大学张铁中教授率先在我国开展了自动化嫁接技术的研究工作，先后研制成功了自 动插接法、自动旋切贴合法嫁接技术，填补了我国自动化嫁接技术的空白，形成了具有我国自主 知识产权的自动化嫁接技术( 图1 2 ) 。如利用传感器和计算机图像处理技术，实现了嫁接苗子叶 方向的自动识别、判断。嫁接机器人能完成砧木、穗木的取苗、切苗、接合、固定、排苗等嫁接 过程的自动化作业。操作者只需把砧木和穗木放到相应的供苗台上，其余嫁接作业均由机器自动 完成，从而大大提高了作业效率和质量，减轻了劳动强度。嫁接机器人可以进行黄瓜、西瓜、甜 瓜卣的自动嫁接，为蔬菜、瓜果自动嫁接技术的产业化提供了可靠条件。 上海交通大学机器人研究所的曹其新、刘成良、吕恬生、殷跃红等人进行了用于精确农业的 智能农业机械的研究工作，已经完成了智能化联合收割机、蔬菜工厂化育苗播种流水线样机的研 制，正在进行草莓挑选机器人、黄瓜采摘机器人、嫁接机器人的研究。 浙江大学应义斌教授研究的水果自动分级机器人系统得到国家“8 6 3 ”计划的支持“”。吉 林大学三f ：荣本、于海业从9 0 年代中期开始进行农用自动引导行走车的研究“”“。南京农业大学 4 中国农业大学硕士学位论文 第一章绪 论 沈明霞等人，浙江工业大学青芳、张立斌等人，在进行农业机器人的视觉研究。3 1 。“。江苏大学 纪良文、吴春笃进行了喷药机器人的研究，他们采用超声测距作为喷药机器人的辅助视觉系统 t 6 17 】 图卜2 蔬菜嫁接机器人 1 ，5 农业机器人发展存在的问题及解决思路 151 存在的问题 机器人在农业中的应用远远低于在工业中的应用，更多的是处于实验室的试验阶段，没有得 到实际戍用。究其原因：一方面因为农业机器人的成本过高，另一方面是农业机器人没有达到农 业生产的智能需要。1 ，而机器人智能水平的提高与机器人成本的降低又相互制约。如果不解决这 些问题，农业机器人很难得到广泛的应用。 目前对于农业机器人的研究一般是利用现有的工业机器人系统加上自己设计的末端执行器， 进行农业生产研究，这是造成农业机器人成本过高的一个因素。另外，农业生产的特征之一是季 节性强，造成了农业机器人的使用效率低，这是造成农业机器人成本相对过高的另一个因素。 目前农业机器人的智能化程度，没有达到农业生产的要求，农业工程领域的专家纷纷把研究 重心从机械部分转向机器视觉、人工智能方面，力图解决农业机器人的智能问题。从目前的技术 水平来看，在自动导航、视觉辨识定位等方面已有成熟的解决方案，但总的方而来讲，目前智能 系统的发展还不够完善，很多任务无法由农业机器人单独完成。 在某种意义上农业机器人的智能水平和成本水平又是相互制约的，机器人智能水平的提高一 般都要增加计算机控制系统软硬件的复杂度，这就伴随着成本的提高。 152 解决问题的思路 本课题将从以下三个方面解决1 5 1 中提出的问题： ( 1 ) 为解决农业机器人的智能水平和成本水平相互制约的问题，可基于嵌入式系统平台对 水果采摘机器人相关技术进行研究； ( 2 ) 计算机系统应适应多种蔬菜、水果的采摘工作，由于水果采摘作业的季节性特点，可 提高农业机器人的使用率，降低单位生产成本； ( 3 ) 由于农业机器人机械精度要求不高，可设计合适的机器人机构，降低机器人制造成本。 中国农业大学硕士学位论文第一章绪论 1 6 本课题研究的目标 本论文的研究目标是：基于嵌入式系统技术平台实现水果采摘机器人一些关键技术：视觉系 统和运动控制系统。 在硬件方面采用基于嵌入式技术的主从二级计算机系统，保证硬件系统小巧轻便，同时具有 良好的稳定性、可扩展性、灵活性和实时性，可以控制多种不同自由度的机器人和不同的末端执 行器，可适合于多个品种的水果。 在软件方面选择l i n u x 操作系统保证软件系统的智能、交互等功能的扩充以及系统的经济性。 设计一个4 自由度关节式机械人对建立的视觉系统和运动控制系统进行验证。 1 8 本课题研究的内容 本课题是在中国农业大学农业机械化实验室进行的，得到中国农业大学2 1 1 工程二期建设基 金的资助。 结合研究方向和实验室的设备条件，在以下方面进行了研究： ( 1 ) 基于嵌入式系统技术，建立用于机器人视觉系统和运动控制系统研究开发的软、硬件平 台。 ( 2 ) 在前期建立的嵌入式系统平台上研究开发水果采摘机器人三维视觉系统。 ( 3 ) 设计一个轻型水果采摘机器人模型。 ( 4 ) 建立运动控制系统实现对机器人的运动控制。 1 9 本课题研究的意义 本课题建立的基于嵌入式系统技术的水果采摘机器人视觉系统和运动控制系统的软硬件平 台，为解决农业机器人目前存在的问题提供了有效途径，为农业机器人实用化和智能化的进一步 研究提供了良好的基础，也为农业机器人的开发应用提供了一种新的途径。 6 中国农业大学硕士学位论文 第二章水果采摘机器人系统总体设计 第二章水果采摘机器人系统总体设计 上一章我们综述并分析了国内外农业机器人应用研究现状及存在的问题，在此基础上提出了 本课题的研究目标是研究开发水果采摘机器人的一些相关技术，解决农业机器人应用的一些相关 问题。为了实现前面确定的研究目标，本章将对水果采摘机器人系统进行总体设计。在本章总体 设计的基础上，本论文的后续章节将详细讨论相关技术的实现。 2 1水果采摘机器人系统功能定义 水果采摘机器人的功能是实现特定的一个品种或几个品种水果( 蔬菜) 果实的自动化收获。 它需要在田间环境下识别出成熟果实，并获得成熟果实在三维空间的位姿( 位置与姿态) ，再控 制机器人机械执行机构采摘成熟果实，完成水果( 蔬菜) 收获作业。 为了解决1 5 1 所述的3 个问题，要求本课题设计的机器人系统具有较低的成本并达到定 的智能水平。本课题设计的机器人系统应该满足如下要求： ( 1 ) 机器人计算机控制系统硬件平台在满足性能要求的基础上，要具有一定的稳定性、可 靠性和经济性； ( 2 ) 计算机软件系统应适应多种蔬菜水果的采摘工作，提高农业机器人的生产使用率； ( 3 ) 机器人机构应简单，具有较低的制造成本； ( 4 ) 系统应简单易用。 2 2 水果采摘机器人系统总体设计 为了实现上节所述的水果采摘机器人系统的功能，本节对水果采摘机器人进行系统总体设 计。本课题设计的水果采摘机器人由机械本体、计算机控制系统及外围电路接口等部分组成。系 统结构框架如图2 1 所示。 图2 - 1 水果采摘机器人系统结构框架图 7 中国农业大学硕士学位论文 第二章水果采摘机器人系统总体设计 2 2 1 水果采摘机器人系统工作原理 系统的工作原理如下：外部传感器是两个c c d 摄像机，模拟人的两个眼睛，从田间环境中 摄取场景图像。视觉系统根据两个摄像机所拍摄的到同一场景的图像，利用双目视觉技术，获取 目标的空间信息。运动控制系统根据视觉系统的给出的目标信息，通过机器人逆运动学计算及轨 迹规划把空间数据转变为各关节的运动指令参数，再通过接口电路对关节进行伺服控制，控制机 器人机械机构从田间环境中采摘果实。 2 2 2 水果采摘机器人计算机控制系统 本课题设计水果采摘机器人计算机控制系统功能上包括三维视觉系统和运动控制系统，形式 上包括硬件平台和软件系统。 水果采摘机器人计算机控制系统硬件平台由主从二级计算机系统构成。为了实现智能控制， 需要对包括视觉在内的各种传感信号进行采集、处理并进行人工智能的模式识别、问题求解、任 务规划、决策判断，这些任务由功能较为强人的主计算机完成。各关节伺服驱动的指令值由主计 算机计算后给出。主计算机通过轨迹规划，得到空间轨迹在各采样时刻的数据，通过逆运动学计 算把空间数据转变为各关节的运动指令参数，传给从计算机，由从计算机完成对关节伺服系统的 控制。 水果采摘机器人计算机软件系统包括三维视觉系统和运动控制系统。运动控制系统又由机器 人模型系统、任务规划系统、通信与控制系统等子系统组成。机器人模型系统是机器人运动学模 型在计算机中的表示，它由机器人机械结构决定，完成不同的任务的机器人有不同的机械结构， 也就有了不同的运动学模型。三维视觉系统从摄像机获取环境信息，经过处理获得果实目标的空 间三维位置信息，再由任务规划与运动控制系统根据机器人模型系统产生控制信号控制机器人。 2 2 3 水果采摘机器人机械本体 本课题设计水果采摘机器人机械本体主要由三个部分组成：动力装置、中间机构、执行机构。 动力装置使用伺服电机，中间机构是一种称为“腱”的机构( 见7 2 4 ) ，执行机构是机械手及手 爪。通过内部传感器( 光电编码器和限位开关等) 将这三部分有机地结合在一起。 从机构学的角度来分析，机器人的机械结构可以看作由一系列连杆通过关节( 旋转关节或移 动关节) 连接起来的开式运动链。本课题设计了一个4 自由度( d e g r e eo ff r e e d o m ，d o f ) 的关 节式机械手及2 指机械手爪。 2 2 4 外围接口电路 外围接口电路主要起到电平转换、光电隔离等功能。这一部分不是本课题的研究重点。 土星奎些盔茎錾圭兰竺鲨：兰：釜三主銮墨圣苎丝茎全蚕丝兰篁耋生 2 3 本章小结 本章从系统总体的角度阐述了水果采摘机器人的设计思路，确定了水果采摘机器人由机 械本体、计算机控制系统及外围电路接口等部分组成。计算机控制系统功能上包括三维视觉系统 和运动控制系统。 通过本章的分析，水果采摘机器人系统主要包含三大部分：三维视觉系统、机器人机械 本体及机器人运动控制系统。 9 中国农业大学硕士学位论文 第三章基于嵌入式系统的机器人计算机控制平台 第三章基于嵌入式系统的机器人计算机控制系统硬件平台 3 1 机器人计算机控制系统 大部分机器人采用主从二级计算机控制。为了实现智能控制，需要对包括视觉在内的各种传 感信号进行采集、处理并进行人工智能的模式识别、问题求解、任务规划、决策判断，这些任务 由功能较为强大的主计算机完成。各关节伺服驱动的指令值由主计算机计算后在每个采样周期给 出。计算机通过轨迹规划，得到空间轨迹在各采样时刻的数据，通过逆运动学计算把空间数据转 变为各关节的指令值，传给从计算机，由从计算机完成对关节伺服系统的控制。 本课题采用主从二级计算机系统形式实现机器人的控制，并且主从二级计算机均采用嵌入式 系统构架形式。 3 2 嵌入式系统 3 2 1 嵌入式系统概述 嵌入式系统( e m b e d d e ds y s t e m ) 是计算机系统的一支，计算机系统从应用的角度可分成通 用计算系统和嵌入式( 计算) 系统。嵌入式系统是把微处理器( m p u ) 、微控制器( m c u ) 、数 字信号处理芯片( d s p ) 或片上系统( s o c ) 等可编程计算器件作为处理部件嵌入到工程系统中， 并以非通用计算机系统的形态出现而具有特定功能的广义计算系统。“ 嵌入式系统随着应用方式的不同，可有i p ( i n t e l l e c t u a lp r o p e r t y ) 级、芯片级和模块级 等3 中不同体系结构形式。 i p 级体系嵌入式系统是指嵌入式系统采用“量体裁衣”的方式把所需的功能( i p 单元、芯 片或模块等) 嵌入至各种应用系统。把不同的i p 单元根据应用的要求集成在一块芯片上，也就 是片上系统s o c ( s y s t e mo nc h i p ) 的形式。各种嵌入式软件也可以以i p 的方式集成在芯片中。 芯片级体系嵌入式系统是指根据各种i t 产品( 应用系统) 的要求，可以选用相应的处理器 ( m c u 、d s p 、r i s c 型m p u ) 芯片、r a m 、r o m ( e p r o m e e p r o m f l a s h ) 及i o 接口芯片等组成相应 的嵌入式系统；相应的系统软件应用软件也以固件( f i r m w a r e ) 的形式固化在r o m 中。这是目 前嵌入式系统最常见的形式。 第三种形式是以x 8 6 处理器构成的计算机系统模块嵌入到应用系统中，这样可充分利用目前 常用的p c 系统的通用性和便利性”“。现有的一些嵌入式操作系统( e m b e d d e do s ) 及由l i n u x 裁 减改造而来的嵌入式操作系统均可支持这种形式嵌入式系统。它较多出现在t 业控制和仪表仪器 中。 3 2 2 嵌入式系统的特点 嵌入式系统技术已经渗透到我们的生活、生产、工作和学习的各个方面，并且还在迅速发展 中，其涵盖的范围非常广，很难用几句话概述其特点，下面只列举一些特征：”2 1 0 中国农业大学硕士学位论文 第三章基于嵌入式系统的机器人计算机控制平台 嵌入式系统是集软件、硬件于一体的高可靠性系统。嵌入式系统麻雀虽小，五脏俱全， 软件除操作系统外，还需有完成嵌入式系统功能的应用软件，硬件除了c p u 外，还需有 外围电路支持，微处理器、微控制器、d s p 已构成嵌入式系统硬件的基础。 嵌入式系统是资源开销小的高性能价格比系统。嵌入式系统的发展离不开应用，应用的 共同要求是系统资源开销小，由于嵌入式系统技术日益完善，各种高性能嵌入式应用系 统层出不穷，它已是资源开销小的高性能价格比的一类应用系统。为了满足系统资源开 销小、高性能、高可靠性的要求，大多使用f l a s hm e m o r y 。 嵌入式系统是功能强大、使用灵活方便的系统。嵌入式系统应用的厂泛性，要求该系统 通常是无键盘、无需编程的应用系统，使用它应如同使用家用电器一样方便。 32 3 嵌入式系统的核心硬件 嵌入式系统的核心部件是各种类型的嵌入式处理器，依照发展的顺序，从上世纪7 0 年代到 现在3 0 多年依序出现了各种不同位数架构的产品，从具备单纯的中央处理器构架产品，有4 位、 8 位、1 6 位、3 2 位到6 4 位的微处理器，到目前很流行的s o c ( s y s m mo n c h i p ) 整台式c p u 。 提供嵌入式c p u 厂商相当多，有三星、t i 、m o t o r o l a 、p h i l i p s 、s t m i c r o e l e e t r o i c s 、三菱、富 十通等等数十家知名厂商。据不完全统计，全世界嵌入式处理器的品种已有上千种之多。我国自 主开发的方舟、众志及龙芯一号( g o d s o n ) c p u 也都主要应用于嵌入式领域。另外，通用c p u 生 产厂商如美国的i n t e l 、a m d 及我国台湾的威盛公司( v i a ) 均推出了低功耗通用c p u ( x 8 6 架 构) 应用于嵌入式领域。 3 2 4 嵌入式操作系统 嵌入式系统的概念出现在2 0 世纪7 0 年代。当时，大部分嵌入式系统的软件都是由汇编语 言编写而成，它只能应用于某种特定的微处理器和应用，当然，对于某些简单的应用是足够了。 自1 9 8 1 年发展了世界上第一个商业嵌入式实时操作系统( v r t x 3 2 ) 至今，嵌入式实时操作系统 已有2 0 多年的发展历程。2 0 世纪8 0 年代的产品还只支持1 6 位的微处理器，只有内核，以 销售二进制代码为主，当时的产品如v r t x 、p s o s 等，主要用于军事和电信设备。进入2 0 世纪9 0 年代，现代操作系统的设计思想，如微内核设计技术和模块化的设计思想已开始渗入其中，特别 是互联网日渐风行，用户都要求有网络( 即支持浏览器) 和图形功能，并能方便使用大量现有的 软件代码，希望支持标准的a p i ，如p o s i x 、w i n 3 2 等，并希望其开发环境与大家熟悉的u n i x 、 w i n d o w s 一致，出现了几十种产品，代表性的有v x w o r k s 、q n x 、n u c l e u s 、w i n c e 和e m b e d d e dl i n u x 等。 目前，由于源代码的开放性及得到了相当广泛厂商的支持和投资，嵌入式l i n u x 与3 2 位嵌 入式c p u 嵌入式相结合，在家用电器、工业控制和军工装备方面得以广泛应用，有后来居上的趋 势。 另外值得一提的是，科泰世纪科技有限公司开发的“和欣”3 2 位嵌入式实时操作系统以及北 京凯思吴鹏软件工程技术有限公司开发的h o p e n 嵌入式操作系统等都是中国完全自主知识产权 的嵌入式操作系统。 中国农业大学硕士学位论文 第三章基于嵌入式系统的机器人计算机控制甲台 3 2 嵌入式系统技术对农业机器人的意义 一般来说机器人的计算机控制系统可使用单片机、p l c 、通用p c 机和工控机等。农业机具大 多以野外移动作业为主，这对计算机系统也提出了一些特殊要求一一要求计算机系统具有体积 小、重量轻、功耗低、抗振动等特性。由于p c 机和工控机体积大、较笨重、功耗高、抗振动能 力低、稳定性差无法应用于田间作业，而单片机、p l c 由于功能的限制无法实现机器视觉、模式 识别、实时多任务等复杂应用。本章提出的将嵌入式系统应用于农业机器人将解决上述问题。 在农业机器人研究中引入嵌入式系统作为基本控制系统的平台具有如下意义： 由于嵌入式系统可设计成体积小、重量轻、功耗低、抗干扰的系统，因而适合于田间作 业的机器人； 由于目前嵌入式c p u 的功能已经相当强大，为实现多任务、实时控制、模式识别等功能 提供了可能； 由于基于嵌入式操作系统进行软件的开发，因此开发成本降低、开发周期缩短，并且实 现了软件代码的可移植性； 相对于p c 机或工控机的控制系统，基于嵌入式系统的机器人的硬件成本也得以降低； 相对于单片机、p l c ，基于嵌入式系统的机器人将能具有更高的智能以完成更复杂的任务： 由于嵌入式操作系统可带有t c p i p 协议、无线网络协议等，为基于3 s 技术田间调度系 统的研究也提供了平台。 本课题在嵌入式系统上实现农业机器人三维视觉技术及机器人运动控制技术所做的研究将 为农业机器人的实用化奠定基础。 3 3 嵌入式系统在农业机器人研究领域的应用现状 虽然嵌入式系统已经应用智能机器人中，如美国宇航局的火星探测车、s o n y 的机器狗a i b o ， 但目前在农业机器人研究中应用的较少。国内外研究者一般在研究室里采用p c 机进行农业机器 人软硬件系统的开发，如日本爱嫒大学环境情报制御学研究室研究人员所做的关于草莓收获机械 的研究，中国农业大学张铁中教授指导的硕十生贡志华所做的关于蔬菜嫁接机器人视觉系统的研 究：也有一些研究者在单片机、p l c 上实现对机器人的控制，如中国农业大学张铁中教授指导的 硕士刘常青、孟志、罗辉、杨丽等研究人员研制的一系列蔬菜自动嫁接机器人。 虽然在农业机器人研究领域，有些研究人员已经不自觉地应用了嵌入式系统，本章将首次明 确地提出将嵌入式系统引入农业机器人研究领域。 3 4 基于嵌入式系统的机器视觉系统开发平台的建立 如上所述，本章将在嵌入式系统上进行农业机器人三维视觉技术研究，首先要做的工作就是 建立基于嵌入式系统的机器视觉开发平台，包括硬件平台和软件平台。 本课题视觉系统硬件平台由核心主板、数字图像采集卡和摄像机等构成；软件平台包括嵌入 式操作系统、编程语言及其编译调试工具。 中国农业大学硕士学位论文 第三章基于嵌入式系统的机器人计算机控制平台 n l l l n l l 3 4 1 核心主板 为了便于视觉系统的开发、充分利用p c 系统丰富的资源，本课题嵌入式系统的核心硬件采 用32 中所述第三种形式，即以x 8 6 处理器构成的计算机系统模块嵌入到应用系统。本课题使用 台湾威盛( v i a ) 的c p u 。v i a 的c p u 包括三个分支：e d e n 、c 3 和n e h e m i a h 。c 3c p u 是大家比 较熟悉的c p u ，e d e n c p u 与c 3 c p u 采用同一技术核心，c 3 c p u 面向通用计算机市场，而e d e n c p u 由于低功耗、稳定和无须风扇散热等性能而适合于嵌入式市场。据v i a 的技术资料，c 3c p u 通过降低核心供电电压、降低c p u 频率也可以达到e d e n c p u 的性能。n e h e m i a h c p u 与c 3 c p u 、 e d e nc p u 采用不同的核心( c o r e ) 技术，n e h e m i a hc p u 拥有更高的运行频率( 1 1 g 以上) ，但 成本较高( 由于c p i j 技术的飞速发展，目前n e h e m i a h 核心的c p u 成本与两年前相比已经大大降 低了) 。e d e n 、c 3 和n e h e m i a h 都是x 8 6 架构的。本课题选用使用e z r a 核心的e d e n8 0 0 n t zc p u 作为主计算机系统的核心硬件。 对于嵌入式系统开发来说，选好c p u 后，可以自己进行外围电路的电路板设计，也可以购买 第三方厂商提供的开发板。为了加快研究进度，我们直接选用研华的p c n9 5 7 5 嵌入式主板( 图 3 1 ) 。 图3 一lp c m9 5 7 5 嵌入式主板 研华p c n9 5 7 5 具有如下特性： m 板载低功耗v i ae d e n8 0 0 m h z 处理器 o 6 0 可无风扇工作( p c m 一9 5 7 5 f j o a i 及p c m 9 5 7 5 f m o a i ) e b x 架构，支持p c 1 0 4 + 扩展 外形尺寸小( 5 2 5 ”) 支持网络、m o d e m 唤醒功能 支持l c d 背景光关闭功能 1 0 0 1 3 3m h zf s b ，4 倍速a g p ，适用高性能图形处理 基本满足视觉系统和作业环境对计算机性能的要求。 3 4 2 数字图像采集卡 数字图像采集昔的功能是将c c d 摄像机( 见3 4 3 ) 所采集的模拟信号转变成数字信号，再 交由计算机处理。系统中使用的图像采集卡是大恒的d h c g 3 2 0 图像采集卡( 图3 2 ) 。 图32 蹦一c g 3 2 0 图像采集卡 该卡基于p c 1 0 4 一p l u s 结构，具有稳定性好、体积小等优点。该卡可进行高质量彩色黑自 视频信号实时采集，并通过p c i 总线传送到主板内置的v g a 卡上实时显示或传送到计算机内存中 实时存储。视频数据的传送过程由图像卡控制，无需c p u 参与，瞬间传输速度可达1 3 2 m b s ，最 多支持三块卡同时工作，每块卡均可以支持四路复合视频切换输入。其主要技术指标如下： 输入方式：四路复台视频输入，一路s - v i d e o 输入。 标准p a l 、n t s c 制彩色黑白视频信号输入。 图像分辨率最高：p a l ；7 6 8 * 5 7 6 * 2 4 b i t ；n t s c ：6 4 0 * 4 8 0 * 2 4 b i t 。 灵活采集图像： 可按单场、单帧、连续场、连续帧、间隔几场或几帧等多种方式。 支持任意形状的图像采集。 图形覆盖( o v e r l a y ) 功能：通过填写屏蔽( m a s k ) 模板，可实时显示和存储任意形状的输入图 像。硬件完成输入图像的比例缩放( s c a l e ) 、裁剪( c l i p ) 和色度空间变换( c o l o rs p a c e c o n v e r t i o n ) ，输入图像的大小、位置可灵活设置，并可支持y u v 4 2 2 ，r g b 3 2 r o b 2 4 ，r g b l 5 ， r g b l 6 和y 8 等多种图像显示和存储格式。 和计算机上显示采集的图像，实现图像和图形同屏显示的工作方式。 可稳定地接收录相机的视频信号。 亮度、色调、色饱和度、对比度等软件可调。 开发工具：提供w i n d o w s9 8 、w i n d o w sn t 、w i n d o w s2 0 0 0 及l i n u x 环境下的开发工具及演 示程序。 外形尺寸：9 0 m m + 9 5 m m + 1 3 r a m 本课题研制的水果采摘机器人视觉系统是双目视觉系统，因此需要两块d h c g 3 2 0 图像采集 卡。 1 4 中国农业大学硕士学位论文 第三章基于嵌入式系统的机器人计算机控制平台 3 4 3o o d 摄像机 摄像机相当于机器人的眼睛。在机器视觉研究领域使用的摄像机一般都是c c d ( c h a r g e