果蔬采摘机器人研究进展

1、果蔬采摘机器人研究进展刘长林, 张铁中, 杨丽 (中国农业大学, 北京100083摘要 综述了果蔬采摘机器人的国内外研究现状, 介绍了目前大部分典型的果蔬采摘机器人的研究成果。通过分析大部分采摘机器人的工作情况、功能、存在问题, 指出了目前采摘机器人的应用与研究过程中的主要难点与制约因素, 提出了研究开发的方向与关键技术。关键词 果蔬采摘; 机器人; 研究进展; 关键技术中图分类号 S225 文献标识码 A 文章编号 0517-6611(2008 13-05394-04R e se a rch Pro g re s s on P ic k in g R o bo t fo r F ru its

2、 an d V e g e ta b le s LI U C h a n g -lin e t a l (C h in ese A gr icu ltu ra l U n ive rsity , B e ijin g 100083 A b s tra c t T h e cu r ren t s itu a tiono f resea rch onfru it an d ve ge tab le pick in g robo t a t h om e an d b road w as sum m ar ized , th e pa rticu la r ly fo cu s w e re on

3、th e re-se a rchresu lts o f m o st typ ica l p ick i n g robo ts , in clu d i n g robo t pr in ciple an d s tru ctu re. T h rou gh an a lyz in g th e w o rk in g con dition,fun c tion and p rob le m s o f m o st o f pick in g robo t , th e pre sen t d ifficu ltie s and re stric ted facto rs o f p i

4、ck in grobo t inits resea rch an d app lica tion w e re po in t ou t andth e resea rch d irection an d k ey te chn o logy in fu tu re w ere p ro v ided . K e y w o rd s F ru it an d veg e tab le pick in g ; R obo t ; R esea rch p ro g re ss ; K ey te chn o logy果蔬采摘作业是果蔬生产中最耗时、最费力的一个环节。果蔬收获期间需投入的劳力约占

5、整个种植过程的50%70%。随着社会经济的发展和人口的老龄化, 很多国家农业劳动力严重短缺, 导致果蔬生产劳动力成本增加。为降低成本, 提高劳动效率, 果实采摘的自动化成为亟待解决的问题。收获作业自动化和机器人的研究开始于20世纪60年代的美国, 采用的收获方式主要是机械震摇式和气动震摇式, 其缺点是果实易损, 效率不高, 特别是无法进行选择性的收获1。20世纪80年代中期以来, 随着电子技术和计算机技术的发展, 特别是工业机器人技术、计算机图像处理技术和人工智能技术的日益成熟, 以日本为代表的发达国家, 包括荷兰、美国、法国、英国、以色列、西班牙等国家, 在收获采摘机器人的研究上做了大量的工

6、作。1 国外研究进展1. 1 西红柿采摘机器人日本近藤(KON TO 等研制的番茄采摘机器人, 由机械手、末端执行器、视觉传感器、移动机构组成(图1 。该采摘机器人采用了7个自由度机械手。用彩色摄像机作为视觉传感器, 寻找和识别成熟果实, 并采用双目视觉方法对果实进行定位, 利用机械手的腕关节把果实拧下。移动系统采用4轮机构 , 可在垄间自动行走。该番茄采图1 日本的番茄采摘机器人F ig. 1 T om a to p ic k in g -ro b o t m a d e in J a pa n摘机器人采摘速度大约是15s/个, 成功率在70%左右。主要存在的问题是当成熟番茄的位置处于叶茎相

7、对茂密的地方时, 机械手无法避开叶茎障碍物完成采摘2-3。在2004年2月10日美国加利福尼亚州图莱里开幕的世界农业博览会上, 美国加利福尼亚西红柿机械公司展出2台全自动西红柿采摘机(图2 。如果西红柿单位面积产量有保证的话, 那么这种长12.5m 、宽4.3m 的西红柿采摘机每分钟可采摘1t 多西红柿,1h 可采摘70t 西红柿。这种西红柿采摘机首先将西红柿连枝带叶割倒后卷入分选仓, 仓内能识别红色的光谱分选设备挑选出红色的西红柿, 并将其通过输送基金项目 国家自然科学基金资助项目(60375036 。作者简介 刘长林(1979- , 男, 吉林榆树人, 博士研究生, 研究方向:农业机器人和

8、生物生产自动化。收稿日期 2008-03-28图2 美国的番茄采摘机器人F ig. 2 T om a to p ic k in g -ro b o t m a d ein Am e ric a带送入随行卡车的货舱内, 然后将未成熟的西红柿连同枝叶安徽农业科学,J ou rn a l o f A n h u i A g r i .S c i .2008,36(13 :5394-5397 责任编辑 刘月娟 责任校对 马君叶一道粉碎, 喷撒在田里作肥料4。1. 2 茄子采摘机器人日本国立蔬菜茶叶研究所与岐阜大学联合研制了茄子采摘机器人。机器人由CC D 机器视觉系统、5自由度工业机械手、末端执行器以

9、及行走装置组成, 作业对象是温室中按照V 形生长方式种植的S en ry o-2号茄子。该机器人的末端执行器设计复杂, 包括4个手指、2个吸嘴、2个诱导杆、气动剪子和光电传感器(图3 。在实验室中进行了试验, 采摘成功率为62.5%, 工作速度为64.1s/个。影响成功率的主要原因是机器视觉系统对采摘位置的判断不正确; 同时, 视觉系统占用了72%的工作时间(46.1s , 也是影响整个机器人采摘效率的主要因素5- 8。图3 日本的茄子采摘机器人F ig.3 E g g p la n t p ic k in g -ro b o t m a d ein J a p a n1. 3 甘蓝采摘机器人

10、 日本国立农业研究中心的M u ra kam i等研制了甘蓝采摘机器人, 由极坐标机械手、4个手指的末端执行器、履带式行走装置和C CD 机器视觉系统组成, 整个系统采用液压驱动(图4 。系统利用人工神经网络(N N 算法 提取果实的二值图像, 采用模板匹配的方法识别合格的甘蓝。试验表明, 采摘的成功率为43%, 工作速度为55s/个。影响成功率的主要原因是光照条件的不稳定、超声波测距传感器的误差、叶子的遮挡以及机械故障等 9。图4 日本的甘蓝采摘机器人F ig. 4 C a bb a g e p ic k in g -ro b o t m a d e in J a pa n1. 4 葡萄采摘

11、机器人 日本冈山大学研制出一种用于果园棚架栽培模式的葡萄收获机器人, 机械部分是一个具有5个自由度的极坐标机械手, 具有4个旋转关节(其中腰部1个、肩部1个、腕部2个 和1个棱柱型的直动关节(图5 。这种结构使得机器人在葡萄架下行走时能够有效地工作, 旋转关节可以以不同的速度旋转, 直动关节可以采用简单的控制方法来获得较高的速度。为了提高使用率, 更换不同的末端执行器, 还可以完成喷雾、套袋和剪枝等作业10。1. 5 黄瓜采摘机器人 日本的近藤直等研制的黄瓜采摘机器人, 采用三菱M ITSU B ISH IRV -E 2型六自由度工业机器人, 利用C CD 摄像机, 根据黄瓜比其叶茎对红外光的

12、反射率高的原理来识别黄瓜、叶茎(图6 。黄瓜、果梗的连接与番茄不同, 采用剪断方法, 先把黄瓜抓住, 用接近觉传感器找出柄, 然后剪断, 采摘速度为16s/个。由于黄瓜是长条形, 受到茎叶的影响更大, 所以采摘的成功率较低, 大约60%。同样, 需要改进该机器人机器手的结构、采摘工作方式和避障规划功能, 以提高采摘成功率, 提高采摘速度11-1 3。图5 日本的葡萄采摘机器人F ig.5 G ra p e p ic k in g -ro b o t m a d e in J a pa n1996年, 荷兰农业环境工程研究所(I M AG 研制出一种多功能黄瓜收获机器人(图7 。该研究在荷兰2h

13、m 2的温室里进行, 黄瓜为高拉线缠绕方式吊挂生长。该机器人利用近红外视觉系统辨识黄瓜果实, 并探测其位置。机械手只收获成熟黄瓜。末端执行器由手爪和切割器构成。机械手有7个自由度, 采用三菱(M itsub ish i RV -E 2六自由度机械手。该机器人视觉系统的黄瓜检测效率大于95%, 采摘成功率约80%, 采摘速度约为54s/个, 在实验用温室中作业效果良好。但由于采收时间过长, 不能满足商用要求3, 14。1. 6 蘑菇采摘机器人英国S ilsoe 研究院研制了蘑菇采摘机器人(图8 。它可以自动测量蘑菇的位置、大小, 并且选择性地采摘和修剪。它的机械手包括2个气动移动关节和1个步进电

14、机驱动的旋转关节; 末端执行器是带有软衬垫的吸引器; 视觉传感器采用TV 摄像头, 安装在顶部用来确定蘑菇的位置和大小。采摘成功率在75%左右, 采摘速度为6.7593536卷13期 刘长林等 果蔬采摘机器人研究进展 图6 日本的黄瓜采摘机器人F ig.6 C u c um b e r p ic k in g -ro b o t m a d e in J a pa n图7 荷兰的黄瓜采摘机器人F ig. 7 C u c um b e r p ic k in g -ro b o t m a d e in N e th e r la n d s图8 英国的蘑菇采摘机器人F ig. 8 M u sh

15、 ro omp ic k in g -ro b o t m a d ein B rita in个/s , 生长倾斜是采摘失败的主要原因16-19。1. 7 柑橘采摘机器人西班牙科技人员发明的这种柑橘采摘机器人主体装在拖拉机上, 由摘果手、彩色视觉系统和超声传感定位器3部分组成。它能依据柑桔的颜色、大小、形状来判断柑桔是否成熟, 决定是否采摘。采下的桔子还可按色泽、大小分级装箱。这种采桔机器人采摘速度为1个/s , 比人工提高效率6倍多20。1. 8 甜瓜收获机器人以色列和美国科技人员联合开发研制了一台甜瓜采摘机器人。该机器人主体架设在以拖拉机牵引为动力的移动平台上, 采用黑白图像处理的方法进行

16、甜瓜的识别和定位, 并根据甜瓜的特殊性来增加识别的成功率。在2个季节和2个品种的田间试验证明, 甜瓜采摘机器人可以完成85%以上的田间甜瓜的识别和采摘工作21。1. 9 苹果收获机器人韩国庆北大学研制了苹果采摘机器人, 具有4个自由度, 包括3个旋转关节和1个移动关节。采用三指夹持器作为末端执行器, 内有压力传感器避免损伤苹果。利用C CD 摄像机和光电传感器识别果实, 从树冠外部识别苹果的识别率达85%, 速度达5个/s 。该机器人无法绕过障碍物摘取苹果; 对于叶茎完全遮盖的苹果, 也没有给出识别和采摘的解决方法3。2 国内研究进展国内在农业机器人方面的研究始于20世纪90年代中期, 相对于

17、发达国家起步较晚。但不少院校、研究所都在进行采摘机器人和智能农业机械相关的研究。在国内, 果蔬采摘机器人的研究刚刚起步。东北林业大学的陆怀民研制了林木球果采摘机器人, 主要由5个自由度机械手、行走机构、液压驱动系统和单片机控制系统组成(图9 。采摘时, 机器人停在距离母树35m 处, 然后单片机控制系统控制机械手大、小臂同时柔性升起达到一定高度, 采摘爪张开并摆动, 对准要采集的树枝, 大小臂同时运动, 使采摘爪沿着树枝生长方向趋近1.52m, 然后采摘爪的梳齿夹拢果枝, 大小臂带动采集爪按原路向后返回, 梳下枝上的球果, 完成一次采摘。这种机器人的效率是500kg /d , 是人工的3050

18、倍。而且, 采摘时对母树的破坏较小, 采净率高 22。图9 林木球果采摘机器人原理图F ig.9 S c h em a tic d ia g ramo f fo re s t c o n e p ic k in g -ro b o t另外, 曹其新等运用彩色图像处理技术和神经网络理论, 开发了草莓拣选机器人, 采用气动驱动器将草莓推到不同的等级方向23。周云山等研究了蘑菇采摘机器人。该系统主要由蘑菇传送带、摄像机、采摘机器手、三自由度气动伺服机构、机器手抓取控制系统和计算机等组成。计算机视觉系统为蘑菇采摘机器提供分类所需的尺寸、面积信息, 并且引导机器手准确抵达待采摘蘑菇的中心位置, 防止对不

19、准,6935 安徽农业科学 2008年以致影响吸盘的密封, 造成抓取失败或损伤蘑菇的现象24。中国农业大学张铁中等在草莓、黄瓜、西红柿、茄子等果蔬采摘机器人方面做了较深入地研究, 研制出了试验样机3,25-27。3 研究中存在的问题法国是研究果蔬采摘机器人较早的国家之一, 但由于技术、市场和价格等因素的影响, 甜橙、苹果采摘机器人已停产, 采摘机器人的研究工作基本陷于停顿。美国在自动化收获机器人的研究方面没有一个清晰的战略, 研究工作也基本停了下来。日本近年来开展了大量的收获机器人研究项目, 进展很快, 但还未能真正实现商业化。荷兰收获机器人的研究工作走在很多国家的前面, 但研究的果蔬种类并不

20、多。我国的研究则处在逐渐上升的阶段, 但大部分研究都是针对采摘机器人的某一个部分进行的, 如视觉、机械手、末端执行器等。3. 1 果实的识别率不高或识别后定位精度不高目前识别果实和确定果实位置主要采用灰度阈值、颜色色度法和几何形状特性等方法。其中, 前两者主要基于果实的光谱反射特性, 但在自然光照情况下, 由于图像中存在噪声和各种干扰信息, 效果并不是很好。采用形状定位方式, 要求目标具有完整的边界条件。由于水果和叶子等往往容易重叠在一起, 很难真正区别出果实。此外, 由于农业生产中的果实形状没有工业品规则, 因此需要提高各种形状果实的定位精度, 才能保证采摘机械手可靠抓取。3. 2 部分重叠

21、或遮蔽的果实无法采摘即使对于单独的果实识别定位达到要求, 但往往还有大部分的果实处在被果实或枝叶遮蔽的位置。这给采摘带来更大的难度。采摘机器人为采摘到这部分果实既需要将这部分果实识别出来, 又需要有灵巧手来实现避障采摘。这给机器人的视觉、机械、控制系统都增加了难度。3. 3 果实的损伤率较大目前末端执行器执行抓取果实有切断果柄和直接抓下果实2种。对于切断果柄类果实, 稍有果实形状不规则易被切刀损伤; 而对于果柄短、无法切断果柄类的果实需要直接抓取果实。这难免由末端执行器造成抓取伤痕, 即使在末端执行器上安装传感器感知抓取力度也不可避免。另外,2种类型都存在被机械手或其他金属部位碰伤的情况。3.

22、 4 果实的平均采摘周期较长生产实际中的采摘作业要求机器人不仅减轻劳动强度而且提高作业效率。而目前的果实收获机器人由于视觉、结构及控制系统等原因, 大多数采摘机器人的效率不高。例如, 采摘机器人收获1个柑橘约37s , 收获1个甜瓜约15s , 摘取1个黄瓜需要10s , 收获1个茄子需64s 。为使果蔬采摘机器人实用化, 提高作业效率是关键问题之一。3. 5 采摘机器人的制造成本较高与工业机器人相比, 农业上使用的采摘机器人结构和控制系统更加复杂, 制造成本更高。由于农业生产具有周期性、收获时间短等特点, 设备利用率低, 设备使用和维护都需要相当高的技术水平和费用。4 结语目前, 果蔬采摘机

23、器人的研究正在成为机器人的新兴领域, 而采摘机器人作为农业机器人的重要应用具有很大的发展潜力。日后的果蔬采摘机器人的研究工作必须朝以下方向发展:必须能够准确地识别和定位成熟果实, 并且引导末端执行器准确接近目标; 研制灵巧、不伤果实的采摘机器人末端执行器; 采摘机器人的行走机构必须适应田间的复杂环境; 视觉系统要迅速识别定位果实, 控制系统和机械手臂系统必须做到迅速摘取; 增强机器人系统的通用性。相信在不久的将来, 在不断克服种种技术的阻碍后, 采摘机器人会更广泛地应用于农业生产中。参考文献1SA R IO Y. R o bo tic s o f fru it h a rv e s tin g

24、 :Asa te o f th e a r t re v iew J. J ou rn a l o fA g r icu ltu ra l E n g in ee r in g R e sea rch,1993(54 :265-280. 2K O N D ON,N ISH IT SU J I Y,L IN GP,e t a l . V isu a l fe edb a ck gu ide drobo t ic ch e r rytom a to h a rv e s tin g J . T ra n s A SA E,1996,39:2331-2338. 3K O N D O N, T IN

25、G K C. R o bo tic s fo r B iop r odu ct ion sy s tem sM . N ew Y o rk :A SA E P u b lica tion,1998.4赵金英. 基于三维机器视觉的西红柿采摘机器人技术研究D . 北京:中国农业大学,2006. 5SH IG H IK O H A YA SH I , K A T SU N O B U G AN N O, YU K IT SU G UISH II , e t a l .R ob o tic H a r ve s tin g S y s tem fo r E gg p lan tsJ . JAR Q,2

26、002,36(3 :163-168. 6H A YA SH I S, G A N N O K, ISH I I Y. M ach in e v is iona lg o r i thmo f eg gp la n t re co g -n i tio nfo r rob o t ic h a rv e s tin gJ. J SH IT A,2002,12(1 :38-46. 7H A Y A SH I S, G A N N O K, ISH I I Y. V isu a l fe ed ba ck g u id an ce o f m a n ipu la to rfo re g gp la

27、n t re co gn it ionu s in g fu z zylo g icJ. J SH IT A,2004,12(2 :83-92. 8H AY A SH I S. D e v e lopm e n t o f a h a rve st in g en d -e f fe c te r fo r e gg p lan tsJ. J.SH IT A, 2002,13(2 :97-103. 9M U R AK AM I N, IN O U E K, O T S U K A K. S e le c tiv e h a rv e s tin gro bo t o f ca bba g e.

28、P ro ce ed in g o f in te rn a t ion a l sym po s iumo f au tom a t ionan drob o t ics in b io p rodu c-tionan d p ro ce ss in g J .JS AM ,1995,2:24-31. 10M O N T A M , K O N D O N,SH IB AN O Y. A g r icu l tu ra l ro bo t in g rap e p rodu c tio nsy s tem C . IE E Ein te rn a t io n a l C on fe ren

29、 ce o n R ob o t ics a n d A u tom a tion,1995:2504-2509.11有马诚一, 近藤直, 芝野保德, 等. 收获研究(第1报 J . 农业机械学会志,1994,56(1 :55-64.12有马诚一, 近藤直, 芝野保德, 等. 收获研究(第2报 J . 农业机械学会志,1994,56(6 :69-76.13有马诚一, 近藤直, 芝野保德, 等. 收获研究(第3报 J . 农业机械学会志,1995,57(1 :51-58. 14K O N D O N,M O N T A M ,AR I M A S. S traw be rr y h a rv e

30、 s tin g rob o t o n h yd ro po n icsy s tem C . P rep r in ts o f 3rdIF A C /C IG R W o rk sh o p on A r tif ic ia l In te ll ig en cein A g r icu ltu re ,1998:194-198. 15K O N D O N,F U J IU RAT, T IN G K C.e t a l . R obo ts inb iop ro du c tion w ith incon -tr o l led en v ironm en tsJ.R ob o t

31、ics fo r B iop ro du c tion S y s tem s , A SA E,1998,7:173-229. 16N O B L E R,R E E D J N, M IL E S S, e t a l . In f lu en ce o f m u sh ro oms tra in s a n dpopu la tion de n s i ty o nth e pe r fo rm an ce o f aro bo tic h a rv e s te rJ. J A g r ic E n gn g R e s ,1997,68:215-222. 17R E EDJ N, M I