苹果采摘机器人激光视觉系统的构建.pdf_第1页
苹果采摘机器人激光视觉系统的构建.pdf_第2页
苹果采摘机器人激光视觉系统的构建.pdf_第3页
苹果采摘机器人激光视觉系统的构建.pdf_第4页
苹果采摘机器人激光视觉系统的构建.pdf_第5页
已阅读5页,还剩1页未读 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

第 29 卷增刊 1农 业 工 程 学 报Vol.29Supp.1 2013 年4 月Transactions of the Chinese Society of Agricultural EngineeringApr. 201332 苹果采摘机器人激光视觉系统的构建 冯 娟 1,2,刘 刚1,司永胜2,王圣伟1,周 薇1 (1. 中国农业大学现代精细农业系统集成研究教育部重点实验室,北京 100083; 2. 河北农业大学信息科学与技术学院,保定 071001) 摘要:为了避免或减少自然光线的干扰,该文设计了一种用于苹果采摘机器人的激光视觉系统。基于飞行时间 原理的 LMS211 激光测距仪可对目标距离进行测量,具有精度高、响应速度快等优点;研制的直线运动单元可自 由调整其滑台的移动速度和行程,用来协助测距仪完成对目标场景的三维扫描。试验结果表明:在一定测量范围 内,扫描数据能较理想地反映果实的曲面特性,选择合适的水平分辨率可提高数据的成像效果,生成的距离图像 易于解析果实、枝叶的空间几何特性及相互间的层次关系,且效果不受光线变化的影响。该系统为后期果实的识 别研究提供参考。 关键词:农业机械,机器人,激光,视觉,苹果,采摘机器人,飞行时间,距离图像 doi:10.3969/j.issn.1002-6819.2013.z1.005 中图分类号:TP242.6+2;S225.93文献标志码:A文章编号:1002-6819(2013)-Supp.1-0032-06 冯娟,刘刚,司永胜,等. 苹果采摘机器人激光视觉系统的构建J. 农业工程学报,2013,29(增刊 1):32 37. Feng Juan, Liu Gang, Si Yongsheng, et al. Construction of laser vision system for apple harvesting robotJ. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2013, 29(Supp.1): 3237. (in Chinese with English abstract) 0引言 苹果是世界四大水果之一,收获采摘约占整个 生产作业量的 40%,采摘质量的好坏直接影响到果 实的储存、加工和销售,从而最终影响市场价格和 经济效益。目前中国苹果的采摘工作主要依靠人工 完成,由于果树植株较高,果实成熟期较短,加大 了人工采摘的劳动强度;加之城镇化进程的推进和 中国人口的老龄化,农村劳动力大量减少,终将导 致苹果采摘劳动力不足。苹果采摘机器人的应用, 将是解决上述问题的重要途径之一。 机器视觉是采摘机器人最大的外部环境信息源, 不但关系其快速、准确识别果实的能力,也直接决定 了采摘机器人的可靠性1, 设计开发适合于采摘对象的 视觉系统,对于实现果实自动化采摘具有极大的意 义2,国内外在机器视觉方面已作了大量的研究工 收稿日期:2012- 09- 13修订日期:2013- 04- 25 基金项目:国家自然科学基金资助项目(31071333) ;保定市科学技术 研究与发展计划资助项目(12ZG011) 作者简介:冯娟(1979) ,女,河北省保定人,讲师,博士生,从 事机器视觉、农业机器人研究。北京中国农业大学现代精细农业系统 集成研究教育部重点实验室, 100083。 Email: yurenmatou1011 通信作者:刘刚(1966) ,男,河北省保定人,教授,博士生导 师,从事电子信息技术在农业中的应用研究。北京中国农业大学现代 精细农业系统集成研究教育部重点实验室,100083。 Email:pac 作3- 10。 现有的视觉系统多以 CCD 摄像机为关键组 件,由于采摘环境存在多变性、未知性、开放性等非 结构特点,特别是光照条件的不确定性等问题,使得 果实的识别率和定位精度受到了一定限制11- 15。 采用主动光源的激光技术,具有精度高,环境 适应能力强等优点,在移动机器人的障碍物检测、 植物形态结构量化等方面获得了越来越广泛的应 用16- 18,而用于果实识别方面的研究尚不多见。日 本的 Kanae Tanigaki 等19利用研制的激光视觉系统 对树上的樱桃进行检测,国内的刘兆祥等20设计了 一种基于 2 种敏感波长激光的三维视觉传感器,以 实现对苹果果实的识别和定位,但两者的扫描速度 及获得的果实特征信息量均有待于提高。 鉴于上述原因,本文设计了一种用于苹果采摘 机器人的激光视觉系统,旨在为果蔬采摘的自动化 与机械化提供一种具有创新性的技术手段。 1系统设计 1.1总体设计 视觉系统主要由数据采集、运动控制及数据处 理 3 个单元构成,见图 1。 激光测距仪为数据采集部分,用以获得固定扫 描平面内物体的距离信息;运动控制部分包括 PLC、步进电机、电机驱动器和直线运动单元,可 使激光测距仪沿垂直于扫描扇面的方向移动,以获 增刊 1冯娟等:苹果采摘机器人激光视觉系统的构建 33 得扫描范围中物体的三维信息;通过 RS- 232 总线 实现上位机与 PLC、激光测距仪与上位机的通讯。 图 1激光视觉系统的结构示意图 Fig.1Structure of laser vision system 1.2激光测距仪 选用德国 SICK 公司生产的 LMS211。该测距仪 基于飞行时间的测量原理, 由发射器不断向目标场景 发出脉冲调制的光束, 经被测物体反射后由接收器接 收和记录;光速已知,结合激光从发射到接收的时间 间隔,可得出测距仪到被测物体间的距离;利用内部 的旋转镜改变入射光的角度, 便可检测出存在于二维 扇形面内物体的距离信息。发射的激光波长为 905 nm,在此波段,植物各部分的反射率比可见光区 的更高,而且果实的反射率要明显高于叶子及树枝, 可有效提高目标数据的可靠性。根据数据的采集需 要, 测距仪的角度分辨率设为0.25 , 扫描角度为40 140 ;选用 mm 级输出模式,相应的分辨率和精度分 别为 10 和15 mm;每组输出数据包含距离值和扫 描角度2 个参数,组数与有效的角度范围相关;同上 位机串口通讯的波特率选用 38.4 kbit/s,可保证数据 完整可靠地采集,不出现丢包现象。 1.3运动控制单元 采摘机器人的工作环境为三维空间,为了获得 目标的轮廓信息,需要激光测距仪工作的同时沿垂 直于扫描面的方向移动。考虑 LMS211 质量较大 (9.0 kg),研制了水平直线运动单元,其重复定位 精度为0.1 mm, 行程范围为 0.15 1 200 mm, 最 高速度达 500 mm/s;将激光测距仪逆时针旋转90 固定在运动单元的滑台上,采用三相细分驱动器 (型号为 SH- 30806)配合混合式步进电机(型号为 86BYG350CL)进行驱动,配以同步齿带传动和滚 珠滑轨支撑导向(保证运动轨迹的直线度);通过 PLC(型号为 PFG- C32TH)构成控制系统方便地实 现滑台移动距离和速度的调整,以此带动测距仪作 相应的变化。运动单元的两端设有限位传感器,安 装于密封罩内, 用以保护传动机件、 避免发生撞击。 1.4软件组成 开发了 Visual C+6.0 的数据采集与处理软件, 基本功能包括向运动控制系统发送启停命令,设置 扫描的水平分辨率,并通过 RS- 232 总线接收来自 LMS211 的实时测量数据,对数据进行处理后保存 在 txt 文件中。MATLAB 图像处理软件,用于后期 的距离图像生成、预处理和果实识别等。 2试验与结果分析 利用设计的激光视觉系统进行了苹果树的三 维扫描试验,主要目的是确定果实识别的有效扫描 范围、最佳成像效果的水平分辨率,并通过在果园 环境中的扫描效果测试,以验证该系统用于识别果 实的可行性与稳定性。 2.1不同距离的苹果表面曲线特性 将激光测距仪控制到直线运动单元行程的中 点位置,架设黑布作为扫描背景,为了提高测量的 精度,测距仪需预热一段时间21,见图 2。将苹果 悬于距发射中心 150 mm 的位置,以 50 mm 的步长 由近及远移动,每处扫描 100 次(文中选用 200 、 1 000 和 1 750 mm 处的测量结果),将获得的数据 取平均值绘成曲线图 3。 图 2试验现场图 Fig.2Testing spot image a. 200 mm b. 1 000 mm 农业工程学报2013 年 34 c. 1 750 mm 图 3不同距离的果实表面曲线特性 Fig.3Fruit surface curve characteristics with different distances 由图 3 可知,随着测量距离的增大,果实跨越 的角度范围变小,同时激光扫描到苹果表面的点数 减少。200 mm 处的曲线呈半圆状,真实地反应了 果实的形状特征;而在 1 750 mm 处,由于测量点 数显著减少,不足以描述果实表面应有的效果。考 虑机械臂的伸展范围及果实表面的扫描效果,选择 2001 400 mm 为理想的测量距离。 2.2不同角度的苹果表面曲线特性 将与发射中心的平行间距约 1 000 mm 的苹果 分别悬于测距仪扫描角为 80 、90 、100 、110 、 120 及 130 的位置,选择其竖直中心线进行扫描, 获得的相关曲线如图 4。 由图 4 可知,果实中心线在 80 处向下倾斜, 90 处接近平缓;100 、110 、120 处出现向上倾斜 的趋势,且随着角度的变大,趋势越发明显;130 处接近直线,严重变形,若对此位置的果实进行识 别,其定位精度势必会受到影响。附加考虑树上果 实分布的情况,在实际采集数据时,认为 80120 为理想的果实识别角度。 a. 80b. 90c. 100d. 110e. 120f. 130 图 4不同角度的苹果表面曲线特性 Fig.4Curve characteristics of fruit surface at different angles 2.3不同水平分辨率的距离图像对比 水平分辨率是指激光测距仪在横向运动中的 采样间距。将果树置于远离发射中心 400 mm 的位 置,然后以 1、2 和 3 mm 的水平分辨率分别对果树 进行扫描,有效角度范围 80 120 ,测距仪的行 程均为 160 mm。通过式(1)将距离数据转换为灰 度值,以观察其成像效果,见图 5。 ( , ) ( , )255 D x yMinD G x y MaxDMinD (1) 式中,x、y 表示 2 个方向的参数;MinD、MaxD、 D(x,y)、G(x,y)分别是最小距离值、最大距 离值、点(x,y)的距离值和灰度值。 a. 试验对象b. 1mm 的水平分辨率c. 2mm 的水平分辨率d. 3mm 的水平分辨率 a. Testing objectb. Results of 1mm horizontal resolutionc. Results of 2mm horizontal resolutiond. Results of 3mm horizontal resolution 图 5不同水平分辨率的果树图像 Fig.5Fruit tree images with different horizontal resolutions 增刊 1冯娟等:苹果采摘机器人激光视觉系统的构建 35 图 5d 中的果实更接近于真实反映,而图 5b 与 5c 有明显被拉伸的效果, 其原因是图像的水平分辨 率不同于垂直分辨率。为了获得较好的成像效果, 需保证两个方向的分辨率近似相等。 通过 Getdata Dragh Digitizer 专用软件, 得到图 中角分辨率为 0.25 的直线上的点坐标, 拟合出对应 的直线方程,如式(2),根据其线性关系(如图 6) 可求出不同距离对应的垂直分辨率,用以估计待设 定的水平分辨率。 0.4430.103SD(2) 式中,D 为目标到测距仪发射中心的距离,m;S 为光斑间距,cm。 注: 此图为 LMS211 技术说明书里提供的光斑间距与光斑直径随距离的 变化趋势图,其中光斑间距决定了测距仪垂直方向的分辨率。 图 6光斑直径和光斑间距与距离的关系 Fig.6Relationship among distances spot, diameter and spot space 如 D=0.4 m 时,可得到 S=0.2802 cm,所以图 6c 中水平分辨率为 3 mm 的果实图像效果较好。将 相关的数据以三维立体效果展现,如图 7。由图可 知,果实与树叶的轮廓存在较大的空间几何差异 性,这为后期的果实识别提供较好的判断依据。 图 73 mm 水平分辨率的果树立体效果 Fig.7Fruit three- dimensional image with 3 mm horizontal resolutions 2.4果园环境中果树的扫描效果测试 在北京市昌平区香堂村的苹果园进行了激光 视觉系统的果树扫描效果测试。试验现场见图 8a, 文中选择一处扫描场景(如图 8b)进行具体说明。 试验过程中,直线运动单元位于离地面高度为 87 cm 的试验桌上;试验准备同前所述,激光测距 仪到目标果实的扫描距离 600 mm,水平分辨率设 为 4 mm,对果树进行扫描;将接收的数据按式(1) 转换为距离图像,效果见图 8c。由图可知,果树各 部分间的层次关系清晰可见,且不随光线角度的变 化而改变;利用有效距离约束法,即将 600 mm 替 换式(1)中的最大距离后, 生成的图像如图 8d, 可知 复杂的背景得到了理想的简化,前后重叠分布的果 实因赋予不同的灰度值,也得到了有效区分。 a. 试验现场图b. 果树场景图c. 距离图像d. 简化背景效果图 a. Testing spot imageb. Fruit tree scene imagec. Range imaged. Simplified background image 图 8果园环境中的试验图像 Fig.8Testing images in orchard 3结论 本文设计了一种用于苹果采摘机器人的激光 视觉系统。通过软硬件控制三维扫描以实现对其周 围场景的辨识、感知;通过不同室内试验确定了果 实识别的有效扫描距离为 2001 400 mm,理想角 度范围为 80 120 ,最佳成像效果的水平分辨率 估计关系式;通过果园环境中扫描效果测试可知, 生成的距离图像易于解析果树不同部分的形状、大 小及远近关系,其效果不受光线变化的影响,且利 用距离约束还可方便的简化复杂背景,为实现果实 识别提供了更为丰富的模式信息,为果蔬采摘的自 动化与机械化提供一种具有创新性的技术手段。 参考文献 1Ji Wei, Zhao Dean, Cheng Fengyi, et al.Automatic recognition vision system guided for apple harvesting robotJ. Computers and Electrical Engineering, 2012, 38(5): 11861195. 农业工程学报2013 年 36 2吕小莲, 吕小荣, 卢秉福. 西红柿采摘机器人视觉系统的 设计与研究J. 传感器与微系统,2010,29(6):2124. Lv Xiaolian, Lv Xiaorong, Lu Bingfu. Design and research on tomato- harvesting robot visual systemJ. Transducer and Microsystem Technologies, 2010, 29(6): 2124. (in Chinese with English abstract) 3王传宇,赵明,阎建河,等. 基于双目立体视觉技术 的玉米叶片三维重建J. 农业工程学报,2010,26(4): 198202. WangChuanyu,ZhaoMing,YanJianhe,etal. Three- dimensional reconstruction of maize leaves based on binocular stereovision systemJ. Transactions of the ChineseSocietyofAgriculturalEngineering (Transactions of the CSAE), 2010, 26(4): 198202. (in Chinese with English abstract) 4蒋焕煜,彭永石,申川,等. 基于双目立体视觉技术 的成熟番茄识别与定位J. 农业工程学报,2008, 24(8):279283. Jiang Huanyu, Peng Yongshi, Shen Chuan, et al. Recognizingandlocatingripetomatoesbasedon binocular stereo vision technologyJ. Transactions of the ChineseSocietyofAgriculturalEngineering (Transactions of the CSAE), 2008, 24(8): 279283. (in Chinese with English abstract) 5李理,殷国富,刘柯岐. 田间果蔬采摘机器人视觉传 感器设计与试验J. 农业机械学报,2010,41(5):152 157,136. Li Li, Yin Guofu, Liu Keqi. Design and experiments of vision sensor for harvest robots in fieldJ.Transactions of the Chinese Society for Agricultural Machinery, 2010, 41(5): 152157, 136. (in Chinese with English abstract) 6吕宏明,姬长英. 视觉技术在农业采摘机器人中的应 用及发展J. 江西农业学报,2008,20(2):7980. LvHongming,JiChangying.Appliotcationand development of visual technology in agricultural picking robotJ. Acta Agriculturae Jiangxi, 2008, 20(2): 7980. (in Chinese with English abstract) 7Li Peilin, Lee Sang- heon, Hsu Hung- yao. Review on fruit harvesting method for potential use of automatic fruit harvesting systemsJ. Procedia Engineering, 2011, 23: 351366. 8毛罕平,李明喜. 基于多源机器视觉信息融合的番茄 目标匹配J. 农业工程学报,2009,25(10):142147. Mao Hanping, Li Mingxi. Tomato target matching based on multi- sensors machine vision information fusionJ. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2009, 25(10): 142147. (in Chinese with English abstract) 9宋怀波,何东健,潘景朋. 基于凸壳理论的遮挡苹果 目标识别与定位方法J. 农业工程学报, 2012, 28(22): 174180. Song Huaibo, He Dongjian, Pan Jingpeng. Recognition and localization methods of occluded apples based on convex hull theoryJ. Transactions of the Transactions of theChineseSocietyofAgriculturalEngineering (Transactions of the CSAE), 2012, 28(22): 174180. (in Chinese with English abstract) 10 Linker R, Cohen Q, Naor A. Determination of the number of green apples in RGB images recorded in orchardsJ. Computers and Electronics in Agriculture, 2012, 81: 4557. 11 Arefi A, Motlagh A M, Mollazade K, et al. Recognition and localization of ripen tomato based on machine visionJ. Australian Journal of Crop Science, 2011, 5(10): 1144149. 12 Wachs J P, Stern H I, Burks T, et al. Low and high- level visual feature- based apple detection from multi- modal imagesJ. Precision Agriculture, 2010, 11(6): 717735. 13 Lu Qiang, Lu Huazhu, Cai Jianrong, et al. Feature extraction of near- spherical fruit with partial occlusion for robotic harvestingJ. Maejo International Journal of Science and Technology, 2010, 4(3): 435445. 14 Patel H N, Jain R K, Joshi M V. Fruit detection using improvedmultiplefeaturesbasedalgorithmJ. International Journal of Computer Applications, 2011, 13(2): 15. 15 Li Peilin, Lee Sang- heon, Hsu Hung- yao. Study on citrus fruit image data separability by segmentation methodsJ. Procedia Engineering, 2011, 23: 408416. 16 徐玉华,张崇巍,徐海琴. 基于激光测距仪的移动机 器人避障新方法J. 机器人,2010,32(2):179183. Xu Yuhua, Zhang Chongwei, Xu Haiqin.A new obstacle avoidance method for mobile robot based on laser range finderJ. Robot, 2010, 32(2): 179183. (in Chinese with English abstract) 17 王典, 刘晋浩, 王建利. 基于系统聚类的林地内采育目标 识别与分类J. 农业工程学报,2011,27(12):173177. Wang Dian, Liu Jinhao, Wang Jianli.Identificaition and classification of scanned target in forest based on hierarchicalclusterJ.TransactionsoftheChinese Society of Agricultural Engineering (Transactions of the CSAE), 2011, 27(12): 173177. (in Chinese with English abstract) 18 Lee K H, Ehsan R. A laser scanner based measurement system forquantificationofcitrus tree geometricJ. Applied Engineering in Agriculture, 2009, 25(5): 777788. 19 Tanigaki K, Fujiura T, Akase A, et al. Cherry- harvesting robotJ. Computers and Electronics in Agriculture, 2008, 63(1): 6572. 20 刘兆祥,刘刚,乔军. 苹果采摘机器人三维视觉传感 器设计J. 农业机械学报,2010,41(2):171175. Liu Zhaoxiang, Liu Gang, Qiao Jun. Development of a 3- dimension vision sensor in apple harvesting robotJ. Transactions of the Chinese Society for Agricultural Machinery, 2010, 41(2): 171175. (in Chinese with English abstract) 21 Lee K H, Ehsani R. Comparison of two 2D laser scanners for sensing object distances shapes and surface patternJ. Computers and Electronics in Agriculture, 2008, 60(2): 250262. 增刊 1冯娟等:苹果采摘机器人激光视觉系统的构建 37 Construction of laser vision system for apple harvesting robot Feng Juan1,2, Liu Gang1 , Si Yongsheng2, Wang Shengwei1, Zhou Wei1 (1. Key Laboratory for Modern Precision Agriculture System Integration Research , Ministry of Education, China Agricultural University, Beijing 100083,China; 2. College of Information Science & Technology, Agricultural University of Hebei, Baoding 071001, China) Abstract: Machine vision was one of the largest external environmental information sources, which was not only related to the capability of recognizing fruit fast and accurately, but also determined the reliability of harvesting robot directly. Designing and developing vision system customized and suitable to harvesting objects was of great significance to realize automatic fruit harvesting. CCD camera was the key component for existing vision systems, but it had a certain limitation for fruit recognition rate and position accuracy, because it was sensitive to unstructured harvesting environment, that was varying, unknown and open, especially to the problems such as the uncertainty of illumination conditions. Therefore, a laser vision system for apple harvesting robot was presented to avoid or reduce the effect of natural light. Based on the principle of time- of- fligh

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论