文献综述—修改版

基于目标位姿的油茶果采摘机器人抓取研基于目标位姿的油茶果采摘机器人抓取研 究究 一 前言一 前言 油茶是我国特有的一种可食用油料树种 有两千多年的栽培和利用历史 油茶籽的含 油量高达30 以上 其经过加工而成的茶油是一种营养高 品质好的天然绿色食用油 有 东方橄榄油 和 油中软黄金 的美誉 1 茶油中含有高达80 以上组成同橄榄油极为 相似的油酸 长期食用有助于防治血管硬化 高血压等疾病 故其与油棕 油橄榄 椰子 一起被誉为世界四大木本食用油料 1 2 油茶的经济价值非常高 茶油既是保健绿色的食用油 也是难得的优良工业用油 从 中可提取油酸及其它酯类 增香剂 涂料 润滑油等产品 还可以用其深度研发多种保健 品 药用品 3 5 油茶籽中含有13 18 的茶皂素 具有抗渗 消炎 镇痛 灭菌杀虫等生 理作用 所以广泛应用于发泡剂 乳化剂 防腐剂 洗涤剂 杀虫剂等医药产品的生产中 3 油茶鲜果可以说是全身是宝 油茶籽榨油后得到的油茶籽粕在经过脱毒处理后同样具 有很高的营养价值 可作为优质饲料的蛋白源 而油茶鲜果果壳中含有丰富的多缩戊糖 纤维素和木质素 故其是生产糠醛 木糖的理想原材料 总之油茶的产业链很长 然而当 前油茶的前加工技术十分落后 严重影响和制约油茶产业的发产 所以此项研究意义重大 据统计 目前 在我国油茶的种植面积已经超过300万公顷 油茶籽的年产量也早已突 破100万吨 而年产茶油更是高达26万吨之多 每年油茶的产值超过110亿元 种植油茶树 已成为很多农民重要的致富手段 在我国的长江流域及其以南的14个省 市 区 都有种 植油茶 其中又以湖南 江西 广西三省为主要的油茶种植区 这三个省的种植面积占到 全国总种植面积的75 以上 湖南省是我国油茶的主产区 种植面积和年产量均列全国第 一 全省现有的油茶林面积176万公顷 且还有306 7万多公顷山地适宜油茶的栽培 特别 是近些年 新造了10万公顷良种油茶林 加上改造的46 7万公顷低产林 其产量和效益呈现递 增的趋势 7 现有油茶林经过提纯 复壮 嫁接和品改 每公顷产茶油可由原来的75公斤 左右提高到750公斤以上 如果湖南实施66 7万公顷高产油茶林建设 按每公顷产450公斤计 算 全省茶油年产量将达到30万吨 以油菜每公顷产油600公斤计算 相当于可置换出50万 公顷耕地用来种植粮食 可为农民增收125亿元 8 近年来 国家发展改革委员会 财政部 国家林业局三部委以发改农经2009 2851 号文联合印发了 全国油茶产业发展规划 2009 2020年 规划 以改造现有低产林为重点 新造与低改相结合 通过加大良种繁育 基地建设 加强科技研发和推广力度 拟在全国14个省 区 市 的642个县 市 区 山 地丘陵适生区域大力发展良种油茶林基地 扩大良种油茶比例和规模 力争到2020年全国 油茶种植总规模达到7000万亩 年产茶油250万吨 国家对油茶产业发展高度重视 出台了 一系列扶持油茶生产的优惠政策 油茶产业迎来了大发展的契机 6 油茶丰产要丰收 适时采摘是关键 特别是油茶被大规模种植后的油茶果能不能及时 采摘的问题就显得尤为重要 9 13 目前 油茶果的采摘基本上是由人工完成的 劳动强度 大 效率低 靠人工采摘往往会错过油茶果的最佳采摘时期 造成油茶果的的大量损失 快速发展的油茶产业需要摘果工作机械化 自动化的需求会愈发强烈 因此 在林果类采 摘工作中的机械化 智能化 自动化自然而然地成为人们关注的热点问题之一 开展林果 类的采摘机器人技术研究 不仅能够降低劳动强度 提高经济效益 顺应市场需求等方面 具有一定的现实意义 而且对于促进像我国这样的农业大国加快实现农业集约化化 机械 化 自动化 追赶世界农业新技术 加速我国步入农业强国的步伐都有重大的历史意义 二 国内外关于果蔬类采摘机器人的研究现状二 国内外关于果蔬类采摘机器人的研究现状 1 国外的研究现状 果蔬类采摘机械化研究始于1968年 美国Brown教授和Schertz教授首次提出水果自动 化采摘的建议 14 利用叶子和果实在电磁光谱的红外区域和可见光区域反射率的差异识别 水果 15 受Brown和Schertz的启发 各种关于果实自动化采摘的研究 陆续在世界各地开展起 来 Goksel和Parrish在1977年根据上述理论 利用黑白照相机和用于增强绿色叶子和红色 苹果对比度的红色光学滤波器 搭建了第一个比较实用的成熟苹果识别机器视觉系统 16 意大利的Buemi教授在1995年研究开发了柑橘采摘自动化系统 17 该系统利用彩色相 机采集图像 并将彩色模型转换到HIS系统下 对目标图像进行颜色分割 将对应同一场 景的立体图像进行匹配获得柑橘三维信息 实际检测到的成熟柑橘大约为90 出现的漏 检 绝大部分是由于遮挡原因造成的 荷兰农业环境工程研究所 IMAG 在1996年研制出一种多功能黄瓜收获机器人 18 该机器人利用近红外视觉系统辨别黄瓜果实 并探测其位置 该机器人视觉系统的黄瓜检 测效率大于95 采摘成功率约80 采摘速度为54s 个 在温室中作业效果良好 但由于 采收时间过长 不能满足商用要求 马来西亚的Woo Chaw Seng等在2009年设计了一个水果识别系统 19 该系统综合利用 水果的三种特征信息 颜色 纹理及形状 对水果进行分类识别 识别成功率可达90 日本农业食品产业技术综合研究机构与澁谷工业株式会社携手在2013年开发出新式固 定性草莓采摘机器人 20 23 这种新开发的固定式机器人与草莓种植平台构成一个新型系统 平台会定期移动到采摘机器人面前 机器人通过CCD摄像头捕获草莓是否变红的信息 一 旦发现红色果实 平台就会暂时停止移动 而机器人就会根据颜色辨别出已成熟的草莓 并用带有刀刃的末端执行器 24 34 将其采摘下来 35 该系统每小时就可以完成16个平台的草 莓采摘任务 成功率达到70 以上 2 国内的研究现状 我国对林果采摘机器人的研究起步较晚 始于20世纪90年代中期 主要集中在高等院 校中进行研究 近年来 我国在采摘机器人研究方面与国外相比 差距逐渐缩小 36 2001年 南京农业大学的张瑞合 37 姬长英 38 40 等人对自然环境下番茄的识别与定位 进行了研究 他们根据颜色特征从图像上识别番茄 利用双目立体视觉技术 41 42 对红色番 茄进行定位 并运用体视成像原理 从两幅二维图像中恢复目标的三维坐标 实验结果认 为当目标与摄像机的距离为300mm 400mm时 深度误差可控制在3 4 他们主要利用 比较成熟的图像分析技术 43 从实践意义上验证立体视觉在农业果实收获过程中的可行性 江苏大学的蔡健荣 44 45 等在2005年将RGB彩色模型转换到HIS系统 根据Otsu 大律 法 算法 46 自动获取彩色目标图像分割阈值 47 对成熟西红柿进行测试 根据西红柿的颜 色和形状信息 能够识别出成熟西红柿 但对果实部分遮挡或重叠的情况缺少研究 48 中国农业大学和潍坊学院于2006年联合研制了茄子采摘机器人 49 50 采用基于直方图 的固定双阈值法对G B灰度图像进行分割 51 54 通过对图像分割得到果实目标的二值图像 再进行边缘提取 轮廓跟踪和轮廓标记来实现对茄子的识别与定位 性能测试结果表明该 机器人抓取成功率为89 平均耗时为37 4s 中国农业大学的袁挺 55 56 等在2009年研制了国内第一台黄瓜采摘机器人 57 58 机器人 采用履带式移动底盘和机器视觉导航 59 目标识别则使用双目立体视觉 60 61 为了更好地 区分同为绿色的叶片果实 加设了830nm的近红外带通滤波 62 目标识别定位后 由4自由 度轻型机械臂带动双指式机械手抓持目标 然后由摆动气缸带动刀片实现对瓜柄的切割 机器人采摘成功率达85 单根黄瓜采摘耗时28 6s 三 主要研究内容三 主要研究内容 由上述国内外研究现状可以看出 大多数研究都放在了果实的识别和定位上 而对果 实位置的视觉反馈修正和果实的姿态研究却很少 鉴于此种研究现状 并在导师课题组已 研发出的油茶果采摘机器人的基础上 着重研究采摘机器人工作过程中对果实定位时的视 觉反馈修正 果实的姿态估计 及基于目标位姿的采摘作业 现根据课题的最终目标 提出研究内容如下 1 对现有的油茶果采摘机器人机械臂进行运动学建模 分析 仿真 2 建立一种新的视觉伺服控制系统 该系统要既能获取目标的三维位置信息 还能获 取末端执行器在采摘过程中的连续多帧图像 3 对果实姿态信息机器视觉测量进行研究 通过新建立的视觉伺服控制系统获取的目 标果实多帧图像来计算果实在机器人坐标系下的姿态向量值 4 提出一种新的位置和姿态估计理论 并对其理论的正确性进行仿真研究 探讨系统 参数对整个系统输出的影响 并利用该理论来实现对目标果实位置和姿态信息的最优估计 5 结合已获取的果实位置和姿态信息来规划机械臂的采摘作业 完成目标果实的位置 和姿态信息的更新 完成基于位姿的可靠抓取 本课题的创新点 1 在油茶果的识别定位问题上 增加了视觉反馈修正系统来提高对目标果实的定位精 确度 2 在油茶果的姿态测量上 进行油茶果姿态模型的建立与划分 并针对所属模型的不 同采用针对性的方法来计算目标油茶果的位姿向量值 四 结语四 结语 通过查阅大量资料 发现国内外大多数研究者对于果实的位置的视觉反馈修正和果实 的姿态信息研究很少 而缺乏目标的位置和姿态信息会使抓取成功率降低 同时不适合的 抓取方式会对果实和果皮造成损伤 因此 本人看来研究此课题对于提高果实采摘的成功 率和对果农增收都有一定的现实意义 在未来的日子里 我将会在李立君教授的指导下 尽自己的最大努力 一丝不苟地完成本课题的研究工作 五 参考文献 五 参考文献 1 王瑞元 特种油脂的营养价值 J 粮油加工与食品机械 2004 1 9 10 2 陈学泽 李科林 油茶叶稀提取液中钾离子稳定性的分析 J 中南林学院学报 1993 13 1 94 97 3 杨坤国 黄明泉 茶皂素提取与精制方法的改进研究 J 林产化学与工业 2001 6 44 47 4 杨坤国 茶籽综合利用的研究生产及应用 J 湖北化工 1996 4 30 32 5 赖建辉 茶籽的综合利用 J 茶叶通报 1990 3 33 36 6 国家林业局 全国油产业发展规划 2009 2020 年 M 2009 7 陈永忠 王德斌 湖南省油茶良种选育及推广应用概况 J 湖南林业科技 2001 28 3 23 27 8 吴娟 王薇薇 魏丹等 关于油茶产业发展的思考 J 林业经济 2010 5 45 48 9 李帅 周健 李立君等 油茶果采摘机械臂工作空间分析与仿真 J 农机化研究 2015 3 46 49 10 张翔 李立君 易春峰 高自成 彭少波 基于 D H 法油茶果采摘机器人正运动学分析 J 农 机化研究 2014 4 25 28 11 高自成 李立君 刘银辉 油茶果采摘机采摘机械臂的机构设计及运动仿真 J 西北林学院 学报 2012 27 2 266 268 12 彭少波 周健 李立君等 基于 PMAC 的采摘机器人的运动控制 J 农机化研究 2014 2 76 84 13 高自成 王朋辉 王勇桦等 油茶果采摘机器人机械臂伺服系统选型设计 J 农机化研究 2015 5 140 144 150 14 宋健 张铁中 徐丽明 汤修映 果蔬采摘机器人研究进展与展望 J 农业机械学报 2006 37 5 158 162 15 Harrell R C Adsit P D Munilla R D et al Robotic picking of citrus Robotic 1990 8 4 269 278 16 Parrish E A Goksel A K Jr Pictorial Pattern Recognition Applied to Fruit Harvesting Transactions of the ASABE 1977 20 5 828 827 17 Buemi F Massa M Sandini G A robotic system for greenhouse operations In Proceedings of 4th IARP Workshop on Robotics in Agriculture and the food Industry toulouse France 1995 172 184 18 Van Henten E J Van Tuijl B A J Hemming J et al Field Test of an Autonomous Cucumber Picking Robot Biosystems Engineering 2003 86 3 305 313 19 Woo C S Mirisaee S H A new method for fruits recognition system In Proceedings of International Conference on Electrical Engineering and Informatics Selangor 2009 130 134 20 陈利兵 草莓收获机器人采摘系统研究 D 北京 中国农业大学 2005 21 戴刘江 张铁中 杨丽 基于 DSP 的草莓采摘机器人关节控制器的研究 J 中国科技论文在 线 2007 3 231 234 22 张铁中 陈利兵 宋健 草莓采摘机器人的研究 基于图像的草莓重心位置和采摘点的确 定 J 中国农业大学学报 2005 1 48 51 23 冯青春 郑文刚 姜凯 等 高架栽培草莓采摘机器人系统设计 J 农机化研究 2012 34 7 122 126 24 M Monta End effectors for tomato harvesting robot J Artificial Intelligence Review 1998 12 11 25 25 Shigchiko Hayashi Katsunobu Ganno Yukitsugu Ishii et al Robotic harvesting system for eggplants J JARQ 2002 36 3 163 168 26 Bulanonet D M Kataoka T Okamoto H et al Determing the 3 D location of the apple fruit during harvest C Proceedings of the ASAE Conference 2004 27 Achmad Irwan Setiawan Tomonari Furukawa Adam Preston A low cost gripper for an apple picking robot C Proceedings of the IEEE International Conference on Robotics Automation 2004 28 Harrell R C Adsit P D Munilla R D et al Robotics picking of citrus J Robitica 1990 8 269 278 29 Kataoka T Murakami A Bulanon D M et al Estimating apple fruit locations for manipuaction by apple harvesting robot C TFAC Bio Robotics Informational Technology and Intelligent Control for Bio production Systems Sakai Osaka Japan 2000 67 72 30 Birlen L Gosselin C M Grasp state plane analysis of two phalanx underactuated fingers J Mechanism and Machine Theory 2006 41 7 807 822 31 Cho S I Chang S J Kim Y Y et al Development of a three degrees of freedom robot for harvesting lettuce using machine vision and fuzzy logic control J Biosystems Engineering 2002 82 2 143 149 32 Kitamura S Oka K Recognition and cutting syetem of sweet pepper for picking robot in greenhouse horticulture C Proceedings of the IEEE International Conference on Mechatronics and Automation 2005 1807 1812 33 Ceres R Pons F I Jimenez A R et al Design and implementation of an aided fruit harvesting Robot J Industrial Robot 1998 25 5 337 346 34 Fujiura T Ueda K Hyun Ch S et al Vision system for cucumber harvesting robot A IFAC Robotics Information Technology and Intelligent Control for Bio Production Systems C Sakai Osaka Japan 2000 61 65 35 张凯良 杨丽 张铁中 草莓收获机器人末端执行器的设计 J 农机化研究 2009 31 4 54 56 60 36 张洁 球形果采摘机器人视觉系统设计与开发 D 秦皇岛 燕山大学 2011 37 张瑞合 姬长英 沈明霞等 计算机视觉技术在番茄收获中的应用 J 农业机械学 报 2001 32 5 50 52 38 沈明霞 姬长英 农业机器人视觉导航技术发展与展望 J 农业机械学报 2001 01 39 沈明霞 张瑞合 姬长英 农作物边缘提取方法研究 J 农业机械学报 2000 06 40 沈明霞 姬长英 张瑞合 基于农田景物边缘的农业机器人自定位方法 J 农业机械学报 2001 06 41 VallerandSteve KanbaraMasayuki YokoyaNaokazu Binoc ularVision BasedAugmentedRealitySystemWithAnIn creasedRegistrationDepthUsingDynamicCorrectionOfFea turePositions Proceedings Ofthe2003IEEE VirtualReality 2003 42 Yajun Fang Ichiro Masaki and Berthold Horn Depth Based Target Segmentation for Intelligent Vehicles Fusion of Radar and Binocular Stereo IEEE Transactions On Intelligent Transportation Systems 2002 43 雷咏雯 王娟 郭金强 危常州 一种基于图像分析提取作物冠层生物学参数的方法与验证 J 西北农业学报 2006 03 44 蔡健荣 周小军 李玉良 范军 基于机器视觉自然场景下成熟柑橘识别 J 农业工程学报 2008 01 45 蔡健荣 赵杰文 自然场景下成熟水果的计算机视觉识别 J 农业机械学报 2005 02 46 郭海涛 王连玉 田坦 张春田 孙鹤泉 利用二维属性直方图的 Otsu 自动阈值分割方法 J 光电子 激光 2005 06 47 耿茵茵 蔡安妮 孙景鳌 自动图像阈值分割算法 J 计算机工程与应用 2002 17 48 自然场景下树上柑橘实时识别技术 J 农业机械学报 2010 02 49 宋健 茄子采摘机器人结构参数的优化设计与仿真 J 机械设计与制造 2008 06 50 宋健 孙学岩 张铁中 张宾 茄子采摘机器人机械传动系统设计与开发 J 机械传动 2009 05 51 李丹 图像分割方法及其应用研究 J 科技信息 2010 36 52 肖飞 綦星光 图像分割方法综述 J 可编程控制器与工厂自动化 2009 11 53 LIU S Image Segmentation