智慧农业前沿技术导论 课件 第10章 农业机器人技术及应用

农业机器人技术及应用HUAZHONGAGRICULTURALUNIVERSITY1目录CONTENTS第一节农业机器人国内外研究现状第二节农业机器人关键技术第三节农业机器人技术展望第四节推荐阅读第五节思考与讨论2一、农业机器人国内外研究现状3

采摘机器人通常基于视觉传感器实现果实的识别及定位，采用机械手、末端抓取机构结合移动机构实现目标对象的采摘。一般采摘机器人的机械手都有多个自由度，保障机器人在采摘过程可一定程度避开障碍物，降低对植株本身的损伤。同时末端抓取机构一般会配有压力传感器等元件，避免采摘过程损伤所摘取的果实。采摘机器人田间生产机器人表型检测机器人一、农业机器人国内外研究现状4大田播种机器人：大田播种机器人是依托于自主行走机构行进并利用精量排种器进行精量排种。除草机器人：除草机器人的研究从20世纪60年代开始，主要基于机器视觉技术进行苗草识别并进行目标定位，目前其主要有3种除草方式：机械除草、除草药剂精准喷洒除草及激光除草。智能喷药机器人：农作物生长过程易受病虫害影响，传统的人工施肥、喷药等工作会耗费巨量的化肥农药且对农业生态环境造成不可逆的伤害。为了解决农作物生产过程中可能出现的一系列问题，各国研发了各种喷药机器人。针对农田和大棚喷施药问题，伊朗德黑兰大学设计了一款喷药机器人；科尔多瓦大学研发了一款喷射式喷药机器人，旨在解决喷药机器人工作时药物漂移和偏离目标的问题；针对果园内不同高度对象喷药需求，西北农林科技大学设计了一种基于机器视觉的果园喷药机器人；针对丘陵山地路面崎岖不平、树冠大小不一等问题，西南大学设计了一种双向多方位自动喷药机器人。采摘机器人田间生产机器人表型检测机器人一、农业机器人国内外研究现状5

BoniRobot是最早开发的用于玉米和小麦作物田间单株表型检测的机器人。它是一款高地隙四轮独立驱动独立转向的无人车。四组车轮通过铰接臂与底盘连接，实现全方位行走和行距可调。BoniRobot主要包括用于控制机器人自主行走的导航模块、用于控制机器人运动转向驱动模块及用于计算植物表型信息感知和计算的表型检测模块，该表型机器人的传动系采用液压驱动。采摘机器人田间生产机器人表型检测机器人后来开发了类似的高通量表型检测机器人平台，如

Ladybird和

ThorvaldⅡ。与

BoniRobot不同，Ladybird和ThorvaldⅡ都使用电驱动，其中Ladybird还采用太阳能电池板进行充电。由于表型检测传感器大多为光学传感器，其田间信息采集过程受环境光照影响，宋鹏等开发了一款带暗室的机器人（HPS-FR），数据采集过程屏蔽外界光源，通过自带光源供电，进行表型数据采集。二、农业机器人关键技术6农业机器人导航目标识别与定位多机协作与交互卫星定位导航：卫星定位导航具备高精度、快速、全天候运作和精准授时测速等优势。在农业领域，该技术不受杂草密度、阴影和植物缺失等因素的影响。因此，卫星定位导航在室外场景中广泛应用于农业机器人。二、农业机器人关键技术7农业机器人导航目标识别与定位多机协作与交互视觉导航：视觉导航是利用视觉传感器作为导航传感器，与近年发展迅速的机器视觉技术相融合，已经成为导航领域的研究热点。由于图像具有信息丰富、目标完整等特点，能够更全面、精准地确定机器人所在位置。目前，视觉导航技术的研究主要集中在导航参数的获取和导航控制算法的设计。基于霍夫变换的目标路径检测：霍夫变换（Houghtransform）是图像处理中的一种特征提取方法，它通过一种投票算法检测具有特定形状的目标。该过程在一个参数空间中通过计算累计结果的局部最大值得到一个符合该特定形状的集合作为霍夫变换结果。二、农业机器人关键技术8农业机器人导航目标识别与定位多机协作与交互基于区域分割的边界线检测：机器人田间行走时，通常会有较明显的作物区域和行驶道路区域，这两种区域颜色和纹理有较大差异，基于区域分割的边界线检测方法较有效。在实际作业环境中，因图像存在噪声、信息缺失等情况，导致农业机器人难以满足实时自主导航需求。因此，研究人员常常会根据具体情况结合各种改进的图像处理算法进行导航线的提取。激光导航：激光导航是利用激光测距的原理，即通过测量系统从发出激光到接收激光所花费的时间，计算系统本身与障碍物之间的距离。从发光器发射的激光束经其内置的旋转镜改变方向，被物体反射的光再次通过旋转镜到达受光器。镜子的旋转使得装置能够扫描周围的扇形区域，因此不仅可以获得周围物体的距离，还可形成周围环境的整体轮廓。应用该轮廓，通过与环境地图匹配，也可以用于车辆自身位置的确定。二、农业机器人关键技术9农业机器人导航目标识别与定位多机协作与交互基于特征提取的目标识别：为提高作业效率且为农业机器人提供作业目标及位置信息，需要进行目标识别和三维空间定位。以果实采摘机器人为例，识别指的是判断所采集的图像中是否存在果实，定位指的是获取果实的位置信息。基于特征提取的目标识别定位主要利用目标独特的颜色和形态特征进行识别。基于深度学习的目标识别：国内外学者尝试使用深度学习方法完成农业机器人的目标检测、识别、定位任务。傅隆生等基于LeNet卷积神经网络识别多簇生长的猕猴桃，所提方法在速度与准确性方面均超越了传统方法；Stein等设计了一种杧果果实检测、定位和产量估算的网络。该网络使用R-CNN检测水果，使用LiDAR组件将检测到的水果与对应的树相关联。为解决在田间密植环境下棉花精准打顶时所面临的识别难题，、；宋鹏等提出一种改进型的神经网络，以克服棉花顶芽小体积的特性所导致的困难。二、农业机器人关键技术10农业机器人导航目标识别与定位多机协作与交互

农业机器人的多机协同作业主要分为主从协同作业模式和共同作业模式两种模式。日本北海道大学开发了一套用于农业野外作业的多机器人拖拉机系统，该系统在工作过程中可实现三种模式的变换，以适应不同需求的作业要求。中国农业大学开展了一种基于蚁群算法的多机协同作业研究，缩短了多机间信息交互时间，提高了作业效率。中国农业科学院提出了一种基于领航-跟随结构的收获机群协同导航控制方法，经试验证明该算法具备良好的精度和实时性，可用于多机协同作业。

多机协同作业与实时信息交互技术是农业机器人领域的新技术，目前还需解决的是作业过程中单机突发意外时的决策规划等问题。三、农业机器人技术展望11机器人全天候作业技术：目前机器人的自主行走主要靠各种导航技术实现路径规划和避障，但夜晚工作时由于外界光照不足，导致作业效率不如白天甚至夜间无法作业。应提高不同光照下图像识别技术，以满足不同光照下机器人高效作业。机器人状态自检技术：目前设计的农业机器人都是通过主控制器融合移动底盘、作业部件和多种不同功能传感器来进行作业，但当某个传感器或部件出现功能障碍或功能失效时，机器人将会丧失某些功能，以至于不能继续完成作业任务。应提高机器人零部件自检功能，以应对各种复杂环境。柔性化果实采摘技术：目前采摘机器人分为手抓式和切割式，主流的是手抓式，但作物不同成熟度所能承受的抓力极限不同，故手抓式采摘机器人破果率较高。应研究柔顺滑果实采摘技术，在不降低采摘效率的前提下降低破果率。农业机器人信息采集实时处理技术：当前信息采集机器人只是通过各种信息采集传感器进行植物图像采集，对采集到的图像还需进行后续人工处理与分析。应将图像处理技术集成到采集机器人上，实现农作物信息采集与处理同步进行。四、推荐阅读ShakoorN，LeeS，MocklerTC.Highthroughputphenotypingtoacceleratecropbreedingandmonitoringofdiseasesinthefield[J].CurrentOpinioninPlantBiology，2017，5（6）：184-192.

综述了高通量田间表型分析技术的最新进展，介绍了农业机器人的进展，以及其他尺度上的农业信息获取技术。JohnBillingsley.Roboticsandautomationforimprovingagriculture[M].Cambridge：BurleighDoddsSc