（机械电子工程专业论文）基于机器视觉的农林环境导航路径生成算法研究.pdf

浙江t 业大学硕士学位论文 基于机器视觉的农林环境导航路径生成算法研究 摘要 本文主要研究农林业自主行走机器人的视觉导航技术，以农林环境为研究对象，对天 然植被为背景下的作业区所形成的行走路径进行了归纳和分类，通过对图像信息的处理和 理解提取出导航路径，并根据导航路径信息对机器人的自定位技术进行了研究，最终求得 机器人相对于导航路径的横向偏离和角度偏差。图像采集使用c c d 彩色数字摄像机，导 航方式采用单目视觉方式。 本文提出了多种导航路径的生成算法并讨论了各类场景下的算法差异，基于m t - r 机 器人在实验室模拟天然路径场景，进行了基本的算法验证，主要研究内容有： 1 分析了常用的图像增强技术在农林业自然环境图像中的应用，对比了各种噪声对 图像的质量影响，编写了消除或削弱噪声的算法，使用空域滤波和平滑对图像进行处理。 2 研究了农林业自然环境下的图像特点及图像分割方法。研究复杂林地彩色图像中 目标作物与其周围环境的特征，获得一种较为稳定、简单的图像分割方法，以适应行走速 度的需要。 3 提出了农林环境中的路径提取算法，其基本思想为提取道路边缘，从而求出道路 中心离散点( 中心线) 。此外，针对不同类型的场景，算法作出相应的数值调整，在各类 植被环境下仿真试验结果较为稳定，并符合人眼感官判断。 4 提出了农林环境中的导航线生成算法。基本思想为h o u g h 变换检测直线。在农田 等作物矮小、规则的环境中，采用改进的h o u g h 检测算法，即预先设定、缩小检测角度范 围，减少映射计算量；在林地环境中，研究了两种算法，h o u g h 直线检测以及对林木行间 边界进行最小二乘拟合，求取中线。对两种算法进行了分组仿真，并统计结果，分析差异 的形成原因。 5 将林地环境的导航线生成算法应用于一些高大作物的田间导航，并获得较符合感 官判断的仿真结果。 6 研究了摄像机标定的理论，分析了三种坐标系之间的关系及镜头畸变模型，实现 了一种易于使用，简单灵活的摄像机标定方法，从而使机器视觉系统更方便可靠。 浙江工业大学硕士学位论文 7 研究了导航线两个参数( 导航角和偏移量) 对行驶系统的导向作用，设计了m r - t 机器人跟踪导航曲线的控制算法，并在实验平台中加以证实。 关键词：自主行走机器人，机器视觉，导航，林地环境，h o u g h 变换，图像分割 r e s e a r c ho ng e n e r a t i n gg u i d a n c e l i n e a l g o r i t h m si na g r i c u l t u r e a n df o r e s t r y e n v i r o n m e n ts a b s t r a c t t h ev i s i o ng u i d a n c et e c h n o l o g i e so fa na u t o n o m o u sr o b o tf o ra g r i c u l t u r ea n df o r e s t r yu s a g e a r es t u d i e di nt h i sp a p e r n a t u r a ls c e n e sa r ec l a s s i f i e dt oh e l pi d e n t i f yc o r r e s p o n d i n gp a t h s e m b r a c e db yv e g e t a t i o n s p a t hi n f o r m a t i o ni st h e na b s t r a c t e df r o mi t sb a c k g r o u n du s i n g r e l i a b l e a 1 1 ds t e a d vi m a g ep r o c e s s i n gm e t h o d s ，a n dt h ec e n t r a ll i n eo fp a t hi sf i g u r e d a l g o r i t h m so f g u i d a n c el i n ed e t e c t i o nb a s e do nh o u g ht r a n s f o r m a r ep r o p o s e da n da d v a n c e dt op r o v l d e q u a n t i f i e dr e a l t i m ei n f o m a t i o no ft h ep a t h ，t h ea n g l ea n dh o r i z o n t a l o f f s e ta c c o r d i n gt ot h e i m a g ev e r t i c a lc e n t r a ll i n e c c di se q u i p p e d 硒t h em a i ni m a g e c o l l e c t i n gd e v i c ew i t h m o n o t o n o u sv i s i o np a t t e r n af e wp a t hg u i d a n c el i n eg e n e r a t i o na l g o r i t h m sa r ep r o p o s e da n dd i s c u s s e di ns e v e r a l n a t l l r a ls c e n e s m t ri n t e l l i g e n tr o b o ti si n t r o d u c e da n dp r o g r a m m e d w i t ht h eb a s i ca l g o r i t h mt o v a l i d a t eu n d e rs i m u l a t e dn a t u r a ls c e n a r i o s m a i nr e s e a r c h e sa r e ： 1 b a s i ci m a g ee n h a n c e m e n tt e c h n i q u e sa r ea n a l y z e da n da p p l i e dt ot h ei m a g e st a k e ni n t h e s ee r i r o n m e n t s n o i s e sa r ea d d e dt ot h ei m a g e sa n dt h e i re f f e c t sa r ec o m p a r e d d e n o i s i n g a 1 2 0 r i t h n sa r ec o m p i l e dt ow e a k e nt h ee f f e c t s s p a t i a lf i l t e r i n ga n ds m o o t h i n g m e t h o d sa r eu s e d 2 i m a g es e g m e n t a t i o nm e t h o d sa r e s t u d i e du p o nd i f f e r e n ts c e n ec h a r a c t e r i s t i c s a n a l g o r i t h mi sp r o p o s e dt oo b t a i ns t e a d yi m a g es e g m e n t a t i o nr e s u l t s i nd i f f e r e n tn a t u r a l 。s c e n e i m a g e s 3 g u i d a n c el i n ea b s t r a c t i o nm e t h o di sp r o p o s e db a s e do n t h ei d e at od i s t i l lb o t hb o u n d a r i e s o ft h ep a t ha n dt h e nc a l c u l a t et h el i n et h r o u g ht h ep a t hc e n t e r i na d d i t i o n ，d i f f e r e n tn a t u r a l s c e n e sa r ed i s c u s s e dt om a k ea d j u s t m e n tt ot h ea l g o r i t h m sa n dv a l u es e t t i n g s i m u l a t i o nr e s u l t s s h o wt h a tt h ei m a g es e g m e n t a t i o ni ss t e a d ya n di nl i n ew i t hh u m a n v i s i o nj u d g m e n t s 4 g u i d a n c el i n eg e n e r a t i o nm e t h o d sa r ep r o p o s e da n da p p l i e dt ot h ei m a g e s b a s e do n h o u 曲t r a n s f o r m ，t h ep e a kd e t e c t i o np r o c e s si s m o d i f i e dt oa d d r e s sc o m p l i c a t e dn a t u r a l e n v i r o m n e n t s ：o n ei st op r e 1 i m i tt h ea n g u l a rv a l u eo fp o s s i b l ec o l l i n e a rp o i n t s b e f o r ep e a k d e t e c t i o n t h i se n a b l e ss w i f tk e y - i n f oa b s t r a c t i o n i i i i no r d e r l y - p l a n t e df i e l d sw h i l eo f f s e t t i n g 浙江工业大学硕士学位论文 d e f e c t sc a u s e db yp r e v i o u si m a g es e g m e n t a t i o n ；t h es o l u t i o nt og e n e r a t eg u i d a n c el i n ei nf o r e s t r y e n v i r o n m e n t sa n dt h ea l i k ei st ol o c a t ep o i n t so ft r u n k - a n d e a r t hi n t e r s e c t i o n ，t h e nap o i n ta r r a y i nm i d d l eo ft h et w op o i n ts e r i e si so b t a i n e d n e x t ，t w om e t h o d sa rea p p l i e dt op r o c e s st h ed o t a r r a y ：e i t h e rt od e t e c tal i n ef o rg u i d a n c eu s i n gh o u g ht r a n s f o r m ，o rt ol e a s t - s q u a r ef i tt h et w o p o i n t ss e r i e ss oal i n et h r o u g ht h ec e n t e ri sa c q u i r e da st h eg u i d a n c ep a t h 5 a l g o r i t h mp r o p o s e da b o v ei sa l s oa p p l i e dt of i e l d sw i t ht a l lc r o p ss i m i l a rt ot r e e si na f o r e s t 6 c a m e r am o d e li ss e tu pa n ds t u d i e dt oi n t r o d u c eaw i l d l yu s e dc a l i b r a t i o nm e t h o d i t m a k e st h ev i s i o ns y s t e me a s i e rt ou s ea n dn e e dn o te x a c ta n dc o s t l ye q u i p m e n tf o rc a l i b r a t i o n 8 t h eb a s i cm e t h o dt ot r a c eac u r v eo nt h eg r o u n di sp r o g r a m m e da n dp e r f o r m e do nm t - r ， t h ei n t e l l i g e n tr o b o t r e s u l t ss h o we f f i c i e n c yo ft h ea l g o r i t h m k e yw o r d s ：a u t o n o m o u sw a l k i n gr o b o t ，m a c h i n ev i s i o n ，g u i d a n c e ，f o r e s t r ye n v i r o n m e n t ， h o u g ht r a n s f o r m s ，i m a g es e g m e n t a t i o n 浙江工业大学 学位论文原创性声明 本人郑重声明：所提交的学位论文是本人在导师的指导下，独立进行研究工作 所取得的研究成果。除文中已经加以标注引用的内容外，本论文不包含其他个人或 集体已经发表或撰写过的研究成果，也不含为获得浙江工业大学或其它教育机构的 学位证书而使用过的材料。对本文的研究作出重要贡献的个人和集体，均已在文中 以明确方式标明。本人承担本声明的法律责任。 作者签名乡、气醐砂节胪咱 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学校保留 并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本 人授权浙江工业大学可以将本学位论文的全部或部分内容编入有关数据库进行检 索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。 本学位论文属于 1 、保密口，在年解密后适用本授权书。 i 2 、不保密i 。 ( 请在以上相应方框内打“”) 作虏1 彩杉嘞 导师签日期： 日日 砂 胁 月一月 f f 事 h u 浙江工业人学硕士学位论文 第1 章绪论 1 1 课题来源 本课题是国家8 6 3 高新技术发展技术资助项目( 项目编号：2 0 0 6 a a l 0 2 2 5 5 ) 、浙江省 重中之重学科开放基金资助的一部分。 1 2 课题研究背景及意义 我国是一个农业大国，农业问题始终是关系到我国经济社会发展的根本问题。同时， 由于经济发展和资源分配的不平衡以及环境的同益恶化，我国的农业将面临严峻的考验。 为使农业得到持续稳定的发展，我国已确立了科教兴农战略，而技术替代资源的发展道路 是2 l 世纪农业发展的必然选择【1 1 。实施精确农业，广泛应用农业机器人，以提高资源利用 率和农业产出率，降低劳动强度，提高经济效益将是现代农业发展的必然趋势。以农业机 器人为代表的新概念农业机械在提高农业生产力、改善农业生产环境、解决劳动力不足问 题等方面显示出极大的优越性。因此，广泛应用农业机器人，实施精确农业，全面提高农 业信息化智能化水平将是2 1 世纪我国农业生产的必然趋势。因此，及时研究开发以农业 机器人为代表的新概念农业机械，对我国农业的长远发展有着重要意义。 农业机器人同工业机器人相比具有以下特剧2 】：一是作业对象的娇嫩性和复杂性；二 是作业环境的非结构性。这就要求农业机器人不仅要具有与生物柔性相对应的处理功能， 而且还要顺应变化无常的自然环境，在视觉、推理和判断等方面具有相当的智能。三是作 业过程的复杂性。农业机器人一般是作业和移动同时进行，而且工作时具有特定的位置和 范围。四是使用对象和价格的特殊性。使用者是农民，因此要求农业机器人必须具有高可 靠性和操作简单的特点。另外，农业机器人的生产制造还应考虑降低成本，否则，很难推 广普及。 林业作业机器人的研究和应用则相对较少。在育苗、造林、森林抚育、病虫害防治、 森林采伐与运输、剩余物综合利用、伐根清理【3 1 、木材精深加工等几乎所有林业生产方面， 机器人都将会有很好的应用前景【4 1 。目前，我国林业机器人的发展水平还很低，研发工作 较晚，与国外此行业机器人相比，其自动化程度低，安全性差，效率低，无法满足多元化 作业的要求。而智能化、自动化将是未来林业作业机器人的发展趋势。将机器视觉应用于 机器人导航，可有效地实现机器人的自主行走。因而有必要研究一种能够在树林环境中生 一1 一 浙江工业大学硕士学位论文 成导航线的方法，使进一步规划行走路径、控制车体运动成为可能。 自主行走机器人的研究大致从上世纪6 0 年代就开始了，在农业领域无人驾驶机器人 的概念出现得更早【5 1 。自主行走机器人包括很多具体的形式，如自主行走的农业机械、公 路上的智能车辆等，本课题的研究主要在农林业应用领域里展开。研究农林业自主行走机 器人视觉导航技术具有重要意义： 1 它可以避免人与工作环境的直接接触，某些农林业作业过程中存在着一些不利于人 体的有毒、高温和高湿等环境，研究无人操作的农业机械在这些环境里作业很有必要。 2 现代化农林业机械具备的作业功能将会越来越多，研制农林业车辆的自主导航系统 有利于驾驶人员抽出更多时间去关注驾驶以外的其他操作，以便能够实现预期的各项作业 目标。 3 在农林业作业过程中，劳动重复单调，容易使人感到疲劳，容易导致误操作或者事 故的发生，研究自主行走机器人来代替传统的机器人可以进一步减轻工作人员的劳动强 度，避免突发事故的发生。 4 化学肥料和化学农药的大面积使用，引发了全世界范围内日益严重的环境污染和农 药残留等问题，不但会给人们的身体健康造成严重的影响，而且会削弱农产品的国际竞争 力，研究自主行走农业机器人实现精确定点投放，从量的角度控制化学物质的使用是解决 这一问题的有效途径之一。 5 深入研究农林业自主行走机器人技术，也可以推动相关领域的研究和进展【6 - 7 】，如本 课题所研究的图像处理、目标检测以及定位技术。 1 3 机器人导航方法 自主行走机器人的核心技术之一是导航技术。农业机械的自动导航是现代智能农业机 械的一个重要组成部分，在自动喷洒农药肥料、收割作业、中耕除草、插秧耕作等许多方 面有着广泛的用途。在机器人自主导航的研究过程中，产生了如下技术o 】： 1 传感技术( 包括机械式传感) 2 g p s 导航 3 机器视觉 4 激光三角测量 5 超声波地磁定位等技术。 机器视觉是一种新兴技术，以其在工业领域的活跃表现和不断降低的成本对农业的自 主导航研究产生了巨大的吸引力。目前在农田中的应用多见于识别目标农作物和非目标植 一2 一 浙江工业大学硕士学位论文 物( 如杂草) 的垄间线，从而为田间行走式机器人生成导航线；或用于识别作物的生长病 害情况，将视觉信息转换成数字信号，以提供给机器人的信号处理系统，并进一步向其他 执行机构传递指令，来完成农药喷洒1 4 、采摘等动作。 农作物通常是整齐地按直线、彼此间平行的方式种植，因此机器视觉的研究任务是从 图像中识别出作物行，检测出作物线，为车辆的导航参数的提供几何依据。 1 4 机器视觉在农业导航中的研究现状 在具有行或垄结构的农田中，运用机器视觉来进行农业机器人自主导航，最早可以追 溯至1 2 0 世纪8 0 年代早期，那时相对低廉可靠的c c d 图像传感器开始出现。随着计算机、 微电子等相关技术的不断进步，一些复杂的图像处理和分析算法能够顺利实现，使得农业 机器人视觉导航技术的研究迅速发展起来。在经历了沿犁沟、田垄、农作物行的机械触杆 导航、预埋引导电缆的有线引导、地磁导航、无线电或激光导航、用惯性导航进行航程推 算等多种导航方式的发展过程后，2 0 世纪8 0 年代，美国首先对农业机械的视觉导航进行研 究，我国也从2 0 世纪9 0 年代开始此项研究。 1 4 1 国外研究现状 在美国，卡内基梅隆大学( c a r n e g i em e l l o nu n i v e r s i t y ) 是较早进行视觉导航研究的 机构之一。著名的机器人研究所早在2 0 世纪8 0 年代初就进行移动机器人的导航技术研究， 他们1 9 8 3 年研制的c m u 漫步者，是一款小型轮式移动机器人。导航系统采用立体视觉， 其主要视觉传感器采用一个电视机摄像机，摄像机固定在机械系统的滑块上，可左右滑动。 其立体视觉的基本思想是：摄像机在滑块滑动不同的位置对应同一场景2 幅以上照片，从 中提取相关位置信息。视觉系统的处理步骤是：获取场景特征、路径规划、发送命令、再 次获取移动信息、计算运动量，如此往纠】。自1 9 8 4 年来，该研究所又陆续研制了n a v l a b 系列智能车辆实验平台，开发t s c a r f 、y a r f 、a l v i n 、r a l p h 4 套视觉系统【1 2 彤】。 美国伊利诺伊斯大学( u n i v e r s i t yo fi l l i n o i s ) 自1 9 9 7 年以来致力于开发自主视觉导航 的拖拉机。1 9 9 8 年w i l l 等科研者丌发了由2 台c a s e 8 9 2 0 拖拉机组成的研究平台【l6 1 。视 觉导航系统成功地在1 7 k m h 的速度下跟踪直线，在1 0 k m h 的速度下跟踪曲线。同年， p i n t o 和r e i d 提出了一种中耕作物检测的选择算法，利用规则分析将前进和偏移的检测作 为一个姿态识别问题，导航系统的一个主要目标是输出拖拉机的前进角和偏移量，这种算 法在收集了大量的姿态信息的图片后进行学习，并利用当i j 图像与学习图像进行比对，得 出导航方向。 1 9 9 6 年，日本京都大学的t o r i i 等人【1 7 。8 1 研制了一种具有定点作业能力的智能农药喷 浙江工业大学硕士学位论文 洒装置。其在h i s 空间中，基于几条水平扫描线，结合直线最小二乘法识别出农田中作物 行作为导航路径。这种方法利用作物和垄沟的色度差异来进行分割，当出现大面积杂草或 作物缺失时，视觉系统将无法正确识别，同样也不能应付色度差异不大的其它农田环境。 在导航控制中，针对视觉获取的横向偏差和航向偏差以及角位移传感器测出的导向轮转角 等3 个状态设计横向反馈控制。人工草坪标定实验中取得了最大横向误差为0 0 2 4 m ，航 向角误差为1 5 0 ；但农田实验时纵向速度较小，只有0 2 5 m s 。 美国g e r r i s h 【19 】等在c a s e 7 11 0 拖拉机后轴的左侧安装了一个彩色c c d 摄像机，离地 面2 7 9 m ，仰俯角为1 5 0 。系统初始化时，由使用者首先选出代表作物和土壤的像素点，然 后视觉系统根据初始信息进行自动识别，导航信息由图像中固定的某一点进行计算。在速 度为1 2 9k m h 和4 8k m h 两种条件下，跟踪直线状的玉米行时，分别取得了均方差为 1 2 c m 和6 c m 的导航精度。 英国s i l s o e 研究所的h a g u e 和t i l l e t t 2 0 1 ，研究出一种作物行的图像识别算法，该法不 依赖基于颜色或者亮度上的图像分割结果，而是根据摄像机的安装位置，利用几何关系设 计出作物图像滤波器。该算法已经应用于除草机械，在作业速度为1 6m s 的情况下，侧向 位置偏差的均方根值控制在1 5 6 m m 以内。 瑞典h a l m s t a d 大学a s t r a n d 和b a e r v e l d t 【2 l 】提出了作物行的识别算法。他们为了克服光 照变化对杂草识别的影响使用了杂草识别和导航两个独立的视觉系统，以便把识别杂草的 视觉系统单独封闭起来采用人工光源。在杂草比较多的条件下，视觉导航系统也取得2 锄 左右的精度。 1 4 2 国内研究现状 南京农业大学的沈明霞【2 2 】运用形态学分析对农田景物区域进行了形态特征提取，并在 此二值膨胀的基础上利用先验知识对各区域进行了识别分类；然后利用腐蚀、膨胀、开闭 等形态变换，对农田景物进行了处理。实验表明，该算法可以有效地去除景物图像中的细 小纹理，从而能够获取图像农作物区域范围；但是它对农田形状要求比较高，只能识别矩 形田块，对非矩形田块的农田识别效果不好。 吉林大学的王荣本 2 3 1 研制出一种基于机器视觉的玉米施肥智能机器，该机器在拖拉 机j 下前方位置安装一套彩色c c d 系统，通过对拖拉机前方地表图像识别，判断某一垄沟 中心线与拖拉机纵向对称线的侧向偏差，运用自动控制理论设计最优导向控制器，控制前 轮偏转角，实现拖拉机对目标路径的准确稳定跟踪。 西安交通大学杨为民【2 4 】等采用基于h o u g h 变换和动态窗口技术的农田作业环境视觉 信息处理算法，然后在仿真分析的基础上建立了导航规划器和操询控制器，最后在东方红 一4 一 浙江工业人学硕士学位论文 l f 8 0 9 0 拖拉机上建立了机器视觉导航的试验系统，通过实车试验验证了研究结果。 华南农业大学的罗锡文和张志斌【2 5 】等在动态闭值化的图像中，采用改进c 均值聚类 算法，确定“垄”的中心轨迹的同时去除了背景石块、杂草等随机离散点给系统导航参数带 来的噪声；接着把聚类后的目标中心轨迹点划分成3 段依次进行h o u g h 变换，以提取出每 一直线段的导航信息，组成弯道导航参变量序列，提供移动平台转向控制信息。同时，在 实验室进行了田间导航试验，结果表明田间实验航向角标准差为4 6 0 ，位置标准差为 0 0 0 1 8 m m ，平台移动速度为0 5 m s ，处理速度为2 5 f p s 。 中国农业大学的袁佐云【2 6 1 等提出了采用垂直投影法对作物图像进行作物行定位的方 法，经过对大豆等作物行的实验，得到了作物行中心线。 1 5 视觉导航各项技术的研究现状 视觉导航中，首先需要处理分析视觉系统采样的场景图像，识别出可靠的导航路径( 在 农田环境中，往往是曲率很小的农作物行或垄等特征景物) ，再确定出机器人相对于识别 路径的位姿，最后由控制模块根据位姿信息去实时调节前轮导向角，实现机器人自主导航。 1 5 1 导航过程的图像处理 自主移动机器人在农田、林地等复杂的自然场景中，其对行走路径进行识别的稳定性 直接影响到视觉导航系统对车体位姿判断以及行驶实施控制的性能。在农田、林地等复杂 的自然场景中，图像分割往往受到光照、阴影等噪声困扰而变得十分困难，无法得到较为 满意、稳定的分割结果【2 7 之9 1 。 图像分割的方法一般为阈值分割法，即先确定一个处于图像灰度取值范围之中的狄度 阈值，然后将图像中各个象素的灰度值都与这个阈值相比较从而达到分割的目的；从该方 法中可以看出，确定一个最优阈值是分割的关键【3 0 1 。 基于图论的聚类分割【3 1 1 是较好的分割技术之一，由f u k u n a g a 和h o s t e t l e r 提出的均值 偏移( m e a ns h i f t ) 算法【3 2 】是一种简单有效的非参数特征空间分析技术。它克服了传统聚类 方法的缺陷，而且在均值偏移算法中融入边缘置信度【3 3 。4 1 ，可获得更好的分割结果。张莉 t 3 5 1 等对道路分割中的问题对均值偏移算法进行了修改，同时用前后帧约束关系指导道路分 割，得到较为准确的道路便捷，划分出了车辆能安全行驶的路面部分。 在野外环境的视觉导航中，一般采用多种假设来化简问题【3 6 q 0 1 ，然而，农林作业是自 然纹理图像，对作业时行走的路径进行实时识别作业机械自主导航较为困难。o l l i s 等【4 u 基于彩色直方图，通过求作物割过与未割过的像点条件概率来检测边缘线；沈明霞等【4 2 】 利用灭点检测，探讨了自主行走农业机器人的自定位。c h a n d l e r 等【4 3 】基于小波纹理分析提 浙江工业大学硕士学位论文 出了一个对割草机进行自主导航的概念框架，对静态的草地纹理图像取得了较好的两类分 割结果，但其实验系统尚不能自主跟踪割过与未割过草地的边缘线，对结构化道路的跟踪 尚存在s 型行走甩尾现象。b e n s o n 等【删提出了单目视觉导航农业联合收获机的系统，采用 连通域分析将玉米作物行与背景分离，图像处理速度为2 帧s ( 对应最大前进速度1 3 m s ) ， 可昼夜提供导航作业控制。b r o g g i 掣4 5 1 基于蚁群优化提出的雪橇痕迹实时视觉跟踪导航方 法得到了较为满意的结果。 周平等【4 6 却】以园艺革割过与未割过的自然图像两类分割为研究对象，提出了两种全新 的无监督的分割方法对园艺草地这类非结构化的高相似自然纹理图像的割草边缘进行的 自动跟踪分割实验。提出了一种基于r g b 分量运算和色域位屏蔽压缩的杂草实时检测方 法。该方法的处理时间几乎不受目标复杂度影响，可在3 0 m s 内有效分割出3 2 0 x 2 4 0 分辨 率图像中有颜色差异的不同杂草或农作物，对颜色分布波动具有较强的鲁棒性。 区域生长法的基本思想是将具有相似性质的象素合起来构成区域，具体做法是选给定 图像中要分割的目标物体内的一个小块或者说种子区域，再在种子区域的基础上不断将其 周围的象素点以一定的规则加入其中，达到最终将代表该物体的所有象素点结合成一个区 域的目的，该方法的关键是要选择合适的生长或相似准则【4 8 】。 1 5 2 h o u g h 直线检测 1 9 6 2 年由哈夫首先提出的点线空间对偶映射原理【4 9 】，逐渐发展成标准哈夫变换，成为 图像中直线检测的传统方法，用于卫星拍摄的道路检测g e m a n 和j e d y n a k ( 5 0 1 、机器人定位 h o p p e n o t 等人5 、m u n i z 等人条形码识读嗍，r e y 等人【5 3 1 以及m a g l i 等人跟踪船舶航行痕 迹。 农田机械视觉信息有如下两个特点： 1 在同一块农田中，地势地貌一般来说比较一致；作物的种类一般较少、易于区别且 排列比较规则，所以它们在机器视觉中形成的图像，轮廓比较清楚、一般能形成比较规则 的几何图形。 2 农田机械视觉导航的基准线可采用f f l 垄、犁沟、行茬和已收割作物形成的边缘等， 而这些参照物所构成的实际引导线主要是直线和可以用多段直线拟合的小曲率曲线，即可 以用函数y = kx + b 来表示。同时，实际田间所谓的引导直线并不一定是理想的直线，而是 由大量的点形成的准直线，而且田垄、犁沟、行茬和已收割作物形成的边缘等往往有时某 一小段不是很清楚或间断( 即图像上所得的直线有不连续现象) 。h o u g h 变换的基本思想就 是把图像平面上的点对应到参数平面上的线，最后通过统计特性来解决问题，它能够有效 地在较大的噪声环境中提取图像中的特定信息，尤其是比较规则的图形，如直线、圆等曲 一6 一 浙江r t 业大学硕士学位论文 线方程的位置，所以它能够很好地解决农业机械视觉导航中的问题【外5 5 1 。 赵颖等【5 6 1 根据已耕作区域和非农田区域的不同颜色特征，判断出田端和犁沟线的位置 以及计算斜率用的方向候补点群，使用基于一点的改进哈夫变换计算出犁沟线的斜率。他 们还将这一改进的哈夫变换方法研究了麦田的边界( 田埂) 检测算法【5 7 1 。 侯学贵等利用v c + + 开发了基于机器视觉的除草机器人杂草识别和导航系统应用软 件，引导除草机器人沿农作物行自动行走。在r g b 空间直接讲农作物分割出来，再利用 优化的h o u g h 变换检测出农作物行中心线【5 8 】。 孙元义【5 9 1 等人在l a b 色彩空间进行处理，把棉株从土壤背景中识别出来。二值图像垂 直方向投影做直方图，利用波谷位置确定左右垄分界线。根据左右垄棉株位置平均得到导 航离散点，通过h o u g h 变换得到导航路径，进而得到导航控制参数。 1 6 课题研究内容和关键技术 1 研究农田环境的图像特点及图像分割方法。在自主机器人行走时，摄像机架构在车 体上以一定的速度行驶，加上自然环境中地面的高低不平，以及具体农林作业时手臂机械 部分与农作物的作用于反作用，因而在过程中不可避免出现震动和颤抖，使得摄像机所采 集的动态图像出现不同程度的模糊。此外，露天环境下的背景、照明、阴影、湿度等条件 复杂，容易产生各类噪声，影响图像质量。为此，本课题研究与探讨了色彩空间、环境特 征以及目标个体与图像分割方法问的联系，提出较为合理的分割算法，得到理想的图像分 割结果。 2 获得一种基于机器视觉的、适用于农田行走机器人导航的路径生成算法。提出不同 规律的自然环境中路径导航线的生成算法。 3 在前面研究的基础上，将算法做出局部变异，以扩展到自主行走机器人在林地环境 与类林地农田环境中生成导航线的路径生成算法。 4 研究复杂林地彩色图像中树木与其周围环境的特征，获得一种较为稳定、简单的图 像分割方法，以适应行走速度的需要。 5 摄像机标定与车体定位 6 研究导航线两个参数( 导航角和偏移量) 对行驶系统的导向影响，并在实验平台 m t - r 机器人上加以验证和分析。 浙江工业人学硕士学位论文 第2 章图像采集与图像预处理 典型的视觉系统一般主要包括光源、光学系统，摄相机、图像采集卡、图像处理单元、 机器视觉处理软件、监视器、通讯以及输入输出单元等，在一个基于视觉导航的导航系统 中，图像采集是关键部分之一，图像采集的方式和效果直接影响着后续图像处理的方法和 导航路径的提取，因此选择合适的图像采集方式和采集设备十分重要。 2 1图像采集 图像采集主要完成对模拟视频信号的数字化过程。视频信号首先经低通滤波器滤波， 转换为在时间上连续的模拟信号，按照应用系统对图像分辨率的要求，用采样保持电路对 连续的视频信号在时间上进行间隔采样，把视频信号转换为数字信号输出。图像的获取实 际上是将被测物体的可视化图像和内在特征转换成能被计算机处理的数据，它直接影响到 系统的稳定性及可靠性。 2 1 1 图像采集方法的选择 目前国内外应用最多的视觉导航方式是在机器人上安装车载摄像机，基于局部视觉通 过图像处理技术得到导航信息。根据安装在机器人上的摄像机个数的不同，又可分为单目 视觉和多目视觉方式。 单目视觉方式，一般是将摄像机安装在机器人的前端，从一定高度和一定的俯角拍摄 前方的路面情况，这是大多数导航系统常采用的方式。这种方式具有简单易行、设备成本 低、图像处理速度快、准确性高、容易达到实时性要求等优点，在实验场景较简单，障碍 物较少的场合具有很好的适用性，是视觉导航研究初期常采用的手段。此外，为获取全局 与大尺度信息，有些学者尝试用一些辅助手段，例如日本大阪大学利用锥面反射镜采集 3 6 0 。全方位图像【鲫，美国南加州大学利用旋转摄像机获得3 6 0 。信息进行野外环境下的定位 【6 i 】笠 寸o 2 1 2 图像采集设备的选择 传统的图像采集系统一般采用“采集设备+ 视频信号处理芯片+ c p l d f p g e p l d + 处 理器的模式实现【6 2 。6 5 1 。目前有许多技术已经成熟且成品化，在这种模式的系统中主要包括 图像采集设备和图像处理设备以及两者之间的接口技术。 浙江工业大学硕士学位论文 ( a )彻村 图2 - 3 直方图均衡化过程 ( 曲均衡前灰度分布帕) 变换图( c ) 均衡后灰度分布 可见直方图均衡化是一种非线性变换。它增加了像素灰度值的动态范围，减少了灰度 级层次，因而提高了图像对比度。它能自动增强整个图像的对比度，但具体的增强效果不 易控制，处理的结果是全局均衡的直方图，实际中需特定形状的直方图，从而有选择的增 强某个灰度值范围内的对比度。对原水稻田灰度图傲均衡化处理，得到如图2 - 4 的结果。 ，耳r ( a )彻 图2 4 均衡化处理 ( a ) 水稻田原圈嘞均衡化后的图像 可见直方图均衡化处理能得到较大的图像对比度。 2 4 3 图像增强 图像在采集过程中不可避免的会受到传感器灵敏度、噪声干扰以及模数转化时量化问 题等等因素影响而导致图像无法选至人跟的视觉效果，为了实现人眼观察或者机器自动分 析的目的，对原始图像所做的改善行为，就被称作图像增强技术。为此图像增强技术虽然 是改善图像质量的通用方法，但是它也同样带有针对性，它必须是针对某一特定的需要而 采用的特定的算法来实现图像质量的改善1 7 1 - 7 s 。 1 、图像平滑 图像噪声的来源有三个方面：一是光电、电磁转换过程中引入的人为噪声；二是c c d 摄像机采集图像时的不稳定性；三是自然起伏性噪声。消除噪声的方法主要可由图像平滑 一1 2 浙江工业大学硕士学位论文 来解决。 空域滤波是在图像空间中借助模板对图像进行邻域操作。空域滤波器有很多种，但其 基本特点都是让图像在傅里叶空间某个范围内的分量收到抑制，同时保持其他分量不变， 从而改变输出图像的频率分布，达到增强图像的目的。 滤波处理方法一般通过取局部邻域( 2 m + 1 ) ( 2 m + 1 ) 邻域的加权和局域处理如下 图2 - 5 的8 邻域所示。 世圈世 曲0 )如 嘲2 - 5 邻域处理 ( 对八邻域帕) 各像素灰度值( c ) 邻域的句i 权 i ，i 一一l 瀵鬻 ： ， j ：。，一p j 蜓淳鹾 ：毫器磐； 2 、均值滤波 一 ，。7 一 。 ( ic 幽2 - 6 各种嵘芦在幽像巾的漆加 ( a ) 水稻田原鼬( 坼高斯嵘卢( c ) 泊松嵘声( 由乘性啭卢 浙江工业大学硕士学位论文 实现图像平滑最常见的方法是在像素邻域内求局部均值，称为均值滤波。 如加吉。要：v “n 。， 如滤波核h ( x ，y ) h 如2 7 图所示的3x3 均值滤波： o ( x ，y ) = ( i ( x - i ，y - i ) + i ( x ，y - i ) + i ( x + 1 ，y - i ) + i ( x - 1 ，+ 1 ( x ，y ) + i ( x + l ，y ) + i ( x 一1 ， y + 1 ) + i ( x ，y + 1 ) + i ( x + 1 ，y 十1 ) ) 9( 2 - 9 ) 盟 国2 7 滤渡模扳示意图 均值滤波的特点是局部求均值的运算或平均计算使数字信号变“平坦”，可以在图像中 消除或抑制噪声。同时，图像中景物边缘也会不同程度地变得模糊：模扳越大，模糊作用 就越强。 3 、中值滤波 中值滤波与均值滤波的区别仅限于：中值滤波是求局部中值而不是局部均值，即对参 与计算的像索扶度值按大小排序然后取位置居中的像素灰度值。其目的既要消除噪声又 要保持图像的细节。 在图像局部中，杂散噪声点的反度值较大或较小，求中值可以自动将其消除。但中值 滤波不同于均值滤波，中值直接取自某个像素的狄度值，所以能较好地保持图像景物原状。 l | 值滤波可以消除杂散噪声点而不会或较小程度地造成边缘模糊。 对水稻田图像添加椒盐噪声，并进行均值滤波和中值滤波，结果如图2 - 8 所示。 ( a )c o ) 嘲2 - 8 添加椒盐噪声的图像滤波 ( a ) 均值滤波( b ) 中值滤波 可见中值滤波具有很好的去噪效果。 此外还有一些滤波方式，如多图像平均法是利用对同。景物的多幅图像取平均来消除噪声 1 4 浙江工业大学硕士学位论文 产生的高频成分。 2 5 色彩模型 为了使各种颜色能按照一定的排列次序并容纳在一个空间内，将三维坐标轴与颜色的 三个独立参数对应起来使每一个颜色都有一个对应的空闻位置，反过来，在空间中的任 何一点都代表一个特定的颜色，这个空间称为色彩空间。色彩空间是三维的，作为色彩空 问二维毕标的二个独立参数可以是色彩的心理三属性：色相、明度、饱和度，也可以是其 它三个参数如r g b 、l a b 或者c m y ，只要描述色彩的三个参数相互独立都可以作为色彩 空n u 的= 维坐标i r e - 7 ”。本课题的研究涉及以f 两种色彩空自j ，简单介绍如下： 25 1r g b 颜色空间 r g b 色彩模式是工业界的一种颜色标准，是通过对红( r ) 、绿( o ) 、蓝( b ) 三个颜色通道 的变化以及它们相互之日j 的叠加来得到各式各样的颜色的，是目前运用最广的颜色系统之 一a r g b 色彩模式使用r g b 模型为图像中每一个像素的r g b 分量分配一个0 - 2 5 5 范围内 的强度值。例如：纯红色r 值为2 5 5 g 值为0 ，b 值为0 ；灰色的r 、g 、b 三个值相等 ( 除了0 和2 5 5 ) ；白色的r 、g 、b 都为2 5 5 ；黑色的r 、g 、b 都为0 。r g b 图像只使用 三种颜色就可以使它们按照不同的比例混合成2 5 6 3 种颜色。 在r g b 模式下，每种r g b 成分都可使用从0 ( 黑色) 到2 5 5 ( 白色) 的值。例如， 亮红色使用r 值2 4 6 、g 值2 0 和b 值5 0 。当所有王种成分值相等时，产牛扶色阴影。当 所有成分的值均为2 5 5 时，结果是纯白色；当该值为0 时，结果是纯黑色，如罔2 - 9 所示。 252h s v 颜色空间 h s v c h u e ，s a t u r a t i o n ，v a l u e ) 颜色空间的模型对应于圆柱坐标系中的一个圆锥形子集