（通信与信息系统专业论文）农业机器人导航线提取算法的研究与实现.pdf

中文摘要 农业机器人导航线提取算法的研究与实现 专业：通信与信息系统 硕士生：尹建媛 指导教师：刘红梅副教授 摘要 基于图像处理技术的视觉导航成为农用a g v ( a u t o m a t i cg u i d e dv e h i c l e ) 的 重要发展方向，近年来得到了广泛的关注。视觉导航是通过图像处理获耿农用 a g v 的导航基准线来描述行进路线，现有方法多是提取一些标志点后再由这些 点得到相应的直线作为导航基准线。由于农田环境复杂，农用a g v 行进中多次 采集图像所得到的直线肯定无法保持一致，即行进过程中不断得到的导航基准线 组合起来所描述的行进路线是一条折线，因此农用a g v 的导航基准线采用曲线 更为合理。论文主要研究了曲线导航线的提取算法和优化，主要内容如下： l ，图像的获墩和处理。图像处理中最为关键的是图像分割。本文采用超绿 分割特征，阈值分割法获得二值化图像，然后运用数学形态学组合算法进行图像 处理，使分割效果更好。 2 导航特征点的提取。提取直线导航基准线要求导航特征点尽量在直线附 近，而曲线导航基准线曲率不确定，需要新的提取标准。本文以行进路线弯曲方 向为曲线特征点。 3 曲线导航线的拟合。将导航特征点以合适的曲线拟合算法得到导航基准 线。 4 导航基准线提取算法的优化。定义基于曲线导航基准线的行走误差，利 用模糊融合技术对提取算法进行评价和优化。 关键词：图像分割，数学形态学，特征点提取，导航线，模糊决策 英文摘要 r e s e a r c ha n di m p l e m e n t a t i o no fr o u t ee x t r a c t i o n a l g o r i t h mo fa g r i c u l t u r a lr o b o t m a j o r ：t e l e c o m m u n i c a t i o na n di n f o r m a t i o ns y s t e m s n a m e ：y i nj i a n y u a n s u p e r v i s o r ：v i c ep r o f e s s o rl i uh o n g m e i a b s t r a c t v i s u a ln a v i g a t i o nb a s e do ni m a g e p r o c e s s i n gi so n eo f i m p o r t a n td e v e l o p i n gt r e n d i na g r i c u l t u r a la g v , w h i c hh a sc a u s e dw i d ea t t e n t i o n v i s u a ln a v i g a t i o nd e s c r i b et h e m a r c h i n gr o u t i n eb a s e do nn a v i g a t i o nd a t u ml i n eo fa g r i c u l t u r a la g v , w h i c hi s a c q u i r e db yi m a g e p r o c e s s i n g p r e s e n t l y , m o s tm e t h o d sa r ee x t r a c t i n gs o m em a r k i n g p o i n t s ，t h e nc o n n e c tt h e ma sn a v i g a t i o nd a t u ml i n e b e c a u s eo ft h ec o m p l i c a t e d e n v i r o n m e n ti nf a r m l a n d ，t h ec o n n e c t e dl i n e sc a nn o tk e e pc o n s i s t e n tb u tab e n d i n g l i n e a sar e s u r ，c u r v ei sm o r es u i t a b l ef o ra c t i n ga sn a v i g a t i o nd a t u ml i n e i nt h i s t h e s i s ，w ee x p l o r ee x t r a c t i o na l g o r i t h ma n do p t i m i z a t i o no fc u r v en a v i g a t i o nl i n e t h e m a i nc o n t e n t sa r ea sf o l l o w s ： 1 i m a g ec a p t u r i n ga n dp r o c e s s i n g i m a g es e g m e n t a t i o ni st h ec r u c i a lp a r ti n i m a g ep r o c e s s i n g e x c e s s g r e e nf e a t u r ea n dt h r e s h o l ds e g m e n t a t i o na r eu s e dt og e tt h e b i n a r yi m a g e t h e nw i t ht h ec o m b i n a t i o na l g o r i t h mo fm a t h e m a t i c sm o r p h o l o g y , t h e e f f e c to fs e g m e n t a t i o ni si m p r o v e d 2 t h ee x t r a c t i o no ff e a t u r ep o i n t s i no r d e rt oe x t r a c tt h en a v i g a t i n gl i n e ，t h e n a v i g a t i n gc h a r a c t e r i s t i cp o i n t sa r er e q u i r e dt ob ea sc l o s ea sp o s s i b l et ot h eb e e l i n e f o rt h ei n d e f i n i t ec u r v a t u r eo ft h ec u r v en a v i g a t i n gl i n e ，n e ws t a n d a r do fe x t r a c t i n gi s n e e d e d t h i st h e s i sa d o p t sd i r e c t i o n so ft h em a r c h i n gc u r v ea sc h a r a c t e r i s t i cp o i n t s 3 t h ef i t t i n go fc u r v en a v i g a t i o nl i n e f i tn a v i g a t i n gc h a r a c t e r i s t i cp o i n t si n t o n a v i g a t i n gb a s e l i n ea c c o r d i n gt oas u i t a b l ef i t t i n ga l g o r i t h m 4 t h eo p t i m i z a t i o no ft h ee x t r a c t i o na l g o r i t h m t h ew a l k i n ge r r o rb a s e do nc u r v e 1 i - 英文摘要 n a v i g a t i n gl i n ei sd ef i n e da n dt h ef u z z ya m a l g a m a t i o nt e c h n ol o g yi su s e dt oe v a l u a t e a n do p t i m i z et h ee x t r a c t i o na l g o r i t h m k e yw o r d s ：i m a g es e g m e n t a t i o n ，m a t h e m a t i c a lm o r p h o l o g y ，f e a t u r ep o i n te x t r a c t i o n ， n a v i g a t i o nl i n e ，f u z z yd e c i s i o n 1 1 1 原创性及使j j 授权声明 原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独立进行研究 工作所取得的成果。除文中已经注明引用的内容外，本论文不包含任何其他个人 或集体已经发表或撰写过的作品成果。对本文的研究作出重要贡献的个人和集 体，均已在文中以明确方式标明。本人完全意识到本声明的法律结果由本人承担。 学位论文作者签名厂尹救 r 期：睁i i 彩日 使用授权声明 本人完全了解中山大学有关保留、使用学位论文的规定，即：学校有权保留 学位论文并向国家主管部门或其指定机构送交论文的电子版和纸质版，有权将学 位论文用于非赢利目的的少量复制并允许论文进入学校图书馆、院系资料室被查 阅，有权将学位论文的内容编入有关数据库进行检索，可以采用复印、缩印或其 他方法保存学位论文。 学位论文作者签名：导师签名： 别名2 略 同期：莎刃g 年f f 月占f t 第1 章绪论 第1 章绪论 1 研究的目的和意义 随着农业人口减少导致劳动力缺乏的问题同益突出，农业机械的应用越来越 广泛。为进一步节省劳动力、降低劳动强度，现代农业对农业机械的自动化提出 更高的要求。喷洒农药带来的环境压力也使得农业机械向自动化、智能化方向发 展。这在农业生产中具体表现为实现自动播种、自动施肥、自动喷洒农药、自动 收获等一系列目标，为达到这些目标需要稳定的设备载体。农用自行小车或称为 农用a g v ( a u t o m a t i cg u i d e dv e h i c l e ) 作为最广泛应用的设备载体成为现代农业 中重要的技术装备。 由于工业中使用的a g v 技术相对成熟，在农用a g v 的研究初期多是直接引 用工业中已有的a g v 技术。但是，由于农业生产环境复杂、劳动对象个体差异 大，使得对农用a g v 的要求远高于工业生产环境对a g v 的要求。农用a g v 首先 通过导航技术确定下一步的行进路线，再据此确定当前的位置，最后根据控制策 略实现对农用a g v 控制。其中，如何通过导航获取准确的行进路线一直是研究的 热点，这也是开发农用a g v 实用设备的前提。而在已有的导航技术中，基于图 像处理技术的机器视觉导航模式由于对农田作业环境适应性好受到越来越广泛 的关注。 使用图像处理技术进行导航对设备要求低、对农田环境适应性高，不需要像 电磁导航那样铺设导线，自然天气变化对其图像采集的影响较小。因此，机器视 觉导航一直被视为农业a g v 未来的发展方向。视觉导航是通过图像处理技术获 取农用a g v 的导航基准线来描述行进路线，现有方法多是提取一些标志点后再 由这些点得到相应的直线作为导航基准线。这些研究都是建立在假设导航基准线 为直线的基础上，但是在农用a g v 行进中多次采集图像所得到的直线肯定无法 保持一致，即行进过程中不断得到的导航基准线组合起来所描述的行进路线是一 条折线，因此农用a g v 的导航基准线采甩曲线更为合理。另一方面，由于田问 1 第1 章绪论 作业环境复杂，作物行、田埂、犁沟等目标物可能由于各种原因在图像中不再存 在规则的直线形式。因此，本课题研究中采用曲线作为导航基准线更符合农用 a g v 作业环境的要求，更能反映农用a g v 的行进路线，从而提高农用a g v 的 导航精度，为开发实用农用a g v 设备提供理论基础。 1 2 国内外研究现状 机器视觉导航就通过采集行进道路方向的图像，从图像中确定农用a g v 下一 步的行进路线，也就是导航基准线。现有的方法多是通过引入成熟的图像处理算 法形成，主要包括h o u g h 变换、模型匹配、统计特性分析、虚交点分析等方法。 这些方法都是假设导航基准线为一条直线，通过在图像中提取一些特征点，然后 利用这些特征点拟合直线得到导航基准线。 由于精确农业中作物规则播种，作物行成为提取导航特征点重要参考。另外， h o u g h 变换由于运算简单被广泛应用。因此采用h o u g h 变换以作物行为参考对象 提取导航基准线的方法被普遍采用。s e a r c y 在19 8 6 年提出用h o u g h 变换提取作物 行的参数【l 】。m a r c h a n t 在1 9 9 6 年采用y h o u g h 变换提取作物线口1 。s o g a a r d 平h o l s e n 在1 9 9 9 年用彩色分量之问的数值运算结合h o u g h 变换提取作物线【3 】。s o g a a r d 等 2 0 0 3 年将彩色图像转为灰度图像后，以灰度重心确定作物的位置作为特征点利用 h o u g h 变换提取作物行参数确定导航基准线【4 1 。s t r a n d 等2 0 0 5 年融合多行作物信 息，使用h o u g h 变换提取作物行确定导航基准线【5 】。张卫等2 0 0 5 年采用中间线检 测准基准线提取代表作物行走向的准基准线，采用h o u g h 变换得到真正的基准线 及其参数【6 j 。但是，由于h o u g h 变换需要准确的作物图像信息，而现有技术无法 准确分割作物和背景，这制约了导航精度的提高。另外，作物出苗后个体间的差 异将影响作物行的规则性，这影响了农用a g v 在自动施肥、自动收获等苗后田间 管理的应用。因此，许多研究在特征点和直线提取算法两方面进行了改进。为了 解决由于自然环境引起的一些问题，p l a 提出用田间图像的虚交点作为导航目标 的方法f 7 l 。袁佐云等2 0 0 5 年针对基于计算机视觉的作物行中心线定位困难问题， 提出了基于垂直投影法的作物行定位方法，利用稳健回归法对位置点进行线性拟 合得到作物的行中心线【8 1 。 在特征点提取上，以犁沟线参照的研究最为有效。赵颖等2 0 0 6 年提出通过耕 第l 章绪论 作区域和未耕作区域颜色差异获取犁沟线来确定导航基准线【9 1 。l e e m a n s 等2 0 0 6 年通过改进h o u g h 变换提取犁沟线来确定导航基准线【1 0 1 ，并据此在2 0 0 7 年开发了 自动播种的实验样机【l l 】。但是从图像中以这些目标提取直线的误差依然较大，这 制约了实用设备的开发。 对于直线提取算法的改进中，主要是引入各种成熟的优化算法、图像处理技 术。o l s e n 研究了使用正弦函数模型匹配灰度图像去寻找作物行中心线位置的方 法【1 2 1 。周俊等2 0 0 3 年用小波分解方法把图像分解后，再利用阈值分类法提取油菜 行直线，运用路径知识启发机制识别出行走路径【1 3 , 1 4 】。f r a n c i s c o 等2 0 0 3 年提出利 用立体视觉进行导航，指出可以利用视差图中的特征提取作物行信息【1 5 】。h a n 等 2 0 0 4 年首先用k 聚类的方法来分割作物行，再用矩算法来检测作物行，最后通过 价值函数得到导航基准线【l6 。但是，这些方法都是以大幅度提高运算时间为代价 的。 这些研究大多建立在假设导航基准线为直线的基础上，但是在农用a g v 行进 中需多次采集图像，将不断得到的导航基准线组合起来所描述的行进路线是一条 折线。另外，由于f 只间作业环境复杂，除了作物等植被和土壤等背景外，农盱1 图 像中还可能出现作物残留物等其他不确定因素。因此，田间图像除作物由于各种 原因未形成规则的作物行外，一些作物残留物出现在农用a g v 的行进路线上也影 响了基准线的提取。这类图像分割后由于作物自身分布缺乏规律和作物残留物的 影响，在图像上已经很难找到规则的导航基准线，与实际行进路线相违背。显然， 采用曲线导航基准线更为合理。因此，一些学者开始这方面的研究。胡波等2 0 0 7 年针对农用a g v 视觉导航基准线假定为直线而容易受作物残留物等因素的影响， 引入了曲线导航基准线的提取算法f 1 7 1 。 目前，在农业视觉导航技术中以曲线导航基准线提取算法为研究对象的学者 并不多。在拟合标志点时并非一定要用曲线拟合，但是应用曲线拟合标志点可以 更好地反映农用a g v 行进路线的方向，尤其在作物行、犁沟等目标由于各种原因 在图像中不存在规则的直线时，使用曲线拟合就能反映行进路线的方向，但直线 检测得到的导航路径和实际行进方向相违背，显然不适用。当然，曲线拟合标志 点当标志点在直线附近时也能得到直线导航线。因此，本课题在胡波等研究的基 第1 章绪沦 础上将进一步采用曲线导航基准线改进农用a g v 导航技术，这将更符合农用a g v 作业环境的要求，从而为农用a g v 的开发提供理论依据。 3 课题来源及研究内容 本论文涉及的课题来源于自治区教育厅科研项目和广西工学院自然科学基 金资助项目。在本论文中主要研究曲线导航线的提取算法和优化方法，主要内容 如下： ( 1 ) 图像的获取和处理。在论文工作期问采集图像三次，反复实验获取最后 拟以研究的对象。图像处理中最为关键的是图像分割。本文采用超绿分割特征， 闽值分割方法获得二值化图像，针对所有采集的图像反复实验选取o 1 2 作为分 割的阈值，然后运用数学形态学组合算法进行图像处理，获得了更好的分割效果。 ( 2 ) 导航特征点的提取。提取直线导航基准线时要求导航特征点尽量在直线 附近，而曲线导航基准线曲率不确定，需要新的提取标准。本文采用图像中作物 行问最大背景空隙的中点作为特征点能更好地反映行进路线的弯曲方向。 ( 3 ) 曲线导航线的拟合。确定以曲线导航基准线为目标时图像中导航特征点 的特征，并据此提出相应的图像处理算法，采用最d , - 乘曲线拟合得到导航基 准线。 ( 4 ) 导航基准线提取算法的优化。定义基于曲线导航基准线的行走误差，利 用模糊决策对提取算法进行评价。评价的结果为作物的疏密程度，作物行问背景 间隙的曲直程度等不同的图像提供合适的算法。 1 4 论文章节安排 论文主要研究了农业机器人导航线提取算法及其优化，章节安排如下： 第一章是绪论，概括介绍了论文的研究背景，论文课题的研究现状，论文的 课题来源及主要研究内容。 第二章主要介绍了图像的获取，包括农田图像信息的特点，影响图像质量的 因素，图像采集的方法，颜色空间的选择等。 4 - 第l 章绪论 第三章是图像分割和特征点的提取。本章在分析了颜色空间和分割算法的基 础上，选择r g b 颜色空间和超绿分割特征进行图像分割，应用数学形态学方法提 出了几种组合分割算法。试验结果显示，阈值选取0 1 2 ，组合算法处理后的图 像较之前分割的图像获得更好的效果。 第四章是导航线拟合算法的研究。基于曲线基准线比直线更符合农田作业的 实际情况，在研究h o u g h 变换直线提取的基础上提出了应用最d , s - 乘原理在不 同幂次下拟合导航线的方法。 第五章主要是评价和优化导航线提取算法。首先介绍了模糊模式识别和模糊 决策理论，最后应用模糊决策的模糊相似优先比决策对提取算法进行优越性比 较。统计结果表明，不同类的图像评价的算法优越序列不一，因此，在实时导航 时应先判断图像组别，然后可以根据研究的结论选择算法进行图像处理。 最后是本文的结论，总结本文的研究成果与未来的研究方向。 第2 章图像的获取 第2 章图像的获取 图像的获取是指通过各种设备得到原始图像。图像采集时，图像噪声的大小、 拍摄的角度的光线，非理想化图像处理等影响都会使图像质量变差。加上农业环 境的复杂的背景都给农作物从图像中分割出来加深难度。为减少不确定因素，确 定图像的采集方案是必不可少的。 现有设备采集图像主要建立在电磁波谱辐射基础上。电磁波可定义为以各种 波长传播的正弦波，或者认为是一种粒子流。因此通过电子设备可以感应到传感 器所在位置电磁波的情况。组合一个传感器阵列的信号就可得到一副图像。根据 采集设备光谱波段的差异得到的图像可分：伽马射线图像、x 射线图像、紫外波 段图像、可见光及红外波段图像、微波图像和无线电波图像，以及使用多个波段 的多波段图像1 8 1 。 2 1 图像概述 通过电磁波敏感元件可以感应到电磁波能量的大小。大量的这一类敏感元件 以阵列的形式排列，形成一个感应面。每一个传感器产生一个与其接受电磁波能 量成正比的输出信号。通过电路扫描这些输出，并把它们数字化就得到了图像处 理中所需要的图像。 若以坐标( x ，y ) 表示传感器在阵列中的位置，f ( x ，) ，) 表示该位置传感器输出 的信号，则函数f ( x ，y ) 可由两个分量来表征：入射到观察场景的光源总量和场 景中物体反射光的总量。相应地称为入射分量和反射分量，并分别表示为f ( x ，y ) 和r ( x ，力。因此有【1 8 j ： 厂( x ，y ) = i ( x ，y ) r ( x ，y ) 其中：0 i ( x ，少) o o ( 2 1 ) 0 厂( z ，y ) 1 第2 章图像的获取 式( 2 1 ) 指出反射分量限制在0 ( 全吸收) 和l ( 全反射) 之间，f ( x ，y ) 的性质 取决于照射源，而r ( x ，y ) 取决于成像物体的特性。 由于敏感元件的敏感范围的限制，不可能感应到所有强度的电磁波。实际常 令敏感元件的感应区间为 o ，l - - 1 ，以 厶 厶觚】分别表示敏感元件感光范围内 输出的信号强度区间，可以得到任意，对应的等级为1 9 】： ，( 厂) = 0 f 一 一般将这样的等级称为灰度级。仁0 表示黑，1 - - - l 表示白。所形成的图像成为灰 度图像。l ( x ，y ) 称为像素点( x ，y ) 的灰度级。 以上方法得到的是一种波段电磁波形成的灰度图像。可见光是一种特殊的电 磁辐射，人眼可以看见和感觉到它，其波段大约占据4 3 0 n z e - - - - 7 9 0 n m 的范围。近 红外波段从可见光波段延伸到1 0 0 0 n m 左右或者更远一点。这些范围不是突然终 止的，而是一种波段连续地平滑地过渡到下一种波段。人从一个物体感受的颜色 由物体反射光的性质决定。一个物体的反射光如果在所有可见光波长范围内是平 衡的，对观察者来说显示白色。然而，若一个物体对有限的可见光谱范围反射， 则物体呈现某种颜色。例如，绿色物体反射具有5 0 0 n s z r 、一6 7 0 n m 范围的光，吸收 其他波长光的多数能量。根据色彩学三色原理，任意颜色可以表示为任意三种基 本色按照一定比例相加减得到。一般采用红、绿、蓝三种颜色作为基本色，通过 三种颜色对应波段得到的灰度图像表示三种颜色的组成比例，由此得到彩色图像 l i g 。 2 农田图像信息的特点 在农田机器视觉导航中，作业环境未知，作业对象为具有导航特征的农作物、 土坡等自然景物，相对于其他类别的图像，自然景物图像具有以下特蝌2 0 】： ( 1 ) 多样性或不一致性。包括农田作业坏境、农作物和干扰信息的多样性和 第2 章图像的获取 不一致性。农田随机分布，其形状、特性多变。农作物是一种具有生命力的有机 体，具有多样性。不同的农阡l 、不同的农作物也不一样，即使是同一种农作物， 不同的品种、不同的生长时期所表现出来的特征( 如纹理、颜色、轮廓) 也有所不 同。在非结构化农田环境中，杂草、石块或者光照等因素的影响都会给图像产生 干扰。 ( 2 ) 规律性。虽然作物具有多样性和不一致性，但是从宏观上看，农作物在形 态上有一定的规律可循。例如，农作物一般呈绿色，作物行在整体上呈现直线形 状或者小曲率曲线。 ( 3 ) 局部性。利用机器视觉进行农业机械导航，由于视觉传感器采集信息的局 限性，采集到的农f f i 作物图像只是视觉传感器前方或者附近的景象，具有局部信 息，不能包括完整的农田导航信息。 ( 4 ) 离散性。在机器视觉导航中，作为导航特征的农作物和土坡具有离散性， 分白不均匀，会出现农作物断行、田垄问断等现象。 ( 5 ) 连续性。虽然农田图像在单帧概念上是离散的，但是在实际的导航过程中， 由于农业机械的运动和作物行是连续的，因此检测到的导航特征在短时间间隔内 也不会发生突然变化。 ( 6 ) 光照的不均匀性。随着自然光的变化或者阴影的存在，农田图像呈现的特 点也会随之发生比较大的变化，即使同一生长期的同一种作物在不同光照下所呈 现出的图像特点也有不同，这对农田图像中有效信息的分析、提取带来了较大的 困难。 在农业机器人作业环境中，导航特征的图像信息具有离散性、局部性、多样 性和不一致性等难于处理的影响因素，自动导航这一特定的任务要求图像实时处 理，因此必须将视觉系统与具体目的相联系才能进行有效的视觉信息处理，提取 导航所需的必要信息。 从导航任务的目的可以知道，导航特征的共同点在于都形成了一个有主观 轮廓的导航基准。从这一共同点出发有目的地处理视觉信息，发现图像信息中的 共性特征，主动寻找导航特征，得到对图像信息的正确理解。 第2 章图像的获取 2 3 图像采集 2 3 1 影响图像质量的因素 对影响图像质量的环境因素有：拍摄角度、光强，风向等。除上述因素外， 对图像质量影响比较大的因素还包括农作物的生长分布状态、图像获取设备。农 作物的状态包括作物生长阶段、作物分布情况等。图像获取设备为工业产品，可 以认为基本上不受其它因素的影响。但是无论是拍摄角度等环境因素还是农作物 的状态，在实际盱l 间作业中受多种因素影响存在较大差异，因此同样的对象拍摄 到的图像也可能出现较大的区别。本课题的研究中不考虑光强和风向的影响，在 图像处理中不做预处理。本文在采集图像时主要考虑作物的分布状态和拍摄角 度。 2 3 2 图像采集的方法 ( 1 ) 采集的模型。图像采集时需要确定图像采集设备的摆放方式、离地面的 高度、采集时间、辅助没备、图像采集设备和样本作物及伴生杂草等。 安装摄像机时，总的思路是使视野里感兴趣的目标尽可能多的出现，而背景 区域尽可能的少。行走机器人以一定的速度行走，希望前方视野中出现的路面尽 可能的长，以便有足够的时间判断前方的路面情况，这就要求摄像机安装的高度 不能太低，俯角不能太大，但是，同时引发的问题是如果视野太远，路面尽头和 路面两边将会出现很多干扰物，使导航信息的提取变得困难。另一方面，机器人 的近视野也不能距离机器人太远，否则的话，将不能处理机器人身前临时出现的 问题，这样就要求摄像机安装的高度不能太高，俯角也不能太小。这是一对相互 矛盾的问题，但是可以通过反复试验寻求一个令两方面都比较满意的解决方案。 在三次不同的时间，地点反复试验最终确定，摄像机安装时距离地面高度h 范围 为9 0 c m 1 l o o m ，向下俯角口约为l o 。这时采集到的图像即可以满足长度上的 要求，视野中的干扰物也较少。图2 1 为摄像机安装示意图。 第2 章图像的获取 图2 1摄像机安装示意图 ( 2 ) 图像采集设备为o l y m p u s - u 8 2 0 ，s 8 2 0 数码相机。辅助设备有红色玻璃绳， 其余未作说明均不使用辅助设备。采集的图像为彩色图像，每副图像由4 8 0 行 6 4 0 列共4 8 0 6 4 0 个像素点组成。近红外图像的采集设备较数码相机比较，成 本较高，因此本课题只采用彩色图像作为研究对象。 ( 3 ) 在作物垄沟中布设红色玻璃绳，在后续图像处理中提取红线作为农业机 器人行走的边界线，农业机器人按照提取的导航线行走，便于定义曲线行走误差。 ( 4 ) 实验中为拍摄到固定距离的图像，在拍摄时，只改变相机与水平地面的 角度，其他不变。 ( 5 ) 实验中选用蔬菜种植中最为常见的小白菜作为研究的对象。采集图像共 三次，分别在早、中、晚三个不同的时问，并拍摄了幼期和中期的白菜生长情况。 按图像处理理论，在得到原始图像后需要进行预处理。现有的图像导航研究 一般都沿袭了这一习惯。图像的预处理一般多指对图像进行中值滤波，以减低噪 声的影响。在图像导航中，有些学者除了滤波外还进行增强对比、图像尖锐化等 工作。也有一些文献中不采用任何预处理，直接将所得到的图像进行分割操作。 另一方面应该注意这些操作的提出都是对于特定的环境，比如辨认文本的字体 中。而在图像导航中，环境更为复杂。因此本课题在分割处理前不做任何预处理， 直接将采集到的图像进行分割。 2 4 颜色空间 本课题所采集的图像均为彩色图像，这是一个由对可见光内红、绿、蓝三个 波段敏感的电子元件获取的三个灰度矩阵组成的数据矩阵。为了将矩阵的值与颜 第2 章图像的获取 色对应，图像处理中引入了颜色空间的概念。 颜色空间的作用是在某些标准下用通常可接受的方式简化色彩规范。每一种 颜色与位于空间中的单个点相对应。图像处理中常用的颜色空间有r g b 颜色空 间和h s i 颜色空间，如图2 2 所示。除此之外还有c m y c m y k 颜色空间、孟塞 尔颜色空间、奥斯瓦尔颜色空间等。这些颜色空间都有不同的应用领域，比如 c m y c m y k 颜色空间主要用于彩色打印机。通过图像导航是将计算机技术应用 于农业生产中，对于计算机进行数值计算来说，r g b 颜色空间和h s i 颜色空间 最为合适，因此本课题只讨淦r g b 颜色空问和h s i 颜色空间。 蓝( 0 ，0 ，1 )青( o ，1 ，1 ) 红( 1 ，0 ，o )黄( 1 ，1 ，0 ) ( a ) r g b 颜色空间 蓝绿 图2 - 2 颜色空间 自 黑 ( b ) h s i 颜色空间 红 在r g b 颜色空间中，每种颜色出现在红、绿、蓝的原色光谱分量中，这个 空问基于笛卡儿坐标系统，如图2 - 2 ( a ) 所示。图中，r ( 红) 、g ( 绿) 、b ( 蓝) 位于三个角上；青、深红、黄位于另外三个角上，黑色在原点处，白色位于离原 点最远的角上。在该颜色空间中，不同的颜色处在立方体上或其内部，并可用从 原点分布的向量来定义。为方便起见，假定所有的颜色值都归一化，即所有的r ， g ，b 的值都在 o ，1 】范围内取值。面向硬件设备最常用的颜色空间就是r g b 颜色 空间，现阶段得到的图像一般都是r g b 图像。本课题所使用数码相机得到的彩 色图像为2 4 位的r g b 图像。即每一个r g b 彩色像素由r ，g ，b 三个值表示， 每个像素2 4 个字节，每个分量8 个字节，所以每个分量都分为2 5 6 ( 2 8 ) 个灰度 级，总共可以表示1 6 7 7 7 2 1 6 ( 2 2 4 ) 种颜色【1 9 1 。 h s i 颜色空间是用色调( h ) 、饱和度( s ) 和亮度( i ) 描述颜色，也是由三 个矩阵构成。色调描述纯色的属性；饱和度是一种纯色被白光稀释的程度的度量； 第2 章图像的获取 亮度是一个主观的描述子。h s i 空间可以表示为两个圆锥，如图2 - 2 ( b ) 所示。在 与圆锥底面平行的平面中，红、绿、蓝三原色按1 2 0 0 分隔，通常红色为0 。饱 和度表示颜色点所在与圆锥底面平行的平面内到原点的距离，即颜色点到圆锥中 心轴的距离。两条圆锥的中心轴为强度轴【19 1 。 2 5 本章小结 在介绍影响图像质量因素的基础上确定了图像获取的方法。分析了现有的颜 色空间，确定使用r g b 颜色空问。由于农用作业环境的复杂性，采集图像是一 项极为烦琐的工作。在做论文期间前后三次亲自去e f l 间采集图像，通过反复拍摄， 获取采集图像的最佳方法。 第3 章图像分割与特征点的提取 第3 章图像分割与特征点的提取 3 1 图像分割 图像分割足一种重要的图像分析技术，而彩色图像分割越来越引起人们的 关注。彩色图像分割是指在一副彩色图像中分离出主要的色彩一致的区域2 1 1 。 现阶段图像分割中使用的特征和算法与用于作物生长检测等其他农业图像处理 技术的特征和算法是类似或一致的。因此，一方面在研究中可以借鉴其它农业 图像处理领域的成就，另一方面研究的成果可以推广到其它农业领域的图像分 害0 中。 3 1 1 分割特征概述 在导航路径识别研究中图像特征可分为四类：颜色特征、形状特征、纹理 特征和光谱特征。针对图像分割中背景与植物颜色和光谱的显著差异，研究中 主要使用颜色特征和光谱特征。采集光谱图像通常使用滤波片或是专用摄像头， 由于专用摄像头成本昂贵，本课题研究中所讨论的分割特征一般是指颜色特征。 1 9 9 5 年w o e b b e c k e 等提出超绿特征用于杂草识别【2 2 】。超绿特征表示为 2 9 - r - b ，其中厂、g 、b 分别为： rg。b ，= p = 一， = 一 尺+ g + 曰 。 r + g + b尺+ g + b 文中分析了广6 、旷6 、( 旷功( 广曲、2 矿广6 和h 等颜色特征，认为超绿特征 ( 2 矿广厶) 和色度特征( h ) 的识别率较高，而超绿特征又因计算较为方便而更 为可取。这一研究结果被广泛的应用在杂草识别中。目前使用最为广泛的分割 特征为：超绿特征( 2 矿r 6 ) 、色度特征( h ) 和没有归一化的超绿特征( 2 g r - b ) 。 超绿特征对于分割绿色植物和土壤背景取得了较好的效果，在农业图像处 理中不仅仅局限于杂草识别，在其它领域也得到了广泛的应用。吕朝辉等2 0 0 1 年建立b p 神经网络识别秧苗时通过超绿特征将彩色图像进行转化【2 3 1 。孙明等 2 0 0 2 年为嫁接而识别萝卜幼苗时使用的也是超绿特型2 4 1 。袁佐云等2 0 0 5 年提 第3 章图像分割与特征点的提取 出基于垂直投影法的作物行定位方法中对作物图像也是使用超绿特征分割作物 和背景【8 j 。 3 1 2 分割算法概述 图像分割算法一般是基于亮度值的不连续性或相似性【2 5 1 。利用不连续性的 算法主要体现在边缘提取上。阈值分割、聚类分割等算法依靠的就是相似性， 这一类算法中以阈值分割应用最为广泛。 3 1 2 1 边缘提取【1 8 j 边缘是指图像局部强度变化最显著的部分，边缘主要存在于目标与目标、 目标与背景、区域与区域之间。在图像处理技术中，通过检测像素点灰度级的 不连续性可以得出目标区域的边缘，并以此完成图像的分割。 常用的边缘提取方法是模板法。模板也称为边缘检测算子，构造模板的数 学基础是一阶和二阶导数变化。模板是为了检测某些区域特征而设计的阵列， 通过模板计算可以突出图像上的某些特征，然后利用阈值分割就可以将图像中 的目标分割出来。常用于检测边缘的模板主要有：r o b e r t s 、p r e w i t t 和s o b e l 。 如表3 一l 所示： 表3 1常用边缘检测算子【2 6 j 算子名 h lh 2 特点 r o b e , s 划 边缘定位准 对噪声敏感 一1o1一ll一1 平均、微分 p r e w i t t 1oloo0 一1o1111 对噪声有抑制作用 l0112一l 加权平均 s o b e l 2o 2o0o 检测沿不同方向边缘时梯 1o1l21 度幅度一致 3 1 2 2 阈值分割算法 阈值分割是一种传统的图像分割算法，因其实现简单、计算量小、性能较 第3 章图像分割与特征点的提取 稳定而成为图像分割中最基本和应用最广泛的分割技术。阈值分割法的结果很 大程度上依赖于对阂值的选择，因此该方法的关键是如何选择合适的阈值。农 业机器导航时拍摄图像目标多变、环境复杂，对算法的稳定性要求较高，因此 阈值分割成为最主要的分割算法。 阈值分割算法是一种基于区域的图像分割技术，其基本原理是：通过设定 不同的特征阈值，把图像像素点分为若干类。常用的特征包括：直接来自原始 图像的灰度或彩色特征值；由原始灰度或彩色值变换得到的特征值。以f ( x ，y ) 表示像素点( x ，j ，) 的灰度级或特征值，闽值算法分割处理后的图像g ( x ，y ) 为【1 8 1 ： 删= 器凳籍 p - ， 其中标记为1 ( 或其它合适的灰度级) 的像素集合为目标区域，而标记为0 ( 或 没有标记任何灰度级) 的像素集合为背景，t 表示分割阈值。 阈值分割中的特征值最初是指图像中某点的灰度，现在扩展为该点的某种 局部特性以及该点在图像中位置的一种函数，甚至包括一些表示像素集合某种 特性的函数。对于彩色图像，一般将各个像素点的颜色转化为一定的灰度级后 作为灰度图像进行分割，其中的转化函数本质上也是像素点的特征函数。 分割阈值t ，为一特定灰度级，通常通过直方图选取。直方图，( z ，) 表示为 【1 8 】： f ) = ( 3 2 ) 其中嵋表示第f 个灰度级，胛，表示图像中灰度级为w i 的像素个数。 通过这样的直方图确定阈值的方法很多。在各种研究中常用的方法有：迭 代法、最大类间方差法、熵的方法和最小误差法【1 8 , 1 9 。 迭代法初始阈值选取为图像的平均灰度t o ，然后用t o 将图像的像素点分作 两部分，计算两部分各自的平均灰度，小于t o 的部分为t a ，大于t o 的部分为 t b 由此得到新阈值t i ： 第3 章图像分割与特征点的提取 互= 半( 3 - 3 ) 将t l 作为新的全局阈值代替t o ，重复以上过程，如此迭代，直至t k 收敛， 即t k + l = t k 。经试验比较，对于直方图双峰明显，谷底较深的图像，迭代方 法可以较快地获得满意结果。但是对于直方图双峰不明显，或图像目标和背景 比例差异悬殊，迭代法所选取的阈值不如最大类间方差法。 由o t s u 于1 9 7 8 年提出的最大类间方差法以其计算简单、稳定有效，一直 广为使用。从对分割结果的要求看，最佳阈值应当产生最佳的目标类与背景类 的分离性能，此性能我们用类别方差来表征，为此引入类内方差砰、类问方差 o b 2 着1 总体方差研2 ，并定义三个等效的准则测量： 五= 仃8 2 叮2 ，茁= 仃7 2 仃2 ，r = 盯；盯； 鉴于计算量的考量，人们一般通过优化第三个准则获取闽值。此方法的缺陷是： 当图像中目标与背景的大小之比很小时方法失效。在实际运用中，往往使用以 下简化计算公式： 仃2 仃) = 呒缸。一) 2 + 0 。一) 2 其中，c r 2 为两类间最大方差，睨为a 类概率，为a 类平均灰度，为b 类 概率，甜。为b 类平均灰度，t 为图像总体平均灰度。即阈值t 将图像分成a ，b 两部分，使得两类总方差，( t ) 取最大值的t ，即为最佳分割闽值。 许多学者将s h a n n o n 信息熵的概念应用于图像分割阈值的选取，其基本思 想都是利用图像的灰度分布密度函数定义图像的信息熵，根据假设的不同或视 角的不同提出不同的熵准则，最后通过优化该准则得到闽值。 最小误差法来源于b a y e s i a n 最小误差分类方法。e 6 ( r ) 是目标类错分到背 景类的概率，e ，( 丁) 是背景类错分到目标类的概率。总的误差概率 e ( t ) = e b ( r ) + e 。( 丁) 。使e ( t ) 取最小值的狄度级t ，即为阈值。 尽管人们在阈值分割方面做了许多研究工作，但由于尚无通用的阈值分割 理论，现己提出的算法大都是针对具体问题的，并没有一种适合于所有图像的 第3 章图像分割与特征点的提取 通用的算法。 另一方面，给定一个实际图像分割问题要选择合用的分割算法也还没有标 准的方法。因此在图像分割中需要研究对图像分割的评价问题。分割评价是改 进和提高现有算法性能、改善分割质量和指导新算法研究的重要手段。然而， 阈值分割结果的评价是一个比较困难的问题。事实上对图像分割本身还缺乏比 较系统的精确的研究，因此对其评价则更差一些。 3 1 3 超绿分割特征 对彩色图像进行处理分析时，选择适宜的彩色特征模型有利于问题的解决。 彩色模型的用途是在某些标准下用通常可接受的方式简化彩色舰范，常常涉及到 用几种不同的色彩空问表示图形和图像的颜色，以对应不同的场合和应用。而r g b 着i i h s i 就是众多彩色模型中的两种【1 引。 r g b 是一种常见的彩色特征模型，颜色空间以r ( 红) 、g ( 绿) 、b ( 蓝) 三种 基本色为基础，进行不同程度的叠加，产生丰富而广泛的颜色，俗称三基色模式。 它通过改变三基色的数量混合出其它各种颜色，可以用颜色方程表示混合后的颜 色： c = r ( r ) + g ( g ) + b ( b )( 3 4 ) 式中，c 表示混合后的颜色：即表示视觉上的相等；( r ) 、( g ) 、( b ) 表示红、绿、 蓝三基色；r 、g 、b 分别表示三基色的数量，即分别表示图像红、绿、蓝的亮度 值，大小限定在0 和1 2 _ 间，或则0 和2 5 5 之间，该颜色系统可以用直角坐标颜色系 统中的一个单位立方体表示，如图3 - 1 所示。 蓝( 0 ，0 。1 )青( o 1 1 ) 深红( 1 ， 红( 1 ，0 ，0 )黄( 1 ，1 ，o ) 图3 - 1r g b 颜色空间 r g b 空间的优点是比较简单、直观，现在获取的彩色图像基本都是在r g b 空间上的， 1 7 - 第3 章图像分割与特征点的提取 一般的图像处理也是基于r g b 空间上的，不过r 、g 、b 有着三个颜色参数值与光照 强度成递增关系，若光照不稳定，会使目标信息不稳定。而对于农田环境来说， 光照的影响是不可忽视的。因为它直接影响着导航线的提取。 h s i 颜色模型与人眼感觉颜色的原理相似，因为人眼是根据物体的色度 ( h u e ) 、饱和度( s a t u r a t i o n ) 、亮度( i n t e n s i t y ) 以及其他复杂信号来进行物 体颜色的区分的，该模型与人眼感觉的原理极其相似，符合人的视觉规律，它对 我们来讲是一种很直观的方法。在h s i 系统中，色调是彩色