（控制理论与控制工程专业论文）温室自动灌溉水车机器视觉识别系统研究.pdf

上海大学硕士学位论文 摘要 机器视觉技术利用代替人眼的图像传感器来获取物体的图像，并将图像转换 成一个数据矩阵，同时利用代替人脑的计算机来分析图像，以完成与视觉有关的 任务。该技术是2 0 世纪7 0 年代初期在遥感图片和生物医学图片分析两项应用技 术取得卓有成效的成果后开始兴起的。之后，各个国家都利用该技术开展了多方 面的研究，并在多种产业领域中进行了应用。 本论文将机器视觉技术应用到温室内的自动灌溉水车系统上，通过对温室内 灌溉对象的颜色特征进行采集、提取和判别来控制灌溉量。作者设计并开发了整 个控制系统，系统运行表明，该系统具有良好的稳定性和实时性，应用前景良好。 本文展开的工作主要包括以下几个方面： 1 研究了c c d 摄像机带有径向一阶畸变的小孔模型，并推导了利用径向排 列约束计算摄像机内部和外部参数的过程，为准确计算c c d 摄像头的取景范围 和喷灌头之间的水平距离来获得喷头的滞后时间做好准备。 2 对图像预处理的一些算法进行了研究比较。在去除图像噪声过程中，采用 了实时性较好的中值滤波算法并通过小波分析对图像进行去噪分析：在通过实验 比较了彩色图像边缘锐化处理的几种算法后，本文采用了p r e w i t t 算子，取得了 较好的边缘增强效果。 3 分析了在不同颜色模型中进行图像分割的各种算法的优缺点，本文采用了 能把亮度信息从颜色中分离出来的v 颜色空间以及基于v 颜色空间的色 差阈值分割方法，达到了良好的分割结果。 4 设计并开发基于机器视觉自动灌溉水车系统的硬件和软件系统，系统运行 结果表明，软件算法正确，系统运行可靠、稳定。 关键词：机器视觉图像识别灌溉水车图像分割颜色空间 上海大学硕士学位论文 a b s t r a c t t h em a c h m ev i s i o nt e c h n o l o g yo b t a i n st h eo b j e c ti m a g e sb yt h ei m a g es e n s o r , w h i c hi si n s t e a do f t h em a l l se y e s i tt r a n s f o r m st h ei m a g e si n t ot h ed a t am a t r i x e sa n d a n a l y z e st h ei m a g e sb yc o m p u t e r , w h i c hc a l li n s t e a dt h em a n sb r a i n a tt h es a r f l et i m e i ta c c o m p l i s h e st h et a s k sr e l a t i n gw i t ht h ev i s i o n i n1 9 7 0 s ，t h et e c h n o l o g ya r i s e s f r o mt w of r u i t f u la p p l y i n gt e c h n o l o g i e s ，r e m o t es e n s i n ga n db i o m e d i c i n ep i c t u r e a n a l y z i n g t h e r e a f t e r , m o s to f t h ec o u n t r i e sh a v ed e v e l o p e dt h ee x t e n s i v er e s e a r c h i n g u s i n gi ta n da p p l i e di nv a r i o u sf i e l d s t h em a c h i n ev i s i o nu s e di nt h eg r e e n h o u s ei ss t u d i e di nt h i sp a p e r t h ei r r i g a t i o n r e q u i r e m e n ti sd e p e n d e do nt h er e s u l to f d i s t i n g u i s h i n gf r o mt h ec o l o rc h a r a c t e ro f t h e c r o pp l a n t e di nt h eg r e e n h o u s e t h ea u t h o rd e s i g n e dt h ew h o l ec o n t r o ls y s t e m t h e r u n n i n gr e s u l t ss h o w st h a tt h es y s t e mi ss t a b l ea n dr e l i a b l e ，a n di th a sag o o da p p l i c a t i o n f o r e g r o u n d i nt h ep r o c e s so fd e v e l o p i n gt h i ss y s t e m ，t h eo b j e c t i v eo ft h i sw o r k i n c l u d e s ： 1 c h o o s et h eh o l ec a m e r aw i t ho n er a n kl e n sr a d i a la b e r r a t i o na st h ec c d c f l l $ 1 e l ac a l i b r a t i o nm o d e l ，a n dc h o o s er a d i a la l i g n m e n tc o m t r m n tm e t h o dt ow o r k o u te x t r i n s i ca n di n t r i n s i cp a r a m e t e ro fc c dc a m e r a t h ea b o v ew o r ki sp r e p a r e dt o a t t a i nt h ed i s t a n c eb e t w e e nt h ec c dg a n l e t a sv i e wa n dt h ei r r i g a t i o np l a c e 2 s t u d ys o m ea l g o r i t h m so ft h ei m a g ep r e - p r o c e s s i n g w h e nc l e a r i n gu pt h e n o i s e si nt h ei m a g e ，m e d i a n - f i l t e ra n dw a v e l e ta n a l y s i si ss e l e c t e di nt h i sp a p e r a n d p r o v e st h et w oa l g o r i t h m sa b o v eh a v eg o o de f f e c t s t h el i g h tc o m p e n s a t i n gm e t h o d a n dt h eh i s t o g r a me q u a l i z a t i o na l g o r i t h m sa r ei n t r o d u c e s m o r e o v e r , t h ep r e w i t t a l g o r i t h mi ss e l e c t e db a s e d0 1 1t h ec o l o ri m a g ep r o c e s s i n gr e s u l t so ft h es e v e r a l i a r n g e - s h a r p i n ga l g o r i t h m s 3 c o m p a r e dw i t ha l lk i n d so fc o l o r - s p a c e s , t h eh i sc o l o r - s p a c ea n dt h ey u v c o l o r - s p a c e ，w h i c hc a ns e p a r a t et h ei n t e n s i t yf r o mc o l o r , a r es e l e c t e db a s e do nt h e f e a t u r eo f m a c h i n ev i s i o n a sar e s u l t t h ed o u b l e t h r e s h o l da l g o r i t h mb a s eo ny u v c o l o r - s p a c ei sp u tf o r w a r d a n di ti sp r o v e db ye x p e r i m e n tt h ea l g o r i t h mi sb e t t e ri n i t 上海大学硕士学位论文 r e a l t i m ea n de f f e c tt h a no t h e r s 4 at e s ts y s t e mo fg r 咖h o u s ea u t o i r r i g a t i o nw h e e lb a s e do nm a c h i n ev i s i o n w a sd e s i g n e da n dd e v e l o p e d t h i sp a p e rp r o v e st h ec o r r e c t n e s so ft h es o f t w a r e a l g o r i t h m sa n dt h er e l i a b i l i t yo f t h es y s t e mb ye x p e r i m e n t s k e y w o r d s ：m a c h i n ev i s i o n , i m a g ep r o e e s s i n g l r r i g a t i o n - w h e e l ，i m a g es e g m e n t , c o l o r - s p a c e i l l 上海大学硕士学位论文 插图清单 图1 1 ：系统组成示意图。2 图1 2 ：系统控制结构框图2 图2 1 ：小孔摄像机模型1 2 图2 2 ：图像物理坐标系与图像像素坐标系之间的关系1 2 图2 3 ：像素点的倾斜角1 2 图2 4 ：考虑透镜径向畸变的小孔摄像机模型1 5 图3 1 ：直方图均衡化示意图一2 2 图3 2 ：原始图像及其直方图2 3 图3 3 ：直方图均衡化后的图像及其直方图。2 4 图3 4 ：中值滤波常用窗口2 6 图3 5 ：不同滤波器平滑效果2 7 图3 6 ：卷积过程2 9 图3 7 ：差分算法各像素的位置关系3 0 图3 8 ：p r e w i t t 算子模板3 0 图3 9 ：l a p l a c i a n 算子模板3 0 图3 1 0 ：s o b e l 算子模板3 1 图3 1 1 ：图像锐化处理结果3 3 图3 1 2 ：小波去噪分析结果3 7 图4 1 ：人眼感光细胞的敏感曲线一4 0 图4 2 ：颜色单位立方体。4 1 图4 3 ：h s i 颜色空间的色环4 1 图4 a ：h s i 颜色空间的色柱4 1 图4 5 ：图像f ( x ，y ) 的直方图4 5 图4 6 ：目标点和背景点的灰度分布4 7 图4 7 ：三维色彩空间的二维闽值向量5 0 图4 8 ：在y i 空间中的色彩真值5 0 图4 9 ：h s i 颜色空间下分割结果5 1 图4 1 0 ：肤色点在c b - c r 空间的聚类特性5 2 图4 1 1 ：颜色空间下分割处理5 3 图5 1 ：系统硬件组成框图。5 5 图5 2 ：系统软件模块层次框图5 9 图5 3 ：远程监控控制界面6 0 图5 a ：p l c 驱动命令流向框图6 l 图5 5 ：视觉系统识别流程图6 2 图5 6 ：图像识别软件调试界面。6 2 图5 7 ：分割算法处理结果。6 2 v i 上海大学硕士学位论文 表格清单 表3 1 ：平滑滤波算法分析。2 7 表3 2 ：小波去噪实验数据。3 6 v u 上海大学硕士学位论文 原创性声明 本人声明：所呈交的论文是本人在导师指导下进行的研究工作。 除了文中特别加以标注和致谢的地方外，论文中不包含其他人已发 表或撰写过的研究成果。参与同一工作的其他同志对本研究所做的 任何贡献均已在论文中作了明确的说明并表示了谢意。 签名：墼期：幽巫印 本论文使用授权说明 本人完全了解上海大学有关保留、使用学位论文的规定，即： 学校有权保留论文及送交论文复印件，允许论文被查阅和借阅；学 校可以公布论文的全部或部分内容。 ( 保密的论文在解密后应遵守此规定) 签名 导师签名：蛸日期：塑狂翌口 上海大学硕士学位论文 1 1 课题研究背景 第一章绪论 进入2 1 世纪，我国的农业经济发展正面临新的机遇和挑战。一方面，由于 中国加入w t o ，农业经济发展面临世界各地的冲击和挑战；另一方面，加入 w t o 给我国带来了加快农业现代化、智能化发展的绝好机遇。目前，我国农业 的发展与发达国家还有很大程度上的差距，因此，加快农业经济的发展，大力发 展农业信息技术及其产业化，对推进我国农业现代化进程有着重要的意义。 随着计算机技术的飞速发展，智能化和视觉化已经成为机器系统发展的必然 趋势之一。据报道，人类感知的外界信息有7 0 来自视觉，在人工智能方面，视 觉信息的作用是其它信息不可替代的。在信息技术飞速发展的今天，视觉技术已 成为当前信息研究的重点之一。目前计算机视觉技术已经应用于医学辅助诊断、 气象与资源调查、灾害监测中的航拍和卫星图像解释、工业机器人的手眼系统、 工业产品的检测与筛选、军事上的制导等诸多领域。计算机视觉在农业上的应用 研究“1 ，始于7 0 年代末期，主要进行的是植物种类的鉴别、农产品品质检测与 分级等。随着计算机软硬件技术、图像处理技术的迅速发展，它在农业中的应用 研究有了较大的进展。当前该领域研究是国际农业工程中的热门话题，各个国家 都开始在农业现代化方面应用机器视觉系统，促进农业往自动化和智能化方向快 速发展。 本研究来源于上海市科委重大科技攻关项目“温室精准调控技术集成与示 范”( 项目编号：0 3 d 2 1 9 3 0 3 ) ，在国内首次尝试把机器视觉引入温室的自动灌溉 水车系统，研究了温室内灌溉对象的实时采集和识别技术，对信号采集、图像处 理、数据传输交换等主要问题作了较深入的研究。 1 2 温室行走式灌溉水车系统 温室产业的快速发展，对温室灌溉设备提出了更高的要求。通常固定式喷灌 或微喷灌系统的喷洒水滴落在地表面时分布并不足够均匀，还需要通过这些滴落 上海大学硕士学位论文 水在土壤中的进一步扩散，才能达到喷洒水均匀分布灌溉各处作物的效果。但盆 栽和袋栽作物、穴盘育苗等在温室生产中，由于盆、袋、穴盘等栽培容器的限制， 依靠普通的固定式喷灌或微喷灌系统很难获得理想的灌溉效果。行走式灌溉水车 是将喷灌头安装在可移动喷灌机的喷灌管道上，并随水车的行走对作物进行喷灌 的一种灌溉设备。在温室中采用行走式灌溉水车，不仅可以减少输水管道和喷灌 头的数量以及提高喷洒效果，还可以通过控制水车的行走速度以及对喷灌头的控 制来控制喷灌量。 1 喷灌控制箱；2 变频调速装置；3c c d 摄像机；4 无线以太网装置；5 电磁阀 6 喷灌头；7 远程监控p c 机；8 光电脉冲编码器；9 行走轨道 图1 1 ：系统组成示意图 图1 2 ：系统控制结构框图 本文研究的基于机器视觉的温室自动灌溉水车系统结构组成示意图如图1 1 所示，其中喷灌控制箱主要是由嵌入式单板机、图像采集卡和p l c 组成的；系 统控制结构如图1 2 所示。系统通电运行后，水车系统等待系统硬件的启动及软 件的初始化后以设定速度向前行走。在水车向前行走的过程中，c c d 摄像机开 2 上海大学硕士学位论文 始实时拍摄被灌溉的植物进行实时图像采集，采集的图像经数字化设备处理后一 方面送入嵌入式单板机，通过作者开发的图像识别算法软件对采集到的作物图像 进行实时识别处理；另一方面，通过无线以太网装置将图像传送到远程监控机并 实时显示出来。同时，图像识别软件对采集到的图像进行识别后得出相应的控制 指令，通过通信接口传给可编程序控制器，可编程序控制器接收到指令后通过它 的输出端口控制水车的行走速度和启停以及喷灌头的状态，这样就可以控制系统 的喷灌量，其中如何确定喷灌量大小的依据在第五章中介绍。 本文把机器视觉技术引入到上述的行走式灌溉水车系统上，实现依据图像识 别的结果来进行自动灌溉和自动调节水车的行走速度，从而来控制灌溉量。 在研究开发基于机器视觉的灌溉水车系统时，遇到了一系列的问题需要解 决，主要有以下几点： ( 1 ) 为了对控制对象进行定量分析和完成精确定位，就需要了解摄像机成 像的模型以及模型中各参数的精确值，因此就要进行摄像机标定设计计算与实 验，并对摄像机的畸变因素进行校正，以此来获得摄像机的内部参数和外部参数； ( 2 ) 由于本系统是在水车运动的过程中采集图像，所以图像难免会出现拖 尾导致轻微模糊；另外图像在输入、传送、处理过程中难免会有干扰，形成噪声， 降低图像质量，会对后续的图像特征提取和识别产生不良的效果，从而影响系统 对图像的理解，因此，就要通过一系列的图像预处理来改善图像质量； ( 3 ) 本系统工作环境是在温室中，采用的是自然光照条件，故系统采集的 图像受光照影响较大，因此，在进行图像分割和识别的时候，就要寻找受光照条 件影响不大的颜色空间来进行分割处理； ( 4 ) 系统的实时性、稳定准确性和可靠性，是检验系统的重要指标，需要 不断试验不断改进算法来提高。 1 3 机器视觉在农业中的应用发展 1 3 1 机器视觉的研究现状、进展及存在的问题 机器视觉是一个相当新且发展十分迅速的研究领域，并成为计算机科学的重 要研究领域之一。机器视觉是在2 0 世纪5 0 年代从统计识别模式开始的，当时的 上海大学硕士学位论文 工作主要集中在二维图像分析和识别上，如光学字符识别、工件表面、显微图片 和航空图片的分析和解释上。6 0 年代，r o b e r t s 通过计算机程序从数字图像中提 取出诸如立方体、楔形体棱柱体等多面体的三维结构，并对物体形状及物体的空 间关系进行描述嘲。到了7 0 年代，已经出现了一些视觉应用系统。7 0 年代中期， 麻省理工学院( m i t ) 人工智能( a i ) 实验室正式开设“机器视觉”( m a c h i n ev i s i o n ) 课程。同时，m i ta i 实验室吸引了国际上许多知名学者参与机器视觉的理论、算 法、系统设计的研究。可以说，机器视觉的全球性研究热潮是从2 0 世纪8 0 年代 开始的。到了8 0 年代中期，机器视觉获得了蓬勃发展，新概念、新方法、新理 论不断涌现，比如，基于感知特征的物体识别理论框架、主动视觉理论框架、视 觉集成理论框架等例。 经过近4 0 年的研究，机器视觉在深度和广度两方面都取得了很大的进展， 积累了丰富的学术研究成果，各种相关文献大量出现，已成为- - n 内容十分丰富 的独立学科。在应用研究方面也取得了不小的进展，如图纸的自动录入、光学字 符阅读器、机器视觉系统在精准农业中的应用等都十分引人注目。另外，今年随 着计算机技术的高速发展，应用视觉研究正在蓬勃兴起，前景十分光明。 回顾机器视觉的研究历史，可以看到两条相当清晰的主线：理论方法研究和 应用研究“3 。前者从纯学术的角度出发，研究模拟人类视觉的各种理论与算法( 如 特征提取、双目立体视觉、运动与光流、由线条图到实体、由阴影到形体、由纹 理到形体等等) ；后者从实际问题出发，研究识别、检测等问题( 如加工件的识 别、印刷用电路板的检验、字符识别、颜色特征识别等) 。总的来说，学术研究 与应用研究相差很远，原因可能是纯学术研究做了过多偏离实际情况的假设，低 估了实际问题的复杂性，造成其结果难以实用化。当然，机器视觉本身是十分复 杂的，研究只能逐步深入。 目前，方法论的研究仍占主要地位。面对机器视觉研究中所遇到的困难，基 于模型的方法、主动式视觉、多传感器融合和集成等，仍被认为是解决问题的较 好途径。此外，新的获取信息方法，如感知手段的改进、新的照明技术的使用等； 也有不少研究，其目的均是为了缓解对后续的图像处理及分析的压力。尽管如此， 发展有效的视觉处理理论及其r o b u s t 方法和算法仍被认为是解决问题的最好途 径，尽管实现起来要困难的多。因此，大多数工作仍集中在图像处理、分析和视 4 上海大学硕士学位论文 觉理论方面，这些研究不仅针对那些视觉中的经典问题，如立体视觉中的匹配、 运动分析、表面恢复与描述、特征处理及其图像处理方法等，还针对主动视觉系 统、数据融合及集成等。目前，有效算法是研究的热点之一，如h e i k k i l a 给出 了一种摄像机的标定方法，只需采用一根给定长度的棒，通过其在空间中的几次 随意摆放的像，即可以较高精度的完成标定任务。除此之外，针对机器视觉的硬 件结构亦有研究，但基本上还是面向低层次任务进行的，一般是完成图像处理任 务。面向应用系统的研究也有较多的文章，如视觉导航、装配视觉导引、农业机 器人等，但真正进入实用的比较少，应用范围也受限制。1 。 机器视觉研究虽然取得了很大的发展，但是无论在理论上还是在实践上都还 存在许多问题。机器视觉更多的是一个充满形形色色的有趣思想而非成熟理论的 领域。迄今为止，机器视觉中得到普遍认同的理论与实践的内容还不多，更多的 是经验性的。应该说机器视觉研究缺少坚实的理论指导，现阶段的研究更多的是 实验性的、为应用所驱动的，当然理论也需要大量的实践作为后盾。 1 3 2 机器视觉技术在农业中的研究应用 计算机视觉技术已应用于医学辅助诊断、气象与资源调查、灾害监测中的航 拍和卫星图像解释、工业机器人的手眼系统、工业产品的检测与筛选、军事上的 制导等诸多领域。计算机视觉在农业上的应用研究，始于7 0 年代末期，主要进 行的是植物种类的鉴别、农产品品质检测与分级等。随着计算机软硬件技术、图 像处理技术的迅速发展，它在农业中的应用研究有了较大的进展。发达国家在农 业生产及农业现代化方面都已开始应用计算机视觉系统，如作物的生长状态信息 监测、农业种子资源管理、农业病虫害的自动识别、植物病理研究、遗传细胞工 程研究等。机器视觉技术包括图像获取、图像处理与模式识别等，用机器视觉可 以模拟人眼对农作物进行可见光谱的近距离摄影，然后运用人工智能、数字图像 等技术对图像信息进行分析，获取研究对象所需信息。 机器视觉在农业方面运用比较广泛的一个方面就是农产品品质的自动识别 研究”。王丰元和周一鸣“1 设计了检测种子几何特征参数的基本算法，对玉米种 子的实测验证了其实用性。应义斌、景寒松等”1 应用机器视觉技术识别黄花梨的 果形，提出了在黄花梨的分级过程中采用傅立叶变换与傅立叶反变换对来描述果 5 上海大学硕士学位论文 形，开发了基于人工神经网络的果形识别软件。杨棱9 1 以计算机视觉检测小麦生 长状况。纪寿文、王荣本等人“”用机器视觉技术分析了玉米田间杂草的特征量， 识别出田问杂草并确定了杂草的位置和生长情况。 在温室自动灌溉水车系统中，以往的控制系统通过计算行程距离来对作物进 行灌溉具有一定的局限性，因为针对于不同的温室、或者同一温室内作物栽种情 况不一样的情况，必须重新计算作物的间距等一系列相关的参数来进行调整才能 对作物进行正确的喷灌。而图像识别技术只要通过采集图像进行正确地分析识 别，就能得到正确的判断从而去控制系统，具有一定的可移植性和通用性，从而 可以在一定程度上较好的解决这一问题。以往图像识别技术的应用主要集中在农 业机器人、农产品品质检测等领域，在温室轨道式灌溉水车上的应用在国内还尚 无报道，但相关研究结果对机器视觉技术应用于灌溉水车系统上有很好的借鉴作 用。 1 3 3 机器视觉在温室自动灌溉水车中的应用 目前，机器视觉在农业方面的研究已经广泛开展，比如在农产品品质自动识 别研究、农业机器人、作物病虫害研究等方面都有一系列的应用。但是，真正把 机器视觉技术引入到温室内的自动灌溉水车上，实现温室灌溉水车依据图像识别 的结果来进行自动灌溉和自动调节水车的行走速度，本课题组在国内尝试做了一 系列的试验研究工作。本文针对机器视觉在自动灌溉水车遇到的一些问题，诸如 如何进行有效的图像预处理、如何利用小波分析进行图像去噪分析、如何在彩色 空间进行图像分割等一系列问题进行深入的研究，并研制开发了样机，在研究如 何把机器视觉技术引入到温室自动灌溉水车上取得了很大程度上的进展。 1 4 课题研究内容以及关键技术问题 1 4 1 研究内容 本文把机器视觉技术用于温室内的轨道式行走水车系统，研究了温室内灌溉 对象的实时采集和识别技术，开发了基于机器视觉技术的自动灌溉水车系统，对 信号采集、图像处理、数据传输交换等主要问题作了较深入的研究。本文主要对 6 上海大学硕士学位论文 采集到的彩色图像进行一系列预处理后进行特征值提取识别，然后根据图像识别 处理的结果通过控制器去控制外围的电气设备，从而完成喷灌动作及水车运动状 态的控制。本文主要是结合课题任务，完成识别系统中软件模块的设计和编制以 及实时通讯程序模块的实现，试验实现对被灌溉对象的正确识别和实时准确输出 控制信号。围绕这些目的，着重在以下几个方面做了研究工作： i ) 摄像机的标定。这一部分是视觉系统最初的一步，也是关键的一步。本 系统中摄像机是斜4 5 0 向下拍摄的，因而被控制的喷灌阀距c c d 摄像机的取景范 围有一定的距离。当系统采集图像并分析处理得到结果时，水车还没行走到当时 所拍摄图像的位置，所以必须准确的算出这段距离才能正确设置水车在这段距离 内行走的时间。摄像机标定的准确性决定了识别目标物体的准确性，通过对摄像 机模型的分析，采用带有径向一阶畸变的小孔摄像机模型作为摄像机模型进行标 定，并利用径向排列约束推导了摄像机的内部参数和外部参数的计算方法，建立 了温室坐标系与图像平面坐标系之间的变换关系。 2 ) 图像处理和识别程序的编制。这部分程序是自动灌溉水车视觉系统的核 心，决定了水车能否正确识别被灌溉对象。利用c c d 摄像头采集灌溉对象，并对 采集到的图像进行平滑滤波、小波去噪、图像增强等一系列的预处理，然后通过 彩色分割及识别方法，提取图像中的颜色特征信息，识别被灌溉对象的位置及生 长情况并输出控制命令。 3 ) 研究在不同彩色空间：r g b 颜色空间、h s i 颜色空间、y u v 颜色空间中彩 色图像的分割方法，通过比较分析确定了最适合于本系统分割识别的颜色空间， 并给出了在所采用的颜色空间中进行图像分割的结果，并根据其理论方法和算法 在实际系统应用中取得了较好的效果。 4 ) 设计开发了基于机器视觉的温室自动灌溉水车控制系统。系统硬件主要 由c c d 摄像机、图像采集卡、嵌入式单板机、可编程序控制器以及变频器等外 围电气设备组成；系统软件采用面向对象的程序设计方法，主程序下各模块程序 相对独立，结构完整，主体识别算法主要由图像处理算法模块、图像卡控制模块 和特征提取识别模块三个子模块组成，子模块采用动态链接库的设计方式，增强 了程序的通用性和可移植性。另外，通过实验来验证算法的正确性及软件的可靠 性、稳定性。 7 上海大学硕士学位论文 1 4 2 关键问题 1 ) 光照影响 光源强度的强弱对采集到的图像质量有重大的影响，直接影响到后期图像处 理识别的正确率。作物生长环境内光照变化大，成像条件不理想，特别是在光照 强度大时，感光元件会饱和，难以获得质量好的易于处理的图像；另外，农业作 物不像工业零件那样具有规律性、可描述性，也没有两个在形状、尺寸和颜色上 相同的叶片或花朵，这就使农业图像目标的识别比较复杂。解决的办法是采用受 光强度变化影响较小的颜色空间模型进行图像处理，这样可以大大减少光照因素 的影响，提高识别的准确率。 2 ) 目标图像识别和系统控制的实时性、稳定性 当水车视觉系统运行速度偏快时，就会出现以下两个问题：( 1 ) 由于速度偏 大，采集到的图像开始出现模糊和拖尾，导致图像噪声增加，图像算法的分割正 确性下降；( 2 ) 系统运行速度过大时，会使得目标在控制区内的时间缩短，系统 算法程序有可能会判断错误，而导致错误的控制动作。解决的办法是通过提高视 频流的帧速率，同时缩短关键帧的采样间隔，这样系统的可靠性相对会改善一些。 但是关键帧的采样间隔不能无限制缩短，关键帧的采样间隔必须比算法处理一帧 图像所需的时间长，否则系统不能正常工作。 1 5 本论文的内容安排 本论文共分为六章： 第一章介绍了课题背景以及机器视觉技术在农业中的应用研究，并提出了把 机器视觉技术引入到温室自动灌溉水车中需要解决的一些问题，最后提出了本论 文要研究的主要问题和关键技术问题。 第二章主要对摄像机标定的一些问题进行了研究，分析了带有透镜径向一阶 畸变的小孔摄像机模型，并利用径向排列约束方法对摄像机进行了标定，推导了 用此方法得到摄像机外部和内部参数的过程。 第三章主要描述了本系统的图像采集和预处理环节，在理论分析和实验的基 础上对预处理的一些方法的优缺点进行了比较，从而得到适合本系统的实时性好 上海大学硕士学位论文 的预处理方法，为后续的图像分割识别提供良好的前提。 第四章首先讨论了彩色图像的原理以及常用的彩色颜色空间，然后确定了适 合本系统的颜色空间模型，最后通过比较分析选用了最适合本系统的基于 颜色空间的色差阈值分割方法。 第五章从总体上对本系统的硬件和软件构成进行了分析，并给出了系统的运 行结果和需要改进的地方。 第六章对本课题的研究做出总结，并对课题的进一步研究提出展望。 9 上海大学硕士学位论文 第二章摄像机标定 在第一章绪论中水车系统结构组成的示意图( 图1 1 ) 可以看到，本系统中 c c d 摄像机是斜4 5 0 向下拍摄的，而且喷灌头在水车的前进方向上是滞后于c c d 的取景范围的。这就会产生一个问题，在某一时刻，当系统接收c c d 摄像头采集 到的图像并得到处理结果时，喷灌头还没行走到刚才水车取景的位置，因此在系 统中就要准确计算c c d 摄像头到取景作物间的距离，以便可以根据c c d 摄像机和 喷灌头之间的夹角计算出二者之间的水平距离，这样系统软件就可以根据当前的 水车速度来计算喷灌头滞后c c d 摄像头的时间。另外，水车在向后行驶过程中对 作物的喷灌是依据向前行驶时对喷灌状态的记忆反向进行的，这就要求系统能准 确测量水车前进时各个状态间的行程距离。基于上述考虑，本系统就要进行摄像 机标定，修正c c d 摄像头的畸变因素，而摄像机标定的最终目的就是获取摄像机 的内外部参数。 对景物进行定量分析或对物体完成精确定位不仅需要了解摄像机成像的模 型，而且需要知道模型中各种参数的精确值，包摄像机内部几何和光学特性( 内 部参数) 和相对一个世界坐标系的摄像机坐标系的三维位置和方向( 外部参数) ， 确定这些参数的过程就叫摄像机标定“。 摄像机标定的概念首先来源于摄影测量学( p h o t o g r a m m e t r y ) 1 a - 1 7 o 摄影测 量学中所使用的方法是数学解析分析的方法，在标定过程中通常要利用数学方法 对从数字图像中获得的数据进行处理。通过数学处理手段，摄像机标定提供了专 业测量摄像机与非测量摄像机的联系。所谓的非测量摄像机是指这样一类摄像 机，其内部参数完成未知、部分未知或者原则上不稳定。摄像机的内部参数指的 是摄像机成像的基本参数，如主点( 理论上是图像帧存的中心点，但在实际上， 由于摄像机制作的原因，图像实际中心与帧存中心并不重合) 、实际焦距( 与标 称焦距值有一定差距) 、径向镜头畸变、切向镜头畸变以及其它系统误差参数； 而摄像机的外部参数指的是摄像机相对于外部世界坐标系的方位。摄像机标定的 目的就是获取这些内外参数。 1 0 上海大学硕士学位论文 2 1 摄像机模型分析 在图像采集中，需要将客观世界的3 - d 场景投影到摄像机的2 一d 像平面上， 这个投影可以用成像交换来描述。成像变换涉及到不同坐标系之间的变化，图像 采集的过程就是通过成像变换以及一系列的坐标变换，将3 一d 客观世界的场景映 射到计算机数字图像的坐标点的过程“”。国内外在摄像机标定方面，已经进行了 大量的研究工作，并且在不同的应用场合具有不同的标定方法。根据计算机视觉 系统的任务，立体视觉摄像机标定分为以下几种：( 1 ) 立体视觉中的一般方法： 此方法摄像机固定；( 2 ) 机器人手眼标定：摄像头不是固定的，随机械手的运动 而运动，主要用在机器人视觉中以及主动视觉系统中：( 3 ) 摄像机自标定方法： 是一种不需要标定物的方法，主要用在主动视觉系统中。在本研究中，由于摄像 机是固定的，故采用立体视觉中的一般标定方法。 成像变换涉及到不同坐标系之间的变换，考虑到图像采集的最终结果是要得 到计算机里的数字图像，在对3 一d 空间景物成像时涉及到的坐标系统主要有： ( 1 ) 世界坐标系：也称真实或现实世界坐标系统x y z 。它是客观世界的绝 对坐标( 所以也称客观坐标系统) 。一般的3 - d 场景都是用这个坐标系统来表示 的。 ( 2 ) 摄像机坐标系：以摄像机为中心制定的坐标系统x y z ，一般常取摄像 机的光学轴为z 轴。 ( 3 ) 像平面坐标系统：在摄像机内所形成的像平面坐标系统咖。一般常 取像平面与摄像机坐标系统的x y 平面平行，且x 轴与，轴，y 轴与y 轴分别重 合，这样像平面原点就在摄像机光轴上。 ( 4 ) 计算机图像坐标系统：在计算机内部数字图像所用的坐标系统m n 。数 字图像最终存放在计算机内的存储器，所以要将像平面的投影坐标系转换到计算 机图像坐标系中。 本文选用的摄像机模型为小孔透视模型( p i n h o l em o d e l ) 1 9 , 2 0 ，这是一种 简单的理想状态模型，其物理上相当于薄透镜成像，它的最大优点是成像关系是 线性的、简单实用且准确性高。 上海大学硕士学位论文 图2 1 ：小孔摄像机模型 如图2 1 所示，q 一置匕乙为摄像机坐标系，其中o o 即为摄像机的光心，互 轴与光轴重合。q 一瓦匕乙为世界坐标系，o - - x y 为图像物理坐标系。坐标原 点在光轴与图像平面的交点0 ，其中x 、y 轴分别平行于摄像机坐标系的置、艺 轴。o - u v 为图像像素坐标系，( j 0 ，匕，z w ) ，( “，v ) 是计算机图像坐标系中空间 任意点p 的成像点p 的实际图像坐标，单位为像素( p i x e l ) 。焦距f 为图像平面 到光学中心的距离。p 在图像坐标系上的成像位置p 通过透视投影几何关系确定 如下： 毛= 譬舻鲁 浯- ， 其中，( 置，艺，乙) 是p 在摄像机坐标系中的三维坐标，( 屯，儿) 是理想小孔摄像机 模型下p 点的物理图像目标，单位为毫米( 硼) 。 由于图像点的像素坐标( 甜，v ) 表示的是像素位于数字图像数组中的行数和列 数，并没有用物理单位表示该像素在图像中的位置，因此建立了以物理单位( 毫 米) 来表示的图像物理坐标系0 一x y ，它与0 一u p 图像像素坐标系的关系如图2 2 所示，对于一个c c d 摄像机来说，两个坐标系之间的关系依赖于像素的尺寸和形 状，以及c c d 在摄像机中的位置，图像中任意一个像素在两个坐标系下有如下关 系： “。s x 屯+ u o ( 2 2 ) v 2 s y y ”+ v o 上海大学硕士学位论文 其中，以，屯为图像平面单位距离上的像素数( p i e x l m m ) ，0 。，v 口) 为摄像机 i = 嚣z 祭眦瞥 ( z 哪 其中，五= 厂文，工= 厂s ，z 称为图像u 轴的尺度因子，z 称为图像v 轴的 以= l s ，p y = 1 s ，见、p ，分别为像素的宽和高，口为像素点的倾斜角。 o ( u o v o ) ，v ，y u x p ： i = 网 浯4 ， m = 骶矧料印 协。 上海大学硕士学位论文 x ： e 乙 l = ( 参： x l z w 1 ( 2 6 ) 其中，r 和t 分别为从世界坐标系到摄像机坐标系的旋转和平移变换。它反映的 是摄像机坐标系与世界坐标系之间的位置关系，因此称为外参数。r 是一个3 * 3 的单位正交矩阵，它只有三个自由度，由口( 俯仰角) 、妒( 旋转角) 、缈( 侧倾 角) 三个角度决定。t 是3 1 的平移向量。由( 2 5 ) 、( 2 6 ) 可得空间点的实际 三维坐标与像素坐标之间的关系如下： 料睡 x c 艺 乙 1 = 睢 j u a 工 01刁 x w k 乙 1 = m l m 2 x = m x ( 2 7 ) 其中m 为3 * 4 矩阵，称为透视变换矩阵；m 1 只与摄像机内部结构有关，称为摄像 机内部参数；m 2 只与摄像机相对于世界坐标系的方位有关，称为摄像机外部参数； x 为空间点在世界坐标系下的齐次坐标。 2 2 利用径向排列约束计算摄像机外部和内部参数 带有径向一阶畸变的小孔摄像机模型是对针孔摄像机模型的一个修正，它考 虑了沿径向的畸变，如图2 4 所示。”。 1 4 上海大学硕士学位论文 p t r , ，靠，乙) 图2 4 ：考虑透镜径向畸变的小孔摄像机模型 图2 4 中( j 0 ，l ，乙) 是三维世界坐标系中物体p 的三维坐标，y ，：) 是同 一点p 在摄像机坐标系中的三维坐标，( x ，y ) 是中心在0 t 点( 光轴z 与图像平面 的交点) 平行于x 、y 轴的图像坐标系。有效焦距f 是图像平面和光学中心的距 离。( 瓦，l ) 是在理想小孔摄像机模型下p 点的图像坐标系，( j 0 ，巧) 是由透镜变 形引起的偏离( 以，艺) 的实际坐标。但图像在计算机中的坐标( 石，) 的单位是像 素数( p i x e l s ) ，需要将物体点的三维坐标( j 0 ，l ，乙) 变换到图像平面坐标，变 换的过程类似于理想的小孔透视模型，这里就不做推导。 在摄像机标定中需要标定的参数有1 2 个，其中6 个外部参数，6 个内部参 数。外部参数相应于r 用欧拉角表示侧：倾角、旋转角矿、俯仰角口，以及相 应于平移矢量t 的三个分量、l 、z 。因此旋转矩阵r 可以表示为吵、伊、目 的函数： c o s 弘, c o s 8c o s 缈s i n 秽s i n 矿一s i i l 矿c o s 伊c o s y s i l l 口c o s 伊一s i n s i n 矿 r = ls i n 妒c o s os h 妒s i i l 口s i n 妒+ c o s c o s 妒s i n 妒s i n o c o s q ，+ e o s 妒s i n 矿i ( 2 8 ) l s i n o c o s o s i n l oc o s o c o s l 5 0 j 内部参数相应于摄像机的几何及光学参数：( 1 ) f ：有效焦距，即图像平面到投 影中心的距离；( 2 ) k ：透镜畸变系数( 只考虑径向畸变，不考虑离心畸变及薄 棱镜畸变) ；( 3 ) m ：x 方向的比例系数( 由于摄像机的描述和时序误差使得m 1 5 上海大学硕士学位论文 不能预先知道) ；( 4 ) ，：y 方向的比例系数( 对c c d 摄像机而言，v 是预先确 定的) ；( 5 ) 置，砭：图像平面原点的计算机图像坐标。 如此多的参数想在一个方程组或一次优化搜索中得到全部的解是不容易的， 即使可以这样做，也是非常费时的。目前一些标定方法普遍采用两步法或多步法 来计算参数，即利用成像几何中某些内在的性质或关系先求一部分参数，然后利 用已求得的参数再来求解其它参数。其中应用最广