（机械设计及理论专业论文）番茄收获机器人视觉定位中多光谱图像融合方法的研究.pdf

江苏大学硕士学位论文 摘要 针对目前农业收获机器人视觉方面存在的难题，特别是果实采摘 前的识别定位，普遍存在受环境干扰较大以及识别精度不高的难题， 本文从两个可见光和一个近红外的三目视觉角度出发，利用多光谱图 像融合的方式来寻求更好的解决方式，为后继果实的定位打下坚实的 基础。开展的主要研究内容如下： 1 ) 多光谱图像配准。图像融合的前提是图像的精确配准，因此 本文对图像的配准进行了着重研究。对采集的多光谱图像进行了分 析，采用h a r r i s 角点检测算子提取可见光图像和近红外图像角点特 征，并对基于角点支持强度的角点匹配算法进行了改进，形成了番茄 多光谱图像良好的角点匹配算法。之后对图像采用基于仿射变换的图 像粗配准，并在彩色图像分割的前提下，提取可见光图像和近红外图 像的收获目标及其邻域。再对提取得到的果实邻域利用h a r r i s 算子 检测角点，并进行角点匹配，最后利用仿射变换实现了可见光图像和 近红外图像中目标的精确配准。 2 ) 多光谱图像融合。继图像精确配准之后，对多光谱图像融合 进行了研究。本文对现有的融合算法一i h s 变换法、主成分变换法 和小波变换法进行了对比试验，通过主观和客观的基于熵、清晰度和 标准差等几个方面进行了评价。主观方面，小波变换融合后的图像， 具有果实和背景差异明显的特性，给后续的果实分割打下了良好的基 础。客观方面，小波融合算法作用的图像具有较大的熵、清晰度和标 江苏大学硕士学位论文 准差，而且在实时i 生方面能够满足采摘机器人的要求，因此本研究最 终选用小波变换融合来实现本研究多光谱图像的融合。 3 ) 融合图像的分割与分析。融合前，对可见光图像采用了基于 色差和受控分水岭的图像分割算法进行图像分割，图像融合之后，为 了更加直观地显示融合前后图像的优劣和差异，依然采用前面分割算 法对融合后的图像进行分割。并在分割之后对分割的质量进行了分析 和讨论。结果表明，经过融合后的图像比融合前的图像在分割效果上 有很高的成功率，说明本文的多光谱图像融合的研究达到了预期的目 的，具有较好的实用性。 通过研究，在多光谱图像配准和融合方面取得了较大进展。系统 能够对存在不同的遮挡情况下的果实进行有效的识别和分割，即使果 实的成熟度不够，通过图像的融合也能够准确识别。本研究对提高我 国农业收获机器人视觉识别技术水平具有一定的学术意义和实践价 值。 关键词：多光谱图像，图像配准，图像融合，小波，熵 江苏大学硕士学位论文 a b s t r a c t a i m i n ga tp r o b l e m so fa g r i c u l t u r eh a r v e s tr o b o tv i s i o na tp r e s e n tt i m e ，e s p e c i a l l y t h ep r o b l e m so fm o r es e n s i t i v et oe n v i r o n m e n ta n dl o w - p r e c i s i o ni nr e c o g n i t i o na n d o r i e n t a t i o nb e f o r ef r u i tp i c k i n g ，t h ep a p e ru s e st h r e e - e y ev i s i o n t e c h n o l o g yo ft w o v i s i b l ea n dan i ra n di m p o s e sm u l t i s p e c t r a li m a g ef u s i o nt os e e kw e l ls o l v i n g m e t h o dt om a k es t a b l eg r o u n d w o r kf o r t h ef o l l o w i n gf r u i to r i e n t a t i o n t h er e s e a r c hi s s u m m a r i z e da sf o l l o w i n g ： 1 ) m u l t i s p e c t r a li m a g er e g i s t r a t i o n c o n s i d e r i n gt h ep r e c o n d i t i o no fi m a g e f u s i o ni s p r e c i s ei m a g er e g i s t r a t i o n ，t h ep a p e rp u t sm o r ee m p h a s i so ni m a g e r e g i s t r a t i o n m u l t i s p e c t r a li m a g e st h a tw ec a p t u r e da l ea n a l y z e df i r s t t h ep a p e r d e t e c t sc o m e r so fv i s i b l ei m a g ea n dn i ri m a g eu s i n gh a r r i sc o m e rd e t e c t o ra n d i m p r o v e st h ec o m e rm a t c h i n gm e t h o db a s e do nc o m e rs u s t a i n i n gi n t e n s i t y , f o r m i n g g o o dc o m e rm a t c h i n gm e t h o df o rm u l t i - s p e c t r a li m a g eo ft o m a t o t h e n ，w ec o a r s e l y r e g i s t e ri m a g e sb a s i n go i la f t - m et r a n s f o r m ，a n dp i c k u po b j e c t sa n di t sn e i g h b o r r e g i o n ( s u b i m a g e ) f r o mi m a g e sw i t hc o l o ri m a g es e g m e n t a t i o na st h ep r e m i s e t h e n w ed e t e c tc o r n e r so ft h es u b i m a g e su s i n gh a r r i sd e t e c t o ra n dm a t c ht h e m f i n a l l yw e u s ea f f i n et r a n s f o r mt oa c h i e v ep r e c i s er e g i s t r a t i o no fo b j e c t si nv i s i b l ei m a g ea n d n i ri m a g e 2 ) m u l t i s p e c t r a li m a g ef u s i o n a f t e rt h ep r e c i s e l yr e g i s t r a t i o n ，t h ep a p e rd o e s s o m er e s e a r c ho nm u l t i 。s p e c t r a li m a g ef u s i o n t h ep a p e rc o m p a r e st h r e ee x i s t i n g f u s i o nm e t h o d - - - i h st r a n s f o r m ，p c at r a n s f o r ma n dw a v e l e tt r a n s f o r mm e t h o d st ot e s t m u l t i - s p e c t r a li m a g e s t h ep a p e rc h o s et h ew a v e l e tt r a n s f o r mm e t h o da st h ef i n a l f u s i o nm e a s u r ev i as u b j e c t i v ej u d g m e n ta n do b j e c t i v e j u d g em e t h o d - - - - - e n t r o p y , c r o s s e n t r o p y , s t a n d a r dd e v i a t i o na n dd e f i n i t i o n s u b j e c t i v l y , i m a g e su s i n gt h e w a v e l e tt r a n s f o r mm e t h o dc a nm a k em u c hd i f f e r e n c eb e t w e e nf r u i t a n di t s b a c k g r o u n dw h i c hi si nf a v o ro ft h e s e g m e n t a t i o no fo b j e c t s o b j e c t i v i t y , i m a g e s u s i n gt h e w a v e l e tt r a n s f o r mm e t h o dg e tm o r ee n t r o p y , s t a n d a r d d e v i a t i o na n d d e f i n i t i o n ，a n di tc a nm e e td e m a n do fr e a lt i m e ，s o ，w ec h o s et h ew a v e l e tt r a n s f o r m 1 1 1 江苏大学硕士学位论文 m e t h o dt oc a r r yo u tt h ef u s i o no fm u l t i - s p e c t r a li m a g e s 3 s e g m e n t a t i o na n da n a l y s i s o ff u s e di m a g e s b e f o rt h ef u s i o n ，t h ep a p e r i n t r o d u c e sas e g m e n t a t i o na r i t h m e t i cb a s e do nc o l o rd i f f e r e n c ea n dc o n t r o l l e d w a t e r s h e dt os e g m e n tf u s e di m a g ef o rt h es e m e n t a t i o no ft h ev i s i b l ei m a g e ，a n dt h e n ， i no r d e rt os h o wt h ed i f f e r e n c e sb e t w e e nf o r m e ra n dl a t e rs e g m e n t a t i o no fi m a g e s m o t ed i s t i n c t n e s s ，w es t i l lu s et h i ss e g m e n t i n gm e t h o dt os e g m e n tf u s e di m a g e s a n d w ea n a l y s i sa n dd i s c u s st h eq u a l i t yo ft h es e g m e n t a t i o n i tc o m et r u et h a tt h e s e g m e n t a t i o no ft h ei m a g e su s i n gf u s em e t h o dh a sm o t es u c c e e dr a t et h a ni m a g e s w i t h o u tu s i n gf u s em e t h o d ，s ow ec o n s i d e rt h a to u rm u l t i - s p e c t r a li m a g ef u s i o n a c h i e v e st h ep r o s p e c t i v ea i ma n dh o l d sw e l lp r a c t i c a b i l i t y o u rr e s e a r c hh a sm a d eg r e a tp r o g r e s si nm u l t i - s p e c t r a li m a g er e g i s t r a t i o na n d f u s i o n t h ee x p e r i m e n t a ls y s t e mc a ne f f e c t i v e l yr e c o g n i z ea n ds e g m e n to b j e c t sf r o m d i f f e r e n ts h e l t e rc o n d i t i o n s i m a g ef u s i o nc a nd i s t i n g u i s ht o m a t o e sf r o mf u s i o n a l i m a g e se v e nt h o u g ht h e ya t en o te n o u g hm a t u r e t h er e s e a r c hi sm e a n i n g f u l t o i m p r o v et h ei n t e r n a t i o n a lc o m p e t i t i o ni no u ra g r i c u l t u r ef i e l d k e yw o r d s ：m u l t i s p e c t r a li m a g e ，i m a g er e g i s t r a t i o n ，i m a g ef u s i o n ，w a v e l e t ，e n t r o p y i v 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规 定，同意学校保留并向国家有关部门或机构送交论文的复印件和电 子版，允许论文被查阅和借阅。本人授权江苏大学可以将本学位论 文的全部内容或部分内容编入有关数据库进行检索，可以采用影 印、缩印或扫描等复制手段保存和汇编本学位论文。 本学位论文属于 保密口，在年解密后适用本授权书。 不保密团。 学位论文作者签名：薛风毙 沙。：；年否月i 日 指导教师签名： 雹事争 泖留年月，日 独创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下， 独立进行研究工作所取得的成果。除文中已注明引用的内容以外， 本论文不包含任何其他个人或集体已经发表或撰写过的作品成果。 对本文的研究做出重要贡献的个人和集体，均已在文中以明确方式 标明。本人完全意识到本声明的法律结果由本人承担。 学位论文作者签名：薜风兄 日期：圳7 年多月1 1 日 江苏大学硕士学位论文 1 1 研究的目的与意义 第一章绪论 近年来，由于遥感技术的飞速发展，多类型传感器的广泛应用，促进遥感图 像处理从单一模型、单一图像的处理方式向多平台、多传感器、多光谱、多图像 处理方向发展。现代空间遥感技术的发展将导致传感器的空间分辨率、光谱分辨 率的大幅度提高。由于不同平台的传感器图像具有不同的空间分辨率、波谱分辨 率和时相分辨率，如果能将它们各自的优势综合起来，可以弥补单一图像上信息 的不足，这样不仅扩大了各自信息的应用范围，而且大大提高了遥感图像分析的 精度。美国学者最早提出“数据融合 概念，于8 0 年代建立其技术。多光谱图 像融合是一种通过高级图像处理将多源图像的有用信息进行合理结合，从而提高 图像分辨率、可解译性的飞速发展的实用技术之一。其目的是将单一传感器的多 波段信息或不同类别传感器信息之间可能存在的冗余和矛盾，加以互补，降低其 不确定性，减少模糊度，以增强图像中信息透明度，改善解译的精度、可靠性以 及使用率，以形成对目标的完整一致的信息描述。 随着城市化进程的加快，农业劳动力数量急剧下降，形成农业产量的增长和 劳动力人口的下降比例失调的状况。为适应这种趋势的发展，农业机器人技术得 到了极大的关注，尤其是日本、美国等发达国家。随着农业生产的规模化、多样 化、精确化和劳动力不足的现象日趋明显，许多作业项目如蔬菜、果实的收获和 分选、苗木的嫁接等都是大量重复性繁重的工作。利用农业机器人技术可以提高 工作效率和产品质量，喷药机器人还可以改善农业的生态环境，防止农药对人体 的伤害。我国是一个农业大国，要实现农业现代化，农业装备的机械化、自动化 必定要大力予以发展。 作为农业机器人性能的体现，其对收获目标的定位越来越精确，而多光谱图 像融合在机器视觉方面是近年来发展起来的一种新技术，它在精确定位收获目标 方面的优势越来越明显。本课题研究的收获目标是西红柿，随着田间西红柿品质 提升和种植规模的扩大，作为重要的经济作物，对西红柿的收获实现现代化、自 动化已经成为研究的热点。机器人对收获目标进行定位的时候为实现自动化，不 能靠人工进行判断，因此在机器视觉中根据图像进行定位是必然的趋势。由于田 江苏大学硕士学位论文 间的环境复杂，在自然生长条件下的瓜果空间位置和方向是随机不确定的，收获 对象有成熟和不成熟之分，果实和果实之间，果实和叶片之间可能会相互遮挡， 彩色图像中目标分割的轮廓会出现残缺等分割轮廓不完整的现象，这个时候来进 行果实的识别定位会产生不同程度的误差。而通过利用多光谱图像不同角度和波 段的信息融合来弥补果实边缘缺失为目标物的精确定位提供了新的途径，因此， 本文从多光谱图像融合角度出发，研究多光谱图像的精确配准和融合，实现：代 替人眼实现收获目标在机器视觉图像中轮廓的重现，即使在遮挡的情况下，也可 以实现其轮廓和特征的模拟和提取，进而为实现收获目标的精确定位打下基础， 提高田间作业的工作准确性和工作效率，减轻人的工作强度，因此意义重大。 1 2 国外研究现状 国外对计算机视觉在农产品收获中的应用的研究起步较早，尤其是在果实的 检测与识别方面做了大量的工作，为后来的研究提供了宝贵的经验。在农业领域， 相对其他作业而言，果实收获作业比较容易实现自动化。 1 9 6 8 年美国的s c h e r t a 和b r o w n 最早开展水果自动探测的研究，采用光度 法测量，利用可见光和红外光谱区域不同的反射率来探测果实。在可见光下可测 出叶子和果实不同的颜色，而红外光谱区可测出对象间成分的差异。由于这种方 法要求测量环境的光强基本恒定不变，因此只能在实验室进行，无法在自然环境 下实现应用。受s c h e r t z 和b r o w n 想法的启发，各种有关果实自动化采摘的研究在 世界各地陆续开展起来。 1 9 7 7 年p a r r i s h 和g o k s e l 首次利用计算机视觉系统开展苹果自动探测的研究瞳1 ， 系统由黑白摄像机和红色滤光片组成，滤光片用于增强红苹果和绿叶的对比度以 便区分。通过阈值分割将图像二值化，将可能是苹果表面的高灰度( 红色) 部分 从图像中分割出来；对二值图像用形态滤波平滑，计算各区域圆度、质心和半径。 区域的密度通过对圆形窗的填充度求得，如果区域的密度大于一个设定的阈值， 则认为是苹果。这项研究拓宽了收获机器人研究的思路。 1 9 8 7 年d ，e s n o n 等人首次采用彩色视觉系统对树上苹果进行检测口1 。通过对 彩色图像分割得n - 值图像后找到各水果区域的中心。然而，这种视觉系统误识 率较高，检测时为了避免视觉系统看到未被树叶挡住的天空，要求在果树后面实 2 江苏大学硕士学位论文 施遮挡，防止产生大量虚假目标。 为了改进上述视觉系统的缺陷，1 9 8 8 年，r a b a t e l 提出使用三个彩色相机和三 个不同的滤波片( 9 5 0 n m ，6 5 0 n m ，5 5 0 h m ) 获取灰度图像n 1 ，以获得三种互为互 补的亮度图像。通过对可见光谱和近红外光谱进行研究分析后，发现在9 5 0 n m 为 中心的窄区域内，苹果树叶和几种苹果( 苹果颜色分别为黄绿色、红色和绿色) 具有相似的反射率。分别计算5 5 0 n m 和6 5 0 h m 下的反射率与9 5 0 h m 下的反射率的比 值，根据两个比值的大小区分水果和叶子的象素点。利用该特征可以部分消除光 照变化对系统的影响，成熟的苹果即使是绿色也可以有效识别，识别准确率约为 5 0 。该方法对收获对象敏感，在采摘其它品种苹果时，必须针对实际对象重新 研究特征光谱。 1 9 9 2 年，匈牙利的k a s s a y 啼1 采用2 个彩色摄像机组成的系统对苹果进行了配 准和定位。该研究利用阈值分割算法获得图象苹果区域以及区域的几何中心，并 对两幅图象的苹果区域进行立体匹配，搜索所有可能的苹果区域对，利用三角形 算法计算其三维位置。经实践验证，只有4 1 的可见水果能够正确识别，而且还 出现了一些虚假目标。 1 9 9 5 年，意大利的b u e m i 1 开发了用于温室西红柿采摘的自动化系统。该视 觉系统使用提供h s i 成分的彩色相机获取图像，利用色调和饱和度对图像进行分 割，通过对同一场景两幅不同的图像进行空间匹配获得三维信息，试验结果认为 可以检测到大约9 0 的成熟西红柿。出现的错误检测，基本上都是由于遮挡问题 造成的。 2 0 0 2 年，l i m s i r o r a t a n a 口3 等( 日本) 以木瓜为对象，利用椭圆傅立叶描绘 子( e l l i p t i cf o u r i e rd e s c r i p t o r s ) 根据形状在图像上识别果实，为了优化识 别过程，采用了快速傅立叶变换( f f t ) 和遗传算法( g a ) ，最后结果认为这种方 法是可行的，但仍需进一步深入研究。 2 0 0 3 年，荷兰的研究人员利用黄瓜和枝叶的颜色在近红外区域两者有明显的 特征差异，通过近红外图像识别黄瓜，开展了黄瓜收获机器人的研究阻1 。 在多光谱图像融合方面，大多是针对医学图像和遥感图像口8 吲进行的，在收 获机器人视觉方面应用多光谱图像融合方法的文献不多。 以上介绍了国外一些关于果实识别、采摘和多光谱图像融合的研究成果，目 3 江苏大学硕士学位论文 前日本、荷兰、美国、以色列等国在相关方面的研究仍在继续，但是大多都停留 在理论阶段，没有真正的实现向生产力的转化和商业化。 1 3 国内研究现状 国内利用计算机视觉技术在农业收获机器人方面的研究起步较晚。 1 9 9 7 年，吉林工业大学的杨秀坤等阳1 提出利用计算机视觉对果实表面缺陷进 行检测的方法。该方法首先对果实图像进行滤波、增强等预处理，然后根据象素 颜色值，利用自适应特征聚类神经网络和模糊加权决策树相结合的方法对果实表 面缺陷进行检测。实验结果认为该方法优于传统的检测方法。 2 0 0 1 年，滕召胜n 们将信息融合技术在农业仪器应用方面进行了成功的尝试， 所研究的基于自适应加权信息融合的粮食水分快速测定仪克服了同类产品存在 的问题，达到了快速、准确测定的目的，已在我国粮食行业推广使用。 2 0 0 4 年，赵杰文等n 妇运用双目视觉技术基于i h s 颜色特征对成熟番茄进行识 别。文中比较了h s i 颜色空间转换的几种方法：球体法、柱体法和双锥体法等， 认为球形h s i 颜色转换系统产生较少的奇异数据而被采用。将图像的r g b 值转换 成色调、饱和度和亮度值，并将色调和饱和度结合产生融合图像，以消除地表、 天空等背景的影响。利用0 t s u 算法自动获取分割阈值，提取目标区域。将提取的 区域形态特征进一步分割图像，去除与颜色类似的枯叶和其他背景，提取成熟水 果区域，分割效果显著。 2 0 0 5 年，吕俊伟等n 2 1 在对洋葱( 作物) 、野芥末草( 杂草) 和土壤在多光谱图 像中灰度比值研究的基础上，对多种多光谱图像融合方式进行了对比试验研究， 发现以b + 打一g r 等图像融合方式给出了比较好的结果。 2 0 0 5 年，钱永兰等m 1 利用基于i h s 变换的遥感图像融合对大豆进行了识别研 究。文中利用基于i h s 变换和p c a 变换的融合处理，通过比较得出，基于i h s 变换的 融合方法用于s p o t 一5 遥感图像融合更利于东北大豆的识别。 综上所述，国内将机器视觉应用于农产品的采收做了大量的研究，但是与国 外还是存在一定的差距，特别是在农产品收获应用方面，国内的研究很有限，而 且多集中在双目视觉、二维平面的识别和定位问题，存在识别和定位精度低、工 4 江苏大学硕士学位论文 作效率不高等问题。为了赶超国外先进水平，早日实现我国农业生产自动化，我 们必须进一步开展广泛和深入的研究。 1 4 研究思路与方法 在农田的复杂环境中，由于一些瓜果的果实和茎叶的颜色差异不大，且整个 果实表面的颜色不一致性，使得利用颜色特征提取的图像可能只得到部分果实轮 廓特征信息。但是近红外波段范围内，对颜色不敏感，可以较好的反映视觉范围 内图像的边缘和纹理信息。根据植物的典型光谱反射特性曲线，近红外光线( 7 6 0 2 5 0 0 h m ) 可以穿透叶绿素，被多孔薄壁组织所反射，故在近红外波段上，形成强 反射，而且在近红外波段，果实点反射率都高于可见光波段。可见植物在近红外 波段反射率比可见光波段高。另外利用近红外图像和可见光图像的固定的几何关 系，可以弥补可见光图像中目标物边缘缺失的信息。但是由于近红外图像没有可 见光图像中那样丰富的目标物颜色、纹理、形态特征信息，而且对光照比较敏感， 所以可将其作为可见光图像的辅助加以利用。 为解决利用主动光源获得的定位精度不高、可见光c c d 获得的成熟果实图像 丢失边缘信息及近红外图像信息量不足带来的问题，本项目拟采用两个可见光摄 像头和一个近红外摄像头从不同角度获取目标物的图像，即根据近红外图像与可 见光c c d 图像的几何关系，基于多源传感器的互补作用进行多光谱图像的融合， 修复和补全目标图像，寻找最佳的配准和融合方法，从而为目标物的定位打下坚 实的基础。本文的主要研究内容如下： 本文是在前人研究的基础上进行的，对可见光图像，采用已有的彩色图像自 适应亮度调整和目标分割；对近红外图像，比较了常用的直方图均衡化和直方图 灰度变换等方法，确定能够自适应调整近红外图像亮度的方法，并结合中值滤波 去除图像中噪声的干扰，达到了很好的预处理效果。 要进行图像的融合，其前提是图像的精确配准。田间西红柿图像的获取属于 近距离范围，所以可见光图像和近红外图像的配准属于近景配准。国内外关于配 准的文献中，大多是针对遥感或航片等远景图像进行配准，或者认为多传感器光 轴之问的距离与所拍摄的景物的景深相比可以忽略，这样就可以把拍摄的景物近 5 江苏大学硕士学位论文 似认为在同一平面内，而不考虑图像相对多传感器的视角。又由于可见光图像在 遮挡和成熟度不够的情况下分割是不完全的，而近红外图像是灰度图像，背景和 果实的灰度没有太大差异，因此要单独从其中分割出果实也是不可行的。因此本 文针对近景图像存在一定视角差的情况下，进行可见光图像和近红外图像的配 准。 尽管近景图像相对传感器存在视角差，但是多传感器对同一场景获得的图像 存在相似的特征。因此本文利用这一特点，首先利用h a r r i s 算子提取可见光图 像和近红外图像的角点特征，然后利用角点的相关特性进行角点匹配，最后对确 定的真角点对利用仿射变换进行可见光图像和近红外图像的配准。但是由于视角 差的存在，在一幅图像中出现的物体不一定在另一幅图像中出现，果实在一幅图 像中的倾斜度在另一幅图像中倾斜度不一定相同，所以通过简单的角点匹配来完 成最终的图像配准是不可行的。因此本文针对这一问题展开，首先将上面配准的 过程作为粗配准，然后根据可见光图像果实分割的结果，在可见光图像和粗配准 的近红外图像中提取包括果实在内的邻域，然后将近红外果实邻域通过仿射逆变 换到原来的近红外图像中，这样不至于在接下来的精配准中累加两次仿射变换的 误差。之后针对每一果实邻域，重新进行角点的提取和匹配，通过距离约束将角 点对限制在靠近果实的范围之内，这样可以排除角点局部性干扰，然后再次通过 仿射变换实现可见光图像和近红外图像果实邻域的配准，这样可以晟终实现多传 感器图像中果实的精确配准。 在果实精确配准的基础上，对可将光图像和近红外图像进行融合。本文采用 常用的融合算法：i h s 变换、主成分变换和小波变换进行彩色图像和灰度图像的 融合，然后对几种融合方法进行比较，并给出融合效果的定量评价，最终选定采 用小波变换法来进行可见光图像和近红外图像的融合。 6 江苏大学硕士学位论文 1 5 技术路线 图1 1 本文的图像处理流程图 7 江苏大学硕士学位论文 第二章图像采集系统与图像预处理 2 1 图像采集系统 机器视觉系统主要包括信息探测、采集系统、图像处理、显示及智能决策等 模块。从硬件上讲，机器视觉系统一般可以分为两类：一类是基于p c 图像采集 i c - 的视觉系统，另类是基于：t l 二p c 的集成视觉系统，丰要采用d s p 心i t 片或其他集 成电路来完成计算。一般地，基于p c 图像采集卡的视觉系统由c o d 摄像头、图像 采集卡、计算机、光源、光箱以及软件系统等组成。c c d 摄像头和图像采集卡通 过接口1 计算机的物理连接，山软件系统的图像采集模块完成图像的原始输入， 视觉系统的主要工作足图像采集之后的后期处理，包括从图像预处理、图像分割、 特征提取与r 标识别和立体视觉的系x , j - 0 内容。 可见汽嚣豫掇像头 近 红 外 图 像 摄 像 头 安装近红外图像 采集卡 2 1 1 可见光图像采集系统 图2 1 二日视觉系统的组成 安装4 通道的实时 可见光圈像采集 卡 本研究的町见光图像采集系统采用的是基于p c 图像采集 的视觉系统，因为 它的成本低、灵活性和适应性好，适合科学研究的需要。经过参考同类研究的视 江苏大学硕士学位论文 觉系统构成，确定了本系统的构成，如图2 1 所示，包括2 台2 2 0 倍高清晰低照度 彩色一体化相机、4 通道实时图像采集卡、d e l l 计算机、高精度智能云台、数字 化云台控制器、数码变焦控制器以及三角架等附件。因为本研究是在自然环境中 的，所以不需要光箱，也没有采用主动光源。除计算机外，其他硬件均从西安维 视公司购置。 图像获取的质量对图像的后续处理影响很大，因为图像分析是基于所获得的 图像进行的，因此选择c c d 传感器非常重要，尤其是镜头。考虑到自然条件下， 早晚与中午、晴天与阴天等光照度变化比较大，要求c c d 传感器不仅具有自动聚 焦和光圈调节的功能，以获得高质量的成像，而且还要求图像分辨率比较高。为 此，选择了西安维视公司的2 2 0 倍高清晰低照度彩色一体化相机( 型号c n - - 8 8 0 c ) 。 它的特点如下：高性能彩色一体化数码摄像机，内置2 2 0 倍( 2 2 倍光学+ 1 0 倍数码) 电动变焦镜头，2 2 倍光学变焦范围为f = 3 9 m m - - 一8 5 8 m ，成像元件为1 4s o n y ， i n c h i n t e f l i n et r a n s f e rs u p e rc c d ，最大成像象素为7 5 2 ( h ) x5 8 2 ( v ) ：高灵敏度、 最低照度仅为0 0 2 l u x ；自动背光补偿、自动手动白平衡、自动增益锐度调整、 防闪烁等功能；开放式r s 2 3 2 通讯协议，具有2 组a d 码控制。 图像采集卡可以将摄像头采集的电信号转换为数字信号，将图像数字化，以 便计算机对其进行各种必要的处理。本系统采用陕西西安维视公司的4 通道实时 图像采集卡( m v 一8 8 0 4 ) ，该卡采用l o b i t 高清晰度图像芯片，可以同时完成实时 图像实施预览采集功能，最高图像分辨率为p a l 7 6 8 x 5 7 6 x 3 2b i t 、n t s c6 4 0x 4 8 0 x 3 2 b i t ，支持r g b 2 4 、r g b 5 5 5 、y u v 等颜色模式。 d e l l 计算机的配置为主机采用i n t e lp 42 8 g 双核处理器，5 1 2 m 内存，8 0 g 硬盘。 图像处理的运算量大，运算时间长，经过试验研究，采用以上配置可以满足要求。 另外，为使用m a t r o x 公司的二次开发软件包m i l ，计算机内还配置了m a t r o x 公司 的m e t o r i i m c 采集卡和软件狗。 高精度智能云台通过数字化云台控制器由计算机控制，可以为摄像机或其他 有效载荷提供快速而准确的位置控制，负荷能力大于2 k g ，分辨率0 0 1 2 9 。，具 有仰俯和旋转两个自由度，可实现目标搜索、跟踪等主动功能。 2 1 2 近红外图像采集系统 本研究采用u s s 一3 0 0 u s s 一3 0 1 系列中的u n z o 近红外摄像头，它在9 4 5 n m 波 9 江苏大学硕士学位论文 段比其他传统的c c d 摄像头有4 倍的敏感度，而且比传统的c c d 摄像头更具有有 效地取出噪声和扩大动态采集范围的功能。在低光照和日光环境下u n i q 摄像头 也可以很好的工作。它的主要参数有：最低允许照度0 0 0 0 5 1 u x ；自动电子快门 ( 1 6 0 1 1 0 0 0 0 0 秒) ；输出图像尺寸为7 6 8 4 9 4 ( e i a ) 和7 5 2 x 5 8 2 ( c c i r ) ； 可选y 因子范围1 o o 4 5 等。此外，它还可以通过调节进光量来调整获取的近 红外图像的质量。 近红外图像采集卡的软件平台为m a t r o xi n t e l l i c a m ，版本2 0 7 。该软件平台 能够人工采集图像，也可以自动的采集图像并保存。m a t r o xi n t e l l i c a m 是一个基 于w i n d o w s 的程序，能够使用户可以互动配置采集模块采集不同的视频信号。 为使得采集得到的可见光图像和近红外图像具有相同的性质，将两个可见光 摄像头和近红外摄像头的距离固定，并且近红外摄像头位于两个可见光摄像头的 中间，即：近红外摄像头与两个可见光摄像头之间的轴线距离均为固定距离。本 文取该固定距离为8 0 m m 。 考虑到自然环境下光照和环境因素的不稳定性，造成近红外图像中的果实出 现不同程度的白斑，影响下一步图像的处理，因此需要针对此问题进行解决。本 研究采用主动光源的方法来弥补光强过大给近红外图像带来的影响，对图像的改 善效果将在2 4 节讲解。 2 1 3 软件开发系统 本研究所采用的各种算法都是基于m a t l a b 实现的，之所以选择m a t l a b 是因为m a t i a b 可以加速创新与算法开发。m a t l a b 是由m a t hw o r k s 公司开发 的著名数学软件。世界上很多科研人员使用m a t i _ a b 来缩短数据分析和算法开 发的时间，研发出更加先进的产品和技术。m a t l a b 作为科学计算的基础平台， 提供了强大的科学计算能力和丰富的数据可视化功能，并且还提供了一种易学易 用的科学算法开发语言。目前，m a t l a b 产品已经被广泛认可为科学计算领域 内的标准软件工具之一。选择m a t l a b 的另外一个原因就是m a t l a b 的开放性、 可扩展性强，能够与c ，c + + 以及e x c e l 集成使用。 1 0 江苏大学硕士学位论文 2 2 可见光图像预处理 在自然条件下，由于自然光线和外部其他干扰的存在，使得可见光图像和近 红外图像均存在不同程度的噪声和亮度非均衡性。图像质量的好坏对图像的后继 处理非常重要。因此，在图像的配准和融合前，需要对可见光图像和近红外图像 进行预处理。可见光图像含有丰富的色彩信息，但是由于果实的表皮光滑，对光 照具有一定的反射性，而且在光照强度比较弱的条件下，成熟的红色果实往往呈 现比较暗的色调，和背景容易混淆，所以需要对可见光图像进行不同光照条件下 的调整。经过研究发现，尹建军等u 3 1 的r g b 图像光照自适应方法比较适合本课题 研究，而且该作者的基于颜色特征的彩色图像分割对本研究起了很大作用。因此， 本研究在图像预处理阶段，采用尹建军的基于h a 木b 术颜色模型的r g b 图像光照自 适应方法调整图像的亮度，以及基于色差( r g ) 和形态重建的受控标记分水岭 算法n 3 1 4 1 ( m a r k e r - c o n t r o l l e dw a t e r s h e ds e g m e n t a t i o nb a s e do nm o r p h o l o g i c a l g r a y s c a l er e c o n s t r u c t i o n ) ( r g & m w s ) 来分割可见光图像的果实，以便为后继的图 像配准和融合打下坚实的基础。 2 2 1 基于h a 柚木颜色模型的r g b 图像光照自适应方法 可见光图像为r g b 颜色模型，传统的处理灰度图像的亮度调整方法( 如直方图 均衡化) 不能直接使用，因此要得到亮度调整的彩色图像，需要选择一个含有亮 度信息的颜色模型进行过渡转换，然后在该亮度分量进行亮度自适应校正，最后 再转化到原来的r g b 模型，得到增强的图像。具体过程如下： a ) l 木a 柚木颜色空间与r g b 颜色模型的转换 对于颜色模型问题，国际照明委员会( c l e ) 已规定了1 0 多种颜色模型，适 合用于农产品视觉分析的有r g b 模型、x y z 色度空间、l 术a 柚牢与l 木u 水v ：i c 颜色空间、 h s l ( h s i 、h s v ) 等口5 1 引。水蚺颜色空间的优点是颜色信息和亮度信息独立， 当颜色的色差大于视觉的识别极限( 恰可察觉) 而又小于孟塞尔系统中的相邻两 级色差值时，能较好地反映物体色的心理感受效果。l 木a 木b 木颜色空间与r g b 颜色 模型的转换的计算公式为n 引： 江苏大学硕士学位论文 r = 1 1 6 f ( y k ) - 1 6 口= 5 0 0 厂僻x 。) 一，彤i y o ) 】 b = 2 0 0 f o r i y o ) - f ( x x o ) 】 ( 2 1 ) ，加艨竺怒旭 其中为亮度，a 木和b 木为色度坐标。x 、y 和z 是是图像在c i e - x y z 颜色模型下的红 原色、绿原色、蓝原色的三刺激值，其与r g b 模型转换的计算公式因硬件条件不 同而异。x 。，k 和z 。为c i e 推荐的标准光源下经过标准白体的完全漫反射后由 观测者感受到的三刺激值。选取标准光源d 6 5 ( 也叫典型日光)