（检测技术与自动化装置专业论文）果树采摘机器人目标定位系统研究.pdf

江苏大学硕士学位论文 a b s t r a c t t h ea p p l i c a t i o no f 缸u i t _ h a r v e s t i n gr o b o tw i l lb ead e v e l o p m e n tt r e n do f a 酊c u l t u m lm e c h a n i z a t i o na n dh a sa 伊e a tp r o s p e c t r e s e a r c h e si nf m i t - h a r v e s t i n g r o b o th a v eg r e a ts i g n i f i c a n c ef o ra d a p t i n gr e q u i r e m e n to fm a 呔e t ，r e d u c i n gw o r k i n g i n t e n s i o na n di n c r e a s i n ge c o n o m ye m c i e n c y t h eo b j e c t sl o c a l i z a t i o ns y s t 锄i sak e y o ff m i t - h a r v e s t i n gr o b o t n o wm er e s e a r c h e so fi ts t i l lh a v em a n yp r o b l e m s ，s u c ha s c a m e r ac a l i b r a t i o na n di m a g em a t c h i n g i ti sh a r dt oc o n t e n tt h ed e m a n do fr e a l _ t i m e c h a r a c t 嘶s t i c ，r o b u s t n e s sa n dh i 曲e ra c c u r a c y i nt h i sp a p w eh a v es t u d i e dk e y m e o r i e sa b o u tm eo b j e c t s1 0 c a l i z a t i o ns y s t e mo f 如l i t - h a r v e s t i n gr o b o t t h em a i n c o n c e n l sa r ea sf o l l o w s ： 1 b i n o c u l a rs t e r e ov i s i o nb a s e do np a r a l l a x b i n o c u l a rs t e r e ov i s i o nb a s e do n p a r a l l a xc o m p u t a t i o ni se l i c i t e df 如m3 di n f 0 r n l a t i o ni no n ei m a g e zc o o r d i n a t e so f t h ep o i n ti ns p a c ea r ec o m p u t e da n dm ee o r sa r ea n a l y z e ds 印a r a t e l yi np a r a l l e i b i n o c u l a rs t c r e oi m a 百n gs y s t e ma n di nc o n v e r g e n tb i n o c u l a rs t e r e oi m a 百n g 2 c 锄e r ac a l i b r a t i o n t h ed i f - f e r e n tk i n d so fc a m c r am o d e l sa r ed e 印a n a l y z e d ， w h o s el e n sh a v e3k i n d so fd i s t o r t i o n t h ep r o c e s so fc 锄e r ac a l i b r a t i o nw h i c hb a s e d o ns u r v e y o r t sp o l e ，o nc 锄e 1 as e l f - c a l i b r a t i o na n do nn e en e t si si n t r o d u c e da n dt h e p a r 锄e t e r so f6 x e d f o c u sc 锄e r aa r ew o r k i n go u t t h ec a m e r ac a l i b r a t i o no fz o o m i n g b i n o c u l a rv i s i o ns y s t e mw h i c hi s6 tf o r 伽】i t h a r v e s t i n gr o b o tc 锄o b t a i nc l e a ra n d h i g h q u a l i t yi m a g e si nf a v o ro fo b j e c t sm e a s u r i n g b u tt h em o s tp r o b l e mo f i ti sh o w t oo b t a i nt h ec 锄e r a sp a r a m e t e rr e a l t i m e l y 3 i m a g em a t c h i n g i m a g em a t c h i n gi s ad i 舶c u l t yo ft h eo b j e c t s1 0 c a l i z a t i o n s y s t e n lo ff 沌i t h a r v e s t i n gr o b o t s o m er e s t r i c t i o nc o n d i t i o n sl i k ee x c l u s i v er e s t 订c t i o n ， o r de 1 e dr e s t r i c t i o na n de p i p o l a rr e s t r i c t i o nc a nm a k cm em a t c h i n gp m c e s sm o r e e 衔c i e n t m a t c h i n g 撕t h m e t i ci n c l u d e sm e t h o d sb a s e do ng r a y s c a l e ，a r e a ，c h a r a c t e r a n dp h a s e i nm i sp a p e rm a t c h i n g 撕t h m e t i cb a s e do na r e aa n dc h a r a c t e ri sr e s e a r c h e d i nd e t a i l ，u s i n gt h em e m o do fp r o ba _ b i l i t yl a x a t i o ni t e r a t i v e n e s sa n dp a r a l l a ) 【m a t r i xt o m a t c hb i n o c u l a rm l i t si m a g e t h e nt h em e t h o do fe m rd e t e c t i o ni sr e s e a r c h e d ， w h i c hu s e so r d e rm a t c h i n gp r i n c i p l et oc l e a ru pt h ee 玎o rm a t c h i n gp o i n ti nc r o s sa r e a i nt h ee n dt h em e t h o do fi t e r a t i v em a t c h i n gi sm e n t i o n e d 4 o b j e c t sl o c a l i z a t i o ns y s t e mo f 丘u i t - h a r v e s t i n gr o b o tb a s e do nn e r v en e t t h e n e r v en e t st h e o r vi sc o m b i n e dw i t hb i n o c u l a rs t e r e ov i s i o n ，a i l dt h e nt h eo b j e c t s i i 江苏大学硕士学位论文 l o c a l i z a t i o nm o d e lo f 丘1 l i t - h a r v e s t i n gr o b o tb a s e do nn e r v en e ti ss e tu p t h e 右r l i i t l o c a l i z a t i o ne x p 嘶m e i l ti sp u tu pw i mm es t e r e ov i s i o nm o d e lo ft h ew a r dn e 时o r k t h eo b j e c t sl o c a l i z a t i o ns y s t e mo f 矗m i t h a r v e s t i n gm b o tb a s e do nn e r v en e tw h i c h c a | li 印o r et h ei n n u e i l c eo fl e n sd i s t o n i o nc a l ll o c a l i z ef m i t sm o r ea c c u r a t e l ya 1 1 d r e a l - t i m e l ya n dc a na l s oe m l a n c em es y s t 锄sm e a s u r i n ge x t e n s i o n s oi th a sa 目a t r e s e a r c h i n gp r o s p e c t k e yw o r d s ：f m i t h a e s t i n gr o b o t ，o b j e c t sl o c a l i z a t i o n ，b i n o c u l a rs t e r e ov i s i o n ， c a m e r ac a i i b r a t i o n ，s t e r e om a t c h i n g ，n e r v en e t i 江苏大学学位论文版权使用授权书 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定， 同意学校保留并向国家有关部门或机构送交论文的复印件和电子版， 允许论文被查阅和借阅。本人授权江苏大学可以将本学位论文的全部 内容或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫 描等复制手段保存和汇编本学位论文。 本学位论文属于 保密口，在年解密后适用本授权书。 不保密圈。 学位论文作者签名：趁l ；i 呜 2 0 d8 年月f o 日 如d 8 年z 月励日 独创性：声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独 立进行研究工作所取得的成果。除文中已注明引用的内容以外，本论 文不包含任何其他个人或集体已经发表或撰写过的作品成果。对本文 的研究做出重要贡献的个人和集体，均已在文中以明确方式标明。本 人完全意识到本声明的法律结果由本人承担。 学位论文作者签名： 赵郴参3 l r l 乃 日期：切口乞年6 月jo 日 江苏大学錾吉至俘堕墨 蓑：| 孽薹 冀囊霎藿雾蓁冀霎蓁囊爝篓冀冀蓁冀 拍朔砑赫滞礴派滋嚣赣薹= 氦鏊料邕羟耍邑曼藉矍鬻堪强霎旺喜暑摹二| 二薤缆 烈啤荭；坦涵鞭器翅、喜i 黼荆鲤，：) i 、刁矧萎签捡堕零葛罂婴烃壹刭叁理，基击g 仁每甏婴售堡雾戛薹薹科? 二e 囊臻受诺蘧绘强蝇辩屹谢j 呸翟；融蓊群i 喜舞俪嵩铺体剧并辘；陌 确毓鞠钮阁幽裂瀚萋需箅鳞否蔚；萋鼎立燃滞；鬓硫幅融雾薪；骄旌鉴叫# 疆 誊；! 蒸禧器痧，简禾幽萄幛藜馘写砀滩馨霍终信息的图像分割，谬象穗稠鞠矗 粪雅利j 彤e 二蚓塑型纛骡型蠢蕊靳甜髭翻戮剃醚端艘邕。浮藩墙需攀产垒傲攫 随地哙鲐是= 位3 谁帮琛觅；睡为翘蛛墓冀礞的秆羹；编蓁塞蔷韶结老崔? 廪篷赢 冶鹕衙嘛嘲俪牟硝鬻馏； 薹；雾鬟蓁篓羹冀羹鋈蓁羹萋耋鋈薹蚕翼纛羹 li ：襄i 崩m 鞠妻獒以驯甄自睁； 鞠嬉蓁再硌篇蓥；两礤；羹韭鳆哥白利鼢闵鏊湘拱啸啪霄薜螈南佞镯鸶i 勘 璺卫觏塑薹型强嶷渺甄掣攀瞠型晷豢w 蓁饷超幢憎差餮鬈j 撞倒卿缝捌蓬羹羹蠼 裂廷俄潮娜胁离翮若融誊藉翮擀醋u 佛， i 羹薹黾孺臻蓁篙蘖籀新巢父i 蓬姚磷型薷掣蓥斡醒生弩舀蘸囊劣研翅景要崮獭叶啤商稠悄；囊斡薪雾萋蓄 季鲞晏一署鼎拦臻蓁攀萝蓁。烈逸雾鼠毪妣篓驯晕蠹鞋醐鹱雾辩鏊复磊葺羹鎏 丽新美陶骋协肇新勘研瑶；辱引萎菱捌它垒斟暇些蔫我“翼氍；薹黜塑蓊型掌 雕剽囊干扰物或遮霎确番簖篇攫蔼基渔捌垲蝶碡篇炭警j 筋酏羟新褊霪蕊臣醇峪 爆垦嚣鬻臻囊蓁抹；糁驯匿缈恭| | 薹饕衙铤皤懦鬟雾增。驯烈獬泌囊掣粼斟猷薹 盈淄! 桀掣石盔瑶蹙箨貉鐾0 蕺髦糯嘻稀诼鞴描丽隔淄蓁酆簌豁掣雾崧噬i 嘤班 卵鹭叁到踅零鱼赣埋圳强溜蓁囊嘲强运动嚣星租樾j 鳃臂筇翅萄加棚翻盹野鄯 鹱域；婴行 操作，这就需要对机械臂的结构，运动轨迹和避障问题进行深入研究 。( 4 )果实目标定 是一个复杂而精密的过程。除上述自然环境对定位过程的影响之外，摄像机 参数的标定及双目图像的特征点匹配等问题也对定位过程起了重要的作用。这是 本文所要研究的重点。( 5 )果实的成熟 要求机器人具备成熟度探测的能力，尽管已经针对特定果实提出了一些方法 ，也有相应的测试装置，但是这些装置需要在一定的条件下进行检测。目前所研 制的果实收获机器人，还没有效果很理想的成熟度传感器或功能，多数通过人工 江苏大学硕士学位论文 的成熟度的判断，也是靠颜色特征进行的。因此，针对特定果实，研制适合配置 在采摘机器人进行成熟度传感器或使视觉系统软件具有成熟度感知功能，都是值 得深入研究的问题。 ( 6 ) 实时性处理问题： 目前所研制的果实类收获机器人的作业效率多数比人工作业低，一个重要原 因就是机器人的视觉系统运行速度还达不到希望的要求，使机器人等待处理结果 的时间长。因此，除采用高级的计算机外，研究快速的算法以及在高效率的开发 环境下进行软件设计是必须要考虑的。 ( 7 ) 其他问题： 价格问题果树采摘机器人投入实际生产的关键制约问题之一。工业机器人所 需大量投资由工厂或工业集团支付，而农业机器人以个体经营为主，如果不是低 价格，就很难普及。 另外，农业机器人的使用者是农民，不是具有机械电子知识的工程师，因此 要求农业机器人必须具有高可靠性和操作简单的特点。 开发出能自主在温室或室外代替人进行果实收获的机器人是研究果树采摘 机器人的终极目标，但是由于以上存在的难题和制约因素，要开发出商业意义上 的采摘机器人还需要不断的努力，加大研究力度 1 4 本文研究的主要内容 本文着眼于果树采摘机器人的目标定位系统。针对果树采摘机器人作业环境 的复杂性与定位目标的特殊性，对果树采摘机器人目标定位系统的各方面进行了 研究。 首先综述了果树采摘机器人的目标定位系统，接着从双目定位的几何模型出 发，归纳了双目定位的基本过程，总结了立体视觉的摄像机标定问题，提出变焦 距双目视觉定位果实的研究方向，并对双目图像的匹配问题进行了分析，引申出 了多目立体匹配和亚像素级视差匹配。最后设计了基于神经网络的双目测量模 型。 江苏大学硕士学位论文 2 1 引言 第二章果树采摘机器人目标定位系统 与传统的工业机器人相比，果树采摘机器人的定位和操作目标具有随机性和 复杂性。加之复杂的一【：作环境，因此要求果树采摘机器人具有更加灵活，更加智 能的系统和更高的自由度。 果树采摘机器人包括行走底盘、本体、机械手，末端执行器等几个部分，其 关键技术包括果实自动识别技术、目标定位技术、总体控制技术、机械臂控制技 术，避障技术等。果实的定位技术是建立在果实识别的基础上的，而只有果实位 置确定，机器人才能够控制机械手臂完成准确的采摘动作。因此果实目标定位是 整个采摘过程的关键环节。果实生长在自然环境中，受自然条件的影响，其定位 一直是采摘机器人的难点之一。 2 - 2 果树采摘机器人目标定位的特点和难点 ( 1 ) 复杂环境对目标定位的影响： 地面的凹凸不平，风吹，日照等都会对果实的定位产生或多或少的影响。枝 叶的遮挡和果实之间的相互遮挡也会使目标定位产生偏差。在定位的过程中要全 面的考虑环境的影响才能使定位更精确。 ( 2 ) 摄像机内外参加酌扫描i 薹谨瀑博雀名霪鲥酗r 鲢鲣崩司雾髦聪誊型醛赡零即虿蜜爨；篓饲辛i 贝0 萋l 搦 疆襦妒 x 江苏大学硕士学位论文 摄像机、c m o s 图像传感器等。尤其是面阵c c d 摄像机在视觉检测的发展和应 用中起着至关重要的作用。高速图像采集系统是由专用视频解码器、图像缓冲器 以及控制接口电路组成。它的功能是实时的将视觉传感器获取的模拟视频信号转 换为数字图像信号，并将图像直接传输给计算机进行显示或者处理，或者将数字 图像传输给专用图像处理系统进行视觉信号的实时前端处理。专用图像处理系统 是计算机的辅助处理器，主要采用专用集成芯片，数字信号处理器( d s p ) 等设 计的全硬件处理器。它可以实时高速完成各种低级图像处理算法，减轻计算机的 处理负荷，提高整个系统的速度。 2 4 基于双目视觉的目标定位过程 双目立体视觉传感器进行三维测量的基础是视差的计算，即空间物体的同一 特征点的两幅图像( 或者同时包括两个成像点的一幅图像) 内的图像坐标差。而 视差的计算又依赖于特征点的两个对应图像坐标的求取，即图像对应点的匹配问 题。有了特征点的对应图像坐标后，要求得三维空间坐标，还需要摄像机的内部 参数以及两摄像机之问的结构参数。有了这些基本条件，才能根据摄像机和双目 视觉传感器的模型计算出物体特征点的空间三维坐标，即完成三维测量和定位。 因此，一套典型的双目立体视觉定位方法包括以下几部分： ( 1 ) 建立双目立体视觉测量系统，建立摄像机及传感器模型，包括摄像机 的标定( 标定内外参数) 和传感器的结构参数标定； ( 2 ) 左右摄像机同时采集目标图像，对图像进行预处理，并利用后投影模 型，分别对两幅图像进行畸变校正， ( 3 ) 提取图像特征点的坐标。寻找足够的对应点，求取两摄像机之间的极 线约束关系，及基本矩阵( 或本质矩阵) ，并在基本矩阵的指导下，求得更多的 匹配对应点，根据这些对应点计算出最佳极线约束； ( 4 ) 根据极线约束关系和摄像机内部参数，求取传感器之间的结构参数； ( 5 ) 己知摄像机内部参数以及传感器之间的结构参数，在极线约束的条件 下，求取被测物体的对应图像坐标； ( 6 ) 根据摄像机模型和传感器的结构参数，由双目立体视觉模型，计算特 征点的三维坐标。 ( 7 ) 经过以上各步骤所得到的3 d 信息常因各种原因而不完整或存在一定 的误差，需要进一步的后处理。常用的后处理主要又三类：深度插值，误差校正 和精度改善。 图2 2 为果树采摘机器人目标定位的整个过程。当特征点的空间3 d 坐标确 江苏大学硕士学位论文 定以后，计算机系统便可以据此由一套固定的算法得到机械臂的控制参数和末端 执行器的位姿，引导机械臂采取果实。 摄像机标定 0 计 客 i 图像采集 l -图像分割 观 i ，睦不士垦百寸1 算 _忖化i 耿 t 场场景恢复 机 1，t 上 量立体匹配目标定位 系 尿 统 采集装置控制参数 图2 2 果树采摘机器人目标定位过程示意图 f i g 2 2 t h ep r o c e s so f 觚i t - h a n ，e s t i n gr o b o t so r i e n t a t i o n 2 5 本章小结 本章概述了果树采摘机器人的目标定位系统。首先介绍了其定位过程的特点 和难点，然后对定位进行了分类，介绍了飞行时问法和主动三角测量法，重点引 出本文的重点一一基于双目视觉的目标定位。并对双目视觉定位方法的整个过程 进行了分析。 江苏大学硕士学位论文 图3 1 图像中的3 d 信息 f i g 3 1 3 di n f o m a t i o ni ni m a g e 的。 ( 4 ) 纹理梯度( t e x t u r e 酉a d i e n t ) ： 纹理梯度是图像纹理( 测量的或感知的) 沿图像中某个方向的变化，它常常 能够反应3 d 目标的距离或表面方向的变化，其中纹理是指所研究目标表面上具 有的纹理。 纹理成分容易受到透视缩放和透视缩短的影响，发生的纹理变化给观察者提 供了纹理表面的距离和方向信息。当仰望砖结构建筑物，沿着平铺的地板或铁轨 方向观看，从玉米地或体育场的人群上面看过去，这个效果是很明显的。如果用 规则的栅格光纹照射场景中的目标，就在目标表面e 形成了纹理。该结构光不仅 使我们得到表面形状的信息，而且能用来自动计算表面的法线方向甚至深度。 ( 5 )运动视差( m o t i o np a r a l l a x ) ： 运动中的观察者能够通过运动视差得到目标的深度信息，在这种情况下，即 使是静止目标彼此间也会出现相对运动的现象：近处目标的图像要比远处目标的 图像运动得更快一些。如果观察者静止而目标运动的话，也会出现类似的效果。 当我们沿街道行走时，身边经过的目标例如垃圾箱或大门，他们的图像在视 网膜上的运动远比自i 方同类目标的运动速度快。开车时，迎面而来的车辆在一定 距离外图像是稳定的，最终它们会从我们的车窗外飞驰而去。同样，经过我们身 边的汽车图像，其变化速度要比远处汽车的图像变化快得多。 江苏大学硕士学位论文 ( 6 ) 其他： 除了以上现象外，在一幅图像中还有更多其他的3 d 线索。比如与较近的目 标相比，远处的目标会带有更多的青色；或者由于目标和观察者之间空气散射的 作用，图像可能显得不够明快，远处景物会变模糊；通过变化的焦距也可以得到 深度信息。 但是，从单幅图像中得到的3 d 线索大多是抽象的，模糊的，很难应用于实 际的生产或操作中。然而很多的视觉系统都要求对目标点进行精确的定位，即得 到目标点的精确的三维坐标，这是很难从单幅图像中得到的。这就需要双目立体 视觉来解决这个问题。 3 3 基于视差的双目立体视觉原理 3 3 1 双目立体视觉 双目立体视觉，简称体视，是通过两个摄像机从不同的位置观察同一物体并 用三角计算测量摄像机到该物体相对位置的方法引。体视直接模拟了人类视觉处 理景物的方式，可以在多种条件下灵活的测量景物的立体信息，其作用是其它计 算机视觉方法所不能取代的。通过体视可以实现很多功能，如识别和定位物体， 回避障碍物以及搜索物体等任务。体视具有很多优点乜5 1 ：可以在相当大的范围内 实时的提供关于周围物体相对位置的准确信息；可经受各种干扰，在各种光照条 件和光度学及几何学畸变的条件下仍能可靠的提供立体信息；可经受对比度的变 化，在一幅图相对于另一幅图有明显的模糊或扩展时，仍能工作良好；能很好的 处理物体运动的情况；对深度信息检测的分辨率很高。在理想条件( 孤立边缘) 下能可靠的分辨在l 米的观察距离上确定大约相聚0 8 毫米的两个特征的相对深 度，或在5 0 厘米远处相距o 2 毫米的相对深度。 尽管体视具有上述优点，但是要利用双目视觉系统进行目标定位，首先需要 解决的关键问题包括：一个是摄像机标定问题，尤其是摄像机内参数如何获取的 问题；另一个是左右图像中对应点的匹配问题以及测量精度问题。只有解决了这 些关键技术问题，双目系统才能用于采摘机器人技术。本章讨论双目立体视觉的 基本原理，摄像机标定和匹配问题将分别在第四章和第五章进行研究。 3 3 2 平行双目成像 图3 2 所示为两摄像机的光轴平行， 时的配置情形。 并且摄像机的水平扫描线位于同一平面 江苏大学硕士学位论文 p ( x ，y ，z ) 图3 2 平行双目成像模型 f i g 3 2 m o d e lo fp a r a l l e lb i i l o c u l a rs t e r e oi m a g i n g 假设世界坐标系与左摄像机坐标系重合，p 点在左、右图像平面中成像点相 对于主点的距离分别为柳和并。利用x z 平面中的相似三角形可以得到 ff x 。= x 鼍xr = 惦一砷与 z ， z ( 3 1 ) 同理，在y z 平面中也有同样的几何关系，有 ff y l = y 鼍 yr = y 与 厶， 厶 ( 3 - 2 ) 由以上各式可以得到点p 的位置坐标： z ：旦x ：望：b 惯墨y ：丝：丝 x l x r 。 ， j ， f _ ：f ( 3 - 3 、 其中，f 是透镜的焦距，b 是两透镜之间的距离，即双目视觉系统的基线。p 点 在左右两幅图像平面中成像点位置差石。一曲称为视差。式( 3 3 ) 将法向深度z 和两幅图像偏移的像素数联系起来。当摄像机几何位置固定时，视差大小只与p 点的法向深度z 有关，而与p 点离摄像机光轴的距离无关。视差越大说明物体 离透镜的距离越近；反之，则越远。另外，视差与z 相比可能很小，也就意味着 对于大的z ，其分母就很小，如果在两幅图像中特征点定位的微小偏差可能会导 致深度计算的大误差。基线b 的大小对测量精度也有直接影响，若基线较短， 确定x 、y 时的误差将减小，但在计算z 时误差将增大，所以在基线和误差之间 取得平衡是必要的。但是，过大的基线b ，会加大目标在场景中被遮挡的可能性， 江苏大学硕士学位论文 以致图像点之间的对应关系丢失。 3 3 3 会聚双目成像 图3 3 为两摄像机光轴会聚时的情况乜4 1 。它是将两个单目系统绕各自中心相 向旋转得到的。图中给出两镜头连线所在的平面( x z 平面) 。两镜头中心间的距 图3 3 会聚双目成像模型 f i g 3 3 m o d e lo fc o n v e r g e l l tb i n o c u l a rs t e r e oi m a g i n g 离即为基线b 。两光轴在) ( z 平面相交于( 0 ，0 ，z ) 点，交角为2 0 ( 未知) 。如 果已知像平面坐标点( x l ，y 1 ) 和( x 2 ，y 2 ) ，则可求取世界点p 的坐标( x ，y ， z ) 。 首先由世界坐标轴和摄像机坐标轴围成的三角形可知： 。 bc o s 9 2s i n 臼 ( 3 4 ) 从p 点分别向两摄像机坐标轴作垂线，因为这两垂线与x 轴的夹角都是0 ， 所以根据相似三角形的关系可得： x lxc o s 9x 、x s 9 -二=-一-二=一 厂 ，一x s i n 口 r + x s i n 秒 其中r 为从镜头中心到两系统会聚点的距离( 未知) ，且有： ，：去一厂 ，= 一一， 2 s i n 口 。 由式( 3 5 ) 的两式联立，消去r 和x ，再代入式( 3 6 ) 可得： z 一邓z 志 ( 3 5 ) ( 3 6 ) ( 3 7 ) 江苏大学硕士学位论文 式( 3 7 ) 把物体和像平面的距离z 与视差x 2 一x l 直接联系了起来，求解式( 3 7 ) 不但需要知道视差x 2 一x i ，还需知道x i 和x 2 本身。一旦确定了z ，由式( 3 4 ) 可确定0 ，这样由式( 3 5 ) 可将x 表示为： x ： 苎 厂c o s 口+ 五s i n p( 刍一小南( 去一) 8 ， 会聚双目成像相对于平行双目成像有其优点，如更精确，视角更广，对摄像 机的位置要求不苛刻等。但是，考虑到应用到自然条件下采摘果实的情况，遮挡 现象普遍存在，由于双目的光轴之间角度比较大，在左目可观察的目标，可能在 右目被遮挡，导致同一目标在左右图像中其特征点坐标出入很大，容易造成特征 点的误匹配等问题。在实际应用中需要用哪种双目视觉模型还需实际情况实际分 析。 3 4 本章小结 本章研究了果树采摘机器人目标定位系统的基础：立体视觉理论。由浅到深 的分析了立体视觉研究的各种方法。从单幅2 d 图像中的各种3 d 线索出发，引 出了双目立体视觉原理。并对两种立体视觉模型：平行双目成像模型和会聚成像 模型进行了分析。计算物体的深度距离z ，即对物体进行定位首先要进行摄像机 的标定。 江苏大学硕士学位论文 4 1 引言 第四章摄像机标定 果树采摘机器人视觉系统应能从摄像机获取的图像信息出发，计算三维环境 物体的位置、形状等几何信息，并由此识别环境中的物体。图像上每一点的亮度 反映了空间物体表面某点反射光的强度，而该点在图像上的位置则与空问物体表 面相应点的几何位置有关，这些位置的相互关系，由摄像机成像几何模型所决定， 该几何模型的参数称为摄像机参数，这些参数必须由实验与计算来确定，实验 与计算的过程称为摄像机定标。根据摄像机参数性质可以分为内部参数和外部 参数：内部参数描述摄像机的内部光学和几何特性，如图像中心、焦距、镜头 畸变以及其它系统误差参数等；相对于一个世界坐标系的摄像机坐标的三维位置 和方向称为外部参数。 摄像机标定的应用包括以下几个方面乜刚： ( 1 ) 深度重建：每一个图像点确定了一条光路穿过摄像机的焦点到三维场 景，在静止的场景允许二维成像得到3 d 点的测量位置。在此之前，匹配问题首 先要被解决。 ( 2 ) 可视检验：一旦得到一个测量目标的深度重建，重建的模型就可以和 存储的模型进行比较，为了探测任何加工缺陷，比如碰撞伤痕或者裂缝。 ( 3 )目标定位：当考虑来自不同目标的多个图像点时，在这些目标之间的 相对位置能容易的确定，比如工业零件装配、机器人导航中避障以及果实采摘等。 ( 4 ) 摄像机定位：当一台摄像机被放置在一个机器人手臂上或者一个移动 机器人上，通过定为场景中的一些已知标靶参考物，可以计算摄像机放置的位置 和方位。这个信息可以被使用在机器人控制和路径规划上。 摄像机标定被分为2 个阶段。首先是摄像机建模，即利用一套参数建立c c d 传感器的物力和光学特性的数学近似描述。摄像机标定的第二个阶段是利用直接 或迭代的方法来估计这些参数的值。 4 2 摄像机模型拉6 。加1 4 2 1 透视变换和摄像机模型 在图像采集中需要将客观世界3 d 场景投影到摄像机的2 d 像平面上，这个 江苏大学硕士学位论文 4 1 引言 第四章摄像机标定 果树采摘机器人视觉系统应能从摄像机获取的图像信息出发，计算三维环境 物体的位置、形状等几何信息，并由此识别环境中的物体。图像上每一点的亮度 反映了空间物体表面某点反射光的强度，而该点在图像上的位置则与空问物体表 面相应点的几何位置有关，这些位置的相互关系，由摄像机成像几何模型所决定， 该几何模型的参数称为摄像机参数，这些参数必须由实验与计算来确定，实验 与计算的过程称为摄像机定标。根据摄像机参数性质可以分为内部参数和外部 参数：内部参数描述摄像机的内部光学和几何特性，如图像中心、焦距、镜头 畸变以及其它系统误差参数等；相对于一个世界坐标系的摄像机坐标的三维位置 和方向称为外部参数。 摄像机标定的应用包括以下几个方面乜刚： ( 1 ) 深度重建：每一个图像点确定了一条光路穿过摄像机的焦点到三维场 景，在静止的场景允许二维成像得到3 d 点的测量位置。在此之前，匹配问题首 先要被解决。 ( 2 ) 可视检验：一旦得到一个测量目标的深度重建，重建的模型就可以和 存储的模型进行比较，为了探测任何加工缺陷，比如碰撞伤痕或者裂缝。 ( 3 )目标定位：当考虑来自不同目标的多个图像点时，在这些目标之间的 相对位置能容易的确定，比如工业零件装配、机器人导航中避障以及果实采摘等。 ( 4 ) 摄像机定位：当一台摄像机被放置在一个机器人手臂上或者一个移动 机器人上，通过定为场景中的一些已知标靶参考物，可以计算摄像机放置的位置 和方位。这个信息可以被使用在机器人控制和路径规划上。 摄像机标定被分为2 个阶段。首先是摄像机建模，即利用一套参数建立c c d 传感器的物力和光学特性的数学近似描述。摄像机标定的第二个阶段是利用直接 或迭代的方法来估计这些参数的值。 4 2 摄像机模型拉6 。加1 4 2 1 透视变换和摄像机模型 在图像采集中需要将客观世界3 d 场景投影到摄像机的2 d 像平面上，这个 江苏大学硕士学位论文 面与像平面重合而光学轴沿z 轴。这样像平面的中心处于原点，镜头中心的坐标 是( o ，o ，f ) ，其中f 是镜头的焦距。 设w ( x ，y ，z ) 是3 d 空间中任一点的世界坐标。在以下的讨论中我们假 设z f ，即所 矍薹蓁。l 刚蒯刺l 姜= 譬j 蓼茎 嚣鲤霭掰泻涵鐾穰醑蓁! 薹；姜l 紊稚谳；b 型羹 ，采用普通c c d 摄像机捕 获大小为5 0 0 5 0 0 像素的图像时，：其边缘的畸变大约为5 个像素瞳。径向畸变 关于摄像机镜头的主光轴对称，是对边缘处存在较大畸变的一种模型化。在工业 视觉中，一般只需要考虑径向畸变，因为引入过多的非线性参数，往往不仅不 能提高解的精度，反而会引起解的不稳定性心6 1 。 4 3 摄像机标定的方法 法。 目前的摄像机标定方法很多，本文按照标定方式的不同来阐述摄像机标定方 4 3 1 基于标定靶的摄像机标定 这种标定是利用一个标准参照物与其对应图像的对应关系，来确定摄像机模 型的参数，已经有较成熟的方法和理论。线性模型忽略了镜头畸变，只能用于视 野较狭窄的摄像机标定，可以使用线性方法求解，但标定精度较低。当镜头畸变 较明显，特别是在广角镜头时，远离图像中心处会有很大的畸变这时必须引用 非线性模型来描述成像几何过程，可以通过非线性优化的方法求解摄像机参数， 成像模型考虑了摄像机成像过程中的各种影响因素，然后在某些约束条件下进行 非线性优化求解。这类方法尽管能得到较高的标定精度，但标定的结果依赖最优 化算法的摄像机初始给定值，而且非常费时。j o a q u i ms a l v i ( 2 0 0 2 年) 对f a i g ， w e n g 等提出的四种标定算法进行了精度评估m 1 。两步法是上述方法的综合，它 包含直接求解需标 嗍问筒捎玫椒蠼馄溆嗌俨糠植问礁霾 x 江苏大学项士学位论文 啡y 牡 告尚 ( 4 - 6 ) 因为x y 和x y 二两平面重合，所以c 的前两项也表示3 d 点w ( x ，y ，z ) 在像平面的投影坐标。 4 2 3 世界坐标与摄像机坐标分开时的摄像机模型 式( 4 5 ) 和式( 4 6 ) 描述了3d 空间点投影到像平面的过程，这两式组成 一个最基本的摄像机( 成像几何) 模型，这个模型是建立在摄像机坐标系统和世 界坐标系统相重合( 且摄像机坐标系统的x y 平面与像平面x y 重合) 的假设上 的。我们考虑一下更一般的，即上述两个坐标系统分开时的情况( 但仍将x y 平 面和x y 平面重合且z 轴与z 轴平行) 。 图4 2 给出一个此时成像过程的几何模型示意图。像平面中心( 原点) 与世界 坐标系统的位置偏差记为矢量h ，其分量分别为h x ，h v ，h ：。这里假设摄像机 分别以e 角扫视( 水平旋转) 和以q 角倾斜( 垂直旋转) ，其中0 是x 和x 轴间的 夹角，( p 是z 和z 轴间的夹角。 根据上节讨论的结果，如果我们首先把世界坐标系统和摄像机坐标系统间的 几何关系转化为图4 2 所示的情况，然后再进行透视投影就可以得到3 d 空间w 点在像平面投影的坐标。 x 、1 2 ， ；j 。y i ：j 】 - 图4 2 世界坐标与摄像机坐标不重合时的投影成像示意图 f i g 4 2 t h e p r o j e c t i o nh n a g i n gw h e nw c s a n dc c sn o ts u p e r p o s i t i o n 上述几何关系的转换也可如下考虑。设摄像机初始处于正常( 标称) 位置，即 像平面原点处于世界坐标系统的原点，且各对应轴都互相平行。从两坐标系这 江苏大学硕士学位论文 种对应图4 1 的几何关系出发我们可通过以下系列步骤得到如下儿何关系： ( 1 ) 将像平面原点按矢量d 移出世界坐标系统的原点； ( 2 )以某个0 角( 绕z 轴) 扫视x 轴； ( 3 )以某个q 角对z 轴倾斜( 绕z 轴旋转) 将摄像机相对世界坐标系统运动也等价于将世界坐标系统相对摄像机逆运 动。具体来说可对每个世界坐标系统中的点分别进行如上几何关系转换所采取的 3 个步骤。平移世界坐标系统的原点到像平面原点可用下列变换矩阵完成： t = 10 0 - d x 01 0 一d ， 0 01 一d o 0 o1 ( 4 7 ) 换句话说，位于坐标为( d x ，d y ，d z ) 的齐次坐标点d h 经过变换t d h 后位于变 换后新坐标系统的原点。 进一步考虑如何将坐标轴重合。扫视角0 是x 和x 轴间的夹角，在正常( 标 称) 位置，这两个轴是平行的。为了以需要的0 角度扫视x 轴，我们只需将摄像 机逆时针( 以从旋转轴正向看原点来定义) 绕z 轴旋转0 角，即： = c o s 9s i ne 00 一s i n 目c o s 护00 oo10 ooo1 ( 4 8 ) 没有旋转( 0 = o 。) 的位置对应x 和x 轴平行。类似的，倾斜角( d 是z ：和z 轴问的 央角，我们可以将摄像机逆时针绕x 轴旋转( p 角以达到倾斜摄像机( p 角的效果， 即： r = 1o 0 c o s 缈 0一s i n 缈 oo oo s i n 够0 c o s 缈0 ol 没有倾斜( ( p = o 。) 的位置对应z 和z 轴平行。 分别完成以上两个旋转的变换矩阵可以级联成为一个矩阵： r = r e 心= c o s 9 ( - c o s r p ) s i n p s i n r p s i n o o s i n 9 c o s g c o s t 9 ( - s i n 9 ) c o s t 9 0 这里r 代表了摄像机在空间旋转带来的影响。 oo s i n 妒0 c o s r p 0 o1 ( 4 9 ) ( 4 1 0 ) 江苏大学硕士学位论文 如果w h 进行上述一系列变换r t w h 就可把世界坐标系与摄像机坐标系统重 合起来。点w h 的摄像机坐标c h 最终可用式( 4 5 ) 得到。换句话说，一个满足 图4 2 所示几何关系的摄像机观察到的齐次世界点在摄像机坐标系统总具有如下 齐次表达： g = 朋丁 ( 4 1 1 ) 式( 4 1 1 ) 表示与式( 4 5 ) 对应的成像透视变换，其中p 为式( 2 4 ) 的透视变 换矩阵。 如上小节指出的，我们用c h 的第四项去除它的第一和第二项可以得到世界 坐标点成像后的笛卡尔坐标( x ，y ) 。展开式( 2 1 1 ) 并将它转为笛卡尔坐标得 到： ， ( x q ) c o s 秒+ ( 】厂一d 。) s i n 臼 。一( x 一致) s i n 缈s i n 秒+ ( 】厂一b ) s i n 妒c o s 口一( z d ：) c o s 缈+ 厂 ( 4 1 2 ) ，一( x 一哦) s i n 缈c o s 口+ ( 】厂一d ，) c o s 缈c o s 护+ ( z 一见) s i n 缈 。 。一( x 一只) s i n 妒s i n 秒+ ( 】厂一q ) s i n 妒c o s 乡一( z 一砬) c o s 伊+ 厂 ( 4 1 3 ) 它们给出世界坐标系统中点w ( x ，y ，z ) 在像平面的坐标。当d x = d v - d z - o ， 0 = ( p = 0 0 时式( 4 1 2 ) 和式( 4 1 3 ) 简化成式( 4 1 ) 。 4 2 4 小孔成像摄像机模型 摄像机模型是光学成像几何的简化，实际成像系统应采用透镜成像原理，见 图4 3 。 图4 3 透镜成像模型 f i g 4 3 m o d e lo fl e n si m a 百n g 其中u 为物距，v 为像距，f 为透镜焦距，三者满足下列关系： l11 = + 厂 “v ( 4 1 4 ) 江苏大学硕士学位论文 在一般情况下有u f ，由式( 4 1 4 ) 得v f ，所以使用中常用小孔成像模型 来代替透镜成像变换。 如图4 4 所示，视点为o ，空问点p ( x w ，y w ，z w ) ，在摄像机坐标系下的 z w w 叫考 件 y = 厂； 料圈 m ； ： 耄沸 x 】厂 z 1 厂r 丁 2 id 7 1 x 。 y ：， z 。 1 ( 4 1 9 ) 广。1iiiil 江苏大学硕士学位论文 其中，r 和t 分别为从世界坐标系到摄像机坐标系的旋转和平移变换，r 是一个 3 3 的正交矩阵，t 是3 1 的平移向量。 于是，我们得到以世界坐标系表示的p 点坐标( x w ，y w ，z 。) 与其投影点 p 的坐标( u ，v ) 的关系如下： h 降 z lyi = lo l l o o q y o “o 场 l x 。 l z 。 1 = m l m 2 x = 凇 ( 4 2 0 ) 其中，0 c x = f s x ，v _ f s v ；m 为3 4 矩阵，称为投影矩阵；m l 完全由内部参数决 定；m 2 完全由摄像机相对于世界坐标系的方位即外部参数决定。 可见，如果已知摄像机的内外参数，就已知投影矩阵m ，对任何空间点p ， 如果已知其空间三维坐标( x ，y ，z ) ，就可以求出其图像坐标点的位置( u ，v ) 。 但是，反过来，如果已知空间某点的图像点的位置( u ，v ) ，即使己知投影矩阵， 其空间坐标也不