（精密仪器及机械专业论文）双目视觉立体测量研究.pdf

摘要 摘要 双目立体视觉检测具有速度快、非接触、较高精度、操作简单以及自动化程度高 等优点，作为一种新的测量手段在许多领域内发挥巨大作用。本文以双目立体视觉技 术在测量中的应用为研究对象，针对双目立体视觉测量中的一些关键性问题：双目立 体视觉测量的基本原理、双目视觉传感器的参数标定方法、双目立体视觉中立体重建 和误差分析等，从理论上和实践上进行了研究与探讨。 本文的主要研究内容可以概括为以下几个方面： 全面阐述了双目视觉测量的理论基础、系统构成，并总结了双目视觉测量的主要 计算方法。 对双目视觉测量的关键技术之一的摄像机标定进行了理论介绍。同时对2 d 标定和 3 d 标定进行了理论介绍和推导，对两种方法的优缺点进行了比较分析，得到了本论文 的所需的标定方法：以z h a n g 方法为核心的2 d 标定方法。 编程实现了z h a n g 方法，在不同标定参数和标定环境下，对测量误差进行了详细 分析，得到了影响测量精度的关键因素，为提高测量精度寻找了具体的途径；同时与 t s a i 方法的实验结果进行比较。实验结果表明，经调整后的z h a n g 方法比原z h a n g 方 法和嘞i 方法的测量误差要小。 介绍了基于c c d 摄像机的光纤定位单元的视觉测量装置，分析了测量装置的稳定 性，着重分析了采用标定靶实现对测量装置进行摄像机标定的方法。 关键词：视觉测量，双目视觉传感器，2 d 标定，特征点提取，视觉测量的误差分析。 中国科学技术大学倾士记支 = ! = = 1 2 一一= = = 。一：。一一。一：一：竺竺兰 a b s t r a c t w i t ht h ea d v a n t a g e so ff a s tm e a s u 血gs p e e d ，h i g h a i l d a u t o m a t i c m e a s u r i n g ，e t c ， t h eb i n o c u 】a r s i g l l i f i c a i l tr o l ei i lm a n ya r e aa sa b i n o c l l l a rs t e r e ov i s i o n a c c u r a c y ，n o n 。c o n t a c t ，e a s yo p e r a t i o n s t e r e 0v i s i o n i n s p e c t i o nt e c 量u l i q u e p l a y a n e wm e a s u r i n gm e t h o d t a 虹n gt h e a p p i i c a t i o no ft h e e c 王l i l i q u ei nj n d u s t f i a lj n s p e c t i o na ss t u d yo b j e c t ，w ed i s c u s s e ds o m e k e yp r o b l e m si t l c l u d i n gt h e 叩e r a t j n gp r j n c i p l e s 。f m e a s u r e m e n tf o rt h eb i n 。c u l a r s t e r e 0 v i s i 。ni i l s p e c t i 。n ，t h ec a l i b r a t i 。nm e t h 。d 。f p a f a m e t e r sf o ft h eb i n 。c u l a u fv i s i 。ns e n s 。ra l l dt h e 磕r ? 1 1 锄s 掣脱0 n s l r u c l i o n a n de h 0 r 砌y $ 。f b j n o c u l a rs l c r c 0v i s i o n t h em 扣 c o n t e n ti sa sf o i l o w s n ef u n d a m e n t a lp r i n c i p l e s ，c o m p o n e n t sa n dm a i n f u n c t j 。n s0 ft h eb i n o c u l a rs t e 蜘 v i s i o ni n s p e c t j a ns y s t e ma r ee i u c i d a t e di nd e t a i l s t h em a j n a l g 。d t 虹n s 。ft 1 1 eb i n o c u l a rv i s i o n i n s p e c t i o na r ci n t r o d u c e d 上1 1 r o d u c et h ec a m e r ac a l i b r a t i 伽t h e o r y ，w h i c hi so n e o ft h ek e yl e c h n o l o 舀e so f b j n o c u l a r s t e r e ov 1 s l o nm e a s u r e m e n t a tt h es a m e t i m e ，g a i nt h ea d v a n t a g e sa n dd i s a d v a n t a g e s0 ft h e2d c a h b r a t i o na n d3 dc a l i b r a t i o nb ya c o m p a r a t i v ea n a l y s i s t h i sp a p e ra c l l i e v e st h en e c e s s a n r c a l i b r a t j o nm e t h o d ：z h a n g m e t h o d 。 p r o g r a mo ft h i s m e t h o d ，u n d e rt h ed i f 琵r e n t c a i f b r a t i o np a r 锄e t e r sa n dc a l j b r a t i o n e n v l r o n l l l e n ， m a k ead e t a i l e d a n a l y s i so fm e a s u r e m e n te r r o ra n dt h e k e yf a c t o r so f m e a s u r 锄e n ta c c u r a c y ，h o wt o i m p r o v em e a s u r e m e n ta c c u r a c y c o m p a r et h er e s u l t so ft s a i a n da d j u s e dz h a n g n er e s u l t sa r eb e t i e rt h a nt s a ja n d u n a d j u s t e dz h a i l g 上n ea r t l c l e1 n r o d u c e st 1 1 ed e v i c eo f o p t j c a lf i b e rp 0 s i t i o n i n gc e l l ( o f p c ) b a s e do nc c d c a m e r aa n dt h ec o n s i s t so ft h e d e v i c e ，a n a l y z e dt h es t a b j l i t ya n df o c u so nt h em e t h o d0 f c a l i b r a t i o no fc c dc 锄e r ao f t 1 1 em e a s u r es v s l e m 黧絮v ；兰鬻竺竺竺! ! ：b i n o c u i a r s t e r e ov i s i 。n 咖s 。r 1 2 dc a i i b r a t i o n ，f e a t u r ed e t e c t e 聊 a n a l y s j so fv j s u a im e a s u r e m e n t ，一w 1 - w “u c c c i ，b 1 。r o r 中国科学技术人学硕l jp 2 文 插图目录 插图目录 图1 1 球面坐标视觉测量系统5 图2 1 针孔模型1 0 图2 2 理想的透视变换模型1 1 图2 3 双目视觉三维测量原理图1 1 图2 4 双目视觉传感器三坐标测量数学模型1 3 图2 5 双目视觉传感器精度分析模型1 4 图2 6 双目视觉传感器的结构配置模式1 6 图2 7 基于两个摄像机的双目传感器结构1 6 图2 8 运动式单摄像机双目视觉传感器1 7 图2 9 采用光学成像的单摄像机双目视觉传感器结构配置，1 8 图3 1 标定参照物基本形状及其特征点2 1 图3 2 典型的3 d 标定参照物2 1 图3 3 阀值对特征点求取的影响2 2 图3 4 典型的圆孔原始图像及坐标的求解过程2 4 图3 5 本论文所有的图片示意图2 5 图3 6 求图像光点精确位置的流程图2 6 图3 7 空间点到计算机( 帧存) 图像坐标的变换过程图2 6 图3 8 图像坐标系内的两坐标系的关系图2 7 图3 。9 摄像机坐标系与世界坐标系示意图2 8 图3 1 0 畸变的所有类型图“3 l 图4 1 读取的1 3 张标定图片后的显示图3 9 图4 2 选取标定图片的四个角点示意图3 9 图4 3 初始位置的点阵图4 0 图4 4 不均匀的标定靶3 d 空间相对分布图4 3 图4 5 均匀的标定靶3 d 空间相对分布图- 4 3 图4 6 不同数量的标定图片的测量误差图4 5 图4 7 多幅图像标定后的平面度图- 4 6 第v l j 贝 中周科学技术大学硕一l 沦文插图目录 图4 8 误差分布图4 7 图4 9 平面度误差图4 8 图4 1 0 空间分布不同的测量误差图4 9 图4 1 1t s 越方法的重建图5 0 图5 1 光纤定位单元的实验室测量装置原理图5 3 第v l i i 负 中国科学敛术人学顶量j 文表僻目录 表格目录 表3 1 不同标定参照物的特点比较。2 2 表3 2 摄像机模型参数3 2 表4 1 标定图像的数量对标定精度的影响。4 1 表4 2 对不同的畸变系数进行标定4 2 表4 3 均匀程度对标定的影响4 4 表4 4 测量结果。：4 5 表4 5 实验结果。4 7 表4 6 实验结果。4 8 笫i x 畎 论文原创性和授权使用声明 本人声明所呈交的学位论文，是本人在导师指导下进行研究工作所取 得的成果。除已特别加以标注和致谢的地方外，论文中不包含任何他人已 经发表或撰写过的研究成果。与我一同工作的同志对本研究所做的贡献均 已在论文中作了明确的说明。 本人授权中国科学技术大学拥有学位论文的部分使用权，即：学校有 权按有关规定向国家有关部门或机构送交论文的复印件和电子版，允许论 文被查阅和借阅，可以将学位论文编入有关数据库进行检索，可以采用影 印、缩印或扫描等复制手段保存、汇编学位论文。 保密的学位论文在解密后也遵守此规定。 作者签名：歪灶 沙8 年p 凤l 日 中四科学技术大学硕士论文第i 章引言 第1 章引言 本章主要对双目视觉测量研究的意义，国内外研究现状进行大概的描述；同时对 本论文的主要研究内容和预期的结果进行了安排，最后介绍了课题的研究方法和实验 设计。 1 1选题的背景和意义 先进制造业自动化生产技术的迅猛发展，对伴随其发展的质量检测技术提出了更 高的要求。要求自动化制造过程中的完整质量检测系统必须具备以下特点：1 ) ：能实 现1 0 0 在线检测，在保证一定的测量精度的前提下，要在尽量短的时间内获取尽量多 的被测物体信息，以满足生产线节拍的要求；2 ) ：检测系统高度自动化和智能化； 3 ) ：检测系统的柔性化，即具备可扩充性和重构性；4 ) ：检测系统具有一定的自主性和 适应性，根据不同的要求自动调整系统的算法结构等优点。而在计算机视觉理论基础 上发展起来的自动化机器视觉检测( a u t o m a t e dm a c h i n ev i s i o ni i l s p e c t i o n ) 技术，以其非 接触性、较高精度以及能够迅速获得被测物体信息的优点，能够在一定程度上满足现 代先进制造业对检测的要求。 例如，本项目组所承接的一个项目( l a m o s t ) 中，要完成对光纤定位精度的确 定，由于光纤的弹性大，用接触式的三坐标测量仪测量不可能实现高精度的测量；同 时，由于用三坐标测量仪不可能时时测量，每次测量耗时耗力，都不能很好的满足测 量的要求。而视觉测量技术切可以满足非接触性、较高精度以及迅速检测的要求。 尽管自动化视觉检测技术的发展相对缓慢，但是随着电子、光学、计算机技术的 日趋完善，机器视觉技术的发展和应用出现了一个飞跃，因为这些应用均以商品化的 图像传感器( 包括c c d c m o s 图像传感器以及红外图像传感器等) 、半导体激光器( ( l d ) 以及电子产品( 计算机、专用图像采集系统和低级图像处理系统等) 为基础。同时人类在 其它相关领域，诸如图像处理、模式识别、人工智能技术等方面取得的巨大成就也极 大地推动了计算机视觉技术的发展。以计算机视觉为理论基础的机器视觉的兴起为人 们提供了_ 种新的检测手段，其应用正逐渐渗透到航空航天、军事、生物医疗、物体 识别、文字图像识别、加工制造、工业检测、自动化控制以及生命科学等诸多领域， 在目标识别、生产加工、尺寸控制过程、环境监控中起着重要作用。 本课题“双目视觉立体测量研究”其目的是在现有的三维视觉测量研究基础上， 探讨研究种新的双目视觉测量方法，它对视觉坐标测量技术的发展和视觉坐标测量 系统的应用有着重要的意义。 淝16 l 第l 章引苦 项目支持：国家自然科学基金面上( 青年基金) 项目( 项目批准号：5 0 7 0 5 0 9 1 ) ”大 尺度多目标坐标测量中的关键技术研究”。 1 2国内外研究现状 人类感知外界信息，8 0 左右是通过视觉得到的。人类通过眼睛与大脑来获取、 处理与理解视觉信息。近年来人们试图用照相机、摄像机和其他一起获取环境图像， 并转换成数字信号，利用信号处理和计算机技术实现视觉信息处理的全过程，由此形 成了一门新的学科计算机视觉。 计算机视觉是指用计算机来实现人类的视觉功能，也就是利用计算机来实现对三 维世界的识别，其目标是实现对三维景物世界的理解，通过对三维世界所感知的二维 图像来研究和提取出三维景物世界的物理结构。计算机视觉要达到的基本目的至少有 以下几个( 高文、陈熙霖，1 9 9 2 ) ： ( 1 ) 根据一幅或多幅二维投影图像计算出观察点到目标物体的距离； ( 2 ) 根据一幅或多幅二维投影图像计算出目标物体的运动参数； ( 3 ) 根据一幅或多幅二维投影图像计算出目标物体的表面物体特性； ( 4 ) 根据多幅二维投影图像恢复出更大空间区域的投影图像； 为了达到计算机视觉的目的，有两种技术途径可以考虑。第一种是仿生学方法， 即从分析人类视觉的过程入手，利用仿生学原理，参照人类视觉系统的结构，建立相 应的处理模块完成视觉的功能：第二种是工程方法，即脱离人类视觉系统框架的约 束，利用一切可行的和实用的技术手段来实现视觉功能。从分析人类视觉过程的功能 入手，不刻意模仿人类视觉系统内部结构，而仅考虑系统的输入和输出。 计算机视觉作为一门新的学科，发展十分迅速。2 0 世纪6 0 年代，r o b e n s 通过计 算机程序从数字图像中提取出诸如立方体、楔形体、棱柱等多面体的三维结构，并且 可以描述物体的形状和他们的空间关系，r 0 b e i t s 的研究开创了以理解三维场景为目的 的计算机视觉研究。 7 0 年代中期，麻省理工学院人工智能实验室吸引了国际上很多知名学者参与计算 机视觉的理论、算法、系统设计的研究。m 孵最初的开发工作是用计算机实现人的立 体视觉功能，在此基础上形成了他的视觉计算理论的整体框架。 m a l l r 的视觉计算理论是建立在计算机技术的基础上，系统概况了人工智能、神经 生理学、模式识别、图像处理等学科取得的所有重要成果，现在看来虽有许多不足， 但仍是视觉研究迄今为止最为系统的视觉理论。m a 玎的视觉计算理论把视觉过程看作 个信息处理过程，并把这一过程分为三个层次：( 1 ) 计算理论；( 2 ) 算法与数据结构； ( 3 ) 硬件试验。这一理论强调了当时并不受人们重视的计算理论的层次，并在这一层 次。把视觉过程主要的规定为定量的恢复出图像所反映的场景中的三维物体的形状和 第! 贝 第l 章引言 空间位置，以及将这一恢复过程分成三个阶段：( 1 ) 要素图：它包含图像边缘灰度变化 率，边缘的几何特征或者纹理特征等；( 2 ) 2 5 维图：它是要素图和三维图像模型之间 的中间表示层次，包含物体表面的局部内在特征；( 3 ) 三维图：以物体为中心的三维描 述，它是由要素图和2 5 维图得到的。m a r r 的理论比较系统地和一般性地揭示了用二 维图像恢复三维物体形态的可行性和基本方法，具有划时代意义，为计算机视觉成为 科学奠定了重要的基础( m i l a ns o i l l 【a ，1 9 9 9 ) 。 8 0 年代至今，研究者们按照m a u r r 所提出的基本理论框架进行了大量的研究并提出 了大量的方法。但总的来讲，这些方法都存在这样或者那样的问题，或缺乏通用性， 或抗噪声能力低，或存在多解性，其原因可归纳为：( 1 ) 计算机视觉的问题是一个逆问 题，输入的图像为二维图像的灰度，它是三维物体几何特征、光照、物体材料表面性 质、物体的颜色、摄像机参数等许多因素的函数，由灰度反推以上各种参数是逆问 题。视觉过程作为成像过程的逆过程，其目的是要从带噪声、畸变的二维灰度图像中 恢复三维场景信息。但是在图像投影过程中，不可避免的丢失一部分重要信息，正是 这种丢失信息的恢复形成了计算机视觉研究的核心问题一一从景物图像或序列图像求 出景物的精确的三维几何描述，并定量的确定景物中物体的空间性质，而这个问题通 常是非线性的，病态的( i l l - p o s e d ) ，问题的解不具有唯一性，而且对噪声或离散化引起 的误差极其敏感。对于这类问题，通常的处理方法之一是通过引入约束构成正则化问 题，转化为优化问题；另一类常见处理方法是利用g i b b s 分布将问题转化为对分布或 参数的估计。( 2 ) m a r r 的视觉系统框架是一个自下而上的、模块化的、单向的、数据驱 动型的结构。神经生理学的研究表明，这种结构与人的视觉系统还有很大的差距，虽 然对这种差别目前还缺乏深入的理解，但显然人的视觉系统的各层次之间、各功能模 块之间存在着更为复杂的相互作用。更重要的是，由眼动等现象可知，生物视觉系统 的认知过程是一种复杂的与外界交互作用的主动性过程。g i b s o n 曾指出，感知是一种 行动而不仅仅是一种被动式的反应。近年来提出的有目的的，主动式视觉或者基于模 型的视觉都是在这一方面突破了m a r r 视觉理论框架叫( 郑南宁，2 0 0 1 ) 。 进入8 0 年代中后期，计算机视觉研究与移动式机器人的研究密切结合，综合运用 空间几何的方法以及物理知识来研究视觉，其目标主要是完成对道路和障碍的识别处 理。这一时期引入主动视觉的研究方法，并采用了距离传感器以及引入融合技术等。 由于这种研究方法可直接取得深度图或通过移动引入约束来获取深度图，因而使得很 多病态问题变成良性的。 上述这些理论和方法为计算机视觉在更多的领域中应用奠定了理论基础，在工业 领域，计算机视觉与坐标测量相结合，逐渐形成了坐标测量的一个新思路一一视觉坐 标测量。视觉坐标测量系统跟传统的坐标测量系统( 如三坐标测量机) 不同，视觉坐 标测量是视觉意义上的测量，它利用计算机视觉、光学成像、图像处理等技术来实现 第3 吹 中国科学技术大学硕士论文第l 章引言 坐标测量。从仿生计量学的意义上讲，视觉坐标测量是“测量概念”的又一次重大突 破，它把“模型化测量”进一步推进到“仿生测量 这一更新领域，而视觉坐标测量 系统则可以看成是“仿生计量”领域中人眼视觉系统在坐标测量中的模拟( 张之江， 车仁生等，1 9 9 8 ) 。视觉测量在工业生产中具有广阔的应用前景，就先进制造技术而 言，在线检测工件的尺寸和形状位置参数，并根据检测结果自动控制制造过程，是实 现柔性加工、快速原型制造及敏捷制造等技术中不可缺少的一环( j a i l em u l l i g a j l ， 1 9 9 7 ) 。把视觉测量应用于在线检测，可实现非接触式自动检测。比如将视觉测量系 统应用于汽车白车身( 未喷漆前己焊装好的车身) 的测量。汽车在生产过程中，需要对白 车身上的关键部位及关键点进行检测，以鉴定生产线的焊装质量。车身三维尺寸视觉 测量系统可以在线、非接触、高效的完成这个任务( 曹立波，2 0 0 2 ) 。视觉测量系统 同时具有精度高、效率高、造价低、自动化程度高等优点，在航空航天、汽车制造、 工业检测等方面具有广泛的应用。 早期的视觉测量系统采用光学测头来代替传统的接触式的机械测头来实现测量 p l 。光学测头测量系统主要用于测量各种柔软的和易变形的物体。由于不接触，可以 以很快的速度对物体进行扫描测量，测量速度和采样频率都很高。光学测头的量程一 般为十毫米乃至几十毫米，这是一般接触式测头很难达到的，但是由于它是利用物体 像的光学反差结构进行测量，因而物体的辐射特性对测量结果影响很大。进入2 0 世纪 7 0 年代以后，随着计算机视觉的发展，视觉坐标测量系统也得到了很大的发展，根据 目前国内外己经研究成功和正在研究的视觉坐标测量系统的特点，视觉坐标测量系统 可大致分为以下几类： ( 1 ) 固定点视觉坐标测量系统( 张虎，2 0 0 1 ；l u t zh a n i c k e ，1 9 9 5 ；w a l tp a s t o r i u s ， 1 9 9 5 ) ，主要用于车体检测等。国外这类固定点视觉坐标测量机的测量精度单一视觉传 感器目前可达o 0 3 o 0 5 m m ，测量范围( 单一视觉传感器) 小5 0 m m ，测量速度可以满 足生产线的要求。限制这类视觉坐标测量机精度的主要因素是机架的刚性、定位精 度、各传感器之间相互位置标定精度和系统标定方法精度等； ( 2 ) 动态目标跟踪视觉坐标测量系统( 王佳，1 9 9 7 ；刘永东，1 9 9 9 ) ，主要用于自 动化生产装配线上，图1 1 为球面坐标视觉测量系统原理图。其特点是测量精度高，角 度分辨率可达0 2 5 ”，距离分辨率可达0 1 u m ，测量范围大( o 2 2 5 m ) ，但是系统结构复 杂，必需为连续测量且造价十分昂贵； l ，国科学投术入学硕 论殳 ! = = = ! = = = = = = = = ：= = = ：= = ! ! ! ：! = = = ! ! ! 巴 第l 索引言 ! ? = = ：，。= ! ! = = = ! = ：! 图1 1 球面坐标视觉测量系统 暇” ( 3 ) 三维扫描视觉坐标测量系统( 1 i m i n gm i n g ，2 0 0 2 ；王春和，1 9 9 4 ；周会成， 2 0 0 0 ) ，主要用于产品原型数据的快速获取上。如果扫描装置的运动精度小于 0 0 2 m m ，那么三维扫描视觉坐标测量系统测量精度可达到0 1 m m 。机器人式三维扫描 视觉坐标测量机的测量精度受机械手臂运动精度的影响。一般来说，机械手臂的运动 精度为0 1 0 2 5 m m ，系统测量精度可达0 5 1 m m ； ( 4 ) 多视点视觉坐标测量系统( a n t o n i of r a n c i s i c o ，1 9 9 5 ；n a g e l ，2 0 0 0 ；姚健超， 1 9 9 2 ) ，是利用两台或者两台以上的摄像机从不同的位置来摄取图像，然后通过特征 点在各个相面上的成像差异( 视差) 来获取被测点的三维信息。根据摄像机台数的多少， 可以分为双目视觉测量系统和多目视觉测量系统。双目视觉测量的原理与人类视觉成 像的原理基本一样，通过计算左右两幅图像中相关点的位置偏差( 视差) ，来获取景物的 三维信息。本课题研究的是双目视觉坐标测量系统。多目视觉测量系统是在双目视觉 测量系统的基础上增加一台或者更多台摄像机作为辅助来进行测量，这样减少了双目 视觉测量中因为目标特征模糊而产生的误匹配现象，但同时增加了计算量和计算的难 度。 上述几种视觉坐标测量系统，其核心都是计算机视觉的一些研究理论、方法等在 测量领域中的应用，所不同的是，计算机视觉的目的是通过获取的三维信息实现对三 维目标、物体的识别，进一步实现对三维景物世界的理解，而视觉坐标测量是要明确 得到某些位置的点的坐标，利用这些坐标值去计算被测物体的几何尺寸、形状和相互 位置关系，而在视觉坐标测量中的有些点的坐标对计算机视觉来讲可能是没有意义 的。， 第5 口1 中闯科学技术大学硕二i 二论文第1 章g i言 1 3研究内容及预期结果 1 3 1研究内容 本论文研究的主要目标是建立双目立体视觉测量系统，实现三维视觉测量。论文 主要完成了如下几方面工作。 用光重心法，对灰度图像进行数值计算，求得每个光点的精确位置。同时选择合 适的排序方法对点序列进行有效的排序。 对双目视觉立体测量的两大关键技术进行研究：摄像机标定和特征点匹配。研究 几种常用的单像机标定方法，通过理论分析和实验分析，得到最合适本项目的标定方 法。在选定的标定方法的基础之上，对单像机的内外部参数进行精确标定，同时对标 定误差进行分析，对各个摄像机内外部参数误差对标定的精度影响进行确定及分析， 同时寻找最优的摄像机标定方案。在平面标定靶的条件下，对图像的匹配进行研究， 找到合适的图像匹配方法。 最后对实验结果进行分析及处理，从而进一步验证论文所进行的上述各项工作的 正确性和可行性，在实验的基础上进行改进。 1 3 2预期结果 在重心法的基础之上，寻找适合任意位置的标定靶的光点中心计算和排序方法； 寻找灵活方便的双目视觉标定方式，对单像机的标定重建精度要求达到0 0 5 个像素； 双目视觉立体测量精度要求：x ，y 方向的测量精度达到0 0 1 m m ，z 方向的测量精度 达到0 0 5 m m ；或者，在标定靶这么大的视场内，测量误差小于0 0 5 m m 。 1 4 研究方法和实验设计 1 4 1研究方法 通过对现有的标定方法进行研究，比较各种方法的优点、缺点，在本课题的实验 条件下能达到的精度，寻找最好的标定方法。在此基础上，对标定方法进行优化、改 进。提高精度、稳定性和灵活性。 对现有的三维重建算法的基础之上，通过实验，进行比较，寻找最适合本标定方 法的算法；同时，在实验的基础之上寻找最好的匹配方法。最后对其进行适当优化， 提高精度。 1 4 2实验设计 实验环境：c c d 摄像机为美国p u l n i x 公司的高精度面阵c c dt m 1 0 4 0 摄像 机，1 0 0 0 1 0 0 0 个像素，单像素尺寸为7 。4 微米7 4 微米，成像镜头采用尼康5 0 毫米 中国科学技术大学坝上论文第1 章引言 的定焦镜头。采用的标定靶为1 4 0 毫米】4 0 毫米，特征点为光点阵列。由于本论文的 特征点提取方法的不同，可以不考虑背光的影响。 本论文的目的是寻找最好的双目视觉立体测量方法，所以本论文主要对各种因素 对实验的影响进行对比分析。 第7 叽 第2 章双目说觉坐傣测量系统概述 = = = = = = = = = = ! ! ! 皇鼍詈= 2 = = 1 0 = = 竺竺= 苎! ! = ! 曼! ! ! = ! 第2 章双目视觉坐标测量系统概述 本章对双目视觉坐标测量系统进行了理论介绍和分析，主要包括其摄像机的透视 变换模型，数学模型的详细介绍和系统的精度分析，最后对双目视觉实验的结果配置 进行介绍。 2 1引言 在传统的坐标测量中，比如三坐标测量机，是利用接触式机械导轨的运动来实现 坐标测量，其三个方向x 向、y 向、z 向的测量精度是相同的，但是在视觉测量中，深 度方向的信息是通过二维图像信息恢复的，因而深度方向的测量精度要小于另外两个 方向，对深度方向信息的恢复和提高深度方向的测量精度成为视觉测量中的一个关 键。在视觉测量系统中，采用单目法、双目法和多目法都可以恢复深度信息。 单目法在获取深度信息的时候需要已知视场内某点的三维信息，然后利用运动图 像序列分析的方法来求取被测物体的形状和尺寸。在测量深度范围仅1 m m 左右的对焦 等方面的应用的时候，则采用聚焦法和离焦法更为精确。 双目法是模拟人眼的视觉功能，实现对三维深度信息的感知。在实现上采用基于 立体视差的方法，运用两个摄像机对同一个景物从不同位置成像，从视差中恢复深度 信息。 多目法在双目的基础上增加了一台或者多台冗余摄像机，其目的是增大视场，增 加几何约束条件，减少错误匹配，但因此也带来结构复杂、效率降低、标定复杂等缺 陷： 单目法结构简单，但是深度方向信息获取不够精确，多目法结构和算法都较为复 杂，而双目法更适合实际应用，下面主要介绍一下双目视觉测量系统的模型。 2 2双目视觉测量系统数学模型 通过图像分析求取物体表面三维尺寸是机器视觉检测的一个主要研究方向之一， 其中一种重要的检测方法就是立体视觉方法。立体视觉是由多幅图像( 一般由两幅) 获取 物体三维几何信息的方法。本章将简单讨论双目立体视觉检测的基本原理( 张正友， 2 0 0 5 ) 。 中国科学技术大学坝士沦文第2 章_ j i | ( | 1 视虹坐标测量系统概述 2 2 1 针孑l 模型和透视变换 双目立体视觉系统主要是基于三角法原理进行测量的，即两个摄像机的图像平面 和被测物体之间构成一个三角形。已知两摄像机之间的位置关系，便可以测量两摄像 机公共视场内物体的三维尺寸及空间物体特征点的三维坐标。双目立体视觉传感器由 两个摄像机或者由一个运动的摄像机构成。 图2 1 针孔模型 针孔模型是计算机视觉中广泛应用的模型之一，如图2 1 所示，三维空间物体通过 一个小孔( 针孔) 成像在胶片或者图像传感器的图像平面上。很多视觉测量技术都是建立 在针孔成像模型的基础之上，如线结构光传感器、双目立体视觉传感器等。针孔模型 的核心思想是，物点通过透镜成像后，在像平面上可以找到与之对应的理想像点，这 种模型在假设摄像机的镜头没有畸变的情况下，能够较好地与客观实际相吻合，因此 可以将摄像机通过透镜成像近似地看作是理想的针孔成像。 摄像机的透视成像模型如图2 2 所示。坐标系d 删是中心在d 点( 光轴z 与图像 平面的交点，也称为主点) 的图像坐标系，p 的图像坐标为( x 。k ) ，厂为理想成像系统 的焦距。设，y 。，z 。) 是空间点p 在摄像机坐标系0 一t y 。z ，下的三维坐标，摄像机坐标 系定义为：中心在。点( 投影中心) ，z 轴与摄像机的光轴重合。空间任何一点p 在图像 上的成像位置可以用针孔模型近似表示，即任何点尸在图像上的投影位置p ，为投影 中心d 与p 点的连线d p 与图像平面的交点，这种关系称为中心射影或透视投影。由比 例关系有如下关系式： x u ：f 蔓 z c y ：，监 ( 2 1 ) z c z c = f c 爹 中因科学技术火学倾j j 论文 ：= = f = ! = = = = = 1 2 = ：= = = = = = = = = = = = ! = = 投影 巾o c ) 第2 章双目视觉坐标：则量系统概述 图2 - 2 理想的透视变换模型 用齐次坐标与矩阵表示式( 2 1 ) 描述的透视变换为： 料； k y 。 z c 1 ( 2 - 2 ) 2 2 2 双目视觉传感器的三维测量原理 典型的双目传感器基于立体视差原理进行测量，图2 3 所示为简单的平视双目成像 原理图，两摄像机的投影中心连线的距离，即基线距为召。两摄像机在同一时刻观看 空间物体的同一特征点p ，分别在“左眼”和“右眼 上获取了点p 的图像，它们的 图像坐标分别为= ( ，) ，p 哪，= 僻哪，) 。假定两摄像机的图像平面在同 一个平面上，则特征点p 的图像坐标的y 坐标相同，即= ，= y 。由透视变换原 理得到： = 无毒，；厂半弘无毒 ( 2 - 3 ) 图2 3 双目视觉三维测量原理图 ( 2 4 ) 中国科学技术大学侦匕论文筇2 章双心视钯坐杨；测量系统概述 则视差为： d 却口r i 砂= i x 坳一耵i = 蜀妒一y 枷 ( 2 - 5 ) 由d 印口咖可得世界坐标系的三维坐标： b x l 哝 l d t s p a r 姆 y 。；? o ( 2 6 ) v = 一 l z o i 几d 却口，砂 r 吖 曰厂 ，- 一：一 c d i s p a r i 哆 2 2 3双目视觉传感器三维测量的数学模型 q 墨v ，有效焦距为力；右摄像机坐标系为d 一一y ，z ，图像坐标系为d ，z y ，有效焦 肛 荤 2 蚕荟手 重 ，肛2 z g - 另 所 辜 2 喜善到 耋 ，所2 二 q - 8 ， 中国科学技术大学硕士论文第2 章双目视觉坐标测量系统概述 图2 _ 4 双目视觉传感器三坐标测量数学模型 而测量坐标系d 一彬坐标系与d 一_ ”乃坐标系之间的相互关系空间变换矩阵心 表示为： ：m i y z i1 r ，i 眨吃 乙 i 2 l 吩0 【巧 马 ，z j ，= 【只丁】 ( 2 9 ) 其中：月，丁分别为坐标系d 一彬坐标系与d 一”乙，坐标系之间的旋转矩阵和 原点之间的平移变换矢量。由( 2 5 ) 到( 2 7 ) 式可知，传感器测量坐标系表示的空间点与 两摄像机像面点之间的对应关系为： l n ， ，屹 、 吩 于是，双目视觉传感器三坐标测量的数学模型可以表示为： z ： ! 丛二兰生2 z ( 巧五+ 巧+ 石岛) 一z ( + 眨巧+ 石吩) ( 2 1 0 ) 己知焦距z 、z 和空间点在左右摄像机中的图像坐标，只要求出旋转矩阵r 和平 移矢量丁就可以得到被测物体点的三维空间坐标。 第1 3 页 吒_ 加加巧 。，。l = 1j e r 仃 d d g 石z ， 出珥 = i i x y 中国科学技术大学硕f j 论义 第2 章坝目视觉坐标测量系统概述 2 2 4 双目立体视觉的测量精度分析 双目立体视觉传感器是基于立体视差原理，一般地，它利用两台摄像机来模仿实 现人眼的功能，利用空间点在两摄像机像面上的透视成像点坐标来求取空间点的三维 坐标。为了分析双目视觉传感器的结构参数对测量精度的影响，建立如图2 5 所示的精 度分析模型，为简化分析，设两台摄像机水平放置，传感器的坐标原点为其中一台摄 像机的投影中心。设摄像机的有效焦距为 ，厶，光轴与石轴的夹角为口，口，劬， 纰为小于摄像机的视场角的投影角。 由几何关系得到p 的三维坐标为： 工； 堡! 鳖f 竺鱼2 c 留( q + q ) + c 增( 吡+ a 2 ) y ：x 墨：x 磐 ( 2 1 2 ) 。 1 s i n ( q + a 1 )1 厶s i n ( 吡+ a 2 ) 、 b c 增( q + ) + c 增( + 口2 ) 下面分析双目视觉传感器的结构参数以及p 点的位置对传感器测量精度的影响： 图2 5 双目视觉传感器精度分析模型 熹；一妄粤磐掣s ：q 瞄 謦豇十一棚，) 1 。 ( 2 - 1 3 ) 軎；一妄鼍燃一：鸭 谜2既s i n 2 ( 吐+ a 2 ) a z z 2c o s 6 吨 踊l 戳s i n2 ( q + a 1 ) i 切 z 2c o s 2 纰 渊2 欲s i n 2 ( + a 2 ) ( 2 - 1 4 ) 中国科学披求大学坝l 沦丈 第2 章舣目观觉坐标铡量系统溉述 秒弘c o s 。q 谜1 研s i n 2 ( q + 口1 ) 秒 弦。 c o s 。哆 吖2 欲s i n 2 ( 哆+ 口2 ) d y z s l n 以 一= - 一- - - - - - 二- - - - 一 a x工s i n 2 ( q + a 1 ) d yzs l n 纸 一= 一p _ - - - - - - - - - - = - - 一 a 匕 s i n 2 ( + 口2 ) ( 2 - 1 5 ) ( 2 - 1 6 ) 设两台摄像机z 方向的提取精度分别为6 墨，6 x ：，y 方向的提取精度分别为 6 k ，6 k ，则p 点的x 方向的测量精度为： x = ( 2 1 7 ) p 点的y 方向的测量精度为： 缈= 雁磊否磊甭甭 p 均 p 点的z 方向的测量精度为： z = p 点的总体测量精度为： ；施万可霈i 砑 ( 2 1 9 ) ( 2 - 2 0 ) 根据以上分析，可以得出以下结论： 1 、两台摄像机的有效焦距 ，厶越大，传感器的测量精度越高，即采用长焦距 镜头容易获得高的测量梢度。 2 、传感器的基线距曰对传感器测量精度的影响比较复杂，当b 增大时，相应的测 量角口，变大，使得b 对精度的影响是非线性的。 3 、位于摄像机光轴上点的测量精度最低。 2 3双目立体视觉传感器的结构配置 为了从二维图像中获得被测物体特征点的三维坐标，双目视觉传感器至少从不同 位置获取包含物体特征点的两幅图像。它的一般配置为交叉摆放的两个摄像机从不同 角度观测同一被测物体。图2 6 为双目视觉传感器的结构配置模式。只要能够从不同位 置或者角度获取同一物体特征点的图像坐标，都可以由双目立体视觉测量的原理求取 第】5 贝 中国科学搜术大学坝士沦义第2 章双目视觉坐标测量系统概述 三维空间坐标。事实上获取两幅图像并不一定需要两个摄像机，由一个摄像机通过运 动，在不同位置观测同一个静止的物体，或者由一个摄像机，加上光学成像方式，都 可以满足要求。下面简单介绍一个这不同的双目视觉传感器的配置方式。 摄像机2 摄像机l 图2 6 双目视觉传感器的结构配置模式 2 3 1基于两个摄像机的双目传感器结构 一般采用两个摄像机组成来组成双目立体视觉传感器，利用视差原理来实现三维 测量口如图2 6 所示，由观测点到被测点的连线在空间有唯一的交点，当用投射器代替 其中的一个摄像机时，投射器投射出光平面、十字光平面或者网格状光束，对被测对 象在空间的位置进行约束，同样可以获取点的唯一坐标值。 如图2 7 左图所示，以往的双目立体视觉传感器的结构是两个摄像机斜置于基座 上，中间放线路板，照明灯放在中间前部。这种传统的设计有许多不合理的地方：由 于基线距是两摄像机头中心的距离，因此，实际的基线距b 比传感器横向宽度l 要小 许多；照明系统是固定的，对于某些测量对像不适用( 如浅盲孔等) ：线路板用螺丝固定 在基座上，维修时要拆下整个传感器，使得维修后重新标定不可避免。 ， ， ， 图2 7 基于两个摄像机的双目传感器结构 如图2 7 右图所示，两个摄像机反向放置，在摄像机前面各摆放一个平面反射 镜，用来调整摄像机的测量角度，这种结构实际上把两个摄像机成像，在有限的空间 内，增大了传感器基线距b 的值，而传感器的体积并不发生显著变化。同时照明系统 采用分体式设计，可以固定在传感器外面任何位置，以任意角度为测量提供照明。同 中国科学技术大学硕上论文第2 章双目视觉坐标测量系统概述 传统的设计相比，在传感器横向尺寸保持不变的情况下，改进结构有更大的基线距 b ，能得到更高的测量精度，而且纵向尺寸大大缩短，整个传感器的体积更小，重量更 轻，便于固定。 2 3 2基于单个摄像机的双目传感器结构 如图2 8 所示，当单个摄像机位于位置1 和位置2 时，分别采集包括物体特征点的 图像。摄像机仅仅沿着x 方向移动，沿其他方向没有移动，也没有转动。传感器的基 线距b 与摄像机的移