（信号与信息处理专业论文）基于靶标成像双目视觉坐标测量技术的研究.pdf

摘要 摘要 视赏坐标测量以计算机视觉为基础，综合运用计算机视觉、图像处理、精 密测量等领域的研究成果，使坐标测量从传统的机械导轨的约束中解脱出来，开 拓了解决测量领域中诸多问题的新思路。 本课题“基于靶标成像的双目视觉坐标测量技术的研究”其目的是在现有 的三维视觉测量研究基础上，探讨研究一种新的视觉坐标测量方法，以克服现有 三维视觉测量中存在的诸如对被测表面依赖程度大。无法实现对被遮挡表面测量 等不足，通过靶标探针与被测点接触，分析靶标上特征点在摄像机成像面上的成 像视差计算特征点的空间坐标，根据靶标刚体变换可以得到靶标与被测表面接触 点的空间坐标。这一测量思路是对现有三维视觉测量思想的补充。 论文首先建立了双目视觉坐标测量的系统模型。并实现非线性测量系统模型 方程组的求解，同时分析了c c d 分辨力、基线距离b 、有效焦距和摄像机姿态 等对系统测量精度的影响，另外还提出了靶标上特征点的约束条件，并用仿真实 验验证了系统模型的正确性。 特征点图像处理的好坏，直接影响到测量的精度。论文结合靶标成像视觉坐 标测量系统的成像特点，采用了图像直方图及阈值截取的方法实现特征点从背景 图像中的分离，然后用质心计算法和迭代质心算法分别求取特征点成像中心，并 对这两种方法进行了比较。 对于保证系统测量精度的重要环节之一的摄像机标定，论文提出了摄像机内 部参数的独立标定方法。即采用直接光学法标定摄像机光学中心：设定c c d 象素 转换当量，标定参数f k ，并通过实验验证了以上标定方法和标定结果的正确性。 论文最后用实验测定了系统工，y ，z 向单独位移时的测量偏差、空间点以及单 轴测量不确定度，从而系统验证了所提出的测量方法、建立的系统模型、提出的 系统图像处理方法以及摄像机参数标定的正确性。 关键词视觉坐标测量；系统建模：双目；图像处理；标定 a b s t r a c t a b s t r a c t t h ev i s i o nc o o r d i n a t em e a s u r e m e n t1 sb a s e do nt h ec o m p u t e rv i s i o n ，u s e st h e a c h i e v e m e n ti nr e s e a r c ho ft h e c o m p u t e rv i s i o n ，i m a g ep r o c e s s a n da c c u r a t e m e a s u r e m e n t ，m a k e st h em e a s u r e m e n to ft h ec o o r d i n a t ef r e eo u tf r o mt h er e s t r a i n to f t h et r a d i t i o n a lm e c h a n i c a lr a i l s ，a n dd e v e l o p san e wi d e at os o l v em a n y p r o b l e m si nt h e m e a s u r e m e n tf i e l d s t h es u b j e c t “s t u d yo ft h ev i s i o nc o o r d i n a t em e a s u r e m e n t i st o s t u d yan e w v i s i o nc o o r d i n a t e m e a s u r e m e n tm e t h o db a s e do nt h er e s e a r c h e so f p r e s e n t t h r e e d i m e n s i o n a iv g i o nm e a s u r e m e n ti no r d e rt oo v e r c o m es o m es h o r t c o m i n g so f p r e s e n tt h r e e - d i m e n s i o n a lv i s i o nm e a s u r e m e n t ，s u c ht h a tt h ed e g r e er e l y i n go nt h e m e a s u r e ds u r f a c e si sh i g h ，t h em e a s u r e m e n to fh i d d e ns u r f a c e sc a nn o tb er e a l i z e da n d s oo nf o rt h e s e r e a s o n s ，t h ep a p e rp u t sf o r w a r das i n g l ep r o b ei m a g i n gv i s i o n c o o r d i n a t e m e a s u r i n gs y s t e mu s i n g t w oc a m e r a sw h i c hc h a r a c t e r i s t i c i st h a t i n m e a s u r i n gi ta p p l i e sah a n d h e l d p r o b et oc o n t a c tt h em e a s u r e dp i e c ea n db ya n a l y z i n g t h ei m a g ev a r i a t i o no fc h a r a c t e r i s t i cp o i n t so nt h eo b j e c t i v ep r o b eo nt h ei m a g i n gp l a t e d e t e r m i n e ss p a t i a lc o o r d i n a t e so fc o n t a c t e dp o i n t sb e t w e e nt h eo b j e c t i v ep r o b ea n dt h e m e a s u r e ds u r f a c et h i sn e wm e a s u r e m e n ti d e ai sa ni m p o r t a n ts u p p l e m e n tt o p r e s e n t t h r e e - d i m e n s i o n a lv i s i o nm e a s u r e m e n t a tf i r s t ，t h ep a p e rs e t su pa s y s t e mm o d e lo f t h eo b j e c t i v ep r o b et h r e e d i m e n s i o n m o v e m e n t sa n dr e a l i z e st h es o l u t i o no fc o u p l e d e q u a t i o n so ft h en o n l i n e a rs y s t e m m o d e la n d a n a l y s e st h ei n f l u e n c eo f t h ed i s t i n g u i s hp o w e ro f c c d ，b a s e l i n e ，e f f e c t i v e f o c u sa n dc a m e r a p o s t u r et ot h ep r e c i s i o no f t h em e a s u r e m e n ts y s t e m i na d d i t i o n ，t h e p a p e rp r o p o s e st h er e s t r a i n to f t h ec h a r a c t e r i s t i cp o i n t so nt h ep r o b ea tl a s tv e r 毋t h e e x a c t n e s so f t h e s y s t e mm o d e lw i t he m u l a t i o n i m a g ep r o c e s s i n g a f f e c t sm e a s u r e m e n t a c c u r a c yd i r e c t l y a c c o r d i n g t ot h e i m a g i n gc h a r a c t e r i s t i c o fp r o b ei m a g i n gv i s i o nc o r d i n a t em e a s u r e m e n ts y s t e m ，t h e p a p e ru s et h eh i s t o g r a m b a s e ds e g m e n t a t i o nt os e p a r a t et h ec h a r a c t e r i s t i cp o i n t sf i o m t h eb a c k g r o u n d ，a n dt h e nb yu s eo ft h ea l g o r i t h mo fc e n t r o i da n di t e r a t i v ec e n t r o i dt o f i n dt h ec e n t e ro ft h ec h a r a c t e r i s t i cp o i n t s ，a tl a s tt h ep a p e r c o m p a r e st h e s et w ok i n d s o fm e t h o d s t ot h ec a m e r a c a l i b r a t i o n ，o n e o f i m p o r t a n t l i n k s e n s u r i n g t h e s y s t e m m e a s u r e m e n ta c c u r a c y ，t h ep a p e rp r e s e n t sas i m p l e ，p r a c t i c a li n d e p e n d e n tc a l i b r a t i o n m e t h o df o rc a m e r ai n n e r p a r a m e t e r sc a l i b r a t i n g - d i r e c to p t i c a lm e t h o dt oc a l i b r a t e c a m e r a o p t i c a lc e n t e r ，s e tt h ep i x e l s c a l ea n tt oc a l i b r a t i o nt h ee f f e c t i v ef o c u s f k ， f u r t h e r m o r e ，t h ec a l i b r a t i o nm e t h o da n dc a l i b r a t i o n r e s u l t sa b o v ea r ev e r i f i e d b y e x p e r i m e n t a t i o n f i n a l l y ，t h es y s t e mm e a s u r e m e n td e v i a t i o n ，t h es p a c ep o i n t sa n dt h em e a s u r e m e n t i t a b s t r a c t u n c e r t a i n t yo f o n ea x i sa r cm e a s u r e db ye x p e r i m e n t c o n s e q u e n t l y , t h ev a l i d i t yo ft h e p r e s e n t e dm e a s u r e m e n tm e t h o d ，s y s t e mm o d e l , t h e m e t h o do f s y s t e mi m a g ep r o c e s s i n g a n dt h ec a l i b r a t i o no fc a m e r a p a r a m e t e r sa r ev e r i f i e d k e y w o r d ：t h ev i s i o nc o o r d i n a t em e a s u r e m e n t ；s y s t e mm o d e l i n g ；b i n o c u l a r ； i m a g ep r o c e s s ；c a l i b r a t i o n i 。 原创性声明 本人声明：所呈交的论文是本人在导师指导下进行的研究工作。 除了文中特别加以标注和致谢的地方外，论文中不包含其他人已发表 或撰写过的研究成果。参与同一工作的其他同志对本研究所做的任何 贡献均已在论文中作了明确的说明并表示了谢意。 签名：丝描壅日期翌壁至丝 本论文使用授权说明 本人完全了解上海大学有关保留、使用学位论文的规定，即：学 校有权保留论文及送交论文复印件，允许论文被查阅和借阅；学校可 以公布论文的全部或部分内容。 ( 保密的论文在解密后应遵守此规定) 签名：煎盈缝导师签名：兰叁兰型兰日期：巡：主： 第一章绪论 第一章绪论 坐标测量机是近3 0 年发展起来的一种精密测量仪器，它的出现很好地解决 了复杂零件的三维精确测量的问题“1 。进入8 0 年代后，计算机视觉与图像处理 的大量研究成果开始应用于测量领域，此后的2 0 多年中，随着许多基于人眼视 觉成像原理的技术手段，如目标跟踪多视点等在实际应用中的不断推出。逐渐 形成了以计算机视觉为基础的视觉坐标测量“”，其核心是以c u d 摄像头代替传 统的三维接触式测头对工件的几何形状进行成像，通过图像处理的方法获得工件 的二维边缘轮廓，并利用图像的聚焦信号实现三维测量。从本质上讲，计算机视 觉与坐标测量都是要获取目标的三维信息，这就为计算机视觉在传统三坐标测量 中的应用提供了一个非常恰当的结合点，使坐标测量具有了更新的内容。 视觉坐标测量以仿射几何为基础，综合运用计算机视觉、图像处理、精密测 量等领域的研究成果，从而使坐标测量从传统的机械导轨的约束中解脱出来，开 拓了解决测量领域中诸多问题的新思路，在保持较高的测量精度的前提下，实现 了更大范围内的坐标测量和更灵活便捷的测量方式，使之在航空、航天、船舶、 汽车制造和装配等许多领域中部得到了广泛的应用，并逐步确立了它在测量领域 中所占据的重要地位“。 1 1国内外研究状况 人类感知外界信息，8 0 左右是通过视觉得到的。人类通过眼睛与大脑来获 取、处理与理解视觉信息。近年来人们试图用照相机、摄像机和其他一起获取 环境图像，并转换成数字信号，利用信号处理和计算机技术实现视觉信息处理 的全过程，由此形成了一门新的学科一计算机视觉。 计算机视觉是指用计算机来实现人类的视觉功能，也就是利用计算机来实现 对三维世界的识别，其目标是实现对三维景物世界的理解，通过对三维世界所 感知的二维图像来研究和提取出三维景物世界的物理结构。计算机视觉要达到 的基本目的至少有以下几个”1 ： ( 1 ) 根据一幅或多幅二维投影图像计算出观察点到目标物体的距离： ( 2 ) 根据一幅或多幅二维投影图像计算出目标物体的运动参数； ( 3 ) 根据一幅或多幅二维投影图像计算出目标物体的表面物体特性： ( 4 ) 根据多幅二维投影图像恢复出更大空间区域的投影图像； 为了达到计算机视觉的目的，有两种技术途径可以考虑。第一种是仿生学 方法，即从分析人类视觉的过程入手，利用仿生学原理，参照人类视觉系统的 结构，建立相应的处理模块完成视觉的功能：第二种是工程方法，即脱离人类 视觉系统框架的约束，利用一切可行的和实用的技术手段来实现视觉功能。从 第一章绪论 分析人类视觉过程的功能入手，不刻意模仿人类视觉系统内部结构，而仅考虑 系统的输入和输出。 计算机视觉作为一门新的学科发展十分迅速。2 0 世纪6 0 年代，r o b e r t s 通过计算机程序从数字图像中提取出诸如立方体、楔形体、棱柱等多面体的三维 结构，并且可以描述物体的形状和他们的空间关系，r o b e r t s 的研究开创了以理 解三维场景为目的的计算机视觉研究。 7 0 年代中期，麻省理工学院人工智能实验室吸引了国际上很多知名学者参 与计算机视觉的理论、算法、系统设计的研究。m a r r 最初的开发工作是用计算 机实现人的立体视觉功能，在此基础上形成了他的视觉计算理论的整体框架。 m a r r 的视觉计算理论是建立在计算机技术的基础上，系统概况了人工智能、神 经生理学、模式识别、图像处理等学科取得的所有重要成果，现在看来虽有许多 不足，但仍是视觉研究迄今为止最为系统的视觉理论。 m a r r 的视觉计算理论把视觉过程看作一个信息处理过程，并把这一过程分 为三个层次：( 1 ) 计算理论：( 2 ) 算法与数据结构：( 3 ) 硬件试验。这一理论强调 了当时并不受人们重视的计算理论的层次，并在这一层次把视觉过程主要的规 定为定量的恢复出图像所反映的场景中的三维物体的形状和空间位置，以及将这 一恢复过程分成三个阶段：( 1 ) 要素图：它包含图像边缘灰度变化率，边缘的几 何特征或者纹理特征等：( 2 ) 2 5 维图：它是要素图和三维图像模型之间的中间 表示层次，包含物体表面的局部内在特征；( 3 ) 三维图：以物体为中心的三维描 述，它是由要素图和2 5 维图得到的。m a r r 的理论比较系统地和一般性地揭示 了用二维图像恢复三维物体形态的可行性和基本方法，具有划时代意义，为计算 机视觉成为一门科学奠定了重要的基础“。 8 0 年代至今，研究者们按照m a r r 所提出的基本理论框架进行了大量的研究并 提出了大量的方法。但总的来讲，这些方法都存在这样或者那样的问题，或缺 乏通用性，或抗噪声能力低，或存在多解性，其原因可归纳为：( 1 ) 计算机视觉 的问题是一个逆问题，输入的图像为二维图像的灰度，它是三维物体几何特征、 光照、物体材料表面性质、物体的颜色、摄像机参数等许多因素的函数，由灰 度反推以上各种参数是逆问题。视觉过程作为成像过程的逆过程，其目的是要 从带噪声、畸变的二维灰度图像中恢复三维场景信息。但是在图像投影过程中， 不可避免的丢失一部分重要信息，正是这种丢失信息的恢复形成了计算机视觉 研究的核心问题一一从景物图像或序列图像求出景物的精确的三维几何描述， 并定量的确定景物中物体的空间性质，而这个问题通常是非线性的，病态的 ( i l l p o s e d ) ，问题的解不具有唯一性，而且对噪声或离散化引起的误差极其敏 感。对于这类问题，通常的处理方法之一是通过引入约束构成正则化问题，转 化为优化问题；另一类常见处理方法是利用6 i b b s 分布将问题转化为对分布或参 数的估计。( 2 ) m a r t 的视觉系统框架是一个自下而上的、模块化的、单向的、 2 第一章绪论 数据驱动型的结构。神经生理学的研究表明，这种结构与人的视觉系统还有很 大的差距，虽然对这种差别目前还缺乏深入的理解，但显然人的视觉系统的各 层次之间、各功能模块之间存在着更为复杂的相互作用。更重要的是，由眼动 等现象可知，生物视觉系统的认知过程是一种复杂的与外界交互作用的主动性 过程。g i b s o n 曾指出，感知是一种行动而不仅仅是一种被动式的反应。近年来 提出的有目的的，主动式视觉或者基于模型的视觉都是在这一方面突破了m a r t 视觉理论框架“。 进入8 0 年代中后期，计算机视觉研究与移动式机器人的研究密切结合，综 合运用空间几何的方法以及物理知识来研究视觉，其目标主要是完成对道路和障 碍的识别处理。这一时期引入主动视觉的研究方法，并采用了距离传感器以及引 入融合技术等。由于这种研究方法可直接取得深度图或通过移动引入约束来获取 深度图，因而使得很多病态问题变成良性的。 上述这些理论和方法为计算机视觉在更多的领域中应用奠定了理论基础，在 工业领域，计算机视觉与坐标测量相结合，逐渐形成了坐标测量的一个新思 路一一视觉坐标测量。视觉坐标测量系统跟传统的坐标测量系统f 如三坐标测量 枫1 不同，视觉坐标测量是襁觉意义上的测量，它利用计算机视赏、光学成像、 图像处理等技术来实现坐标测量。从仿生计量学的意义上讲，视觉坐标测量是“测 量概念”的又一次重大突破，它把“模型化测量”进一步推进到“仿生测量”这 一更新领域，而视觉坐标测量系统则可以看成是“仿生计量”领域中人眼视觉系 统在坐标测量中的模拟“。视觉测量在工业生产中具有广阔的应用前景，就先进 制造技术而言，在线检测工件的尺寸和形状位置参数，并根据检测结果自动控制 制造过程，是实现柔性加工、快速原型制造及敏捷制造等技术中不可缺少的一环 i l ”。把视觉测量应用于在线检测，可实现非接触式自动检测。比如将视觉测量系 统应用于汽车白车身( 未喷漆前已焊装好的车身1 的测量【1 4 】。汽车在生产过程中 需要对白车身上的关键部位及关键点进行检测，以鉴定生产线的焊装质量。车身 三维尺寸视觉测量系统可以在线、非接触、高效的完成这个任务。视觉测量系统 同时具有精度高、效率高、造价低、自动化程度高等优点，在航空航天、汽车制 造、工业检测等方面具有广泛的应用。 早期的视觉测量系统采用光学测头来代替传统的接触式的机械测头来实现 测量f ”。光学测头测量系统主要用于测量各种柔软的和易变形的物体。由于不接 触，可以以很快的速度对物体进行扫描测量，测量速度和采样频率都很高。光学 测头的量程一般为十毫米乃至几十毫米，这是一般接触式测头很难达到的，但是 由于它是利用物体像的光学反差结构进行测量，因而物体的辐射特性对测量结果 影响很大。进入2 0 世纪7 0 年代以后，随着计算机视觉的发展，视觉坐标测量系 统也得到了很大的发展，根据目前国内外已经研究成功和正在研究的视觉坐标测 量系统的特点，视觉坐标测量系统可大致分为以下几类： 3 第一章绪论 ( 1 ) 固定点视觉坐标测量系统i7 1 ，主要用于车体检测等。国外这类固定 点视觉坐标测量机的测量精度单一视觉传感器目前可达o 0 3 , - - 0 0 5 r a m ，测量范围 ( 单一视觉传感器) 小于5 0 m m ，测量速度可以满足生产线的要求。限制这类视 觉坐标测量机精度的主要因素是机架的刚性、定位精度、各传感器之间相互位置 标定精度和系统标定方法精度等： ( 2 ) 动态目标跟踪视觉坐标测量系统【1 8 】1 2 l 】，主要用于自动化生产装配线上，图 1 1 为球面坐标视觉测量系统原理图。其特点是测量精度高，角度分辨率可达 o2 5 ”，距离分辨率可达01 u m ，测量范围大( o 2 2 5 m ) ，但是系统结构复杂，必 需为连续测量且造价十分昂贵； 跟 激光器 三角架 眼” 图1 1 球面坐标视觉测量系统 ( 3 ) - - 维扫描视觉坐标测量系统1 2 2 】一，主要用于产品原型数据的快速获取上。 如果扫描装置的运动精度小于00 2 m m ，那么三维扫描视觉坐标测量系统测量精 度可达到0 1m m 。机器人式三维扫描视觉坐标测量机的测量精度受机械手臂运动 精度的影响。一般来说，机械手臂的运动精度为01 o 2 5 m m ，系统测量精度可 达o5 1 m m ： ( 4 ) 多视点视觉坐标测量系统1 2 6 】1 【2 8 】，是利用两台或者两台以上的摄像机从不 同的位置来摄取图像，然后通过特征点在各个相面上的成像差异( 视差】来获取被 测点的三维信息。根据摄像机台数的多少，可以分为双目视觉测量系统和多目视 觉测量系统。双目视觉测量的原理与人类视觉成像的原理基本一样，通过计算左 右两幅图像中相关点的位置偏差( 视差) ，来获取景物的三维信息。本课题研究的 是双目视觉坐标测量系统。多目视觉测量系统是在双目视觉测量系统的基础上增 加一台或者更多台摄像机作为辅助来进行测量，这样减少了双目视觉测量中因为 目标特征模糊而产生的误匹配现象，但同时增加了计算量和计算的难度。 上述几种视觉坐标测量系统，其核心都是计算机视觉的一些研究理论、方法 等在测量领域中的应用，所不同的是，计算机视觉的目的是通过获取的三维信息 实现对三维目标、物体的识别，进一步实现对三维景物世界的理解，而视觉坐标 4 第一章绪论 测量是要明确得到某些位置的点的坐标，利用这些坐标值去计算被测物体的几何 尺寸、形状和相互位置关系。而在视觉坐标测量中的有些点的坐标对计算机视觉 来讲可能是没有意义的。 1 2 本课题研究的目的和意义 视觉坐标测量方法的出现，很好地解决了以前很难解决的一些问题，如在线 测量、高效三维扫描等，但仍然存在许多问题，主要表现在：( 1 ) 现有的视觉坐 标测量机一般很难达到传统的三坐标测量机的测量精度。( 2 ) 现有的视觉坐标测 量机在测量时对被测表面的光特性( 如要求漫反射) 依赖大，容易受外界干扰。( 3 ) 现有的视觉测量系统基本只适用某一种被测对象，而不具备传统笛卡尔坐标测量 机所具有的通用性。对于一些遮挡点、内孔、装配后的位置等的测量需要更多的 辅助设备，使用复杂。对现代先进制造中的直接c a d 测量( 模型化测量) ，实现 就更为困难。 基于靶标成像的视觉坐标测量方法的提出，更好的将视觉与坐标测量结合到 一起。基于靶标成像的视觉坐标测量系统可以完成三坐标测量机( c m m ) 的功能， 使坐标测量机可以真正应用到先进制造中。 从i9 9 2 年开始m e t r o n o r 公司便致力于便携式坐标测量机的开发，靶标 成像视觉测量方法是于1 9 9 6 年召开的i b e c ( i n t e r n a t i o n a lb o d ve n g i n e e r i n g c o n f e r e n c e & e x p o s i t i o n ) 年会上由m e t r o n o r 公司首先提出的，并推出第一个 概念样机一一s c s 视觉坐标测量系统。这一系统的核心技术是系统建模、增大视 场、标定技术和质心算法，并至今一直致力于这四个技术的创新与完善【2 9 】，这一 测量系统在a u d i 、b m w 、b o e i n g 、d a i m l e r c h r y s l e r 、f i a t 、f o r d 、g m 、h o n d a 、 l o c k h e e dm a r t i n 、n a v i s t a ri n t e r n a t i o n a l 、n i s s a n 、t o y o t a 、v o l k s w a g e n 、v o l v o 等 公司有所应用，前景十分广阔。 本课题“基于靶标成像双目视觉坐标测量技术的研究”其目的是在现有的三 维视觉测量研究基础上，探讨研究一种新的双目视觉坐标测量方法，即以靶标作 为视觉坐标测量系统的成像目标，通过靶标与被测点接触进行视觉坐标测量，其 核心是建立新的系统测量模型，以及相应的系统标定与图像处理方法。这一研究 是对视觉坐标测量方法的补充和改进，它对视觉坐标测量技术的发展和视觉坐标 测量系统的应用有着重要的意义。 1 3 课题来源及研究内容 1 ：j 1 课题来源 本课题来源国家自然科学基金项目“基于靶标观察的视觉坐标测量理论及技 术基础研究”。( 基金编号：5 0 0 0 5 0 1 2 ) 5 - 第一章绪论 1 ：3 2 论文研究内容 本论文研究的主要目标是建立基于靶标成像的双目立体视觉坐标测量系统， 实现三维视觉坐标测量。论文主要完成了如下几方面工作。 建立了基于靶标成像的双目视觉坐标测量系统，通过靶标与被测点接触，计 算靶标上特征点在成像面上的成像中心，通过计算特征点图像象素间的位置偏 差，确定靶标上特征点的坐标，进而可以求得靶标与被测表面接触点的三维坐标。 分析视觉坐标测量系统的基本建模方法，利用空间透视变换建立了系统非线 性测量模型，介绍了基于n e w t o n 非线性迭代的测量方程的求解方法。以矩阵分 析理论为基础，讨论了影响测量方程求解的因素，如c c d 分辨力，基线距离b ， 焦距f 的标定误差以及摄像机的姿态等，并提出了靶标上特征点分布的基本约束 条件，为这一方法在实际应用中获得较高的测量精度提供了较为完善的理论分析 依据。通过数值分析与计算，验证了理论分析的正确性以及这一方法应用的可行 性。 分析靶标成像视觉坐标测量系统的成像特点，寻找特征点的成像中心。利用 图像直方图及阈值截取的方法将特征点从背景图像中提取出来，然后用质心算法 及迭代质心算法分别求取特征点成像中心并对二者的稳定性和可靠性进行了实 验比较。 研究视觉坐标测量系统标定的现状，介绍了视觉测量系统标定的一般方法。 基于论文所提出的建模方法，实现镜头光学中心和参数最的独立标定。 通过实验测定系统x 、y 、z 向测量偏差值、空间点以及单轴测量不确定度， 从而进一步验证论文所进行的上述各项工作的正确性和可行性。 - 6 - 第二章双目视觉坐标测量系统概述 2 1 引言 在传统的坐标测量中，比如三坐标测量机，是利用接触式机械导轨的运动来 实现坐标测量，其三个方向x 向、y 向、z 向的测量精度是相同的，但是在视觉 测量中，深度方向的信息是通过二维图像信息恢复的，因而深度方向的测量精度 要小于另外两个方向，对深度方向信息的恢复和提高深度方向的测量精度成为视 觉测量中的一个关键。在视觉测量系统中，采用单目法、双目法和多目法都可以 恢复深度信息。 单目法在获取深度信息的时候需要已知视场内某点的三维信息，然后利用运 动图像序列分析的方法来求取被测物体的形状和尺寸”1 。在测量深度范围仅为 i i n m 左右的对焦等方面的应用的时候，则采用聚焦法和离焦法更为精确。 双目法是模拟人眼的视觉功能，实现对三维深度信息的感知。在实现上采用 基于立体视差的方法，运用两个摄像机对同一个景物从不同位置成像从视差中 恢复深度信息【3 1 1 f 3 3 | 。 多目法在双目的基础上增加了一台或者多台冗余摄像机其目的是增大视 场，增加几何约束条件，减少错误匹配，但因此也带来结构复杂、效率降低、标 定复杂等缺陷。 单目法结构简单，但是深度方向信息获取不够精确，多目法结构和算法都较 为复杂，而双目法更适合实际应用，下面主要介绍一下双目视觉测量系统的模型。 2 2 双目视觉测量系统基本模型 双目立体视觉是获取三维场景深度信息的主要手段之一，它直接模拟了人类 视觉处理景物的方式，可以在多种条件下灵活的测量景物的深度信息。最简单的 双目视觉测量系统几何模型如下页图2 - 1 所示。 系统由两个完全相同的摄像机构成，焦距均为f ，两摄像机平行摆放，( j 、 ( 1 ，分别为两摄像机光学中心( 镜头中心) 位置，( j 、( 1 ，间的距离为基线距离b ，摄 像机的两个图像平面位于同一个平面上，两个摄像机的坐标轴互相平行。空间中 被测点p 在左右两个摄像机上成像分别为p ，和一，根据三角形相似关系可以得 到空间点的深度信息 r ：_ 垒l ( 2 - 1 1 y | 一y ， 其中b 一为基线距离； f 一为摄像机焦距； y f 、y - - r 分别为空间点p 在左右摄像机上的成像坐标； 7 p ( x , y , z ) 图2 - 1 双目视觉几何模型 这里被测点的深度信息x 是通过计算视差来实现的。对于空间点y 方向和z 方向的坐标值可以通过牛顿光学成像公式得到。 目前双目视觉测量系统多数是采用正直摆放的方式，即两台摄像机主光轴相 互平行，成像面在同一个平面上。这种形式进行匹配计算简单，但是装配精度要 求高。因此，一般情况下两摄像机的主光轴不能保证绝对平行，即两摄像机成交 向摆放方式，但是这样无疑增加了标定和计算的复杂程度。 对于一般的双目视觉坐标测量系统，当两摄像机不平行，即成交向摆放时， 其空间模型如图2 - 2 所示。 p 图2 - 2 双目视觉坐标测量几何模型 假设待测空间点p 在两个c c d 摄像机c 。和c 2 上的对应图像点分别为p 与 p 1 ，且假定已经求出它们的投影矩阵分别为m 一和m 2 ，于是可以得到 m 1 1 2m 1 1 3m 1 1 4 l m ! 。m ；，m ；。i m ，1 ：m 品m 三1 8 ( 2 2 ) i23 m m m _l = 1j y z l _。l r 七 k 车 = 荔i 荔i 荔；荔；1 ( 2 3 ) 其中o 。，毛，1 ) 与 ：，：，1 ) 分别为p 与p 点在c c d 成像面上的齐次坐标， ( x , y ，z ，1 ) 为p 点在世界坐标系中的齐次坐标。m ! ，( k = l ，2 ；i = 1 ，2 ，3 ；j = l ，2 ，3 ，4 ) 分别为 矩阵m l 和m 2 的第i 行第j 列元素。在上式中消去露。或粼。：得到如下线性方程 组： ( y , m i 。一m ) y + ( y f ；：- m d , + ( y l 躬，- m d x = 彳k y r 4 i 。 ( z 刍一m ：，) y + 0 州：一m ：弦+ ( z ，叫，一m 是扛= 叫。- - g 。m ，i 。 ( 儿峨一啪) j ，+ 一吖矗) z + ( y 嬲一磁) x = 啦一儿蛾u 1 ( ：a 野，一 弦) y + ( ：肘三一m d z + ( z ：m 三一 ，三) j = ，三一z ：m 三 上述四个线性方程组只有三个独立方程，在实际应用中可以采用最小二乘法 求出x ，y ，：。对于两个摄像机的投影矩阵m l 和m 2 ，可以借助基本矩阵 f f u n d a m e n t a lm a t r i x ) 来求解。 设p 1 ) 和p ：1 ) 分别为空间点p 在左右两摄像机上的像点，则基础矩 阵f 满足 p “fp = 0 ( 2 - 5 ) 展开f 2 5 ) 式，得 石l + ，识2 + 少3 + 一矾1 + 2 1 矾2 + z 厶+ 瞒i + 矾2 + 厶= 0 ( 2 - 6 ) 相当于 ( 渺，y z ，y ，z y ，z z ，z ，y ，z ，1 ) f = 0 a f = 0( 2 - 7 ) 给定足够点( 至少7 个) ，f 便可求出。 一般的双目视觉坐标测量的步骤如下： f 1 ) 由c c d 左右两幅图上的多个匹配点计算基本矩阵f ： ( 2 ) 由计算出的基本矩阵f 求解两摄像机的投影矩阵m 1 和m 2 ： ( 3 ) 根据摄像机的投影矩阵m 1 和m 2 ，利用( 2 4 ) 式计算空间点坐标。 2 3 基础矩阵求解 文献 3 4 1 总结了通过计算基础矩阵f 进而实现特征点坐标测量的三大类方 法，分别是l i n e a r 方法、i t e r a t i v e 方法和r o b u s t 方法。l i n e a r 方法是利用7 个 点带x ( 2 7 ) 求解，或者通过求解 f = 嵋+ ( 1 _ 口) e ( 2 - 8 ) 来确定f 。这种方法优点是采用的点数比较少，但是如果7 个点中个别点位置不 准确，则求解的结果也不准确。 i t e r a t i v e 方法通过求空间点与外极线之间的最小距离 m i n z d 2 ( 尼，f p 3 + ( d 2 ( ，印。) ) ( 2 9 ) f 9 兰三童罂旦鎏堂坐拯捌量蚕丝塑蕉 来确定基础矩阵。这种方法在有外界噪声的情况下，计算的精度仍然比较高。 r o b u s t 方法通过求解方程( 2 1 0 ) 来确定f 。 m i n y w ，( p f f p 3 2 ( 2 一l o ) fi 式中w 为权重函数，其有多种表达形式，下面列出其中的一种 i1 川o - w ，= 盯k i 盯 k i 3 0 - 1 0 3 0 文献 3 4 】分别介绍了上述三类方法的1 9 种实现方法，并用实验对各种方法 的精度进行了比较，实验结果表明：在特征点匹配很好的情况下，l i n e a r 方法精 度比较高：在有高斯噪声的情况下，i t e r a t i v e 方法计算的精度比较高：而在个别 特征点点的位置稍有偏差和个别特征点误匹配的情况下，用r o b u s t 方法计算的 结果要更好一些。 目前一般的双目视觉坐标测量系统都是直接对被测点进行观察并摄取图像 进行直接测量，如果被测点不在视场范围内或被测工件表面光滑没有特征点则无 法进行测量，基于上述考虑，本课题提出了基于靶标成像的双目视觉坐标测量系 统，通过对靶标上特征点的坐标测量来间接测量被测点坐标，靶标探针与被测点 接触，只要靶标上特征点在视场范围内就可以实现对被测点进行测量，从而解决 了上述问题并能够实现一般的坐标测量，这一研究是对视觉坐标测量方法的补充 和改进，对视觉坐标测量的发展和应用有着重要的意义。 2 4 本章小结 本章主要介绍了传统的双目立体视觉坐标测量系统，并介绍了基础矩阵的几 种求解方法。 1 0 第三章双目视觉坐标测量系统组成与建模 本文提出了一种新的视觉坐标测量方法，它是通过手握式靶标成像并最终求 得与靶标接触的点的三维坐标来实现坐标测量的。 3 1 测量系统组成 双目视觉坐标测量原理如图3 1 所示： 图中手握靶标上特征点( 如a 、b 等点) 在靶标坐标系下的三维坐标值为已 知，当手握靶标以某一姿态接触于被测表面o 。点，特征点( 如a 、b 等点) 经双 摄像系统分别成像于c c d l 、c c d 2 上。通过空间坐标变换，可以求得o 。点在摄 像机坐标系下的三维坐标，而只采用单摄像机测量时，可以获得各测量点之间的 相对三维坐标f 3 j 】【3 6 l 。 特征点a 手 被测表面 特征点b 图3 - 1 测量系统 2 这一测量系统的特点如下： 1 本测量系统中目标测头与被测表面接触，通过目标测头上匹配特征点间的 视差来实现测量，于是减少了对被测表面信息获取的依赖程度，被测表面的反射、 散射等因素对测量没有影响。 2 系统是对测头上特征点成像，因此对被测表面上被遮挡点同样可以实现测 量。文献 3 7 】中采用的目标测头为菱形，以菱形的四个端点作为特征点，在测量 遮挡点时需要通过双测头完成，见图3 - 2 ，即要保证某一测头完整成像( 如目标 测头i ) ，通过两测头之间的位置关系确定出被测点的三维坐标。 惫 t 测翔冷r b i i 图3 2 遮挡点测量 3 2 测量系统建模 根据图3 1 所示双目测量系统可以抽象出图3 - 3 所示空间几何模型。 设左右摄像机平行摆放，x y z 为左摄像机坐标系，透视中心为坐标系原点， y 、z 轴分别平行于c c d i 像素的横、纵方向，光轴方向为x 轴。再设x ，y p z p 为靶 标坐标系，靶标与被测表面接触点( 即被测点) o ，为原点，其在左摄像机坐标系下 坐标为ky ，z ) ，轴x ，、y p 、z p 分别平行于x 、y 、z 轴，靶标上特征点a 在靶标坐 标系下的坐标为( x 。，y 。z p ) 。 图3 - 3 测量系统建模 o p7 一，纠 设在靶标坐标系下以被测面接触点o p ) ( x ，y ，z ) 为支点，靶标分别绕轴x ，、y p 、 z p 旋转口，后特征点由位置a 变换到a 的旋转矩阵为： h r 2 胛2 1 门2 2 胛2 3l l 仃， n ，： 玎，j - 1 2 釜三重銎旦迅薹尘坯型量丕丝缉盛耋塞垡 式中 ”1 l = c o s , 6 c o s y ”1 2 = 一c o s 3 s i ny 仉3 = s i n f l h 2 l = s i n o r s i n p c o s y + c o s 口s i n ， 疗2 2 = 一s i na s i n , 6 s i n ，+ c o s t 2 c o s ， h z = 一s i n a c o s ? ”3 1 = 一c o s a s i n c o s y + s i n a s i n y ”3 2 = c o s 岱s i n f l s i n ，+ s i ne 7 c o s y 盯 = c o s 口c o s f l 则在靶标坐标系下位置a 的坐标为： l x ，y v 乙j r ( 3 - 1 ) 再设a 点在左侧摄像机坐标系下的坐标( x r ，y r ，硝，对图3 - 3 ，利用三角几 何关系及牛顿成像公式可得： z ，= b - f ( r , 一y r ) 只2 巧。工，厂 f 3 2 ) z ，= z ，- x r 1 式中，l _ 为摄像机有效焦距： 玎，y r _ 一为特征点a 在摄像机像面上左右两侧成像的y 向坐标； 矗一为基线距离； 根据公式( 3 - 1 ) 、( 3 2 ) 及左侧摄像机坐标系与靶标坐标系的刚体变换关系可得： | ； = 司 p 。， 公式( 3 3 ) 即为被测点o 。三维坐标的基本测量方程。 当双摄像机交向摆放时，按照文献 3 4 介绍的各种方法同样可以求出特征点 a 在左侧摄像机坐标系下的坐标( x y ，劫。为了简化后续问题的分析并不失一般 性规律，本文以摄像机平行摆放为例进行讨论和实验验证。 3 3 测量方程求解与分析 在基本测量方程( 3 3 ) 中， 矗可以通过摄像机参数独立标定方法求得。如 儿、乙为靶标上特征点坐标，靶标设计加工后可