（计算机软件与理论专业论文）多目视觉坐标测量的关键技术研究.pdf

攘要 立体视觉嫩标测量技术作为一种以立体视觉和光学成象原理为基础的非接触式 三维测爨技零，以其j 接触经、黉发测量速凄捩滢及糖凄裹等俊蠢广泛瘫爱予工鳖 三维测詹、虚拟现实建模、反求工程等不同领域。 本论文针对立体援甏坐标溅量豹关键技术，包强妻薅匹酝蒡瑟鼗据攒接，遴行了 研究，主要研究内容包括以下几个方面： 1 多塞援懿坐标测 霪懿骧璞秘测量模型。溪露多露视燮摸跫进行三维测羹，针 对摄象机线性模型，利用带有网格线的标定物线性标定摄象机。 2 鸯效溺羹蠛戆数学模型秘求筹。弼溅量翁轰聱哥甄嚣数点登定键予系统鹃毒 效测量视场内。本文对有效测墩域进行建模，同时给出其参数的求解方法，并将测 _ ：| 霪蠛模羹应露予涎聚算法囊除误匹配。 3 结合支持废判断的匹配方法。匹配是视徽坐标测基的关键，是辩在多幅图象 。p 确定哪些象点对痊场豢中露一个点。疆嚣算法影穗测囊系绕的准确瞧与稳宠性。 对匹配算法的麟本要求肖两个，算法的精度或可靠性以及算法的效率。针对这魑要 求，本文提出了嚣秘方法，一耱是逶过瓣有效溅曩域鹃求鳃，城乡匹配遍历弱空闻， 提高算法效率，并且能够检测刹测量域之外的谍匹配，在一定稞度上也能提礴测量 的糕度。另一秘是针对空间匹配涎凡键模型，络合多秘死褥与逻辑终索，检熨莠搂 除误匹黼，提商测量结果的准确性和测辍系统的稳定性。本文给出的实验结果说明 了算法瓣套效矬，著盈葵法对瓣复杂度炎线性蘧数。 4 不同视点三维测蕊数据的拼接融台。视激坐标测蓬系统在对大视场范围的场 聚或表骚复杂黪物体进行测量时，单次测量常棠不熊宠整准确靛采集熬令表舔。海 了保证测量范丽和测量精度，将测量空间划分为子空间进行多次测量，然后根据公 共点对各次测量数据进嚣携接酴准，褥爨l 统一坐标系下鲍整体测量数据。本文在对 拼接方法进行研究的基础上，对于不少于三个不- 共线公共点，提出通道构造馥撤点 触方法线性地求鼹配准变换矩眸。 其中，后兰部分是本文酶研究重点。 荧键词；计算桃视觉；搬标涮溉；匹粥；配准拼接 a b s t r a c t v i s i o nc o o r d i n a t em e a s u r e m e n t t e c h n i q u ei san o n - t o u c hm e a s u r i n gt e c h n i q u eb a s e do ns t e r e ov i s i o n a n do p t i c s i ti s w i d e l yu s e di n 3 dm e a s u r e m e n ti ni n d u s t r i a l ，v i r t u a l r e a l i t ym o d e l i n g ，r e v e r s e e n g i n e e r i n g a n do t h e rf i e l d sf o ri t sh i g h s p e e d a n d h i g ha c c u r a c y s t e r e om a t c h i n ga n dd a t ar e g i s t e r i n ga r et w ot e c h n i q u e so fg r e a ti m p o r t a n c ei nv i s i o nc o o r d i n a t e m e a s u r e m e n t a n dt h i st h e s i sp u t se m p h a s i so l lt h et w o t o p i c s t h er e s e a r c h e sd e v e l o p e d i nt h i sp a p e r i n c l u d ef o u rp a r t s 1 s y s t e m a t i cm o d e lf o rm e a s u r i n ga n dc a m e r ac a l i b r a t i o n m u l t i v i e ws t e r e ov i s i o nm o d e li s c o n s i d e r e d t h ec o m p u t i n gm o d e lo ft h ev i s i o nm e a s u r i n gs y s t e m a n dl i n e a rc a m e r a sm o d e li s t a k e nt oc a l i b r a t es y s t e mp a r a m e t e r s 2 c o n s t r u c t i n gm a t h e m a t i cm o d e lo f v a l i dm e a s u r e m e n t s p a c e , a n a l y s i sa n dc a l c u l a t i o no ni t a l lt h ei m a g ep o i n t sw h i c hc a nb em a t e h e dw i t ha n o t h e ro n em u s tl i ei nt h ev a l i dm e a s u r e m e n t s p a c e t h i sp a p e rm o d e l st h e3 ds p a c ew i t hs p a t i a lg e o m e t r ya n dg i v e st h es o l u t i o n t h i sp a p e r a l s ou s e st h em o d e lt od e t e c ta n d g e tr i do f m i s m a t c h e s 3 t h em a t c h i n ga l g o r i t h mw i t hs u p p o r tv a l u ec h e c k o n eo ft h em o s ti m p o r t a n tt e c h n i q u e si s i d e n t i f y i n gc o n j u g a t ep a i r si ns t e r e oi m a g e sw h i c ha r ec o r r e s p o n d e n tt ot h es a m ep o i n ti nt h e s c e n e t h ea c c u r a c yo fm a t c h i n ga l g o r i t h ma f f e c t st h ea c c u r a c ya n ds t a b i l i t yo fm e a s u r e m e n t t h e r ea r et w or e q u i r e m e n t so nm a t c h i n ga l g o r i t h m ，o n ei sh i g hp r e c i s i o na n dr e l i a b i l i t y , t h eo t h e r i sh i g he f f i c i e n c y t h i sp a p e rp r e s e n t st w om e t h o d st oi m p r o v ev i s i o nc o o r d i n a t em e a s u r e m e n t a c c o r d i n gt ot h et w or e q u i r e m e n t s f i r s t ，v a l i dm e a s u r i n gf i e l ds i g n i f i c a n t l yl i m i t st h es e a r c h i n g s p a c ef o rf i n d i n gc o n j u g a t ep a i r s i tc a n a l s od e t e c tm i s m a t c h e s l y i n gb e y o n dt h e f i e l da n d e l i m i n a t et h e m t h es e c o n do n ei su s i n gg e o m e t r i c a la n dl o g i c a lc o n s t r a i n sr e g a r d i n gg e o m e t r y m o d e lo fs p a t i a lm a t c h i n gt od e t e c ta n dg e tr i do fm i s m a t c h e s ，t oi m p r o v et h ea c c u r a c yo f m e a s u r i n gr e s u l t s t h ee x p e r i m e n t sd e m o n s t r a t et h e9 0 0 dp e r f o r m a n c ew i t ht h ec o n s u m i n gt i m e l i n e a rt on u m b e r so f p o i n t s 4 r e g i s t r a t i o na n d f u s i o no f3 d r a n g e d a t ac a l c u l a t e di nd i f f e r e n tv i e wp o i n t v h e na p p l i e dt o w i d ev i e w i n gf i e l do rc o m p l e xo n e e t s ，v i s i o nc o o r d i n a t em e a s u r i n gs y s t e mc a n tc o v e rw h o l e s u r f a c ei ns i n g l em e a s m i n gp r o c e s s t oe n s u r et h em e a s u r i n gs p a c ea n dp r e c i s i o n ，w ed i v i d e m e a s u r i n gs p a c ei n t o s e v e r a l s u b s p a c e sa n de a r l y o nm e a s u r i n gs e p a r a t e l y f i n a l l y , i n t e g r a t e s u r f a c ed e s c r i p t i o na r ea c h i e v e db yt e g i s t e r i n gs e p a r a t e ds u r f a c ed a t a t h i sp a p e rp r e s e n t sa m e t h o do f c o n s t r u c t i n gv i r t u a lp o i n t st oc o m p u t et r a n s f o r m a t i o nm a t r i xu s i n gl i n e a re q u a t i o n s a n dt h el a s tt h r e ep a r t sa r et h ee m p h a s i so f t h i sp a p e r k e y w o r d s ：c o m p u t e r v i s i o n ；v i s i o nc o o r d i n a t em e a s u r i n g ；m a t c h i n g ；r e g i s t r a t i o n 第一章绪论 1 1 研究背景和意义 繁一章绪论 计算机视觉已有二十多年的发展历程，随着计算机、控制理论、模式识别、人 工智能和生物技术的发展，计算机视觉在机器人、工业检测、物体识别、卫星图象 分析、医学辅助诊断、航空测绘和军事技术中的应用越来越广。立体视觉是计算机 视觉的一个重要分支，主要研究运用计算机技术和光学手段从幅或多幅图象中还 原出被摄物体的三维信息。 基于立体视觉原理的视觉坐标测量技术作为一种以立体视觉和光学成象原理为 基础的非接触式三维测量技术，以其非接触性、并发测量速度快以及精度高等优点 广泛应用于工业三维测量、虚拟现实建模、反求工程等不同领域。 视觉坐标测量作为一个立体视觉系统可以划分为以下几个模块川：采集图象， 摄象机标定，特征提取，立体匹配，三维重建。测量原理同人类视觉认知三维世界 的原理相同。人类通过双眼从视觉角度去感知三维的外部世界，能够短时间内产生 对复杂场景距离的判断，并感知场景的三维形状和结构。类似的，视觉坐标测量方 法从两个或多个视点去观察同一个场景，获得在不同视角下的一组图象，通过不同 图象中对应的视差应用三角测量原理，进一步计算场景中物体的深度。其中的关键 是确定同一空间点在多目图象中成象的对应关系，即确定哪些象点对应同一个空间 点的投影。这个确定对应关系的过程就是立体匹配。 视觉坐标测量中最重要的阶段就是匹配过程。同一景物在不同视点所成的图象 由于许多因素的影响，映象会发生很大的变化，这些因素都被综合到单一的象素值 中，很难准确的找到匹配。由于噪声等因素的影响，很可能出现错误匹配，把本 来不匹配的两点误判为匹配点对，造成测量结果偏离真实值。总的来说，影响匹配 精度以及准确性的主要因素有以下几个： 1 ) 特征点提取精度。特征提取部分是图象处理阶段的主要任务。由于成象过程 中各种因素比如投影角度和噪声，以及图象处理算法的影响，提取得到的特征位置 会和真实值之间存在偏差。我们可以通过改善光照条件，应用亚象素技术 2 翔等来减 少这方面的影响。 2 ) 自然特征点和人工设置特征点的坐标传递。物体自然特征的匹配在某些情况 下并不理想。有些物体的固有特征比如角点等比较稀疏，而且物体表面缺乏足够并 且显著的细节去衡量匹配正确性，误匹配的概率较大。实际测量中，往往需要在待 青岛大学硕士学位论文 测物体表面人工设置特征点。利用这些人工设置的特征点将物体卜某点的坐标进行 坐标传递，投影到不同图象平面上，生成有序点列，从而可以进行逻辑匹配。这样 做的目的在于，提高特征点的信噪比，加强特征点间的逻辑关系，减小误匹配的可 能。 3 ) 特征点立体匹配准确度。误匹配是影响测量结果精度最严重的因素，误匹配 造成测量结果严重偏离真实值，即使局部的误匹配，也会大大降低测量的整体精度。 保证立体匹配准确性是匹配算法的主要任务，也是本文重点研究的内容。 j ：面多种因素都会影响匹配以及测量的质量，匹配算法的准确性是其中最重要 的因素。具体来说，匹配算法从两方面影响测量过程：1 ) 测量精度。由于噪声等因 素影晌，匹配点的性质可能发生很大变化。任意对都有可能是匹配的。为了将解 空间限制在一定范围内，往往需要施加特定的约束( 如连续性约束) ，然后在候选解 中通过计算找出最相似的作为匹配点。但是仍然可能产生误匹配，本文通过算法剔 除误匹配提高测量准确度。2 ) 算法效率。从候选解中计算各点的匹配程度，所耗费 时间与解空间大小以及相似度量函数复杂程度有关。而且验证算法比如左右一致性 检验，需要进行两次匹配，也会影响匹配效率。本文的支持度判断算法近似于特征 点的线性函数。 匹配算法应该尽可能提高匹配精度，以保证测量结果的质量，并且保证效率比 较高。立体匹配的准确度和算法效率决定了整个测量过程的精度和效率。所以对匹 配方法的研究对测量过程有重要意义。 1 2 国内外研究现状 目前国内外有许多对于通用匹配方法的研究，根据匹配基元的不同，算法主要 分为三大类5 l ：区域匹配，特征匹配和相位匹配。不同的算法的匹配理论依据不同 导致匹配过程也不相同，但是在匹配过程中几种匹配算法可以互相结合。 ，区域匹配：给定同一场景的两幅图象，基于区域的匹配将图象对量化为许多图 象块。区域匹配以基准图的待匹配点为中心创建一个窗口，用邻域象素的灰度值分 布来表征该象素，然后在另一幅图中寻找这样一个象素，以其为中心的窗口内邻域 象素的灰度分布相似，两者间的相似性必须满足一定的闷值条件。 特征匹配：特征匹配是为使匹配过程满足一定抗噪能力且减少歧义性问题而提 出。作为匹配基元的特征分为局部特征和全局特征两大类。局部特征包括点、边缘、 线段、小面或局部能量。全局特征包括多边形和图象结构等。基于特征的匹配一般 含有特征提取和定位、特征描述、特征匹配三个步骤。 2 第一章绪论 相位匹配：相位匹配基于这样一个假定，即认为象对中对应点的局部相位是相 等的。根据傅立叶平移定理，信号在空间域上的平移产生频率域上成比例的相位平 移。频率域信号分析在数学表达上更有助于区域分析。最常用的相位匹配方法有相 位相关法和相位差频率法。 在对纹理丰富的自然图象进行匹配时，许多匹配方法取得了较好的匹配结果， 匹配精度较高。但是为了在若干候选点中找到最佳的匹配点，提高匹配准确率，这 些算法往往在图象中多次的搜索和迭代，花费时间较长，测量效率受到影响。而且 这些算法大多要求物体满足某些条件( 如纹理细节丰富，无重复特征) ，在对待表面 缺乏纹理信息的物体( 比如白色无纹理的平面) j 或者纹理周期性重复的特殊情况， 由于无法区分特征，匹配效果并不理想。 视觉坐标测量中，由于待测物表面缺乏足够特征，往往在待测物体表面直接刻 画或间接投射规则图案形成特征，常见的图案有矩形网格、极线网格和圆网格，网 格线间的交点作为特征点。虽然这些后期附加的网格属于重复性纹理，不能直接使 用通用匹配算法，但是附加图案自身的结构特点可以简化匹配问题，利用这种特殊 的结构可以更快速更准确的恢复特征点的深度信息。在已有的针对坐标测量的匹配 方法中，有些只是单纯的在8 邻域内按照预定的方向搜索网格点，不够健壮。有的 则是对摄象机的位置施加了种种限制，利用各种指定的约束来查找匹配点，比如两 个摄象机的光轴必须是平行的【“，实现起来有一定难度，精度也难以保证。 本文对匹配算法研究的重点就是通过有效测量域结合几何逻辑约束，检验并剔 除误匹配，提高匹配的可靠性和准确性，并且通过对有效测量域的求解，减少匹配 遍历搜索的空间，提高算法效率。 1 3 主要研究内容与论文安排 本课题在研究已有立体殴酉己算法的基础上，针对立体视觉坐标测髓的匹配方法 进行改进，提出支持凄判断的妪配方法。逸疑l 方法剥羽特 芷闻款结擒关系，结合多 种凡何与逻辑翁策，有效僳诞甄配质量，确保测量的准确度和效率。 总的来说，本文的主要研究内容包括以下几个部分； 第二章多目视觉测量的基本原理和模型，介绍多目视觉坐标狈8 量系统的立体视 觉理论辇穑霰测熬系统翡诗舅摸鲎，醵及褫觉坐标溺蘩戆线往舔定。 笫三章测鼓域模型与分析，介绍从空问几何角度确定有效视场范围，也就是确 定需要参与匹配过程的象点范围的原理。本章还给出了数学模型、求解过程以及怒 毪分掇。 青岛大学硕士学位论文 第四章匹配算法，根据视觉坐标测量的特点，利用测量域模型结合多种几何逻 辑约束，提出了检测并剔除误匹配的支持度判断匹配算法。 第五章三维测量数据的拼接配准，讨论了一种有效解决公共点共面的特殊情况 的线性拼接方法，用来将不同视点下的局部测量结果配准并融合到统一坐标系下。 第六章实验，给出本论文匹配算法和拼接算法的实验。 第七章结论，总结全文并提出下一步研究方向。 第二章多目视觉测量的基本原理和模型 第二章多目视觉测量的基本原理和模型 工业生产和应用常常需要测量物体的尺寸距离等三维信息，通常可以直接利用 接触式的测量工具进行测量，比如游标卡尺和三坐标测量机，但这种测量方式受测 量物体物理和几何性质的限制，比如探头挤压物体或者探头无法到达部分表面，并 且由于采用逐点测量，效率比较低。相比之下视觉坐标测量方式通过采集到的图象 间接计算物体的相关物理量，可以用于更广泛的测量条件，并且测量并行化程度高。 视觉坐标测量的理论依据是多目立体视觉原理。根据立体视觉原理，视觉坐标 测量系统需要包含这样几个基本模块：图象采集，摄象机标定，特征提取，立体匹 配和三维重建。本章首先介绍立体视觉的基本原理以及多目视觉坐标测量的模型， 然后对视觉坐标测量中标定过程的数学模型进行讨论。 2 1 单目视觉与多目视觉 三维坐标筏爨霹戮采翅l 巍凳溺量霸援爨溺量方法。主要茨 纛觉溺量方法蠢 捧l ：电子经纬法，坐标测量机滋，雷达测躐 虫，莫尔条纹测距法等。 视觉测量方法是指利用摄象机作为图象传感器，综合运用图象处理，计算机视 觉等皴拳进行棼接触式三维嫩栋测量鳃方法，具有耱度麓，效率毫，囊粒化程度藏 等优点f 4 l 。应用较多的视觉铡爨方法有f g ：缭输光方法，激光自动聚焦法，单1 7 1 视觉 方法，双目视觉方法以及多目视觉方法。 多耳视觉方法的理论基石鞋：与双耳视觉照相同的，多职视觉方法主袋增加了摄象 撬麴个数，鼠嚣壤麓忍 霉约寒，减奄双嚣橇爨立体匿酝豹困难。虿戳褥双1 7 1 褫凳佟 为多目视觉的种特例，所以本文用多日视觉来统称。本文讨论的辣法也可以方便 的推广到双目视擞的情况。 避过裰觉获敬疆襄售息豹方式分为单毯寝觉积多嚣巍觉。 单目视觉仅从单个视点获敬的二维图稼推导三维缩牵，空间牵6 激物本身的一黧 物瑷条件，通过观察者的经验和学习，在一定条件下成为知觉深度距离的线索。物 体的尺寸，遮挡关系，阴影以及运动视差等都可以作为尊壤图象中的深度线索l l 。 由予擎辐图象上务熹斡灰度僚爱夔了三缭秘体相应点上葭辩毙的强度，反鸯幸蠢懿强 度与物体表面的性质和几何形状有直接的联系。因此，可由单幅图蒙米恢复三维物 体几何形状。单嗣视觉的方法结构简单，翳于实现实时髓测。但是，根据灰度值恢 青岛大学硕士学位论文 复表面三维特性从本质上说是约束不充分问题，比较脆弱。 与单目视觉相比，双目视觉主要利用几何原理实现三维信息恢复，受场景物理 性质的干扰较小，能较精确的恢复三维信息。观察世界时，物体和摄象机的相对位 置可以唯一的决定物体在左右两目投影的位置，所以左右眼获取信息的差别可以用 来判断物体的相对深度。人类的视觉神经会根据视差来判断物体的相对深度，同理 多目视觉测量利用两个或多个摄象机对同一场景取象( 也可用一个摄象机在不同视 点先后对同一场景取象) ，多幅图象间的视差反映摄象机与景物的距离。 多目视觉系统利用多个摄象机协同工作，同单目视觉系统相比，有以下优点： 1 由于建立在空间几何结构的基础上，结果更加稳定。单目视觉原理建立在人 们对物体距离与物理世界物理属性( 比如光照，明暗) 的学习经验之上，受 外界条件影响较大。而多目视觉具有牢固的空间几何基础，更加可靠。 2 求解简单。单目视觉算法的基本方程为非线性方程，无法直接求解，需迭代 求解，迭代求解的收敛性和速度将极大影响实时性和测量精度。而多目视觉 算法的计算过程较为简单，测量精度也比较高。 2 2 多目视觉测量的几何原理 本课题所研究的视觉坐标测嫩建立在多甜视觉原理基础上。当三缎物体投影到 二维蒙平嚣对，只霄场景的二缎灰发信息以数字图象的形式被保留，大爨的三维结 构僖惑随着投影避程丢失。餐怒这些二维获魔信息豫含了帮关钫体戢场豢的三缍线 索。多目立体视觉技术利用包含线索的两幅躐多幅图象中的冗余信息，恢复三维信 息，定量分析物体尺寸、形状镣相关的三维物理量。 立髂巍燮方法壤撂褪差迸行溅距。袋援援嫠藏是被褒l 患在左、杏缀皴魏象乎露 上成象点位置的靛羚。对图2 ，l a 中的平面三角测量，已知a 、b 两点的坐标执) 和舢) ，要求c 点的坐标j d 。通过测量手段得到两个方位角a 、p ，分别是射 线a c 鞠b c 与线段a b 豹夹角。射线a c 和b c 瞧一的鞠交于一点c ，交点c 兹坐 标根搽三角公式可以计算出来。 设直线a b 和x 轴交角为口，则口= a r c t a t l 苎二丝。露线a c 与b c 的直线方稷 穗一工。 联立y - y o = ( x - ) t a n ( a + o ) 。) ，解方程缌得到c 点的嫩标蚴。 6 第二章多目视觉测量的基本原理和模型 2 3 多目视觉测量的模型 巍觉方凌溅熬遘程爵敬分翅舞下蔻多： 1 ) 从左( 或右) 图象中选出莱魑特征点； 2 ) 找出它在右( 或左) 图象中的匹配点，这个过程一般称为立体匹配； 3 ) 根据叹上点对匹配关系，鹱可以诗算戡匹配点在掇象极坐标系中豹空闽坐标； 在对大褫殇瀚聚或者复杂物体避幸亍溅爨时，两个摄簸税的税场蕊潮般不憨潲 时保证测量范围和测量精度，所以常常使用多个摄象机程不同视点对场疑进行采集。 根据立体视觉的几何原理，如聚摄象机与棚邻的摄象机能够形成有效视场，那么对 溅黎域藏萄瘫戆秘俸测量。慰予每嚣个骞公癸凌瑗翡掇象秘两嚣结含，获嚣露整令 场景进行测量。巍然，各个测慧域的并集必须覆盖整个待测空间，并殷出于拼接的 原因，还要保证测量域之间的交集不能太小。 溅量系统由装子全弱标定熬摄蒙规窝多个爨罄振定豹摄象机组成。考虑到测爨 结聚的完整性，所有摄象机的测量域要覆藏待测物体表瑟。全局标窥的摄象机数隧 越多，排列的越均匀，测量精度就越高。 摄象规的标您任务是要确定摄象机的内外参数，有必黉在每次测爨之前都标定。 青岛大学硕士学位论文 使所有摄象机在统一坐标系下精确标定很困难，而且不灵活。本文采用部分摄象机 全局标定，其余摄象机局部标定，各视点独立地采集，处理和测量。当表面各部分 都在各自坐标系下测量后，各坐标系的测量结果会由拼接算法进一步处理，得到整 体的三维数据。这实际上就是视场的拼接。 对于全局定标的摄象机，定标物的坐标是世界坐标系坐标。能够测量多于6 个 全局定标点的摄象机可以作为全局定标的摄象机。 而对局部定标的摄象机的定标物，只要准确提供定标点相对的三维位置就可以， 不必是世界坐标系。所以可以采用普通的标定物，比如覆有网格的立体块。 2 4 摄象机标定 视觉坐标测量祭统从摄象枫获取的图象出发，计算空闽特征点的三维坐标。躅 象上每令点怼应空阙狻俸表瑟上一点，象患窀胬象平嚣土瓣霞羹与貔体上霹应熹豹 空间使置存在着几何影射关系。这种关系由掇象机成象的几何模型所决定。该几何 模型的参数称为摄象机参数，这些参数必须由实验与计算寐确定，实验与计算的过 程舔麓摄象掇标定【1 0 t 。 2 4 。l 摄象机成蒙模懋 熨际的光学成象系统是非线性透镜成象模型，摄象机模型是光学成羰几何模型 的越他，最简单的鼹线性模型，箴称为针孔模型f 7 1 。设“为物距，f 为焦距，v 为相 11 距。搬据透镜成象，三者满足关系式：之；立+ 二。一般的情况下驴 所隘经常取 ， “v 哆黢个模型近似为针孔模型。出于本课题的测量系统镜头采用线性模型基本就越 够这翻精度要求，掰戳这垂采糟线性模鍪l 来辩光学成象尼键系统进行建模。 为了描述光学成象的几何关系，需要建立四个坐标系：图象象素搬标系、图象 物理搬标系、摄象帆坐标系和世界坐标系，窀们均采用笛卡儿坐标系。 l ，鬻象象素黧糖系窝銎象携毽坐蠡系i 糕蒙掇采集戆辫蒙豫存或数字錾蒙，艇 行捌数字图象在计算机内表泳为m x n 数缀，每个元素( 称为象素) 的值表示一 个图敷点的亮度( 皴称灰度) 。在图象上定义豳象象素坐标系( ”，v ) ，分别是该象 素在黧象数组串静别数与行数，挺标系粒单缎楚象素，坐撂艨点o 。在图象浆左上角。 第二章多目视觉测量的基本原理和模型 l ，0 0 m d 砌 图2 2 图象象素坐标系和图象物理坐标系 再建立以物理单位( 如毫米) 表示的图象物理坐标系( x ，y ) ，以摄象机在图象 平面上的光心0 j 为原点，坐标轴平行于图象横轴与纵轴，光心0 通常是图象中心， 但由于制作工艺，一般有偏差，需要通过标定来确定准确位置，假设光心0 ，的图象 象素坐标是m d v d ) 。两个坐标系都是二维笛卡儿坐标系，两者之间存在着平移和比例 缩放的关系，如图2 _ 2 所示。 2 摄象机坐标系：以摄象机为中心的三维坐标系，随摄象机的位置和朝向的改 变而改变。 3 世界坐标系：为了描述摄象机的位置以及测量物体的位置，需要建立不依赖 于摄象机的相对固定的坐标系统，称为世界坐标系。坐标测量需要得到物体的世界 坐标系坐标。 2 4 2 线性摄象机模型的标定 本系统的摄敷机模型采用线性模型( 针孔模型) 来近似，如图2 3 。 尹瓯k 黝 阮乓劭 妁 豳2 , 3 摄象梳模型 对于任何空间点p ，它与掇象机光心的迤线和图象平筒的交点就鼹该点成象饿 置，鞠宅投影刭魏乎西上的点p 就是其象点。点p 在世界坐标暴下的坐标为 ( 扁，k ，乙) ，辍象梳坐标系下为( 嚣y 凸互) 。对于图象平灏上静象点p ，我们褥耍静 是图象象素坐标( 她v ) 和图象物理坐标( y ) 。 蠢线性摸耋懿眈镶关系有：x = 警，y = 磐。其中，为焦距( 戏皴学瑟与摄象 三c五。 机坐标系原点的躐离) 。用齐次坐标与矩阵衮示上述关系： 9 青岛大学硕士学位论文 摊 而p 点的世界坐标系坐标与摄象机坐标系的坐标关系为： x 。 e 互 1 = 曙 x 。 l 乙 1 ( 2 1 ) ( 2 2 ) 其中r 为3 3 正交旋转矩阵，t 为三维平移向量。 设图象上每个象素在算轴与y 轴方向上的物理尺寸分别为a x 、a y ，则p 点的 图象象素坐标与物理坐标的关系为：。去+ v 2 万y + v 0 。其中( u o , v o ) 为光心的 象素嫩标。爆齐次坐标与矩眸形式表示上述关系： ； = ，1 0 u o 船 0 二k v 。 00l 将公式( 2 1 ) ( 2 2 ) 代入公式( 2 3 ) 可以得到 z 付 1 0 u o a x 0 1 v 。 a v ” 00 l 雕 记摄象枫的内部参数矩雕m i _ 上e x o 上 鑫y oo 1 0 x 。 匕 z 。 l ( 2 3 ) ( 2 4 ) 0 o 、 0 o ，摄象机的外部参 1 o j ，0 o 。，l 一一 、，ll x y ，l c z n i u 、；l t l鼗旷 ，。，。，。l 、，；， o o o o o l o ，0 p 篇二章多目视觉测量的基本原理和模型 数筵簿礁一( 墨：) 。记麓，m e 一溅2 嚣囊三圣】潮 z 。lv | ：m 1 1j 。 l z 。 】 ( 2 5 ) 这样便建立了p 点的世界坐标系坐标( 乙) 与经过摄象机成象聪敷点p 图象象素嫩标( 醒- i ，) 之阅的关系。 摄象梳翡稼定裁怒黉确定萁凌乡 参数疆l ，懋藏是计算蹬公式( 2 5 ) 中豹挞。 摄浆机标定需要程摄象机前放麓一个特制的标定参照物。如果已知n 个标定点 的图象象索坐标( h 。v i ) 和世界坐标( j 0 ，k ，磊j ) ( 扣l 2 ，n ) ，那么由公式( 2 5 ) 有 忍f “，= 1 j 0 + 竹2 匕。+ 啊3 z 。+ 玛4 z dv j = m 2 l 。k ，+ j 嘞2 j 0 ，+ m 2 3 乙，+ 朋2 4 【乏，= m 3 1 爿0 。+ 2 匕，+ 鸭3 z w j + 4 消去z c l 甫 jm ll x 州+ m 1 2 匕+ m 1 3 z w r + m 1 4 一i 以r m 3 l 甜f 匕f 聊3 2 一一z m 3 3 = “，m 3 4 【m 2 l x 驯+ m 2 2 k + z ，+ m 2 4 一叶j m 聊3 l u v 刀场一v , z w m j 】= q 丹 则可以得到2 个线性方程： 埘1 l 置“+ 嵋2 l + 嘲3 z 。i + 历一q k l 埘3 【“l i 鸭2 一1 z 叭3 = t _ f l m 3 4 1 k i + m 2 2 匕1 + 埘2 3 z 讲+ m 2 4 一v i x o m 3 l - 3 2 1 l l m ，2 v i z ”l m 3 3 = v i m 3 4 研1 1 x 0 + m 1 2 e + ” 3 z 帅+ 卅1 4 一r n x w f f n 3 i 咄 匕m ) 2 一u z 帅m s 3 = “h m 3 4 卅2 i z m + ”k 2 + m 2 3 z 帅+ m 2 4 一y n e 州m 3 1 - 1 ： 1 卅3 2 一vz 帅m 3 3 = k 卅3 4 ( 2 6 ) 将式( 2 6 ) 简写成：k m = u ( 2 7 ) 可以用最小二乘法求出它的解为：m - - - - ( k t k ) 。k 1 u ( 2 - 8 ) 由公式( 2 5 ) ，m 矩阵乘以不为零的系数不影响( ，y w ，z w ) 与( “，v ) 的关系， 因此指定m 3 4 = l ，式( 2 6 ) 有1 1 个未知量，所以由空间6 个以上的已知坐标的空 间点便可以得到1 2 个线性方程，解出方程组( 2 6 ) ，即解出矩阵m 。如果这些己知 的标定点共面的话，由于j 0 ，k ，乙线性相关，即正+ 当k + c 乙= 0 ，那么k t k 的秩 将小于1 1 ，这样m 将得不到确定解。因此对标定点的要求是数目不少于6 个，而且 不能在一个平面上。一般地，标定点的数目越多，分布的越均匀，得到的参数m 越 精确。 青岛大学硕士学位论文 求得摄象机参数矩阵m 后，可以迸一步分解出内部参数和外部参数 1 0 1 。 对目标物体成象，通过图象处理取得网格点的图象象素坐标( “，v ，) 和( u 2 , v 2 ) 结合已知的m i 和m 2 ，便可以计算出( 咒。y w , z w ) 。 第三章多目视觉的有效测量域分析与求解 第三章多目视觉的有效测量域分析与求解 在多目视觉测量中，为了保证测量的有效性和测量结果的准确性，被测量的物 体必须置于有效的视场空间内【1 1 1 ，以便被所有的摄象机准确观察到。这对应了实际 测量中的取景过程。在取景过程中，我们要对摄象机的方位，取景的焦距等摄象机 参数进行调整，使被测物体能够处于一个较佳的采集位置和状态。实际上，在取景 之后，每台摄象机都会产生一个视见体，在线性成象模型下它是一个四棱锥体。由 于最简单并且比较常见的摄象机成象模型是线性模型，本章针对线性模型进行讨论。 整个多目视觉测量系统的最终有效测量域是多台摄象机视见体的交集。 我们对多目测量中多台摄象机的视见体交集之所以感兴趣，主要原因有两个方 面。一方面是视觉测量中，被测物体与视见体的位置关系影响测量精度。象平面上 不同位置，以及不同深度对应的空间分辨率不同，所以当被测物体位于不同位置时， 测量精度也是不同的。这是由投影关系决定的。另一方面，多目匹配算法在各象平 面中进行遍历搜索匹配点，当摄象机数量增加时，计算量显著增加。而且并非象平 面上的所有象点都能在其他图象中找到匹配点。只有有效测量域中的空间点才能在 若干象平面上同时清晰成象，其中某点的象点互相成为匹配点。这些可匹配的象点 被限制在有效测量域的象平面投影区域内。通过计算象点的范围，缩小匹配搜索范 围，可以提高匹配算法的效率。 目前，国内外对该问题研究大多集中在有效视场的二维投影模型及相关系统分 析方面 1 2 , 1 3 】。本文的工作在三维空间和多目象空间中完成，研究结果对于视觉测量 的进一步研究有一定的作用。 3 1 测量域的计算模型 视觉测量采用的摄象机横烈中，最简单并且比较常见的是针孔模魁。本文的掇 象撬模鍪，溺虽竣穰关定义与搂鍪! 诗冀浚及分辑，嫠在镑笺摸墼静蒸旗上遂毒亍。 截锥体：如图3 1 所示，单个摄象机对殿的锥体。以光心。为顶点，沿着光心 与豫平面的顶点的连线( o a ，o b ，0 c o d ) 伸到基准平面。 投影锤：以投影中心0 必顶点，以铡量蒺准面上麴投影点p a v b , p c , p d 为底蘧匏 锥体称为投影锥。 视见体：以掾平面4 b c d 顶面，以p a 、p b 、p c 、p d 为底的截锥体称为视见体。 焦距：象平龋a b c d 距投影中心( 光心0 ) 的距离广称为焦距。 青岛大学硕士学位论文 测量域：包括物空间测量域和象空问测量域。在不特别指明的情况下指的是物 空间测量域，也就是所有能够被有效测量的空间点组成的三维空间区域。象空间测 量域指的是这个空间范围在象平面上的投影范围，就是能够被测量的点成象的范围， 使一个二维区域。 基准平面 像平面lll ： 了+ j 3 7 最远拍摄距离 确定的最佳聚焦距离 a 有效测量域空间示意图 b 成象过程深度的限制 图3 1 单个摄象机的视见体和测量域 肇目视觉测量域：对单个摄象机张说，以象平面a b c d 为顶面，以p a ，p b ，p c ， 耐为底面酶斜棱台藏楚其有效测量范萄，称为测量域。 最近拍摄距离：氖平面a b c d 躐投影中心的距离厂是由光学系统决定的最近拍 摄蹑离。由予透镜的散焦，谯图蒙上生成依物体深度不同露大小交纯静光斑。为了 满足精度要求，光斑直径必颁小于最小分辨率。光斑大小的f 良制，决定了最近拍摄 距离军嚣最运韬摄距离 潲。本文菇了简纯，将象平面所在位嚣律先最：i 琏拍摄藩离。 麟准平面：参数融知的参考平面，待测物摆放的参照平筒。本文将参考平面人 为蠡垒鬣予最遥绉摄疆蔫之雨。 设有力个摄象机c j ( i = 1 2 棚) ，甩每个掇象机所对应的测量域为u ( 卢1 ，2 。”) ， 刘酝嚣塔鼹一个五嚣维表示为： u i = r 只4 碟w 厂只，r f = 1 ，2 ，”j ( 3 1 ) 式中 爿匕r k ，) ，。，。，投影中心的搬标。 叼k ，r ，j 光轴向量，表示摄象机的方向角。 嘭k ，r r 。，v 。，蒙平面】，辅豇三向，即象平丽的定位方向。 ，摄熬辊焦鼷。 g 基猴平嚣( 测量豹熬准平藤) e 1 4 第三章多目视觉的有效测量域分析与求解 在多目视觉测量中，只有当被测点可以同时被所有摄象机采集到， 有效测量，我们称这样的点为有效测量点。 有效测量点的集合就是有效测量域。即 p o i n t u i u = u l nu 2 n n u ) 该点才能被 ( 3 2 ) 【，即为有效测量域，换句话讲，有效测量域就是各个摄象机测量域的交集。 3 2 多目视觉测量域的求解 摄象机参数决定了取景的位置和范围，实际上就是决定了有效测量域的几何参 数。当输入一组摄象机的五元组狮= r 。吖，p f ，r f - l ，2 ，n j 的值作为己知 条件，对应地，应该得到有效测量域的几何参数作为输出。 如图3 2 所示，0 表示光心，a b c d 所在的面表示象平面，o 是光轴与象平面 的交点。象平面x 轴正向向量0 e ，y 轴正向向量o g 和光轴向量0 0 7 是三个两两正 交的单位向量，由五元组的值直接或间接计算得到。已知o g = 圪，0 0 = 圪。 0 e = 0 g 0 0 = 圪k o c = 0 0 + 0 c = 0 0 + 0 7 g + i c d i 2 + 0 e + l b c l 2 ( 3 | 3 ) 裁锥体麓冀德凌离量o a ，o b ，0 1 9 ，殴及这些棱与熬准乎蟊静突基可敬丽理计 算得到。这样，构成单目视觉测量域的所有顶点，直线，平面以及拓扑关系都可以 确定。 图3 2 光轴向量和蒙平面x 向量，y 向量 一般培况下，霄效测量域这个空阀实体癌j 如下6 个蠢爨乎覆包露缀残：蒙平西， 测鬣范围在基准平蘧上所截静截嚣，由予威象时光线角艘琵割4 个铡蕊。为了方霞 实现，本文采用分级图元对测艇域进行表示，锥体u 表示为( 日，尸：，只 ，其中b 毒基大学颈士学位论文 表示缀成锥体的面链农的第令匿。蕊p 由冀边界线段表示必 与，岛，岛 这栉鲍首 尾相接的线段链表。线l 由端点对进行定义l = “m ) ， ：此) ) a 3 2 1 双目立体视觉的有效测量域求解 根据双目立体视觉原理，待测点必须同时位于两个摄象机的有效采集范围内。 此时系统有效测量范围是两个摄象机有效测量域的交集。根据前面对单目视觉测量 域的分析，每个摄象机的有效测量域理论上是一个不规则棱锥，是凸多面体。测量 域求解问题也就转化为图形学中两个凸多面体求交的问题，即确定凸多面体产生的 多面体的点、线、面参数以及它们之间邻接关系等拓扑信息。 根据凸集的性质，凸集的交集仍是凸集，所以凸多面体的交集是凸多面体或空。 通过分析发现，凸多面体相交产生交集多面体，其边界面来自原多面体的边界面， 与原有的边界面部分或全部重合。用反证法可以证明该结论。 定理1 ：两个凸多面体相交得到的多面体的边界面，一定与原多面体某些边界 面部分或全部重合。 证明：首先假设凸多面体c j o 相交产生非空凸多面体c 。，c o 。l = c j n 巴， c 。，m ，p 。是c o 的一个边界面，并且r 。不与c ，和q 的任意一个边界面重 合。那么下面的式子成立： e 。l 。是凸多面体c 0 的边界面) ，n o to n 只，。1 只，是c 的边界面) ， 只。n o to t l 只：，1 只：，是c 2 的边界面 ( 3 4 ) 其中o r 表示在某个面内，和某个面完全或部分重合。 由于同时包含于c i o ，所以r 。既在c ，又在q 内。设p f 是上一点， 也同时位于c o 内部。由于p 。不会与原有边界面重合，那么一定存在这样的 ，既不在c ，边界面上又不在c 2 边界面上。由于不在。边界面上，一定存在 一个足够小的正实数6 ，使在周围以一为半径的空间临域内的所有点p ，即满足 l p p t i n 2 。实际测檄中有两种情况导致特征不对应，p 1 将 非特妊点作为特征点，以及p 2 中的嘲格点煮缺失。这会导致顺序选配时出现错误， 一旦其中的菜个基元匹配出现错误，后续基元的匹配会受严重影响，造成测量结粜 不准确。对于多余的特征点，我们希望将其从有序点集中清理出去，丙对予缺失的 网格结点，蒸于物体