（计算机软件与理论专业论文）视觉坐标测量机仿真模型的研究.pdf

摘要： 视觉坐标测量机仿真模型的研究 本文主要对视觉坐标测量机的仿真模型进行研究，以摄像机为测头，进行非 接触式立体视觉测量。该模型通过对摄像机的运动控制，形成多目立体视觉模型， 实现了基于多目的非接触仿真坐标测量机系统。 首先本文对视觉坐标测量机的测量原理、运动方式以及测量模型进行研究， 建立了视觉坐标测量机的几何模型和运动模型。在此基础上，提出了平移系统测 量系统；该系统特点是摄像机在运动过程中光轴始终保持平行，没有任何的角度 旋转。这样降低了标定计算以及重建模型的复杂度，是一般测量模型的简化。 然后本文进行立体视觉坐标测量建模。根据立体视觉基本原理列视觉坐标测 量机进行摄像机成像、摄像机标定、双目匹配和三维重建建模。其中，重点是对 匹配策略以及如何由二维的图像点信息求出f i 标的空问三维信息的方法进行研 究。提出基于网格的有序匹配算法和基于平移测量模式下的三维重建方法。 接着通过上面建立的视觉测量模型，设计了仿真测量平台和一整套针对视觉 坐标测量机的仿真测量方案。主要是图像采集的运动过程描述，即利用摄像机连 续运动得到同一视场域下不同位置采集的图像序列，形成双目测量组进行坐标测 量。其中提出了摄像机平移步长的约束条件，并对不同模式下的运动特点进行归 类。 最后通过实验建立了虚拟视觉坐标测量覆测量系统，该系统能够对具有一定 规则的曲面和多面体进行视觉坐标测量。本文对两组曲面进行了仿真测量，根据 三种运动模式，进行了图像采集、匹配以及三维重建工作，测量结果较为精确， 验证了这套仿真视觉测量模型的有效性和可行性。 关键字：立体视觉；视觉坐标测量机；平移测量模型 a b s t r a c t ： r e s e a r c ho ns i m u l a t e dv i s i o nc o o r d i n a t e m e a s u r i n gm a c h i n em o d e l t h i sp a p e rs e a r c ho ns i m u l a t e dm o d e lo fv c m m ，w h i c hu s e sc c di n s t e a do f t o u c hp o i n t so nt h em e a s u r i n gm a c h i n ef o rn o n c o n t a c ts t e r e ov i s i o n t h i sm o d c l a t t a i n sab i n o c u l a rs t e r e ov i s i o nm o d e lb yc o n t r o lo fc c d ，a n db u i l d sas i m u l a t e d v c m m ， t h em a i nc o n t r i b u t i o n so ft h i sp a p e ra r ea sf o i l o w s f i r s t ，t h i sp a p e rr e s e a r c h e so nt h em e a s u r i n gt h e o r y ，m o v i n gp a t t e r na n d s y s t e m a t i cm o d e lo fv c m m ，a n di tp r o p o s e sa n e wm e a s u r i n gm o d e l ，w h i c hc a n c o n t r o lc c d o n l yi nf l p a r a l l e lw a yf o rm e a s u r i n g t h i sk i n do fm o d e li ss i m p l et h a n g c n e r a lm o d e l o nt h i sb a s e s ，t h es y s t e mb u i l d sam o d e lo fs t e r e ov i s i o nt e c h n o l o g y i tp u t s e m p h a s i so ns t u d y i n go fs t e r e om a t c h i n ga n d3 dr e c o n s t r u c t i o n a n di tp r o p o s e sa s e q u e n c e dm a t c h i n gm e t h o do ng i r d a n dam e t h o df o r3 dr e c o n s t r u c t i o nb a s e do n p a r a l l e lm e a s u r i n gp a t t e r n t h e n ，t h i sp a p e rd e s i g n sam e a s u r i n gs c h e m ea c c o r d i n gt ot h em e a s u r i n gm o d e l o fs t e r e ov i s i o ns y s t e m t h ee m p h a s i si st h em o v e m e n td e s c r i p t i o no fc c d ，t h a ti st o g e ts e r i e si m a g e sb yc o n t i n u o u sm o v e m e n to fc c d ，t h e nm a k e su s eo fm u l t ii m a g e s t os t e r e om a t c h i n ga n d3 dr e c o n s t r u c t i o n t h em a i nw o r ki nt h i sp a r ti st od e s c r i b e i m a g e c o l l e c t e dp r o c e s sa n dp u tac o n s t r a i n to f fp a r a l l e lm o v e m e n t o fc c d a tl a s t ，w cb u i l dav i s u a lp l a t f o r ma b o u tv c m m ，i tc a nm e a s u r es o m ek i n d so f r e g u l a rt o r o i da n dp o l y h e d r o n t h ee x p e r i m e n t a lr e s u l t sa r ec o r r e c ta n di n d i c a t et h a t t h es i m u l a t e dm o d e io fv c m mi sf e a s i b l ea n dh a v eag r e a tv a l u ei nu s e k e yw o r d s ：s t e r e ov i s i o n ，v i s i o nc o o r d i n a t em e a s u r i n gm a c h i n e ，p a r a l l e l m o v e m e n tm e a s u r i n gm o d e l 第一章综述 第一章综述 1 1 立体视觉技术的背景及现状 立体视觉技术是一种以图像为信息载体并从中提取有用信号的方法，是计算 机视觉学的一个重要分支。它的开创性工作是在二十世纪六十年代中期开始的， 苗先由美国麻省理工学院的r o b e r t s 完成了三维景物研究，他把过去的二维景物 分析扩展到三维景物分析，标志着立体视觉技术的诞生忆等到了七十年代，立 体视觉在图像的预处理技术、提取i 维技术和图像旺配技术等方面都有了重大突 破。特别是七十年代术m a r r 等创立的j 妒体视觉计算理沦1 2 i ，他首次从信息处理 的角度出发综合了图像处理、心理物理学、神经生理学及l 临床精神病学的研究成 果，提出了一个较为完善的视觉系统框架；他将视觉过程分为三个阶段：第一阶 段是将输入的原始图像进行处理，抽取网像中诸如角点、边缘、纹理等基水特征， 形成基元图；第二阶段是在以j i 【i l 察者为中心的坐标系中，由输入图像和基7 图恢 复场景中可见部分的深度、法线方向、轮廓等，称为二维半图；第三阶段是在以 物体为中心的坐标系中，【i 输入幽像、基几图、和二维半图来恢复和识别三维物 体。该技术的测量速度快，系统成本低，使得与计算机相结合的j 维测量技术得 到了更高的发展。 立体视觉坐标测l 主要是利片j 摄像机作为【到像传感器，综合运用图像处理、 计算机视觉、精密测蹙等技术，从两个或多个视点去观察同一个场景，获得在不 同视角下的一组图像；然后通过获得不同图像中对应像素间的视差，应用三角测 量原理，进一步计算场景中目标的空问坐标，是非接触式三维坐标测量方法。这 种测量方法具有精度高、效率高、自动化程度高、造价较低的优点，广泛应片j 于 工业测量中：检测，反求 程，以及虚拟现实等领域。 立体视觉从其类型上可分为主动式测量系统利被动式测量系统。主动式测量 系统利用结构光照明被测物体，用摄像机获得物体的图像，通过某种数学模型来 获得它的空问位置。被动式测量系统直接采用物体本身的特征，用图像处理的方 法，列物体进行识别、测量，来获得物体的空间位饵。 f l 前国际 以计算机视觉为主题的国际会议有很多，比如，1 c c v ( 田际计 算机视觉会议) ，i c p r ( 同际模式识别会议) ，c v p r ( 【到际计算机视觉模式识别 会议) ，以及a c c v ( 亚洲计算机视觉会议) 。围内，围防科技大学王润生教授和 中国科学院自动化研究所马颂德教授在图像理解和模式识别方面都有一定的研 究【1 】0 青岛大学硕 = 学位论文 1 2 立体视觉坐标测量技术的发展 随着现代立体视觉技术的发展，人们对三维物体的测量提出了越来越高的要 求。 1 前三维立体测量技术已经渗透到了军事科学、航天、航空、地质探测、机 械制造、生物医学等各个领域。i 维测量的方法也不断涌现，按其与目标接触与 否可分为接触式测量和非接触式测量。其中接触式测量有三坐标测量机法，：非接 触式测r 有傅立叶变换法、莫尔轮廓法、激光三角法及计算机立体视觉测量法等。 其1z 计算机j ) 吖水视觉测邂是人工钳能1 j 测配技术交义而形成的智能测量，它已经 成为研究发展一维测量的个基水手段。 接触式测畦在实际应用中有一些局限性，比如使用标准测量j 具用肉眼直接 读数测量，或者采用机械的、光的或者电的放大效应在放大后再读数测量( 例如 位移千分表，显微镜，电阻应变片) ，无论直接或者问接测量，都要求测量工具 和被测物体的直接接触。接触式测量由于人为干预过多，会导致各种不希望的误 差，此外测量的效率也比较低；非接触式测量使用较多的是激光测量技术，可以 避免人为的凶鬃，也不必考虑由于物体表面材质等特征造成的误差，但这种测量 方法的主要问题是系统的成本较高，测量精度受环境的影响较大。 而且，在实际应用中大多数研究人员都采用人工直接测量的方法对被测物体 进行接触或非接触式测量。此法的主要问题是测量结果的一致性差，对于三维物 体的测垃，定化的基准很难确定，所以测最精度低，效率出低。 现在，越来越多的研究人员开始寻找冲 新的途径进行视觉测量，以期达到 更好的效果。特别是在机器视觉领域研究，f 1 本、德囤和美国等发达国家早在上 世纪六 1 年代就开始了。到上世纪九十年代，随着光电子技术和计算机技术的发 展，机器视觉已取得了广泛的应用。目前许多发达国家都已相继研发出使用激光 扫捕配合计算机视觉技术的高精度三坐标测量机设备，其特点是利用机器设备操 作灵活，定位准确的优势，对物体进行立体视觉坐标测量，这样避免了人工直接 测量所造成的误差。开辟了视觉坐标测量技术的一个新的发展方向。 视觉坐标测量机( v i s i o n0 1 v i d e oc o o r d i n a t em e a s u r i n gm a c h i n e ，简称v c m m ) 便是这一发展领域巾的典型应用。它是一种利用计算机视觉成像系统进行非接触 测量、离线计算的视觉测量系统。硬件环境山三坐标测量机( c o o r d i n a t em e a s u r i n g m a c h i n e ，简称c m m ) 的机械结构组成，并用c c d 作为测头实现非接触立体视觉 系统的测量。这种测量的模型特征是视觉坐标测量机和被测物体固定巧i 动，整个 测量系统通过c c d 在直角坐标系下的移动实现。目前，世界卜很多汽车制造厂 都在他们的生j 2 线上采用这种视觉世标测量机进行“白车”车身的检验【2 0 1 ，如美 国j 大汽车公司、v o l o v 公司、h o n d a 公司、w a u x h a l l 公司等。这类视觉 坐标测量机的测量误差一般在o 0 3 r a m 剑o 0 5 r a m 之问。限制这类坐标测量机准 第一章综述 确度提高的主要因素是机架的刚性、长期稳定性和系统标定方法准确度。 1 3 本文研究的主要内容 本文的工作是建立仿真模型，即对视觉坐标测量机进行建模，使其在虚拟环 境下可以进行物体的三维测量。目的是构建个理想的环境，为实际三维测量算 法提供理想模型和检验平台。避免了实际测超过程中很多无法消除的误差，使这 些影响因素都成为可控元。 本文主要研究的内容分为三部分： 一、视觉坐标测量机运动模型的建立 视觉坐标测量机是一个直角坐标系实体，对其运动模型进行深入分析，找到 其运动规律，将视觉坐标测量机的测量模式进行归类，建立相应的数学模型。 二、仿真视觉测量模型的建立 1 机械结构仿真 主要仿真视觉坐标测量机的几何模型。 2 匹配方法研究 基于被测物体的表面光滑缺乏纹理细节的物体，找到种快速而有效的匹配 策略。 3 三维信息重建计算 根据空问几何位芄关系，利用三角测量方法原理进行三维重建，推导出重建 的数学模型。 三、仿真测量方案设计与实验 剐测量的过程进行研究，根据摄像机的运动规律设计不同模式的测量方案。 并按方案进行了几个实验，实现了仿真视觉测量系统。 1 4 本文研究的意义 本课题在虚拟环境中，通过三坐标测量机的单目摄像机平移运动，采集到 个图像序列，仿真双目测量原理，对物体进行视觉测量研究。其意义在于： ( 1 ) 简化标定。在实际测量过程q ，为确定物像之问的位置关系，摄像机每 拍摄一次，系统就需要标定一次，这样完成一次测量可能需要多次标定，是相当 耗费精力的。而在仿真条件下，不必考虑c c d 镜头成像时的畸变以及c c d 摄像 机的相对空间位置姿态的误差，且物像i u j 的关系是一百知的，矬个测量过程只需要 一次标定就可以。大大降低了系统设计的复杂度。 f 2 ) 测量范闻可控。即可以人为控制所要采集的区域和范围，不受现实环境 的制约和影响。 青岛大学硕士学位论文 ( 3 ) 测量的精度提高。因为在真实场景下进行测量有诸多变化因素存在，如 光照条件、噪声干扰、景物几何形状的畸变、表面物理特性等的影响，使测量的 精度下降，匹配的复杂性增加，难以得到精确的三维信息。要解决上述诸多因素 的影响是十分困难的，为了能够避免上述问题的出现，可利用仿真技术来模拟视 觉坐标测量，提高精度。 ( 4 ) 算法模型简化，易于实现。根据视觉坐标测量机的测量模型特点，直接 建立空间三维目标点与像点之间的几何关系，简化了测量的数学模型。 ( 5 ) 为测畦方案以及算法研究提供理想环境，并进行有效一陀和可行一| # 验证， 为在实助i 测量中应用奠定基础。 本洲量系统设备简单，计算速度快，能对一些不规则形状如比较复杂的平面、 曲面进行洲量，具有一定的实际意义和应用前景。 第二章视觉坐标测越机的原理 第二章视觉坐标测量机的原理 2 1 视觉坐标测量机的概念 视觉坐标测量机是一种利用计算机视觉成像系统进行非接触、离线计算的测 量系统。它主要以c c d 作为视觉传感器，对被测量的对象进行视场的数据采集， 然后通过对图像的分析、处理，提取对象的具有一一定特征的几何信息。视觉坐标 测量机主要由计算机视觉系统和三坐标测量机( c m m ) 机械结构组成，是c m m 在精确测量领域的扩展。取得了较r - 泛的应用。 2 1 1 视觉坐标测量机的机械结构 视觉坐标测最机的机械模型是山测量工作台、测龌摄像机、机械移动设备及 软件部分构成。测量的过程可以通过移动测量：r = 作台或摄像机来完成。 f 面是坐标测量机实物图【4 】 图( 2 1 ) 坐标测量机实物图 在基于卒! l 觉坐标测量机的测量过程中，所测量的物体可以是任何一种机械工 件；主要分为面和体两种，其中有规则的也有不规则；对于这些具有不同特征的 被测工件，视觉坐标测量机需要采用不同的运动方式来对其进行测量。接下来我 们讨论视觉坐标测量机的运动模式。 青岛大学硕士学位论文 2 1 2 运动模式 视觉坐标测量机( v c m m ) 是一个直角坐标系实体，用于测量各种形状工件的 三维坐标。其基本运动方式有三种：沿彳方向运动、沿l ，方向运动、沿z 方向 运动。并且从视觉坐标测量机的实物图( 2 1 ) ，可以看出摄像机不能够旋转，只 能够做平移运动；它的特点是摄像机的光轴始终保持f 亓j 一方向不变，即垂直向下 方向( 设为z 的负向) 。在这种模式下的测量过程相对于即有平移又有旋转的摄像 机模型来说，是一1 种简化。整个视觉啦标测量的过程就是动态采集图像的过程。 根据视觉堆标测 机i 种基本运动方式，我们对视觉测! 最r ，运动模式进行归 类，得到直线平移运动、平面r 移运动和分层平移运动i 种模式。 1 ) 线、f 移运动 摄像机沿z 轴方向运动 摄像机沿y 轴方向运动 摄像机沿z 轴方向运动 2 ) 平【l = i 平移运动 摄像机沿驯平面运动 摄像机沿汜平面运动 摄像机沿w 平面运动 3 ) 分层平移运动 摄像机在x y z 空问运动 2 2 视觉坐标测量机的工作原理 视觉坐标测量机实际是利用三坐标测量机进行非接触式视觉坐标测量。由 于工业 ：应用的三坐标测量机是二争门针对物体点进行接触式测景，直接可以测得 物点的三维特征。而立体视觉则是通过摄像机扣照的形式获得空间物点的二维信 息，再经过计算机立体视觉技术求取三维点特征。两者是完全不同的测量方法。 而视觉坐标测量机就是将三坐标测量机作为测量的硬件环境，以c c d 传感器为 测头，利用三坐标测量机的运动特点实现对被测物的非接触式立体视觉坐标测 量。 计算机视觉测量主要的诀窍在于从图像或图像序列中获驭对1 址界的描述，一 种称为从运动求取结构( s t r u c t u r ef r o mm o t i o n ) 的技术可以从图像序列中获取所 见物体的描述以及摄像机的运动规律。视觉世标测昂机的【作原理就是利用摄像 机在x 、y 、z 三个方向上的平移，列被测物体进行图像采集，然后利h 立体视 觉测量技术刈图像处理与分析，最终得到被测物体的一i 维信息。这样单目摄像机 就形成多目测筻的立体视觉测量系统。 第二章视觉坐标测量机的原理 图( 2 2 ) c m m 工作原理图 视觉坐标洲最机是在机械式三坐标测量机基础上构建，测量时由精密的司服 机构驱动，对被测物体进行扫描以获得被测物体的原始图像数据，系统利用c c d 摄像机进行三维测量，基本的测量过程可简单描述为： 1 ) 将被测物体放置在测量平台上； 2 ) 控制c c d 在，y ，z 三个方向的j t 移运动，进行图像采集，得到双臼或 多目图像序列： 3 ) 对图像分组形成双日或多目测量组； 4 ) 进行图像处理； 5 ) 匹配计算： 6 ) i 维数据重建。 3 视觉坐标测量机的测量模型 作为视觉坐标测量的基础，对于测量模型的研究是十分重要。在本小节中， 我们将对视觉坐标测量机的测量模型进行了一定的分类和分析，并建立了基于虚 拟坐标测量机的测量模型，即平移测量模型。 由于对特征的测量是相对于【! = 界坐标系的，所以测量的前提是摄像机坐标系 与世界坐标系之间的变换关系m 已知，即摄像机已经标定。这样在摄像机坐标 系下测量计算得到的结果可以转换为特征的世界坐标。下面我们基于已经标定的 前提，对平移测量模型在摄像机坐标系里进行讨论。首先，先来讨论一f 基于被 测物体的特征不同，测量模型的l 科一分类。 2 3 1 被测物体分类 我们对物体分类时按照一般的分类方法，是以物体的形状进行划分，分为j 皇、 青岛大学硕士学位论文 线、面、体四类。在虚拟视觉坐标测量机系统进行非接触测量时，基本都针对这 四种基本类型进行分析和研究。 1 空间点模型 空间点模型是计算机视觉测量的最丛本模型。空问点是构成三维空问结构的 最基本单元，理论 二可以由点形成线，山线形成面，再由各种面构成三维立体结 构。如果能得到物体表面：所有空问点的坐标，那么t 维物体的形状i 位置也就 唯一n 0 确定f 米。关j 二点的测量主要足利用了= 角测毓原理，第二章中有具体描 述。参见下图( 2 3 ) 是笑r l j ：点的测量模型。 i 磨像 图( 2 3 ) 空问点模型 2 空间线模型 空间巾线的构造大体分两类：规则的线模型和不规则的线模型。比如直线， 届于规则模型，比较简单，可以直接利用其两个端点作为特征进行测量。而比如 空间二一次曲线，则属于不规则的。对于这样相对复杂的模型，是无法用通常的方 法来进行特征标记，【訇此无法利用三角测量原理来实现计算。通常是利用获得模 型点云，然后进行曲线拟合】的方法来进行测量。 3 空间曲面与体模型 面模型和体模型是我们在测景中接触最多的两种测量模型。这两种模型有的 表面特征明显，r j 以通过图像处理，利刚设定阈值的方法，将其特征点提取出来， 完成测 t 任务；7 r 的表而光荆，无明显特征，在这种情况下，我们需要存这两种 模型的表而附着特殊的标记【8 】，然后对特征点进行提取。 目前对物体表面的标记较为流行的是激光网格的标记方法，贴标记的方法对 物体表而要求较高，所以实际应用性不理想。本文采用的是虚拟环境，测量的主 第二：章视觉坐标测最机的原理 要对象是无明显特征的空间曲面，可以利用程序给被测物加上网格标记进行立体 视觉测量，是一种理想测量模型。 2 3 2 基于虚拟坐标测量机的平移测量模型 这是一种较为简单的测垃模型，采用的是双目三角测量原理。这种模型下， 两个摄像机的光轴始终保持平行状态，由于视觉坐标测量机只有一个摄像机r 参 看n ( 2 ，1 ) ，冈此，采用了一套平移测量模型，即单月的掇像机通过平移运动来实 现双日视觉坐标测量。摄像机移动的原则是以之前摄像机光轴为参照物，与其保 持平行运动。当摄像机之间始终保持光轴甲 j 模式时，两摄像机啦标系只相差一 个平移点i ，即向量d ，d 是山，y ，z 三个分量组成，如图( 2 4 ) 所示。 d p 图( z 4 ) 平移测量模型 p 从图中刮以看出，o 与o 为摄像机的光心，pj , j 至日j 破删物点，擞保机经过 平移变换，在两个不同位胃对场景进行采集，对应的摄像机坐标系分别为0 柏，z 和o x y z 。根据透视投影原理，空间点坐标( x ，t ，z ) 和像平面投影坐标( x ， y ) 之间存在下面的透视投影关系： 卜 卜参y ：m ， 广 r = 上盖 z f v ：上y 7 z 2 - ( 2 ) 青岛大学硕士学位论文 并且从图中可以看出，向量而( 记作芦) ，可以表示为向量o o ( 记作石) 与 向量0 1 p ( 也作p ) 的和，用数学公式表示为： p ；f + d 仃： r x2 z + d x jy = y + d v z ；z 乏 2 。( 3 ) 根据一 ：面的透视投影方程2 - ( 1 ) 平【i2 - ( 2 ) ，将式2 一( 3 ) 代入，得到下匝的方程： x x 1x 一如 f z 1z d z y y 7 y d y ， z z 一出 2 ( 4 ) 将2 一( 1 ) 和2 - ( 4 ) 两式联立，得到 羔z d x x j fx z 一；d x f z d z f i z d z ) 上z d y y 。f 。 y z 一脚 f z d z f lz d z ) 2 - ( 5 ) 2 - ( 5 1 的意义是在摄像机已经标定，并且摄像机的运动参数已知的情况f ，空 间r jp 在平移后摄像机上的投影位置的变化和该点的深度( z ) 有关。所以根据 两个像点的坐标y ) ，g ：y ，可以进一步求解z 值。 根据( 2 - 5 ) 中第一个式子得到： z r x ) = f d x - x d z x x 7 2 - ( 6 ) 根据( 2 - 5 ) 巾第_ 个式子得到： z f y j ：f d y - _ y d z y y 2 - f 7 ) 这是视觉坐标测吐机平移测量的牲本数学模型。根据观察2 - ( 6 ) 和2 - ( 7 ) 两式 发现，其 ，的分母部分分别是两次成像时x 方向和y 方向的视差【1 , 7 j ，z 方向上 的任何运动都与，无关。两次成像的差距越火，也就是两次成像光心间的基线距 离越大，测量越准确；反之，则误差变大。2 - ( 6 ) 和2 - ( 7 ) 两式都能够求出深度z 第二章视觉坐标测量机的原理 值，但是应用的范围有所不同。当沿z 方向的平移分量不为零时，应用公式2 一( 6 ) 当沿y 方向平移分量不为零时，应用公式2 一( 7 ) 。 这里值得注意的是，对整个测量系统而言，在进行平移测量模式之前，必须 先做摄像机的平行性校剐工作。不然，就相当于摄像机在某个固定方向上进行了 旋转，那么，摄像机的外部参数矩阵r 也就不是单位阵e 。这种情况下，测鞋模 型将不再属于我们要讨论的甲移测量范围。 对摄像机镜头进行平 j 性检测及校f 町以选择一个长方形平行标定靶如1 、i 图f 3 9 ) 所示，其水平平垂直的纹理线都是平行的，根据线性模型当摄像机平面平 行于如下的待测平面网格图像时，根据透视投影，网格线仍然保持相互平行和相 互垂直。由- j ：很难达到摄像机测头完全平行。j ：坐标轴，当摄像又有一定程度的倾 斜时，网格图像将发生变形。这样就可以根据变形后的图像计算出镜头的倾斜角 度，刘镜头进行校正。 原幽像 i n ( 3 9 ) 平行性校正 镜头倾斜后的投影图像 青岛大学颂上学位论文 第三章视觉坐标测量机的仿真模型 仿真视觉坐标测量机是视觉坐标测量技术与虚拟现实技术的有机结合。它以 几何量测量为对象，集坐标测量机设计理论、计算机辅助设计、计算机辅助测量、 总体规划、建模与仿真技术于一体，以计算机或：i ：作站为硬件基础和以软件为主 的个机器窄间。将彼测物体放入容许的测量空i n j 以歌得被测几何型m 上器点的 坐标值。通过虚拟环境，构造出具有真j ；感的几何实体，并通过用尸，生成虚拟测 量系统，从外形卜利功能上仿真真实的视觉坐标洲睛机，来完成用户的需求，这 种仿真模型可用于测量工件、功能演示和教学培训i 等。卜| 面我f l j 将从视觉坐标测 量机的结构仿真、摄像机成像仿真以及视觉系统建模三个方面展开研究。 3 1 结构仿真模型 为了创建一个坐标测量仿真和运, = f i - l 1 9 虚拟环境，就需要在虚拟现实系统中逼 真地显示出视觉坐标测量机工作环境中的一切对绿，并保证这些对象的正确运动 关系。为达到这一要求，在技术实现上需要了解视觉舷标测量机的基本架构，通 过实物图( 2 1 ) 建立起视觉坐标测蹙机的层次结构关系如图( 3 1 ) 所示。 左 视觉坐标测量机 图( 3 1 ) 视觉坐标测量机的层次结构 在上图巾，有三个方框，它们代表了所包含各机械部分之间的关联关系。右 侧最大的方框表示摄像机由左右侧柱带动，使左右侧柱、横梁、横框、主柱一起 沿x 方向平移；次大的方框表示摄像机由横框带动，使横框、士柱一起沿y 方 第三章视觉坐标测量机的仿真模型 向平移；而最小的方框则表示摄像机由主柱带动沿z 方向平移。我们可以将摄像 机移动过程看成是分别在x ，】，z 三个方向上进行平移运动，最终可以到达空 间任意位置。 接下来应用多边形拼构成对象的立体外形，得到仿真的视觉坐标测量机模 型，如图( 3 2 ) 所示： 3 2 成像仿真模型 图( 3 2 ) 视觉坐标测量机仿真模型 图像采集过程是客观世界的3 d 场景投射到摄像机的2 d 平面过程，是联系 三维空间物体与二维屏幕图形的桥梁：视觉测量是以透视几何理论为基础，利用 拍摄的图像来计算出三维空问中被测物体几何参数的一种测量手段；拍摄得到的 图像是空间物体通过成像系统在像平面一l 的反映，即空间物体在像平面上的投 影，图像上每一点的灰度反映了空问物体表面某点的反射光的强度，而该点在图 像上的位置则与空间物体表面对应点的几何位置有关，这些位置的相互关系山摄 像机成像系统的几何投影模型所决定。 3 2 1 仿真成像原理 数字图像是对空问图像的离散描述，图像用离散的灰度值反映了空问物体的 光学特性；根据这些特性，通过图像处理分析可以得到物体的各种特征，如位置 尺j j | 大小和姿态角度等信息。 仿真图像就是利用图像来再现真实的景物，根据空间物体特征，方位和尺寸 菏岛大学硕士学位论文 等参数，根据理想成像规律利用仿真手段生成仿真图像，其研究目的是使图像本 身尽可能的接近主体的真实情况，为视者创造一个逼真的场景或环境。 即仿真成像可定义为：建立一个真实场景的模拟：仿真场景，建立成像的几 何模型来定义从世界坐标到像平面坐标的转换关系，利用场景坐标、相机模型求 得仿真图像 3 2 2 仿真成像技术 1 摄像机成像模型 摄像机模型是光学成像几何模型的简化，最简单的是线性模型，或称为针孔 模型 1 , 4 2 】。设“为物距，为焦距，t ，为相距。根据透镜成像，2 i 者满足关系式： l11 一+ ， “v 3 一( 1 ) 一般的情况下“， ，所以经常取v = f ，整个模型近似为针孔模型。由于本课 题的测量系统镜头采用线性模型基本就能够达到精度要求，所以这里采用线性模 型来对光学成像几何系统进行建模。 图( 3 3 ) 透镜成像模型 为了描述光学成像的几何关系，需要建立四个坐标系：图像像素坐标系、图 像物理坐标系、摄像机坐标系和世界坐标系，它们均采用笛卡儿坐标系。 图像像素坐标系与图像物理坐标系：每幅数字图像在计算机内为m n 数 组，m 行n 列的图像中的每一个像素o i x e l ) ( 1 数值是图像点的灰度。在图像上定 义图像像索坐标( “，v ) ，分别表示陔像素在图像数组巾的列数和行数，j 生标系的单 位是像素，坐标原点o 。在图像的左j 二角。此时需建立以物理r 扛位( 如毫米) 表示 的图像坐标系，以摄像机在图像平面上的光心o f 为原点，一般f 讧 f 二图像中心处， 但也可能会有一一点偏离，这是山摄像机制作一i ：艺造成的。假设某点的图像坦标为 m o , v o ) ，图像像素在工轴和y 轴方向上的物理尺寸为a x ，a y ，则图像中任意点在 两个坐标系下的坐标有如下关系： 第三章视觉坐标测量机的仿真模型 “= ；+ 比。 v 一w 。 3 一( 2 ) 3 - ( 3 ) 摄像机坐标系：是以摄像机为中心的三维坐标系，如图( 3 4 ) 所示。其r j0 。 点被称为摄像机的光心，五轴和k 轴分别与图像的z 轴和y 轴平行，z 。轴为摄 像机的光轴，它与图像平面垂直。光轴勺图像平i 酊交点就是图像坐标系的原点0 ， 0 。0 的长度为焦距，。 图( 3 4 ) 摄像机坐标系 c ，z c ) 世界坐标系：将摄像机安放在个具体环境下，我们有必要选一个苯准坐标 系来描述这个环境中的任何位置信息，这一基准坐标系称为世界坐标系。摄像机 坐标系与世界坐标系之间的必系可以山平移量t 和旋转矩阵r 来描述。若空间一 点，在世界坐标系与摄像机坐标系下的坐标为( 瓦，k z w ) 和y o z 。) ，则它们的齐 次举标存在如下关系： 工。 k z 。 l 爿 x 。 匕 z 。 1 3 一( 4 ) 其中r 为3 3 正交旋转矩阵，t 为三维平移向量。显然，公式( 3 4 ) 建立了 世界坐标系与摄像机系之间的转换关系。 2 仿真建模 本文利用o p e n g 。成像函数来模拟相机成像，建立实际成像与o p e n g l 成像参 数的对应关系。 o p e n g l 投影函数g l f r u s t u m ( 1 ，r , b ，t ，n ，f ) 其投影矩阵为r ，对应相机其投影矩 青岛大学硕七学位论文 阵为f ，分别表示为： r = 2 n r f 0 o 0 o 2 n t b 0 0 0 0 2 觑 f 一儿 0 f = 山于对同一点其成像后的像素坐标相等，有下式成靠 通过( 3 - 3 ) 推出 肖。 匕 z 。 1 = f 4 工。 匕， z 。 1 u ：九生+ c 。：_ u - l * x 。 z c r l f 。0 c x 0 f ，cp 001 3 - ( 5 ) 3 一( 6 ) y 。 + c ，5 等4 k 3 ( 7 ) 其巾，( m 叼是像素的物理坐标，( c x ，c ，) 足主光轴与像i 面交点啦标，五和，y 是x 、y 方向上像点的物理坐标到图像坐标的比例系数。联立l ：面两等式，得到 二二者参数间的对应关系，找到r 矩阵中的分量。这样便州利用o p e n g l 投影函 数g l f r u s t u m ( 1 ，r , b ，t ，n ，f ) 仿真摄像机成像。 3 3 立体视觉测量建模 作为视觉坐标测量机的基础，立体视觉测量技术是整个测 建系统的核心，是 研究的重点内容。在本节中，我们将对视觉 丝标测量进行建模研究，推出针对仿 真环境的匹配策略和一i 维点坐标的重建方法。 3 3 1 立体视觉基本原理 一个完整的立体视觉系统分为图像获墩、摄像机标定、特征提取、立体匹配、 等等t三|一。 第三章视觉坐标测 最机的仿真模型 深度确定及内插重建等六大部分【1 3 】。其主要是利用c c d 摄像机作为图像传感器， 综合运用图像处理，计算机视觉等技术进行非接触式三维坐标测量。 目前立体视觉的研究主要可分为单目立体视觉，双目立体视觉以及多目立体 视觉。其中- 0 0 目立体视觉原理与其它两种不同，多目立体视觉原理和双目立体视 觉相似，也是由得到的对应点视差进行对真实场景的景深信息提取，只不过是增 加了摄像机的个数，从而增加了约束，减小双目立体视觉匹配的团难。因此关键 问题是对应点的匹配。只有提供更多的信息，得到的结果才更加准确，f h 是计算 链也随之增加，考虑到计算的实日, j - 性要求以及相应的成本，双日立体视觉研究仍 是立体视觉研究的主流方向。本文主要研究的测爱模拟便是蜒于双f 1 立体视觉腺 理，对虚拟视觉坐标测量机进行建模研究。 1 双目立体视觉原理 双 = j 立体视觉的原理是从两个视点去观察空间同一场景下的h 标，使得目标 中的点分别在两个摄像机成唯一的点，这两个像点构成唯的点对，它们互为对 应点。 由于空问被测物体点表面的每一个点对成像面都有一条投影光线，而这条直 线上的每个点都有相同的二维投影坐标，所以仪有一幅投影图像是无法确定出 究竟这条投影直线上的唰；个点才是真正的物体点。因此，可以从两个不同的角度 对物体进行观察，则物体在两个成像面上的投影光线的交点，可唯一确定被拍摄 物体的二维坐标。 c ( x w ，y w ，z w ) ab 图( 3 5 ) 双目立体视觉基本原理示意图 ，v 2 ) 由图f 3 5 、可知，对于场景中一点c ，它在左右两个投影平面上的像点分别是 p 】和p 2 ，显然单独从p 】或者p 2 是无法确定c 的三维坐标，而将p 1 和p 2 一起考 虑进来便可以得到c 的三维坐标。可以看出空间a c 和b c 两条直线的交点，便 是所求的点c 的位罱，这就是经舆的三角测量原理 1 , 2 1 , 2 2 】。i 、面f - 毫j ( 3 6 ) 是平面三 角测量，已知a 、b 两点的坐标o 。y 。) 利0 by 6 ) ，要求c 点的坐标0 。y 。) 。通过 测量手段得到两个方位角a 、0 ，分别是射线a c 和b c 与线段a b 的夹角。射 线a c 和b c 唯一的相交于一点c ，交点c 的坐标根据三角公式呵以计算出来。 笪墅查堂堡堂堡堡塞 a 图( 3 6 ) 平面三角测量 假设直线a b 和x 轴交角为目，有： 口：嬲锄垃羔 讫吃 b 3 一( 8 ) 这样直线a c 和b c 的方程分别为： 群器篆曼力 。书， 解这个方程组得到c 点的坐标( x 。，y 。) 。 空问三角洲量和1 f 面三角测量原理相同。不同的是对应的不是平面角o 、b ， 而是相应的立体角。这两个角度通过摄像机对场景采集图象间接得到。c 点在两 个摄像机a 、b 的象平而分别柯一个投影点p 卜p 2 ，根掘摄像机的参数进步计 算出它i r 3 1 空i h j 坐标。然后根据光心的位置，确定光线a c 和b c ，并计算出两 个立体角。理想情况f ，使c 在不同像平【町成像的光线a c 、b c 应该千h 交于【司 一个点c 。但实际l 通常这两条空间射线并不精确的相交。可以通过使交点到两 条光线的距离最短来找到这样一个似想的交点。通过对得到的不定方程组，用最 小二乘法求解，近似作为c 点的空间坐标。 综_ f ：所述，般目立体视觉测量的方法就足利用摄像机旋转、移动来获取多i 豁 图像，然后对这止立体【蝈像x , j - 中x , jj 特征点求取其视筹，最后通过重建恢复物体 的三维信息。本文采用双目视觉坐标测量方法进行仿真建模，实现对虚拟物体的 坐标测量。下面是具体的测量系统的流程图： 第三章视觉坐标测量机的仿真模型 ( 开始 ) j 对虚拟摄像机进行标定 时被洲物体进行虚拟图像采集 i 对聚集到的图像进 r 预处理 l 对具有公共视域的图像对进行特征点识别与提取 进行烈目匹配 l 空间 的三维重心 r 3 3 2 摄像机的标定 图( 3 7 ) 测量系统流程图 在计算机双目视觉系统中，被测物体表面在图像上刘应点的位置反映了该点 与摄像机投影平面之叫i j 的儿何关系。这些位置上的相互关系由摄像机成像几何模 型所决定，该几何模型的参数被称为摄像机参数。当确定了成像系统的有关参数 及其成像系统模型，即可将匹配视差转换为真实的深度信息，同时也有利于图像 变换，降低匹配的计算复杂度。 在三维立体视觉测量系统中，摄像机的标定是非常关键的一步，它直接影响 着后面进行三维测量的精度。摄像机的标定【2 7 】就足要确定相机的内部几何参数、 光学成像参数以及相机裥对于空间某出标系统的方向和位置参数，即摄像机内外 参数| l i 。 内参数与摄像机内部结构有关，主要是确定摄像机中心坐标和图像坐标之问 的关系。它有兰个自由度，内部参数就是要恢复图像的巾心点坐标，即确定摄像 机光轴投影到像平面的点坐标还有焦距 青岛大学硕 ：学位论文 外参数与摄像机相对于世界坐标系的方位有关，主要是确定场景中心坐标系 统和摄像机中心坐标系统之间的关系，这里存在着两种变换，种是平移变换， 另一一种是旋转变换。外参数一共有六个自由度，其中三个用来旋转另外三个用来 平移。 摄像机的标定主要是为了下述两个日的： ( 1 ) 幽3 d 信息导出2 d 计算机图像坐标。在利用机器视觉模型驱动的检测和 装配应t 【 j 中，关于物体二维窄问位鼹、方向的一个假设可以利 j 摄像机模型和参 数转化为对# 所成图像的一个假设，对比该似设图像和实际拍摄的图像口| j i ，拒绝 或确认刑物体及je _ ! 削位置的假i 盐。 ( 2 ) 从计算机同像坐标导出三维信息。由摄像机标定所确定的擞像机模型和 参数能够提供一种给定某目标点的图像世标，确定一条实际目标点必在其上的空 间直线方法，利用这两幅图像，就可由两条直线的交点确定这一目标点的空问位 置。 下面是基于线性模型【1 , 2 5 1 ( 针孔模型) 的摄像机标定过程，本仿真系统的摄 像机就是采用的这一模型。如图( 3 8 ) 。 p y l ，z 0 x 。y o z 0 曲 图( 3 , 8 ) 摄像机模型 对 ： i i - o l 空f t q 点p ，它与摄像机光心的连线和图像平面的交点就是该点成像 位置，即它投影到象平面上的点p 就是其像点。点p 在世界坐标系下的坐标为 ( 蜀，z 。) ，摄像机坐标系下为( 甄圪z c ) 。对于图像平面上的像点p ，我们得 到的是图像像素业标( u , v ) 和图像物理坐标( 五y ) 。 由线。陆模型的比例关系用齐次坐标与矩阵形式表示： 下 制2 晤 z 。 t z 。 1 3 一( 1 0 ) 同样的，把图像像素坐标与物理坐标的关系用齐次坐标与矩阵形式表示如 第三章视觉坐标测量机的仿真模型 最后得到 制。 1 0 u 0 缸 0 1 v 0 v 001 1 0 u o x 0 1 v 。 v ” o01( | i ：) 记摄像机的内部参数矩阵m i = 1 0u0 血 0 土v 。 v 。 0o1 摄像机的外部参数矩阵m e 5 f 善 肌1 2州】3”2 1 4 州2 2m 玎打1 2 4i m ，：。j z 付m 工。 匕 z 。 1 f i i x 。 y w z 。 1 阁 3 - ( 1 1 ) 3 一( 1 2 ) 3 - ( 1 3 ) 3 - ( 1 4 ) 上式3 - ( 1 4 ) 便建立了p 点的世界坐标系坐标( 凰，】，。z 。) 与经过摄像机成像 后象点p 图像像素坐标( “，v ) 之问的关系。 摄像机的标定就是要确定其内外参数【4 2 1 ，也就是计算出公式3 - n 4 冲的m 。 摄像机标定需要在摄像机前放置一个特制的标定参照物。如果已知n 个标定 点的图像像素坐标( u i , v