（计算机软件与理论专业论文）视觉坐标测量机模型的研究.pdf

摘要： 视觉坐标测量机模型的研究 现代许多工业检测以及建模技术中，常常需要对物体的三维信息或者相关的物 理量，比如物体的空间位置，形状，尺寸，位移，形变等参数进行测量。视觉坐标 测量作为一种立体视觉和光学成像原理为基础的非接触式三维测量技术，以其非接 触性、并发测量速度快以及精度高等优点广泛应用于工业三维测量、虚拟现实建模、 逆向工程等不同领域。 视觉坐标测量机模型的研究是视觉坐标测量机的基础部分，也是测量过程的核 心部分。对测量模型的研究可以帮助我们理解视觉坐标测量机的结构和测量方式， 可以根据被测物体的类型分类选择不同的测量模型对其进行测量，进而提高测量的 速度、准确性和稳定性。 测量过程中，对于不同形状、尺寸的被测物体，都需要对它们进行进行一定步 骤的测量过程，也就是要对不同类型的被测物体选择不同的测量模式，因此我们就 需要对视觉坐标测量机的模型进行研究，以确定对不同类型物体的测量过程。 视觉坐标测量机的测量模型总体上可以分为平移和旋转测量两种，任何一种类 型的被钡4 物体的测量都可以按照其中的一种或其组合来进行。本文中，我们对被测 物体的类型进行了大致的分类，虽然不能涵盖所有类型，但是对一些常用模型进行 了一定程度的归纳，对我们理解研究视觉坐标测量机模型起到一定的指导作用。我 们详尽的分析并描述了两种测量模型的测量过程，分别对其建立了数学模型，并将 它们应用到我们的测量实验当中。 本文的研究目的在于参照现有的三坐标测量机及视觉坐标测量系统的测量方 法，研究l g 前较为流行的视觉坐标测量机的测量模型及方法，以帮助我们理解视觉 坐标测量机的结构和测量方式，使视觉坐标测量机更完善。 本文针对单目视觉坐标测量机进行研究，根据其测量模型和运动方式，利用多 幅图像，找出其与双目或多目视觉坐标测量过程的共性，确定其测量的数学模型。 关键字：视觉测量；视觉坐标测量机；测量模型：单目结构 r e s e a r c ho nv i s i o nc o o r d i n a t em e a s u r i n gm a c h i n em o d e l a b s t r a c t ： a tm o d e mt i m e s ，i ni n d u s t r i a ld e t e c t i o na n dm o d e l i n gt e c h n o l o g i e s ，t h e r ea r el o t so f p a r a m e t e r so f3 di n f o r m a t i o na n ds o m ec o r r e l a t i v e s ，s u c ha ss p a c ep o s i t i o n ，s h a p e ，s i z e ， d i s p l a c e m e n ta n dd i s t o r t i o n ，n e e dt ob em e a s u r e a sa 3 dm e a s u r e m e n tt e c h n o l o g y , b a s e d o n3 dv i s i o na n do p t i c a li m a g i n gt h e o r y , v i s i o nc o o r d i n a t e sm e a s u r e m e n ti sw i d e l yu s e d i ni n d u s t r i a l3 dm e a s u r e m e n t ，v i r t u a lr e a l i t ym o d e l i n ga n dr e v e r s i n ge n g i n e e r i n gf i e l d s d u et os o m ea d v a n t a g e ss u c ha sn o n - c o n t a c th i g hp a r a l l e lm e a s u r i n gs p e e da n dh i g h p r e c i s i o n t h es t u d yo nm o d e li st h eb a s i cp a r to fv c m m a n da l s ot h eh a r dc o 把o fm e a s u r i n g p r o c e d u r e t h es t u d yo nv c m mh e l p su st ou n d e r s t a n dt h es t r u c t u r ea n dm e a s u r i n g p a t t e r n s a c c o r d i n gt od i f f e r e n tm e a s u r eo b j e c t s , w ec a nc h o o s ed i f f e r e n tm e a s u r i n g m o d e lt op r o c e s s ，c o n s e q u e n t l yt oi m p r o v et h em e a s u r i n gs p e e d ，a c c u r a c ya n ds t a b i l i t y d u r i n gt h ep r o c e d u r eo fm e a s u r e m e n t ，t h e r ea r ef i x e dp r o c e s s e sf o r t h em e a s u r eo b j e c t s i no t h e rw o r d s ，w eh a v et oc h o o s ed i f f e r e n tm e a s u r i n gp a t t e r n sa p p l y i n gt od i f f e r e n t m e a s u r eo b j e c t s ，t h e r e f o r ew eh a v et os t u d yo nt h em o d e lo f v i s i o nc o o r d i n a t e sm e a s u r i n g m a c h i n e ( v c m m ) t oe n s u r et h em e a s u r i n gp r o c e d u r eo nd i f f e r e n to b j e c t s g e n e r a l l y , t h em e a s u r i n gm o d e lo fv c m mc a nb es e p a r a t e di n t ot w ok i n d si n c l u d ep l a i n m o v em e a s u r em o d e la n dr o t a t em e a s u r em o d e l a n yk i n dm e a s u r i n gp r o c e d u r e so f d i f f e r e n tm e a s b r eo b j e c t si sc o m p o s e db yt h et w ok i n d sm e a s u r i n gm o d e l i nt h i sp a p e r , w ec l a s s i f yt h em e a s u r eo b j e c t s ，a l t h o u g hn o t s od e t a i l e d ，b u ti t sh e l p f u lf o ru st o u n d e r s t a n dt h ev c m mm e a s u r i n gm o d e l w ea l s ot a l ko u tt h et w ok i n d so fm e a s u r i n g m o d e l so fm e a s u r i n gp r o c e d u r e ，a n db u i l du pt h em a t h e m a t i c sm o d e l ，a n dt h e na p p l yt h e c o m p u t i n gm o d e l st oo u re x p e r i m e n t s t h eo b j e c t i v eo ft h i sp a p e ri s ，r e f e r r i n gt ot h ee x i s t i n gc m ma n dm e a s u r i n gm e t h o d so f v c m ms y s t e m s ，s t u d y i n go nt h em e a s u r i n gm o d e la n dm e t h o do fp o p u l a rv c m mt o h e l pu su n d e r s t a n d i n gt h es t r u c t u r ea n dm e a s u r i n gp a t t e r no f v c m m ，a n di m p r o v ei t t h i sp a p e ra i m st os t u d yb a s eo ns i n g l ec a m e r av c m m ，a c c o r d i n gt oi t sm e a s u r i n gm o d e l a n dm o v e m e n tm o d e s ，m a k e su s eo fm u l t ii m a g e st of i n do u tt h ec o m m o n n e s sb e t w e e n s i n g l ec a m e r aa n dd o u b l eo rm u l t i p l ec a m e r am o d e l ，a n dw o r ko u tt h em a t h e m a t i c s c o m p u t i n gm o d e l k e yw o r d s ：v i s i o nm e a s u r e m e n t ，c o m p u t e rv i s i o nm e a s u r i n gm a c h i n e ，m e a s u r i n g m o d e l ，s i n g l ec a m e r aa r c h 第一章引言 1 1 背景 第一章引言 众所周知，在人工智能领域，智能机器人必须理解复杂的三维场景，以便实时 地与周围的环境进行交互，因此三维感知能力对它们来说非常重要。近年来，三维 视觉系统在智能机器人自动导航以及工业部件几何特征检验等方面得到了越来越 广泛的应用。例如，对于工件几何特征的检验，长期以来没有一种有效的手段，国 内外一直采用人工直接测量的方法，即将被测量的物体放在万能工具显微镜下，对 准测量目标进行测量，这种测量方法至今国内的许多大学、科研机构以及企业仍在 使用。近几年来国外的一些大学和科学研究机构开始研究采用图像测量技术。人工 测量方法的主要问题是测量结果的一致性差，对于三维物体的测量，定位的基准很 难确定，所以测量精度低，效率也低。 传统的坐标测量技术是采用接触式传感器或点反射式非接触式传感器，其基本 的测量过程均是逐点测量。 视觉坐标测量机是以c c d 作为视觉传感器，对被测量的对象进行视场的数据采 集，然后通过对图像的分析、处理，提取对象的具有一定特征的几何信息。 视觉三坐标测量机( v c m m ) 是一种利用计算机视觉成像系统进行非接触测量、 进行离线计算的测量系统，它由计算机视觉系统和三坐标测量机( c m m ) 机械结构组 成，是c m m 在精确测量领域的扩展。 1 2 现状 机器视觉是利用光电成像系统采集被控目标的图像，经计算机或专用的图像处 理模块进行数字处理，根据图像的像素分布、亮度和颜色等信息，进行尺寸、形状、 颜色等的识别。这样，就把计算机的快速性、可重复性，与人眼视觉的高度智能化 和抽象能力相结合，大大提高了生产的柔性和自动化程度。 对于机器视觉的研究应用，日本、德国和美国等发达国家早在上世纪六十年代 就开始了。到上世纪九十年代，随着光电子技术和计算机技术的发展，机器视觉己 取得了厂泛的应用。 在坐标测量机方面，目前以机械接触式测量方式为主，对于小型的形状较为简 1 一 青岛大学硕士学位论文 单测量精度要求不高的测量物体，可以采用手动接触控制的测量机，目前较为常见 的是微力手设备。对于工业上用于测量高精度配件测量设备，对于机械接触方式的 测量机，c m m 已经成为当前制造领域中不可缺少的重要装备；对于非接触方式的 视觉测量机，已经有很多基于多个相机或相机群的应用出现。 1 3 问题提出 传统的坐标测量机( c m m ) 比无触点光学系统更精确，但速度慢一些，而且不 能在柔软的或非常小的零件上使用。无触点光学系统能够捕获更多的数据并比 c m m 更快，即使是在非常小的部件上应用，但它不如c m m 精确。结合这两种方 法能加速总处理能力并可以增加较大的或较小的、2 - d 或3 - d ，且较硬的或较软的 测量部件的弹性。 坐标测量机的优点在于能够在三维空间测量各被测点的坐标值，但是，传统接 触式三坐标测量机的最大弱点是只能离线测量，不仅效率低，同时也难以有效地实 现产品质量问题的发现、解决、预防和预报。为此，以光学系统作为测量系统的视 觉坐标测量机就逐渐被各企业所重视，相应产品也应运而生，尤其是在大型复杂的 测量应用中。 1 4 本文主要研究内容 1 视觉坐标测量机的建模 作为视觉坐标测量机的基础，我们对视觉坐标测量机的模型进行分析， 并根据分析所得的运动模型，将其测量模型分为直线、平面、分层面三种 模式，并分别归纳出它们对应的数学模型。 2 视觉坐标测量机的图像采集技术 对于测量过程中所采集的图像集合，需要对其进行相应的分拣，选出在 匹配计算中所需要的图像序列。在图像采集的过程中，我们分别对静态和 动态图像的采集过程进行了叙述，并针对各自的特点，提出挑选图像序列 所执行的方案。 3 虚拟仿真实验 针对前面所作两方面的工作，我们设计了几个实验来验证测量机模型和 匹配图像的正确性。 一2 第一章引言 1 5 本文的意义 本论文研究的视觉坐标测量模型技术主要意义有以下几点 1 利用立体视觉和图像采集与处理技术，实现视觉坐标测量机模型的数学模型 和采集模型； 2 视觉坐标测量机的数据是一次性采集完成的，然后进行离线计算，大大缩短 了测量过程，提高t n 量效率： 3 测量过程的数字化，使得测量结果的后处理极为方便； 4 为建立低成本的应用型视觉坐标测量机提供理论基础。 3 青岛大学硕士学位论文 第二章视觉坐标测量机基本原理和方法 2 1 视觉坐标测量机的结构 本节中，我们将从视觉坐标测量机的物理机械结构和其测量原理两方面来对视 觉坐标测量机进行介绍。 2 1 1 视觉坐标测量机的机械部分 视觉测量机模型是由测量工作台、测量摄像机、机械移动设备及软件部分构成。 测量的过程可以通过水平移动测量工作台和摄像机或垂直移动摄像机来增大测量的 覆盖范围，或者通过多次移动来进行。 图2 1 坐标测量机的机械部分 在视觉测量机的测量过程中出现的一些测量体主要可分为面和体两种，对于一 些曲面或不规则面的测量可将其归类到对体的测量中，所以我们将测量体分为平面 和立体两大类。 对于平面的测量，主要工作在于对平面范围的覆盖，因此对于一定范围的面测 4 第二章视觉坐标测量机基本原理和方法 量，可以采用多次水平移动，测量后拼接覆盖的方法来进行。 对于立体的测量，由于不同立体的复杂程度不同，我们需要对物体的深度进行 计算，因此需要在垂直方向和水平方向进行组合，以使其满足对物体深度的测量需 求。 2 1 2 视觉坐标测量机的测量原理 视觉坐标测量机是在机械式坐标测量机基础上构建的，测量时由精密的伺服机 构驱动，对被测物体进行扫描以获得被测物体的原始图像数据，系统利用c c d 摄像 机进行三维测量，原理图如图2 , 2 所示。其中摄像机在v c m m 机械装置的驱动下， 可以在x 、y 、z 方向上运动，并由视觉坐标测量机v c m m 提供当前摄像机的位 置坐标。 v c m m 图2 2视觉坐标测量机原理图 计算机立体视觉原理表明，要进行测量必须至少有两个摄像机进行图像采集， 但是在v c m m 中，我们利用c m m 机械装置只需要一个摄像机就可以进行测量。 使用c m m 的机械系统和控制系统，我们可以预先规定一个测量的运动轨迹， 在轨迹上，每隔一段固定的时间或固定的距离就让摄像机拍摄一次，得到一幅图像， 根据时间或距离计算出两次摄像时摄像机的距离值，用作之后的计算。这样进行的 多次单相机采集就可以组成一个多相机的立体视觉测量系统。如果摄像机的拍摄区 5 青岛大学硕士学位论文 域不能够完全覆盖测量的物体，那么在多次测量之后我们可以对计算所的数据进行 恢复拼接，从而得到整个测量物体的三维数据信息。 基本的测量过程可简单描述为： 1 ) 将被测物体放置在测量平台上； 2 ) 控制c c d 在x ，y , z 三个方向的运动，并以此进行图像采集，得到双目或多目 图像序列：i m a g e ( i d ，x ，y z ) ； 3 ) 对图像序列分组形成双目或多目测量组：i m a g e _ g r o u p ( i d ，i m a g e ( i d ) ) ； 4 ) 图像处理过程：滤波、去噪、提取特征 5 1 匹配计算 6 ) 数据结构及计算 2 2 视觉测量理论基础概述 2 2 1 成像变换与成像模型 视觉坐标测量的基本原理是双目或多目立体视觉技术【”【3 j 。在三维物体投影到二 维像平面时，只有场景和物体的二维灰度信息被保留，大量的三维信息丢失。利用 立体视觉技术能够根据两幅或多幅图像中的冗余信息恢复丢失的三维信息，并由此 定量的分析物体尺寸和形状特征，形变等相关的三维物理量。 视觉坐标测量的基本方法是从两个或多个视点去观察同一个场景【2 】，采集在不 同视角下的一组图像，然后通过获得不同图像中对应象索间的视差并应用三角测量 原理，进一步计算场景中目标的空间坐标。多目视觉立体视觉和双目立体视觉的 测量原理相同，只是多目视觉测量具有更多的冗余信息，更多的几何约束，减轻了 解决立体匹配的困难i j j 。多目视觉方法的基础是双目视觉方法，下面以双目视觉测 量方法为基础说明其测量的基本原理。 双目视觉方法的测量过程可以分为如下几步： 1 ) 从左( 或右) 图象中选出某些特征点； 2 ) 找出它在右( 或左) 图象中的匹配点，这个过程一般称为立体匹配； 3 ) 根据以上点对匹配关系，就可以计算出匹配点在摄象机坐标系中的空间 三维坐标； 4 ) 由于在第三步中只能计算出匹配点的三维坐标，对于其它点则需要用插 6 第二章视觉坐标测量机基本原理和方法 值的方法来获得。 对于图2 3 a 5 b 的平面三角测量，已知的是a 、b 两点的坐标仁。y o ) 和向 矽，要求 的是c 点的坐标和七列。通过测量手段可以得到两个方位角d 、卢，分别是射线a c 和b c 与已知线段a b 的夹角。射线a c ；f i b c 将唯一的相交于一点，这点的坐标根据三角公 式可以计算出来，即c 点的坐标。 a ba a 平面三角测量b 空间三角测量 图2 3 三角测量原理图 假设直线a b 和x 轴交角为0 ，那么 0 ：a r c t a n y t , - y h x 。 这样直线a c 和b c 的方程分别为 b ( 2 1 ) f y 一虬= ( x - - r e ) t a n ( a + dr ，、 i y 一虬= ( x x h ) t a n ( x 一卢+ 护) 解这个方程组就可以得到c 点的坐标肌) 。 空间三角测量和平面三角测量原理是一致的【l 】，见图2 3 b ，只是这里需要测量的 不是两个平面角口、口，而是两个相应的立体角。这两个角度的获取是通过摄象得到 的。c 点在两个摄像机a 、b 的像平面分别有一个投影点p ，、p 2 ，通过对平面图象的 处理，可以得到投影z p ，、p 2 在图象中的象素坐标，可以根据摄像机的数进一步计 算出它们的空间坐标。再根据光心的位置，光线a c 和b c 就可以确定，所以可以计 算出两个立体角。在理想情况下，使c 在不同像平面成像的光线a c 、b c 应该相交于 同一个点c 。但是实际上，通常这两条空间射线并不精确的相交。可以通过使交点 4 两条光线的距离最短来找到这样一个假想的交点。通过对得到的不定方程组，用 最小二乘法求得解，近似作为c 点的空间坐标。 7 青岛大学硕士学位论文 摄像机模型 视觉坐标测量系统的功能是从摄象机获取的图象信息出发，计算空间物体上的 特征点的三维坐标。图象上的每一点的亮度反映了空间物体表面某点反射光的强度， 而该点在图象平面上的位置则与空问物体表面上对应点的几何位置有关。这些位置 的相互关系，由摄象机成象的几何模型所决定。该几何模型的参数称为摄象机参数， 这些参数必须由实验与计算来确定，实验与计算的过程称为摄象机标定。摄象机模 型是光学成象几何模型的简化，最简单的就是线性模型，或称为针孔模型口j 。由于 本系统采用的是虚拟测量方法，用线性模型基本就能够达到精度要求，所以采用了 针孔模型来模拟光学成象几何系统。 摄象机模型是光学成象模型的简化，目前摄象机的模型有两种：线性模型和非 线性模型。实际成象系统是透镜成象，是一种非线性的模型。最基本的透镜成象原 理见图2 4 。 图2 4 透镜成象模型 其中“为物距，为焦距，v 为相距。三者满足关系式： 三：三+ 三 ( 2 3 ) 厂 v 因为在散的情况下有” 刁；所以经常取v i 厂，而整个模型近似为小孔成象模型。 小孔成象模型是一种线性模型。实际应用很少使用小孔成象系统，但是它是透 镜成象系统的很好的近似，在测量物距不是很小的情况下误差很小，而且计算简单 了许多，因此是实际应用中采用最多的模型。按这种模型计算，物体的空间坐标和 图象坐标之间的关系是线性的，因此最后可以归结到求解线性方程组。 非线性模型则严格按照透镜成象原理建模，物体和图象之间的关系是非线性的， 计算要复杂许多。而且在此基础上还可以考虑摄象机镜头的非线性失真等因素，摄 第- - 章视觉坐标测量机基本原理和方法 象机模型将更加复杂，适宜于需要更高精度的场合。 本系统的摄象机采用线性模型( 针孔模型) 来计算，如图2 5 。 尸k l ，z j y 图2 5 摄象机模型 对于空间任何一个点尸，它与摄象机的光心的连线和图象平面的交点就是该点的 成象位置，即它投影到成象平面上的点p 就是它的象点。 点p 在世界坐标系下的坐标为( x w , y w , z w j ，在摄象机坐标系下的坐标为 ( x c , y c ，z c ) 。对于图象平面上的象点p ，我们得到的是图象象素坐标“，v ，和图象 物理坐标氏y j 。 由线性模型的比例关系有： x = 等胪等 b a ， z z 其中，为焦距( 成象平面与摄象机坐标系原点的距离) 。用齐次坐标与矩阵表示 上述关系： x ： 乙 l 而p 点的世界坐标系坐标与摄象机坐标系的坐标关系为 x ： r 4 l ：) x l 乙 l 其中矗为3 x 3 正交旋转矩阵，t 为三维平移向量。 9 ( 2 5 ) ( 2 ，6 ) ，0 o ，l = 、， x y ，。，l 乙 r 矿 青岛大学硕士学位论文 假设图象上每个象素在x 轴与y 轴方向上的物理尺寸分别为a x 、z l y ，则p 点的 图象象素坐标与图象物理坐标的关系为： xv ”石蜘”毒+ v 0 其中向m j 为光心点的象素坐标。用齐次坐标与矩阵形式表示上述关系 1 0 “。 血 “ o 石1 0o1 将公式( 2 6 ) ( 2 7 ) 代入公式( 2 8 ) 可以得到： 记m i - 料 吉o “。 0 1 v 0 a y ool 矾= ( ： ， 豳恤一暇 1 0 “。 a x 。 。古v o 00l0 瓣 x 。 匕 乙 l ( 2 7 ) ( 2 8 ) ( 2 9 ) f f 00 o 、 0 f 00i ，它是摄象机的内部参数矩阵。 l0 010j 它是摄象机的外部参数矩阵。 研i2州1 3 ”2 2 3 ”3 2 鸭3 拼、 ：。i ，则 m 3 4 j 1 0 第二章视觉坐标测量机基本原理和方法 h z c l vi = m 1 1 j x 。 匕 z w 1 ( 2 1 0 ) 这样便建立了户点的世界坐标系坐标俄m y w , z w j 与它经过摄象机成象后象点p 图象象素坐标亿，v j 之间的关系i j j 。 坐标系统 为了描述光学成象的几何关系，这里需要建立四个坐标系【1 】：图象象素坐标系、 图象物理坐标系、摄象机坐标系和世界坐标系。这里它们均采用的是笛卡儿坐标系。 在本视觉坐标测量系统中，摄象机采集的图象以标准视频信号的形式输入计算 机，经计算机中的专用模数转换卡变换成数字图象，每幅数字图象在计算机内表示 为m x 数组，m 行c n y 0 的图象中的每一个元素( 称为象索) 的数值表示一个图象点 的亮度( 或称灰度) 。如图2 3 所示，在图象上定义图象象素坐标系“，v 土每个 象素点的坐标分别是该象素在村揪组中的列数与行数，该坐标系的单位是象素， 坐标原点仉在图象的左上角。另外再建立以物理单位( 例如毫米) 表示的图象物理 坐标系& ，j ，) ，以摄象机在图象平面上的光心0 ，为原点，坐标轴平行于图象横轴与 纵轴，光心d ，通常是图象的中心点，但是由于制作工艺，一般有偏差，需要通过标 定来确定准确位置，这里假设光心0 1 的图象象素坐标是m n v o ) 。 d ， ( u e v d 图2 6 图象象素坐标系和图象物理坐标系 上面两个坐标系实际都是二维的笛卡儿坐标系，另外还需要建立以摄象机为中 心的三维笛卡儿坐标系和三维的世界坐标系。它们的单位部是物理单位( 毫米) 。摄 象机坐标系是随摄象机的位置和朝向的改变而改变的，为了描述摄象机本身的位置， 以及我们要观测的环境里任何物体的位置，需要建立不依赖于摄象机的相对固定的 坐标系统，称之为世界坐标系。实际上坐标测量需要得到的正是物体的世界坐标系 坐标。 青岛大学硕士学位论文 2 2 2 摄像机定标 摄象机的标定就是要确定其内外参数【1 1 ，也就是计算出公式( 2 1 0 ) 中的m 。 摄象机标定需要在摄象机前放置一个特制的标定参照物。如果已知n 个标定点 的图象象素坐标( u i , v i ) 和世界坐标( x w l y w l z w i ) “= j j 2 j 。h 土那么由公式( 2 1 0 ) z c ，”，= m l i x w + m 1 2 l ，+ m 1 3 z 。j 十m 1 4 乙j v ，= m 2 l x ，+ m 2 2 l + m 2 3 z 。，十m 2 4 lz cr = m 3 i x 州+ m 3 2 l f + m 3 3 z 。，十m 拍 消去五，有 m l i 肖。，+ 啊2 l ，+ 埘1 3 z 。，+ m 1 4 一“，。，1 7 1 3 i - - “，l ，他2 一u 1 z w f m 3 3 = u t 4 【m 2 l x 。，+ ，2 l + m 2 3 z 。j + 埘2 4 一v , x w ，m 3 l v f l f r a 3 2 一v i z w i m ”= v j m 3 4 则可以得到加个线性方程： 卅l l j o l + 帕2 l 】+ 柳1 3 乙l + m 1 4 7 , 1 以l m 3 1 - i l l 2 一乙l m 3 3 = “】m 3 4 m 2 i k 1 + m 2 2 匕l + 珊2 3 z 】+ m 2 4 一v 1 k - 研3 1 - v j 匕l m 3 2 一v i z 训m 3 3 = v 】m 3 4 m l i x w 月+ m 1 2 k + m 1 3 乙n + 1 4 一l d n x w n ? n3 1 一m 3 2 一u , z w m 3 32 “n m 3 4 m 2 l z 。+ 2 k + 埘船z ，。+ 4 一置师m 3 i - - v f 匕”一z w 卅3 3 = y n m 弘 将( 2 1 1 ) 简写成 可以用最小二乘法求出它的解为： k m = u 1 1 1 = ( k 岣1 k u ( 2 1 1 ) r 2 1 2 ) ( 2 1 3 ) 由公式( 2 1 0 ) 可见，m 矩阵乘以任意不为零的常数不影响( x w ，乙j 与m v ， 的关系，因此可以指定3 4 = 1 ，因此方程组( 2 1 1 ) 的未知量有1 1 个，所以由空间 6 个以上的己知点便可以得到1 2 个线性方程，从而解出方程组( 2 11 ) ，即解出矩阵 m 。 可以注意到，如果这些已知的标定点共面的话，由于五，k ，乙线性相关，即 且k 憎k + c 乙= o ，那么k r k 的秩将小于l l ，这样m 将得不到确定解吐 1 2 第二章视觉坐标测量机基本原理和方法 因此对标定点的要求是数目不少于6 个，而且不能在一个平面上。一般地，标 定点的数目越多，得到的参数n r l 越精确。 求得摄象机参数矩阵m 后，可以进一步求得它的内部参数矩阵m i 和外部参数矩 阵m e 的各个分量p i 。但是这一步与本系统的目标没有太大关系，可以省略。 知道摄象机参数矩阵m 就可以用它来计算空间点的三维坐标。 由式( 2 1 0 ) 知，在摄象机参数矩阵m 已知的前提下，由于z ：不可能预先知道， 所以依靠单个摄象机一次成象是不可能直接由图象象素坐标求得世界坐标系坐标 的。事实上，图2 5 的模型中直线肋上的任何点都满足式( 2 ，1 0 ) 。 于是需要至少两台摄象机同时成象，利用三角交会的原理才可以确定目标点的 世界坐标。基本的立体视觉模型如图2 7 。 图2 ，7 立体视觉模型 那么由公式( 2 1 0 ) 有： 一1 z 。1v i | - m l j x 。 匕 z 。 l f “：1 和z 。2 lv 2i = m2 l j x 。 l z 。 1 分别消去z c l 和z c 2 有： l m l i l 瓦+ 辫i ，：匕+ 卅1 ，乙+ m l 。一玛五辨1 ，。一u , y 。m l 。一m z 。m l 玎= 【m l2 以+ m l 。l + m l 。乙+ m l 。一v l xm l 。一v y m l n v l z m l 。2v i j 聊2 l i 扎+ m 2 。】咒+ m 2 。，z + m 2 。一屿瓦m 2 ，l 一“2 y m 2 ，：一屿z 1 ，m 2 n = 坞 【m 2 ：五+ m 2 虼+ m 2 。乙+ m 2 。一v 2 x m 2 ，一v 2 y m 2 。一v 2 z m 2 。= v 2 事实上是得n t 商线p 炉和p 2 p 的方程，空间的两条直线不一定相交于一点，所以 一共有四个方程三个未知数，是一个不定方程组。联立四个方程，用最小二乘法可 1 3 - 青岛大学硕士学位论文 以得到一个优化解，( 墨，k ，磊) ，即计算出了空间点三维坐标。 于是可以得到基于双目计算机立体视觉的坐标测量的步骤： 1 对标定物体( 标定物体上印刷有相对于世界坐标系己知的网格) 成象，通 过图象处理取得网格点的图象象素坐标，分别计算两个摄象机的参数矩阵 m 1 和m 2 。这个过程叫做摄象机的标定( 或校准) ，标定算法稍后描述。 2 对目标物体成象，通过图象处理取得网格点的图象象素坐标h v ，) 和 向 u 结合己知的m l 和m 2 ，便可以计算出陇。k 乙j 。 2 3 坐标测量方法分类 坐标测量的测量方法有很多，在我们所讨论的课题中，其大体主要可归纳为以 下两种： 1 ) 接触式机械测量 其代表为传统使用的接触式机械坐标测量系统。接触式机械坐标测量是 利用触发式接触测量头接触被测物体，透过传感器来确定当前所测的位置， 加以记录，每次采样只能获得一个点的坐标值。所以这种方法的测量速度较 慢，通常学要几天或更长的时间。 2 ) 非接触式光学测量 主要就是采用c c d 或c m o s 相机的双目或多目视觉坐标测量系统。目 前还出现一种基于视频的v i d e oc m m ，虽然其图像采集为连续过程，但是其 测量的原理还是以两幅或多幅图像为基础的，也就是说v c m m 所采用的测 量理论与双目或多目视觉坐标测量的理论是相通的。下面我们就简要介绍一 下我们所关注的视觉坐标测量方法的一些理论。 2 3 1 单目成像和畸变 在参考文献【3 】中介绍的几种成像几何模型都对应单目成像的情况，可知像平面 上的透视投影与原场景中物体的尺寸大小不同，即发生了畸变。物体离观察点越远 则所成的像比原物缩小得越多，反之放大的越多。在像平面上投影的大小受采集器 与景物间距离的影响，所以像的畸变程度包含了3 d 物体的空间信息。这里需要指 出，除非认为景物的x 或y 已知，否则由2 d 图像并不能直接得到采集器与景物问 的绝对距离( 得到的只是相对距离信息) 。 1 4 第二章视觉坐标测量机基本原理和方法 物体的几何轮廓可看作是由直线段连接组成的。下面考虑3 d 空间的直线投射到 2 d 像平面上出现的一些畸变情况。为简便，采用2 2 1 小节中的摄像机模型。一条 直线是由其两端点及中间点组成的，点的投影仍是点。设有空间两点( 直线两端 点) 片= 【五誓z i r ，罡= 【x zlz 2 r ，它们中问的点可表示为( o 1 ) ： 鼻+ c ，一，县= l i x 丢, 1 j + c - 一， 茎 c z 上述两端点投影后借助式( 2 1 1 ) 的齐次坐标可表示为：7 z = k x ，蝎t z l f ，】7 ， 码= 【女e t 2 r ，这里令= k ( f - z , ) f ，f ：= k ( f - z 2 ) f 。原只和只间的 直线上的点投影后可表示为( 0 1 ) r c 只+ c ，一，e ，= 藿 + c ，一， 誊 。s ， 川xy l t = 【鬻 生墨堡二坐! 兰1 r( 2 1 6 ) + ( 1 一p ) 6 。 以上是用表示空间点的投影变换结果。另一方面根据式( 2 1 2 ) 在像平面上有 p l = ( f z i ) “( f 一五) 】r ，p 2 = 【( f z 2 ) 鸺( f - z 2 ) 7 ，它们连线间的 点可表示为( o v 1 ) ： 啊+ ( 1 一v ) p 2 = ” f x , f z i 属 f z l + ( 1 一坊 f x 2 j z l 球1 f z 2 所以p l 和见及它们连线间的点在像平面上的坐标( 用v 表示) 为( o v 1 ) 1 5 ( 2 1 7 ) 青岛大学硕士学位论文 叫州7 _ 【v 惫州叫蛊v 尚州一嵋尚7 ( 2 1 8 ， 如果用, t 表示的投影结果就是用v 表示的像点坐标，则式( 2 1 7 ) 和式( 2 1 8 ) 应相等，这 样可解得： “： 堡 。7 f 2 + ( 1 - o r , 佗1 9 ) 。： 生! p t 】+ ( 1 一) ，2 由上两式可见：和v 是单值关系，3 d 空间中2 表示的点在2 d 像平面中对应一个 剥翻 其中( x o ，k ，z o ) 为直线的起点，( 口，b ，c ) 为直线的方向余弦，r 为任意系数。对一组 平行线来说，它们的( 口，b ，c ) 都相同，只是( k ，k ，z o ) 不同。各平行线间的距离由它 们( ，k ，z o ) 的差别决定。 ，：， ! 墨竺二竺! ! ! ! ! 竖丝二堡型! 兰 一t x o + k 口一d ；) s i n a s i n y + ( r o + k b d r ) s i n a c o s 7 一噱o + k c d z ) c o s a + ， 一f t x q + k n d 。) e o s a s i n y 七( t o + r b d y ) c o s c o s r + ( z o + ，c c d i ) s i n 。 一t x q + k o d x ) s i n x s i n y + q 名+ k b d v ) s i n a c o s y - l z o + k c d ；) c o s a + 当直线向两端无限延伸时，盯= + o o ，上两式分别简化为 一1 6 - 第二章视觉坐标测量机基本原理和方法 可见平行线的投影轨迹只与( 口，b ，c ) 有关，而与( 五，k ，z 0 ) 无关。换句话说，具有相 同( d ，b ，c ) 的平行线在无限延伸后将交于一点，这个点可以在像平面中，也可以在像 平面之外，所以也称为消失点或虚点( v a n i s hp o i n t ) 3 1 。 2 3 2 多目立体视觉 立体视觉主要研究如何借助多图像成像技术从多幅图像里获取场景中物体的距 离( 深度) 信息。立体视觉的基本方法是从两个或多个试点去观察同一场景，获得 在不同视角下的一组图像，然后通过三角测量原理获得不同图像中对应像素问的视 差，并进而推断场景中目标的空间位置等。 多目立体视觉测量的方法，利用摄像机旋转、移动来获取多幅图像，利用这些 立体图像对中对应特征点的视差得到物体的深度信息。 通过对双目和多目视觉测量的计算过程和结果的分析比较： 1 ) 当被测目标较轻小，且需要测定其立体形状时，己使用旋转目标法，获取多 幅图像。 2 ) 移动目标法容易保持摄像机的内外方位元素，特别是多幅图像对应相同的内 方位元素，简化了后续的摄影测量处理过程。 3 ) 多目立体视觉测量系统相当于多个双目立体视觉测量系统在同时进行标定 和测量，然而从以上的数据处理过程及结果可以看出：虽然多目立体视觉测 量系统中各个位置处的测量结果由于产生误差的因素的增多方差值稍有增 加，但综合各个不同位置处的测量数据再进行平差的结果比单独的双目立体 视觉测量的结果更加准确。 4 ) 采用旋转目标法的测量精度与回转工作台的回转精度及回转角度的大小直 接相关，选择高精度轴系的回转工作台和适当地选择回转角度是提高测量精 度的关键。 1 7 青岛火学硕士学位论文 当使用双目图像时，视差d 与基线占有如下关系p i ( f 为焦距1 ： d ：b f( 2 2 2 ) z 由上式可知，对给定的物体距离z ，视差d 与基线长度b 成正比，基线长度b 越 大，对距离的计算将越准确。但基线长度过长带来的问题是需要对较大的视差范围 进行搜索以寻求匹配点。这不仅增加了计算量，而且在图像中具有周期性的重复特 性时，误匹配的概率也会增加。 解决上述问题的一种方法是采用由粗到细的控制策略，先在较低分辨率进行匹 配以减少误匹配，然后利用其结果限定在较高分辨率的匹配搜索范围并进行较准确 的视察测量。不过要注意，采用较低分辨率并不一定总可以消除误匹配，尤其是在 一个较大的场景范围有重复模式出现的情况。 与普通双目图像的算法相比，利用多目图像可以解决上述问题并提高视差测量 准确率，该算法利用一组沿着( 水平) 基线方向的图像序列进行立体匹配，从而有效解 决了周期性重复特征所引起的误匹配现象。这种方法的基本思想是通过计算多对图 像间平法差的和( s u mo f s q u a r e dd i f f e r e n c e ，s s d ) 来减少总体的误匹配吼假设摄像机 沿着垂直于光轴的水平线移动，在点r ，只，e ，采集一系列图像 z ( x ，y ) i = 0 ，i ，1 一，m ( 见图2 8 ) ，从而得到一系列图像对，他们的基线长分别为 b l ，b t ，b m p m x 卜叫 i 卜。8 叫 i l i l _ h 州 一 图2 8 多目图像采集位置示意图 根据图2 8 ，在点昂采集的图像与在点只采集的图像之间有视差： 一：e 三，i ：l 如，m z 1 8 第二章视觉坐标测量机基本原理和方法 因为这里仅考虑水平方向，可将图像函数f ( x ，y ) 用f ( x ) 表示，则在各个位置得 到的图像为： f ( x ) = f i x z 】+ ( x ) ( 2 2 4 ) 其中认为噪声q ( x ) 的分布满足均值为0 ，方差为一的高斯分布，即 _ ( x ) n ( o ，2 ) 。 在工( x ) 中位置x 的s s d 值为( w 为匹配窗口) ： 岛( x ；童) = z t f 。( x + ，) 一，( x + 童+ j ) 】2 ( 2 2 5 ) ，e 其中d i 是在位置x 的视差估计值。由于s s d 是一个随机变量，可计算它的期望 值( 设 0 为匹配窗口中的像素数) ： 铀= e 信 f ( x + j ) - f ( x + 童- a t , + j ) + n o ( x + j ) - n , ( x + d , 勘玑埘， = im + ) 一m + 童一吐1 + 2 上式表明，当吐：童时，日o ；盒) 取得极小值。如果图像在x 和x + p 处( p o ) 具 ，( x + ，) = ( z + p + ) - ，f 矿 ( 2 2 7 ) 则根据式( 2 ，2 6 ) 可得 e s d