（通信与信息系统专业论文）基于图像的天线展开过程测量与分析.pdf

摘要 本文研究对象是大型星载可展开天线，其具有收拢时体积很小，展开时体积 可扩大数十倍，工作过程无法干预，太空工作环境恶劣等特点。要求天线能够可 靠地展开并能保持形面精度，因而需要对其展开过程特性了解，以便进行实时的 分析与控制。本文利用摄影方法对其展开过程进行测量，通过图像处理测量天线 展开时的结构位置关系，分析其运动特性。 首先，本文采用平行双目立体视觉测量技术，运用v r m l 模拟两台光轴平行 的相机，简化了相机标定与图像匹配。在天线展开关节处放置特征点作为摄影测 量采集的数据点，可降低数据量，提高分析速度。 本文提出了一种新的模型测量方法一基于设计模型的三维测量与运动测量。 通过a d a m s 和v r m l 虚拟仿真，建立天线结构模型，将其作为先验知识，与摄 影测量的数据匹配。可以大大地提高特征点搜索速度与匹配精度。 为了对其展开过程进行运动特性分析，本文采用了一种基于先验知识的运动 分析方法，可用于对多个运动点目标进行运动分析。通过仿真实验与a d m a s 计 算的结果对比，分析运动参数。表明该算法的可行性和快速性，可以实现基于实 时测量的展开过程运动分析。 本文通过对大型星载天线展开过程进行三维测量与运动测量，研究了一种基 于设计模型的测量与运动分析方法，采用了一种可用于对多个运动点目标进行运 动测量和分析的新方法，对可展开天线的测量分析工作有一定的参考作用。 关键词：星载可展开天线立体视觉图像处理三维测量运动测量 a b s t r a c t 1 1 1 eo b j e c to fs t u d yi nt h i sp a p e ri sal a r g es p a c e b o r n ed e p l o y a b l ea n t e n n a , w h i c h h a sf e a t u r e st h a tt h es i z ei ss m a l lw h e nf o l d e da n di nd o z e n so fs i z e sw h e ne x p a n d e d , t h ew o r k i n gp r o c e s sc a nn o ti n t e r v e n e ，t h ew o r k i n gc o n d i t i o n si sp o o ri ns p a c ea n ds o o n t h ea n t e n n ai sr e q u i r e dt ob er e l i a b l ys p r e a da n dm a i n t a i nt h es h a p es u r f a c e a c c u r a c y t h e r e f o r e ，i tn e e d st ob et r a c e dw h e ne x p a n d i n gf o ru n d e r s t a n d i n go ft h e p r o c e s sc h a r a c t e r i s t i c sf o rr e a l - t i m ea n a l y s i sa n dc o n t r 0 1 i nt h i sp a p e r , b ym e a s u r i n g i t se x p a n s i o np r o c e s si nt e r m so fp h o t o g r a p h i cm e t h o d s ，t h es t r u c t u r em o d e lo ft h e f o l d e da n t e n n ac a nb em e a s u r e dt h r o u g ht h ei m a g ep r o c e s s i n gi no r d e rt oa n a l y s i st h e i r m o t i o nc h a r a c t e r s t i e s f i r s to fa 1 1 p a r a l l e lb i n o c u l a rs t e r e ov i s i o nm e a s u r e m e n tt e c h n o l o g yi su s e di n t h i sp a p e r v r m la r eu s e dt os i m u l a t et w oc a m e r a sw h o s eo p t i c a la x i sa r ep a r a l l e l ，i t c a ns i m p l i f yt h ec a m e r ac a l i b r a t i o na n di m a g em a t c h i n g t h es i g np o i n t su s e da s p h o t o g r a m m e t r yc o l l e c t e dd a t ap o i n t sa r el o c a t e di nt h ej o i n t so ft h ea n t e n n at or e d u c e t h ea m o u n to fd a t aa n di m p r o v ea n a l y s i ss p e e d an e wm e t r i c a lm e t h o di sp r e s e n t e di nt h i sp a d e r b a s e do nt h et h r e e d i m e n s i o n a l m e a s u r e m e n ta n dm o t i o nm e a s u r e m e n to ft h ed e s i g nm o d e l t h r o u g ht h ee s t a b l i s h m e n t o fa n t e n n as t r u c t u r em o d e la sap r i o rk n o w l e d g eb ym e a n so fa d a m sa n dv r m l v i r t u a le m l u a t o r , ad a t a b a s ef o ra l lf e a t u r ep o i n t so ft h em o t i o ns t a t e si sa c h i e v e d a n d w ec a nc o m p a r ei tw i t l lp h o t o g r a m m e t r i cd a t a s oi tc a ng r e a t l yi m p r o v et h es e a r c h s p e e do ft h ef e a t u r ep o i n t sa n dm a t c h i n ga c c u r a c y i no r d e rt oa n a l y z et h ec h a r a c t e r i s t i c so ft h ep r o c e s so fe x e r c i s e ，am o t i o na n a l y s i s m e t h o db a s e do np r i o rk n o w l e d g ei su s e dt oa n a l y z et h em o t i o no fm u l t i p l em o v i n g p o i n tt a r g e t si nt h i sp a p e r 1 1 1 ec o m p a r i s o nb e t w e e ns i m u l a t i o ne x p e r i m e n t sa n d r e s u l t s o ft h ec a l c u l a t i o na d a m sa n da n a l y s i so fm o v e m e n tp a r a m e t e r ss h o wt h e f e a s i b i l i t y a n dr a p i d i t yo ft h ea l g o r i t h mw h i c hc a na c h i e v er e a l t i m em e a s u r e m e n tb a s e do nt h e c o m m e n c e m e n to ft h ep r o c e s so fm o t i o na n a l y s i sa n da c h i e v et h et a r g e tp o i n to ft h e a m e n d m e n tm o t i o np a r a m e t e r s t h r o u g hm e a s u r i n gt h et h r e e d i m e n s i o n a la n dm o t i o no ft h eu n f o l d i n gp r o c e s so f al a r g es a t e l l i t ea n t e n n a , t h i sa r t i c l es t u d i e sam e t h o db a s e do nt h em e a s u r e m e n ta n d a n a l y s eo ft h ed e s i g nm o d e la n da d o p t san e wm e t h o dw h i c hc a nb eu s e dt om e a s u r e a n da n a l y z et h em o t i o no fc o u p l e so fm o v i n gp o i n t st a r g e t s i tp r e s e n t sar e f e r e n c ef o r t h em e a s u r m e n t sa n da n a l y s i so ft h ed e p l o y a b l ea n t e n n a s k e y w o r d s ：s p a e e b o r n ed e p l o y a b l ea n t e n n a s s t e r e ov i s i o n i m a g ep r o c e s s i n g t h r e e - d i m e n s i o n a lm e a s u r e m e n tm o t i o na n a l y s i s 西安电子科技大学 学位论文创新性声明 秉承学校严谨的学风和优良的科学道德，本人声明所呈交的论文是我个人在 导师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以标 注和致谢中所罗列的内容以外，论文中不包含其他人已经发表或撰写过的研究成 果；也不包含为获得西安电子科技大学或其它教育机构的学位或证书而使用过的 材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中做了明确的说 明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切的法律责任。 本人签名：! 窆艺 日期垫堡：墨：鲨 西安电子科技大学 关于论文使用授权的说明 本人完全了解西安电子科技大学有关保留和使用学位论文的规定，即：研究 生在校攻读学位期间论文工作的知识产权单位属西安电子科技大学。学校有权保 留送交论文的复印件，允许查阅和借阅论文；学校可以公布论文的全部或部分内 容，可以允许采用影印、缩印或其它复制手段保存论文。同时本人保证，毕业后 结合学位论文研究课题再攥写的文章一律署名单位为西安电子科技大学。 ( 保密的论文在解密后遵守此规定) 本学位论文属于保密，在- 年解密后适用本授权书。 啦雌 名 名 签 签 人 师 本 导 第一章绪论 第一章绪论弟一早三百化 1 1 引言 视觉是人类感受客观世界最重要的途径。科学研究和统计表明，人类从外界 获得的信息有8 0 以上是由视觉系统获得的。随着计算机的发展，数字图像技术的 不断成熟，计算机视觉技术近年来取得了极大的重视和巨大的进展，出现了许多 相关的新理论、新方法、新算法、新手段和新设备，并在科学研究、工业生产、 教育、娱乐等方面的到了广泛的应用，并取得了重大的成果。计算机视觉是一个 “从获取的图像中分析与理解景物的信息处理过程”，计算机的任务是利用计算机 技术完成处理信息的工作，使其能根据人类视觉特性来建立对客观事物的具体的 有意义的描述，从而替代人类的眼睛和大脑，完成了对现实世界的感知与理解【l 捌。 计算机视觉的研究目标是使计算机具有通过二维图像认知三维环境信息的能 力，这种能力不仅能使机器感知三维环境中物体的几何信息，包括其形状、位置、 姿态、运动等，而且能对它们进行描述、存储，识别与理解。计算机视觉与数字 近景摄影测量一样需要测量信息，但其更为关注的是对物体进行描述、识别和理 解。计算机视觉主要表现在以下几个方面：一、计算机视觉用物体相对于影像的 位置与方位来描述问题；二、视觉测量中最为基本的公式是用齐次坐标表示的投 影方程；三、数学处理算法的不同，摄影测量渊源于测绘学科，基于非线性迭代 的最小二乘法平差求解贯穿于数字近景摄影测量的全过程，而计算机视觉强调矩 阵变换与矩阵分解，设法将非线性问题转换为便于计算机处理的线性问题，尽可 能避免求解非线性方程。 作为计算机视觉理论的重要研究目标，从二维图像恢复场景的三维几何结构 为三维测量( 3 dm e a s u r e m e n t ) 是研究人员的主要目的之一，这也是虚拟现实r ， v i r t u a lr e a l i t y ) 领域中生成真实感复杂三维场景的重要途径，近些年来该领域与之 相关的技术称为基于图像的建模和绘制。本文就采用了基于虚拟现实( v r m l p a d ) 建 模对序列图像三维测量的仿真分析。 随着计算机技术的快速发展，尤其是数字图像技术的不断成熟，基于图像的 计算机视觉三维测量技术在近年来有了质的飞跃。利用相机( 摄相机) 采集真实 场景的图像( 序列图像) ，根据成熟的计算机视觉技术实现基于图像的静态对象 或动态对象的三维几何建模，这类方法被称为基于图像的建模技术。基于图像的 建模技术具有其它方法无法比拟的优点，设备要求低，相对费用低廉，工作环境 要求低，适用对象广泛，工作量少，处理精度高和实时性高。 2基于图像的天线展开过程测量与分析 1 2 研究背景 随着虚拟现实、计算机视觉【4 j 和计算机图形学等领域的不断发展，数码相机( 摄 相机) 等硬件设备广泛应用，图像测量技术受到了广泛的关注。这种技术可以用 价格低廉的数码相机作为图像获取设备，经过信号处理，最终得到场景的三维几 何模型，其最大优点就是可以直接从图像中获得表面纹理和光照信息来恢复场景 的深度信息，得到三维坐标，从而简单、快速地测量出达到“照片级”真实感的三维 模型。图像测量技术是一个多学科交叉的领域，涉及到计算机视觉、数学、图像 处理、机器视觉【5 】、信号处理和人工智能等诸多学科，因此对图像测量的深入研究 不但可以推动各个相关学科的发展，并且还可以促进这些学科的交叉融合。图像 测量技术在自动导航、目标识别、图像检索、人体运动测量以及增强现实等领域 都有着重要的研究和应用价值。而对于计算机图形学和虚拟现实等应用领域而言， 由于测量过程是在绘制过程之前完成的，因此建模过程中人为的辅助和交互是完 全可以接受的，这就大大扩展了图像测量技术的应用范围。计算机视觉与图像处 理，图像分析，机器人视觉和机器视觉是彼此紧密关联但又有其显著特点的学科。 计算机视觉的研究对象主要是映射到单幅或多幅图像上的三维场景，例如三维场 景的测量。计算机视觉的研究很大程度上是针对图像的内容。而图像处理与图像 分析的研究对象主要是二维图像，实现图像的转化，尤其针对像素级的操作，例 如提高图像对比度，边缘提取，去噪声和几何变换如图像旋转。这一特征表明无 论是图像处理还是图像分析其研究内容都和图像的具体内容无关。在计算机视觉 中，由于测量的三维模型与真实场景之间仅仅相差一个全局的比例系数，因此只 要给出场景中的任何一个参考尺寸，我们就可以通过测量模型计算场景中任意两 点间的真实距离，如果指定某一点的参考坐标，还可以得到场景中任意一点的相 对位置。这种非接触式测量只需通过相机拍摄的序列图像即可计算物体的三维尺 度信息，相对于激光跟踪测量系统及射电全息法所需设备简单，通用性强。计算 机视觉技术的最大优点是采用了非接触方式，对一些体积较大、外形难以测量或 不便于接触的物体都能够快速、精确地给出测量结果。本论文研究的可展开天线 的特点就是其展开过程只能采用非接触式摄影测量，得到天线结构运动的高精度 测量恢复，鉴于计算机视觉拥有的良好特性，我们在此就采用了基于序列图像的 计算机视觉测量技术。 在计算机视觉技术的具体应用中，几乎都要解决一系列相同的问题。这些经 典的问题包括：识别、匹配、跟踪、测量与恢复。 第一章绪论3 1 3 当前国内外研究现状及存在问题 现在国内外研究的多目标运动测量方法主要基于序列图像的分析方法1 6 1 ，它采 用立体视觉技术实现多目标运动参数的测量。2 0 世纪7 0 年代末，m a 玎【7 】创立的视觉 计算理论对立体视觉的发展产生了巨大的影响，现已形成了从图像获取到最终的 景物可视表面测量的比较完整的体系。立体视觉早期主要采用双目近距离光轴平 行系统，如张晓玲于2 0 0 5 年提出的光轴垂直测量系统【8 】。随着立体视觉技术的发展 和立体视觉技术在机器人领域的应用，立体视觉技术已经发展成为比较完整的体 系，现有的分析方法主要包括：图像特征提取、目标特征匹配、相机标定、运动 参数测量等内容。在测量时，首先采用正确的摄像捕获技术捕获被测物体的清晰 图像：然后，根据透视变换及坐标转换建立相机模型，对相机进行标定，获得相 机内外参数；在图像预处理阶段完成特征提取任务；通过各种合适的匹配技术建 立正确的匹配关系；最后通过测量模型求得目标的三维空间信息。 为了精确测量目标的空间信息，需要采用相机标定技术对相机内外参数进行 精确标定。相机标定的目的是建立有效的成像模型，并确定相机的内外参数，以 便正确建立世界坐标系中物点与像平面坐标系中像点之间的对应关系。各种标定 算法都是通过各种环境中变化系数小、尺寸非常精确的标定物而建立的。现有的 标定物主要有基准尺和标定块。基准尺在使用前必须测量基准尺的相对位置和基 准尺上标定点的相对位置。测量过程中相机的视场范围对基准尺设立位置有很大 的限定，这些限定条件会造成测量中需要测量的数据个数增加，测量精度下降等 问题。标定块的标定点具有稳定的空间相对位置关系，但标定块尺寸不能太大， 不能实现远距离标定，并且其计算复杂。 1 4 论文研究的主要内容 本文所研究的对象是大型星载可展开天线，其具有收拢时体积很小，展开时 体积可扩大数十倍，工作过程无法干预，太空工作环境恶劣等特点。要求天线能 够可靠地展开并能保持形面精度，因而需要对其展开过程进行了解，以便进行实 时的分析与控制。由于条件有限，无法在地面重力环境下对大型可展开天线实物 做展开过程实验，并对其跟踪拍摄测量。本文通过虚拟仿真的方法，对天线模型 进行分析。a d a m s 具有虚拟样机分析功能，我们通过a d a m s 建立基于设计参数 的天线模型，精确模拟出天线结构展开过程的动力学运动特性。但a d a m s 提供给 用户的图像是平行投影图像，无法提供真实世界的双目视觉模型的图像。v r m l 虚拟建模语言具有模拟真实世界视觉的功能，但对复杂模型建模有一定的难度。 综合a d a m s 与v r m l 的优缺点，在本文中，利用a d a m s 精确建模，模拟仿真天 4 基于图像的天线展开过程测量与分析 线结构展开过程的精确运动过程，把展开过程精确数据引导到v i 蝴l 中，通过变换 视点得到一系列基于真实世界场景的大型天线展开过程的图像。通过上述方法， 采集到大型可展开天线展开过程的序列图像，利用双目立体视觉技术恢复特征点 的世界三维坐标，分析天线结构展开运动特性。 在理论研究和算法实践过程中，根据所研究的大型星载可展开天线特点，有 针对性地采用了一些典型的算法并提出了一些新思路，本文主要工作： ( 1 ) 深入了解了立体视觉原理，针对工程问题，采用平行双目立体视觉测量方 法，进行简化处理，降低实现难度，并提高了处理速度。 ( 2 ) 针对可展开天线的结构特征，本文研究并提出了一种新的测量方法基于 设计模型的测量与分析。利用a d a m s 精确建模，对天线展开过程结构运动精确分 析，将数据导入v r m l 得到真实世界场景的天线展开过程序列图像。在此序列图像 基础上通过基于设计模型的测量与分析实验，证明该方法对分析大型可展开天线 展开过程运动特性具有较强的可行性与精确度，可以提高特征点搜索速度与匹配 精度，能够解决展开过程存在的自遮挡问题。 ( 3 ) 针对展开天线结构特征以及获得的建模参数，本文采用了基于对每时刻的 模型仿真都知道的基础上对多个运动目标测量与分析。该算法可用于对多个运动 目标进行测量与分析。通过本文的算法计算的结果与a d m a s 仿真的结果对比，表 明该算法的正确性，可以实现基于实时测量的展开过程运动分析。 第二章双目视觉立体测量 第二章双目视觉立体测量 2 1 引言 本章主要对星载可展开天线测量所采用的技术进行分析，其中简要介绍了立 体双目视觉的三维测量技术，寻找适用于本论文研究对象的测量方法和图像分析 方法，并针对可展开天线展开过程结合平行双目立体视觉技术提出了可用于立体 测量的方法。 由于被测对象可展开天线，其结构主要由杆单元及关节组成，其展开前后形 状差异很大，展开后是展开前体积的数十倍，关节点及杆单元很小，展开过程是 一个变加速高速展开过程。要分析该天线结构在展开过程中是否能按照预先所设 计的参数，顺利展开，需要对其展开过程有一个充分的了解与认识。由于现有条 件不允许，实物仍在研制中，无法对实物进行摄影测量，其次考虑到实际研究与 应用的数十米口径的大型星载可展开天线，在其工作过程无法干预，太空工作环 境恶劣等特点，无法利用现有条件或方法对其展开过程进行测量分析。本文针对 星载天线及其展开过程，研究并提出了一种基于设计模型的测量与分析方法。 2 2 立体视觉原理 计算机双目视觉和立体视觉是仿照人的双眼视觉线索感知距离的方法，实现 对三维信息的感知，其主要研究如何借助成像技术从图像里获取场景中物体的深 度信息【9 、1 0 1 。 本文基于视觉测量原理，结合可展开天线的展开过程，进行了平行双目摄影 三维测量。下面我们给出了计算机视觉【1 1 1 5 】三维测量技术的准备知识。 2 2 1 坐标系表示 一般常用的坐标系有世界坐标系、图像坐标系和摄像机坐标系。 l 、世界坐标系 由于摄像机可在任何位置安放，所以必须选择一个基准坐标系来描述摄像机 和环境中物体的位置，该坐标系称为世界坐标系，由k ，匕，乙轴组成。 2 、图像坐标系 图像在计算机中以二维数组的形式存在，在图像中定义了一个直角坐标系 6基于图像的天线展开过程测量与分析 u c o v ，每一象素的坐标( 甜，v ) 分别是该象素在数组中的列数和行数。因此，( “，v ) 是 以象素为单位的图像坐标系的坐标。由于图像中点坐标( ”，1 ，) 只表示象素在数组中 的列数和行数，并不表示物点的物理坐标，需要再建立以物理单位表示的图像坐 标系，该坐标系以图像内某一点为原点，x 轴和y 轴分别与“，1 ，轴平行，如图2 1 所示。 c o g x - 一 ( ，v o ) v1y 图2 1 图像坐标系 3 、摄像机坐标系 为了分析摄像机成像的几何关系，定义了一个新坐标系，其原点在摄像机的 光心上，鼍轴和【轴分别与图像坐标系中的x 轴和y 轴平行，z c 为摄像机的光轴， 它与图像平面垂直，光轴与图像平面的交点为图像坐标系的原点。摄像机成像几 何关系如图2 2 所示，把d d l 看做摄像机焦距，o x 。l z c 为摄像机坐标系。 图2 2 摄像机坐标系与世界坐标系 z w ) 第二章双目视觉立体测量 7 2 2 2 透视投影 m oi 太心、f a fb u巡 m 图2 3 透视投影原理图 由图2 3 所示，f = o b 为透镜焦距，m = o c 为像距，刀= o a 为物距，则透视 投影原理为： 111 = + f m 拧 一般地，因为有疗 厂，则聊f 。 成像模型。 2 2 3 相机成像模型 ( 2 1 ) 这时，可以将透镜成像模型近似为小孔 图2 4 相机成像模型 小孔成像模型是最简单最常用的摄像机模型，它是一种理想状态模型，具有 简单实用而不失准确性。 如图2 4 所示，视点为0 ，空间点m 在摄像机坐标系下的坐标为m ( t ，儿，乙) ， 在摄像机成像平面上的投影点为所( 屯，儿) ，它们的透视投影几何关系： 8 基于图像的天线展开过程测量与分析 铲，每= 哇 料 y c z c 1 ( 2 2 ) ( 2 - 3 ) 设图像的像素坐标是( ”，1 ，) ，该图像点的像素坐标与以毫米为单位的图像坐标 的关系如式： 阡 1 一 - = 0 u o d x 1 o 古v o 001 ( 2 - 4 ) 其中，为图像平面单位距离像素数(pixelsmm)，称为比例系数，(，)为dx a y 摄像机光轴与图像平面的交点，( 勤，儿) 为像平面上的物理坐标位置。 摄像机坐标系与世界坐标系的转换关系如式( 2 5 ) ： x c 艺 z c l 厂rt 1 2 k tj x 。 匕 乙 l ( 2 5 ) 其中，j j c 和丁分别为从世界坐标系到摄像机坐标系旋转和平移变换，r 是一个3 x 3 的正交矩阵，丁是3 1 的平移向量。于是，得到以世界坐标系表示的m 点坐标 m = ( k ，匕，乙，1 ) r ，其投影点m 的坐标聊= ( 甜，v ，1 ) r 。 图像像素坐标与世界坐标系的转换关系如式( 2 - 6 ) ： 第二章双目视觉立体测量 9 可见，如果知道摄像机的内外参数，就知道投影矩阵只。了，对任何空间点朋， 如果空间三维坐标为l x w ，j w ，么w j ，就可以求出其图像坐标位置【甜，。但是，如果 空间点的图像坐标位置，那么即使己知投影矩阵，其空间坐标也不能唯一确 定，它对应的是空间的一条直线。 在实际应用中，由于摄像机光学系统存在加工误差和装配误差，系统并不是 精确地按理想化的小孔成像原理工作，物点m 在摄像机上实际成像与理想成像之 间存在光学畸变误差，理想成像点为m l 屯，儿j ，而实际投影点应为m e 【白，y a j 点。 带有透视畸变的成像模型如图2 5 所示： x 2 2 4 双目视觉模型 图2 5 带透镜畸变的摄像机模型 通过小孔成像模型的分析可知，必须通过使用两个或者多个摄像机的像点坐 标才能唯一地确定世界三维坐标。双目立体成像是通过两个相隔一定距离的摄像 机来实现对三维场景成像的。摄像机拍摄景物时，两部摄像机的光轴汇聚于感兴 趣的物体点上，称此交点为汇聚点。汇聚点到摄像机光心连线( 基线) 中心的距离为 汇聚距离。汇聚距离为有限时的立体视觉系统称为汇聚式立体视觉模型；汇聚距 离为无限远时的双目立体视觉系统称为平行式立体视觉模型。 l 、汇聚式双目立体视觉 l o基于图像的天线展开过程测量与分析 图2 6 汇聚式双目立体视觉模型 对任意放置的两个摄像机建立立体成像系统，计算目标点m 的三维坐标，可 以通过投影变换矩阵，利用最小二乘法求解。 2 、平行式双目立体视觉 y t 图2 7 平行式双目立体视觉模型 最简单的立体成像系统模型就是平行立体视觉模型，如图2 7 所示。左右摄像 机的光心分别作为左右摄像机坐标系的原点，坼。两个光心之间的连线称为基 线，光心之间的距离用b 表示。以光心的连线方向作为x 轴方向。两个摄像机的光 轴互相平行，并与基线垂直，作为各自的z 轴，y 轴垂直于x z 平面。利用空间点 m ( x ，l z ) 在两个摄像机q 和摄像机q 像平面上的透视成像点的坐标( 而，m ) 和m ，( x r ，”) 来求解三维坐标。其中厂为摄像机q 和d ，的有效焦距；摄像机q 的 空间坐标系为q x , r , z l ，像平面坐标系为q - x , y , ；摄像机d ，的空间坐标系为 o r z z ，像平面坐标系为q 一屯耽。 第二章双目视觉立体测量 由摄像机模型，可以得到q 一五巧互坐标系与d ，一z r 乙坐标系之间的相互 位置关系： f 墨 i i = o 【- z ，j x 1 z z l l | - ，ir e 毛t i1 2 i _ r 5 oi 【- _ r sr 9 乞j x t i s , z t l ( 2 - 7 ) 其中，昂- - r i r 为左像平面成像点对应到右像平面坐标点的转换矩阵： 足= 亿8 ， t = i t x 飞 ( 2 9 ) 式中r 为0 i 一五影z f 坐标系与d ，一墨r z ，坐标系之间的旋转矩阵。在此，q 和d ， 同在x 轴上，所以r 为单位矩阵，丁为平移矩阵。 2 2 5 基础矩阵 基础矩阵是对极几何的代数表示。在立体视觉系统中，需要用两个摄像机， 因此需要获得双摄像机之间的相对位置关系。而计算双摄像机相对位置，在假设 单摄像机已经完成标定的基础上，由两个单摄像机的内、外参数来求摄像机之间 的位置关系。约定左右像平面上像点的齐次坐标分别用坼，表示，空间某点m 的 齐次坐标用m 表示。左、右摄像机的投影方程可以写为： 乃02 名誓2 ( 曼，p j ) 芝 ( 2 - 1 0 ) 乙以= p 露= ( p 。b ) 府 、。 如果将詹记作詹= ( m r1 1 2 ，则式( 2 1 0 ) 可以展开为： 乃而，= c l m + 研 ( 2 - 1 1 ) z c r l n ，= p r l m + p r 消去m 得： z c ，疬，一z d e l e i l ，； ，= p ，一只。弓i 1 扔( 2 - 1 2 ) 式( 2 1 2 ) q b 两边是三维向量，包含三个等式，用这三个等式消去乃、之 后，可以得到一个与乃、无关的碗与疡，之间的关系。 1 2 基于图像的天线展开过程测量与分析 为了消去乃、，引入反对称矩阵 t 】x ，定义： 如果f 为三维向量，f = ( 乞。乞) 7 ，称下列矩阵为由f 定义的反对称矩阵，记 作： o 一乞 f ) ， i 乞 。 一t i ( 2 - 1 3 ) 一00j 反对称矩阵有如f 的性质： ， 1 、任意三维向量r 和t 的向量积为：t x r 2 p k ，。 2 、任意满足p l x ，= o 关系的向量，和f ，它们只差一个常数因子，e pr = d 。 由上述的反对称矩阵的定义和性质，我们可以将式( 2 1 1 ) q b 未知数乃、消 去，并将式( 2 1 2 ) 的右边用向量表示为： p = p ，一e l 另i 1 a ( 2 - 1 4 ) 将p 的反对称矩阵记作 p 】z ，【p 】x 左乘以式( 2 1 0 ) 的两边，则由【p 】xp = o 可 得： p 】x ( z 。，而，一乙，只。只i 1 旃，) = 0 ( 2 - 1 5 ) 将式两边除以乙并记乙，得到： z = 丛 【p l 乙e 。i 1 而，= 【p l 扁， ( 2 - 1 6 ) 将商的反对称矩阵彬乘以式( 2 1 5 ) 的左右，可得下面的重要关系： 群【p le 。# i 1 画= o ( 2 - 1 7 ) 式( 2 1 7 ) 给出了左右像点与所必须满足的关系。在给定啊的情况下，式 ( 2 1 7 ) 是关于的线性方程，即右图像上的极线方程。反过来在给定坼的情况下， 式( 2 1 7 ) 就是左图像上的极线方程。并且由式( 2 1 7 ) 可知，只要分别知道左右摄像 机的投影矩阵，则双摄像机的相对位置和极线方程均可由两个投影矩阵求出。 令， f - - p l zp 。所1 ( 2 - 1 8 ) 由式( 2 9 ) 知，两摄像机之间相对位置关系可以由两个摄像机的投影矩阵求得， 同时式( 2 1 7 ) 可以写成 第二章双目视觉立体测量 旃：f 历，= 0 其中f 矩阵在立体视觉中是十分重要的矩阵， m a t r i x ) 。 ( 2 - 1 9 ) 被称为基础矩阵( f u n d a m e n t a l 基础矩阵具有如下性质： l 、基础矩阵，是秩为2 的3 x 3 矩阵，其自由度为7 。 2 、基础矩阵f 在相差一个非零常数因子的情况下是唯一的。 3 、基础矩阵f 可以根据摄像机的投影矩阵求出，也可以由图像的对应点求出。 2 2 6 极线几何 两视图几何称为对极几何( e p i p o l a rg e o m e t r y ) 。实际上，它是图像平面与以基 线b ( b a s e l i n e ，连接两相机光心的直线) 为轴的平面束的交线构成的几何关系。假 设、朋，分别为空间点m 在左、右两幅视图上的像点。像点啊和坼、空间点m 和相机光心是共面的，该平面万称为对极平面( e p i p o l a r p l a n e ) 。同时，一幅图中所 有的对极线都会相交于一点，该点是基线曰与像平面的交点，称为该像点的对极 点( e p i p o l e ) ，如图2 8 中q 和e r 。 左图像右图像 图2 8 图像间的对极几何约束 根据对极几何的描述，在实际匹配过程中，只知道空间点肘对应在左视图上 的像点为，则它对应在右视图上的像点鸭就不必到整幅图像上去搜索。基线b 与由聊r 反向投影的射线确定了对极平面7 r ，由于册r 一定在位于对极平面上，因而 它一定位于交线，上，理论上只需在该直线上搜索r 即可。由于误差的影响，实际 匹配时一般需选择直线，附近的区域进行一维相关匹配。这里，称为像点码对应 在右视图中的对极线( e p i p o l a rl i n e ) 。同理，称为像点对应在左视图中的对极 线，1 ，l r 称为共轭极线。两个像点满足关系式： 1 4 基于图像的天线展开过程测量与分析 旃：f 历，= 0 ( 2 - 2 0 ) 由基础矩阵f 的定义，从式( 2 1 7 ) 可得在给定图像上的点坼，在对应图像 中的极线厶可以表示为： = 群f( 2 - 2 1 ) 同理，给定图像厶上的点，在对应图像中的极线可以表示为： ，= f 历，( 2 2 2 ) 同时极点与f 的关系可以表示成： f e t = 0 ，f 1e r = 0 ( 2 - 2 3 ) 对极几何约束是立体匹配中最基本的约束，利用这种几何关系来约束匹配， 使得对应点的搜索范围由二维平面降低到对应一维极线，大大地限制了搜索对应 点的范围，使得匹配的鲁棒性、精度都得到很大提高。 2 2 7 双目视觉中的误差分析 为了分析双目立体视觉中测量值误差，建立如图2 9 的平行双目视觉的误差 分析模型。q 和d ，为左右摄像机的光心，b 为基线，厂为有效焦距，和分别 为左右摄像机的像平面，m j ( x ，m ) 和坼( ，”) 为空间点m ( k ，匕，乙) 在左右像平 面的像点。以q 为坐标原点0 ，以两光心的连线为x 轴，过原点沿q 的光轴方 向建立z 轴。 则， 设视差d = i 西- x , i ，则 图2 9 平行双目视觉的误差分析模型 乙= b f ( x , - x t ) ( 2 2 4 ) 第二章双目视觉立体测量 当d 产生一个扰动d 时， 蚁w = 羔x 。 匕= 嵩匕 皈= 嵩乙 ( 2 - 2 5 ) ( 2 - 2 6 ) 从式( 2 2 6 ) 可以看出，当视差d 比较小时，很小的扰动m 都有可能使测 量产生较大的误差，而且一般情况下，l 和匕都比乙要小，使得深度测量 的误差要更为敏感。 2 3 1 特征识别与提取 2 3图像处理技术 一、特征分类 为了从序列图像中提取感兴趣的信息来测量与恢复物体的空间三维位置，分 析其运动过程，首先要解决特征的描述与识别的问题。特征描述的方法有很多， 包含物体的颜色、纹理、形状、空间关系和时间关系等等。 ( 1 ) 颜色特征 颜色特征是一种全局特征，描述了图像或图像区域所对应的物体的表面性质。 颜色可分为无彩色和有彩色两大类。无彩色指黑色、白色及各种深浅程度不同的 灰色，此类图像又称为灰度图像。最常用的颜色( 灰度) 特征提取方法是颜色直 方图。 ( 2 ) 纹理特征 纹理特征也是一种全局特征，描述了图像或图像区域所对应物体的表面性质。 由于纹理只是一种物体表面的特性，并不能完全反映出物体的本质属性，所以仅 仅利用纹理特征是无法获得高层次图像内容的。作为一种统计特征，纹理特征常 具有旋转不变性，并且对于噪声有较强的抵抗能力。 ( 3 ) 形状特征 基于形状特征的检索方法可以比较有效地利用图像中感兴趣的目标来进行检 索，但它们也有一些共同的问题：a 、缺乏比较完善的数学模型；b 、如果目标有 口口d 埘m m 如鼽矽 = = = l 匕乙 ，l-i，、-ii【 1 6 基于图像的天线展开过程测量与分析 变形时识别结果往往不太可靠；c 、许多形状特征仅描述了目标局部的性质，要全 面描述目标常对计算时间和存储量有较高的要求；d 、许多形状特征所反映的目标 形状信息与人的直观感觉不完全一致。 ( 4 ) 空间关系 空间关系是指图像中分割出来的多个目标之间的相对方向关系或相互的空间 位置，可以分为两类：绝对空间位置和相对空间位置。前一种关系强调的是目标 之间的距离大小以及方位，后一种关系强调的是目标之间的相对情况，如上下左 右关系等。显而易见，由绝对空间位置可推出相对空间位置，但表达相对空间位 置信息常比较简单。 ( 5 ) 时间关系 当背景不变或者相机固定时，序列图像中帧间的差异主要是对象的运动引起 的。因此在时间序列上，常用的两种特征提取方法是图像相减和光流场方法。 图像相减是指将后帧与前帧图像的像素亮度值或者梯度相减。光流场常用来 描述帧间特征运动。虽然时间关系假设场景中仅存在运动物体，但由于时间数据 比空间数据更容易提取特征且其目的就是捕获运动，因此采用上述方法比较普遍。 二、特征点识别与提取 特征点识别、提取与匹配是计算机视觉中关键的问题，在三维测量中有很重 要的研究和应用价值。特征点是序列图像局部特征中广泛应用的一个重要特征， 与序列图像的其他特征相比，特征点具有运动不变性。因此，特征点的跟踪在运 动图像的分析中被广泛采纳，这也是计算机视觉中的一个基本操作。 由于特征点具有移动不变性，因此，在对序列图像中的运动目标跟踪之前， 首先提取目标的特征点，然后在前后两帧图像中通过同名特征点匹配的方法来跟 踪目标的运动过程。目前，特征点提取的算法很多，其中典型的算子如m o r a v e c 、 h a r r i s 和s u s a n 算子等。 根据算子的检测率( 所检测出的正确的特征点与错误的特征点及未检测出的 特征点的比值) 、定位精度、稳定性、对噪声的鲁棒性和计算速度对上述三种算子 作比较如表2 1 所示： 表2 1 检测算法比较 检测算子检测率定位精度 稳定性 鲁棒性计算速度 m o l a v ( 比 较差好好一般好 对尺度变换较差， h a r r i s 好较好较好一般 对反射变换好 对模糊的图对尺度变换好，对 s u s a n好很好好 像比较差反射变换较差 第二章双目视觉立体测量 1 7 2 3 2 图像匹配 图像匹配1 1 6 - 1 9 目的是使来自不同时刻、不同相机或者不同视角的同一对象的 两幅或多幅图像在空间上一致。对来自多个相机的图像进行融合时，首先需要进 行图像之间的配准；在立体视觉中，为了得到图像的深度图，需要寻找场景中同 一点在两幅图像中的共扼对。图像匹配算法分类很多，根据图像的维数可以分为 2 d 2 d 、2 d 3 d 和3 d 3 d 匹配；根据图像特征提取的层次可以分为基于灰度的匹配、 基于低级特征的匹配和基于高级特征的匹配。下面介绍将匹配算法分为基于灰度 相关的匹配，基于特征的匹配，基于模型的匹配，以及基于极线几何约束的匹配。 ( 1 ) 基于灰度相关的匹配 基于灰度相关的匹配算法是一种待匹配图像的像元以一定大小窗口的灰度阵 列按某种或几种相似性度量顺次进行搜索匹配的方法。这类算法的性能主要取决 于相似性度量及搜索策略的选择。匹配窗口大小的选择也是该类方法必须考虑的 问题，大窗口对景物中存在遮挡或图像不光滑的情况会出现误匹配的问题，小窗 口不能覆盖足够的强度变化，会产生对细节漏匹配的问题。因此可自适应调整匹 配区域的大小来达到较好的匹配结果。基于灰度相关的匹配能够获得较高的定位 精度，但是计算量大，难以达到实时性要求，而且一旦进入信息贫乏的区域，会 导致误匹配率的上升。 ( 2 ) 基于特征的匹配 基于特征的匹配方法克服了基于灰度相关匹配方法的缺点，该类方法首先从 待匹配的图像中提取特征，用相关性度量和一些约束条件确定几何变换，最后将 该变换作用于待匹配图像。匹配中常用的特征有边缘、轮廓、直线、特征点、颜 色、纹理等。基于边缘特征匹配计算量大、比较费时，因此人们提出用信息含量 高、数据量相对少的局部特征特征点代替边缘来计算两幅图像之间的相关性。 特征点是图像灰度在x 和y 方向都有很大变化的一类局部特征点，它包含角点、拐 点以及t 交叉点等。基于特征的匹配在图像畸变、噪声、遮挡等具有一定的鲁棒性， 但其匹配性能在很大程度上取决于特征提取的质量，而且匹配精度不高。 ( 3 ) 基于模板的匹配 模板匹配分为刚体形状匹配和变形模板匹配两大类。在刚体形状匹配中，原 型模板通过平移、旋转和尺度化等简单变换达到和目标图像的匹配，但是它不能 处理目标形状存在较大变形时的问题。因此，人们提出使用变形模板匹配方法。 参数化的变形模板使用了几何形状的一些先验信息，模板用少量的参数来表示， 典型的例子包括g r e n a d a 模型、活动形状模型和b l a k e 的活动轮廓。 ( 4