（检测技术与自动化装置专业论文）三维面型摄影测量中基于场景无关信息的特征点匹配.pdf

摘要 摘要 数字摄影测量技术自产生以来，就因为具有非接触、测量范围大、成本低 以及快速精确等优点而被越来越多地应用于各种空间三维测量领域。从不同图 像中识别出同名关系是由二维坐标恢复三维信息的前提和基础，其中最基本的 是点的匹配问题，它决定了摄影测量发展的方向。能否实现高效、自动的点匹 配，决定了视觉测量技术能否融入现代工业生产中，而且决定了计算机是否可 以像人一样具有主动视觉的能力。 极线几何是最常用的匹配约束条件，可以将匹配的搜索范围缩小至一条直 线。然而，由于同一条极线上可能密集分布很多特征点，而且复杂的场景环境 以及拍摄方位又决定了遮挡和闭塞现象的必然存在性，点匹配依然存在歧义性。 结合我们的摄影测量系统，并且以解决极线匹配歧义性为目的，本文主要在结 合场景无关信息的最优化和图形变换两个方面提出了算法： 算法一使用动态规划的方式快速寻找能够最小化全局视差梯度和的匹配问 题最优解。视差梯度是表述简单但是具有丰富约束信息的场景无关特征。算法 利用动态规划的方式遍历了各条共轭极线对上所有可能的匹配形式，并寻找具 有极线内和极线之间视差梯度和最小的最优路径，为匹配问题寻找最优解。 算法二利用仿射模型描述匹配点之间的位置变换关系，并使用凡蝌s a c ( 随 机取样一致) 的方式求解精确的模型参数。在极线约束提供的可能同名关系中， 寻找满足一种具有旋转、缩放和平移不变量的仿射变换模型，借以描述同名点 之间的变换关系。算法利用r a n s a c 的方式进行了模型拟合，并且通过循环的 方式获得满足不同模型的同名关系子集，将它们组合得到最大匹配集合。 两种算法都被应用于大型可展开微波充气天线面型的摄影测量系统中，取 得了很好的目标点匹配效果，其中算法一具有更高的鲁棒性和实时性。 关键词：3 d 视觉测量；极线几何；图像校正；视差梯度；动态规划；仿射变换； 不变量：r a n s a c ( 随机取样一致) a b s t r a c t a b s t r a c t d i 百t a lp h o t o g r a m m e t r yh a sb e e nf i n d i n gi t su s em u c hw i d e ri nv a r i o u s3 d m e a s u r e m e n tf i e l d sf o ri t sn o n c o n t a c tc h a r a c t e r i s t i c ，l a r g em e a s u r i n gr a n g e , l o wc o s t l l i g he f f i c i e n c ya n da c c u r a c ys i n c ei t sa p p e a r a n c el a s t c e n t u r y d e t e c t i n gt h e c o r r e s p o n d e n c ep o i n t sa m o n gd i f f e r e n ti m a g e si sak e ys t e pb e f o r er e c o v e r i n g3 d i n f o r m a t i o nf r o m2 dc o o r d i n a t e sw h i c ha l s o d e c i d e s dt h e d e v e l o p m e n t o f p h o t o g r a m m e t r y c o r r e s p o n d e n c em e t h o dw i mh i g he f f i c i e n c ya n da u t o m a t i o ni st h e b a s i so fm a c h i n ev i s i o n s i n t e g r a t i o nw i t hm o d e r ni n d u s t r ya sw e l la sc o m p u t e r p e r c e i v i n gt h ew o r l dt h r o u g hv i s i o no ni t so w ni n a c t i v i t y t h ee p i p o l a rg e o m e t r yw h i c hr e d u c e st h es e a r c hf o rc o r r e s p o n d e n c ep o i n t si n t o as i n g l el i n ei st h em o s tw i d e l yu s e dc o n s t r a i n t c o r r e s p o n d e n c ea m b i g u i t i e sa r i s e e a s i l yf o rt h er e a s o no i m a n yp o i n t sl i eo nt h es a m ee p i p o l a rl i n e ；2 t h ee x i s t e n c e o fs h e l t e r i n ga n do c c l u s i o nf o rc o m p l i c a t e ds c e n ea n ds i g n i f i c a n t l yd i f f e r e n tv i e w p o i n t s b a s e do no u rp h o t o g r a m m e t r ys y s t e ma n dt h ep u r p o s eo fh a n d l i n gw i t ht h e a m b i g u i t i e sa l o n gc o n j u g a t e de p i p o l a rl i n e s ，t w od i f f e r e n ta l g o r i t h m s u t i l i z i n g o p t i m i z a t i o na g g r e g a t i n gn o n s c e n ei n f o r m a t i o na n di m a g et r a n s f o r m a t i o n r e s p e c t i v e l ya l ep r e s e n t e d t h ed i s p a r i t yg r a d i e n ti sak i n do ff e a t u r ei n f o r m a t i o nb e t w e e nt w oc l o s e c o r r e s p o n d e n c e sw h i c hi ss i m p l ei nf o r m a tb u tr i c hi nv a r i o u sc o n s t r a i n t s o u rf i r s t a l g o r i t h mt r a v e r s e sa l lt h ep o s s i b l em a t c h i n gf a s h i o n sa l o n ge a c hc o n j u g a t e de p i p o l a r l i n eb yd y n a m i cp r o g r a m m i n gt os e a r c hf o ra no p t i m a l p a t hm l 。m m l 。z l 。n g t h e s u m m a t i o no fa l li n t r a - a n di n t e r - s c a nl i n ed i s p a r i t yg r a d i e n t s a ne f f e c t i v ea n d r e a l t i m eo p t i m a ls o l u t i o nt ot h em a t c h i n gp r o b l e mi so b t a i n e dw h i c hi sa l s ov a l i d a t e d b yo u rs a t i s f a c t o r ye x p e r i m e n tr e s u l t s o u rs e c o n da l g o r i t h mc o m p u t e sa f f i n et r a n s f o r m a t i o nm o d e l si n v a r i a b l et o r o t a t i o n ，s c a l ea n dt r a n s l a t i o nu s i n gt h ep o s s i b l ec o r r e s p o n d e n c e sd e t e c t e db ye p i p o l a r g e o m e t r yt od e p i c tt h et r a n s f o r m a t i o nb e t w e e nap o i n ta n di t sc o r r e s p o n d e n c e t h e r a n s a cm e t h o di si n t r o d u c e dt of i tr o b u s tm o d e l sa n d m a n yd i f f e r e n t i i a b s t r a c t c o r r e s p o n d e n c es u b s e t sa r ee x t r a c t e db yi t e r a t i o n a l lt h es u b s e t sf o r mt h em o s t c o r r e s p o n d e n c es e t b o t ha l g o r i t h m sa l ea p p l i e dt oo u r3 dm e a s u r i n gs y s t e ma n d s a t i s f a c t o r ye x p e r i m e n tr e s u l t sa l eo b t a i n e d k e yw o r d s ：3 dp h o t o g r a m m e t r y , e p i p o l a rg e o m m e t r y , i m a g er e c t i f i c a t i o n , d i s p a r i t yg r a d i e n t , d y n a m i cp r o g r a m m i n g , a f f i n et r a n s f o r m a t i o n ，i n v a r i a n t , r a n s a c ( r a n d o ms a m p l ec o n s e n s u s ) i i i 学位论文版权使用授权书 本人完全了解北京机械工业学院关于收集、保存、使用学位论文的规定，同 意如下各项内容：按照学校要求提交学位论文的印刷本和电子版本；学校有权保 存学位论文的印刷本和电子版，并采用影印、缩印、扫描、数字化或其它手段保 存论文；学校有权提供目录检索以及提供本学位论文全文或者部分的阅览服务； 学校有权按有关规定向国家有关部门或者机构送交论文的复印件和电子版；在不 以赢利为目的的前提下，学校可以适当复制论文的部分或全部内容用于学术活 动。 学位论文作者签名：刹、目鸦 ：z o c 8 年月9 日 ( 注：非保密论文无需签字) 经指导教师同意，本学位论文属于保密，在年解密后适用 本授权书。 指导教师签名：学位论文作者签名： 年月 日年 月 日 硕士学位论文原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师指导下，进行 研究工作所取得的成果。除文中已经注明引用的内容外，本学位论文 的研究成果不包含任何他人创作的、已公开发表或者没有公开发表的 作品的内容。对本论文所涉及的研究工作做出贡献的其他个人和集 体，均已在文中以明确方式标明。本学位论文原创性声明的法律责任 由本人承担。 签名：孑j 、鹏 2 d d 孑年j 月罗 日 第1 章引言 1 1 选题背景以及意义 第1 章引言 产品质量监测总是贯穿于每一次科技革命和自动化技术的飞速进步当中。 现代测量中需要获得精密的物体三维坐标，目前，国内外相关的测量方法主要 有：电子经纬仪法和三坐标测量机法。电子经纬仪因为存在盲区和需要最优化 测量布局而限制了其广泛应用。三坐标测量机法精度高、效率高、通用性好， 但是无法实现探头对物体特征点的精确瞄准，会带来测量误差；而且由于体积 庞大、测量范围有限，无法应用于生产现场【l 】。对于日益增加的大体积物体面型 和结构测量来说，这两种方法的可实施性不高。 传统的工件尺寸和形状测量方法已经不能满足新的科技革命和更加快速的 自动化生产流水线的要求。研究非接触、大测量范围、安装操作简便并且可以 借助计算机进行高速的数据获取、存储以及后续处理工作的新型测量方式迫在 眉睫。 1 8 5 1 年一1 8 5 9 年，法国陆军上校劳塞达提出交会测量并测绘了万森城堡 图，开始了摄影测量的发展历史。1 5 0 多年来，经历了模拟摄影测量、解析摄影 测量和数字摄影测量阶段，经历了模拟测图仪、解析测图仪和各种精密的摄影 测量软件，摄影测量将人类的测量领域从地面移到空中，测量范围由小到大1 2 j 。 尤其是伴随着数字摄像机和高性能计算机的发展产生的数字摄影测量技术，以 其非接触、高速高效和令人满意的测量精度，正在被越来越广泛地应用于工业、 航空航天等领域。1 9 8 8 年，国际摄影测量和遥感学会( i s p r s ) 在第1 6 届大会 上给出了这样的定义：“摄影测量与遥感是一门利用非接触成像或其他传感器系 统获取地球及其周围环境和其他目标的可靠信息、并对这些信息进行记录、量 测、分析和表达的科学技术”。 近景摄影测量是通过从不同方位拍摄的物体图像获得物体空间信息的一种 视觉测量技术。它利用同一空问点在不同相片上的图像坐标信息，结合拍摄相 片时相机的内方位参数和两拍摄位置的相对方位参数，解算空间点的三维坐标 信息。如何识别不同图像上的同名点便成为继相机方位标定之后，三维立体重 第1 章引言 建之前，摄影测量最重要的一个环节，这就是通常所说的立体匹配问题。摄影 测量发展到数字摄影测量阶段，最重大的发展莫过于在以计算机代替人进行同 名点观测上【3 1 。能够实现同名点的自动识别必将极大量地解放人的劳动、提高匹 配成功率并充分发挥计算机高效精确的计算能力，是适应信息技术飞速发展的 必然趋势。匹配问题也是计算机视觉中最为困难、研究最为活跃的领域。 1 2 研究现状及发展趋势 1 2 1 立体匹配的理论研究 现代计算机视觉中的匹配问题主要是指寻找双目之中的同名点来生成视差 空间图( d i s p a r i t ys p a c ei m a g e ) ，所谓视差是指同名点的图像向量之差。在参考 文酬4 】中，d a n i e ls c h a r s t e i n 和r i c h a r ds z e l i s k i 对现有的双目稠密立体匹配算法 进行了分类，稠密的意义在于获取图像上每个像素点在另外一幅图像上的同名 像素，并以此建立近似连续的视差空间图。文章将一个完整的匹配算法分为下 面几个步骤： 1 ) 匹配代价的计算； 2 ) 匹配代价的聚合； 3 ) 视差的计算或者最优化； 4 ) 视差的求精。 不同的算法在上面列出的一个或者几个步骤中会有差异。我们这里涉及的立体 匹配问题仅仅以前三个步骤作为标准，对现有的算法进行分类和分析。 按照选择的匹配代价在计算和聚合方面的不同，匹配方法可以分为： ( 一) 灰度区域匹配 灰度区域匹配以来自不同图像的像素灰度值之差作为匹配代价，对待匹配 图像的像元以一定大小窗口的灰度阵列按某种或几种相似性度量聚合之后顺次 进行搜索匹配的方法。匹配窗口大小的选择是该类方法必须考虑的问题，传统 的方法有：基于经典相关系数函数的归一化积相关灰度匹配法；方形窗口灰度 差的和( s s d ) ；快速相关算法序贯相似性检测算法( s s d a ) 。 区域匹配算法的实质是利用了局部窗口之间灰度信息的相关程度，它在平 滑而纹理丰富的地方可以达到比较高的精度，并且能取得致密的视差场。此外， 2 第1 章引言 匹配的理论精度还可预先算出。但是，区域匹配选取一定大小窗口内的灰度分 布特性作为匹配基元，决定了方法具有以下缺陷【5 】： 1 ) 对成像畸变较敏感； 2 ) 匹配窗口大小难选择。窗口选择过大，在深度间断处会出现误匹配，选择过 小，区域内的灰度分布特性未得以充分展现； 3 ) 计算量大，速度慢。 相应的解决方法有：采用互补策略将不同类型的匹配算法结合使用，保证 算法的鲁棒性和视差空间图的致密性；采用大小自适应变化的窗口或者多窗口， 有效地处理视差突变区域和重复纹理区域；多分辨率由粗到精的匹配策略以及 与窗口大小无关的快速相关算法。 ( 二) 特征匹配 特征匹配是为了使匹配过程具有一定的抗噪能力和减少歧义性而提出的。 用于进行匹配的特征具有唯一性、再现性并具有物理意义，可以分为局部特征 和全局特征。局部特征包括点、边缘、线段、小面和局部能量等；全局特征包 括多边形和拓扑图像结构等。基于特征的匹配算法一般要包括特征提取和定位、 特征描述和特征匹配三个步骤【5 1 。局部特征匹配所采用的相似性测度主要有边缘 和线段的走向、长度、强度和曲率；全局特征匹配所采用的相似性测度包括局 部特征之间的结构关系、邻边的夹角以及线段之间的距离等。 特征匹配的主要缺陷在于： 1 ) 特征是存在于图像当中的少数具有特殊灰度变化的信息，特征的稀疏性决定 了最终只能获得稀疏的视差空间。通过插值的方式可以获得更多的匹配结 果，但是为了保证插值的准确性，计算过程是十分复杂的； 2 ) 特征的提取和定位过程直接影响匹配结果的正确性； 相应的解决方法有：采用互补策略将不同类型的匹配算法结合使用，在减 少插值带来的计算复杂度的基础上获得更致密的视差；利用新的对噪声不敏感 的特征提取算子进行特征的鲁棒性提取和亚像素定位。 ( 三) 相位匹配 根据傅立叶变换理论，信号在空间域上的平移产生频率域上成比例的相位 平移，相位匹配是基于图像中对应点的局部相位相等的假设。相位匹配的基元 相位本身反映信号的结构信息，对于高频的噪声具有很好的抑制作用，而 且可以产生致密的视差场。但是因为具有相位卷绕的问题，相位匹配的复杂性 3 第1 章引言 会提高，精确性会相应降低。 改进的措施包括：利用邻域视差信息解决卷绕问题；通过加入自适应的滤 波器尺度选择解决相位卷绕。 按照视差的计算或者最优化即匹配策略的不同，匹配算法可以分为： 1 1 全局最优搜索匹配 为算法加入全局性约束条件，引入全局最优匹配策略，可以避免局部极值 的困扰。这些约束条件一般以能量方程最小化的形式出现，具体方法有动态规 划法、松弛法、图切法和基于遗传算法、神经网络的匹配方法。 2 ) 分层匹配策略 分层匹配策略是由全局到局部的多分辨率匹配方式，一方面在低分辨率下 对图像进行粗略处理，得到匹配的全局性结构信息；另一方面在高分辨率下对 图像数据进行分析，精确获得物体表面的详细信息。这样得到的视差空间就具 有某些全局最优性。 3 ) 视差不连续区域的检测 利用计算机视觉的各种约束条件将匹配结果限制在平滑的空间里。 1 2 2 实际应用中的立体匹配技术 由于相应的理论研究起步较晚、软硬件设施发展较慢以及测量需求的差异， 近景摄影测量技术在国内依然处于萌芽和发展的阶段，对于这方面的需求也主 要是依靠引进国外的先进摄影测量系统来满足。为了保证系统的准确性和快速 性，主要利用精确求解的极线几何进行同名目标点的搜索。 i w i t n e s s 是一款由p h o t o m e t i r x 研发的用于交通事故现场重建( t r a f f i c a c c i d e n tr e c o n s t r u c t i o n ) 的大场景摄影测量软件。通过在若干图像对上手工标示 出一些同名参照点，软件求解出这些图像对拍摄时的相对方位参数，然后利用 图像上的一条极线或者多条相交极线搜索同名目标点。最终利用光束调整 ( b u n d l e a d j u s t m e n t ) 求解对应空间点的精确三维坐标【6 】。 v s t a r s 是g e o d e t i c 为了满足高精度测量需求研发的摄影测量系统，包括 软件和编码点、靶标、相机等硬件设备。因为具有可以识别的目标点和标定工 具，极线几何可以由软件自动精确求得。由于软件实现了大量相片的目标点求 取、同名点匹配、光束调整和三维坐标解算的自动化，操作人员可以在不具备 任何摄影测量知识的背景下使用它【_ 7 1 。 4 第1 章引言 1 2 3 技术难点和发展趋势 虽然实现了物体测量的自动化和高精度，但这依然仅仅是依赖于高分辨率 c c d 的线下( o f f - l i n e ) 被动视觉系统。同样，上面谈到的匹配方法理论研究也 存在类似的问题，如果要提高匹配成功率，算法的复杂性就会相应增大，实时 性不好。而且，按照传统的视觉理论，如果要实现三维信息的精确求解，双目 之间的基线必须要增大，但是对于这种大基线、大交会角的视觉几何系统，伴 随着遮挡、物体形状在不同图像上的扭曲现象的出现，匹配算法的强壮性就很 难保证。 未来的计算机视觉应具有主动特征识别、自学习、高速高效的视觉融合以 及精确定位的能力，使计算机具有人眼的智能。而目前各种算法需要解决匹配 准确度和实时性之间的矛盾、精确测量的大基线要求与匹配算法受基线长度限 制之间的矛盾。因此，计算机视觉必须要跳出传统摄影测量的束缚，必须根据 计算机的特点考虑数字摄影测量的发展【3 】。 【3 】中还提出了新的匹配算法展望： 1 ) 广义点的理论和应用。在数学意义上，将所有的曲线归纳为广义点，将点、 直线、圆、圆弧、任意曲线归纳为一个数学模型：共线方程，进行统一平差； 2 ) 为了解决上面提出的第二个矛盾，提出了“多目立体视觉 ，在相邻的图像 间利用小交会角进行特征点的精确匹配，然后利用多基线视觉在数据量上的 优势进行三维坐标的精确解算。 1 3 来源及主要研究内容 本课题来自于： “国家自然科学基金项目” “北京市自然科学基金项目 “北京市教委科技计划重点项目 为了解决上面提出的两个矛盾，作者认为匹配工作应该主要集中在图像变 换和最优化两个方面。完成了下面的新的匹配算法的设计工作，用m a t l a b 编写 了算法程序，并应用于实际的摄影测量数据以检验算法可行性和正确性： 1 ) 模拟人的双目视觉成像模型的图像校正算法； 第l 章引言 2 ) 利用聚合视差梯度的动态规划方法给出点匹配问题的一种最优解； 3 ) 介绍一种旋转、缩放和平移不变的仿射变换模型，并以改进的方法利用此模 型解决匹配问题。 论文全文按照下面的结构安排： 第一章引言概略介绍了摄影测量的产生、发展和优越性；匹配算法对于摄 影测量以及其自动化的意义；匹配算法理论研究的现状以及在两种国外摄影测 量系统当中的应用；现阶段匹配算法的技术难点以及发展趋势。 第二章介绍了我们的摄影测量系统和相机针孔模型，用于极线几何的介绍。 第三章介绍了极线几何的物理描述和数学上的约束表达关系；详细介绍了 一种简单的图像校正方法，以及这种特殊极线约束在处理匹配问题时体现出来 的优越性；并且实例介绍了使用校正后的图像进行匹配的工作，指出其缺陷。 第四章首先介绍了视差梯度的概念和动态规划这种最优化方式；其次详细 介绍了如何利用动态规划划分匹配问题、寻找问题的各个状态、并且求取能够 最小化扫描线内和扫描线之间的视差梯度和的匹配全局最优解；最后用实际摄 影测量数据点进行算法检验、分析和评价。 第五章首先介绍了仿射变换的模型和鲁棒的参数估计方法一r a n s a c ； 详细介绍了如何利用r a n s a c 方法估计一种特殊的旋转、缩放和平移不变的仿 射变换模型参数，并利用循环的方式求解对应不同模型的匹配子集，最终解决 匹配问题；以实验数据说明算法的可行性。 第六章对全文进行了总结，并在对比、分析文章提出的各种算法的基础上 说明了需要解决的问题以及今后的工作目标。 6 第2 章摄影测量系统模型与标定 第2 章摄影测量系统模型与标定 图2 1 摄影测量系统的硬件配置 7 第2 章摄影测量系统模型与标定 2 1 视觉测量系统 极线几何贯穿于文中的每种算法，是一种表述简单的约束条件，但是可以 将同名点搜索范围减小到一维，能极大地减少计算复杂度。论文主要在极线几 何的基础上提出新的算法，以期进一步减少匹配问题的不确定性，提高匹配成 功率。因此，为下一步极线几何以及图像校正作铺垫，论文有必要对相机的成 像模型以及内、外方位参数的意义作一定描述。 2 1 1 硬件配置 我们的摄影测量系统如图2 1 所示。在被测曲面上按需求粘贴若干高反射的 圆形目标点，他们在图像中所显示的白色圆形或者椭圆形质心的坐标值将用作 求解其三维信息。最终，所有这些目标点质心的三维坐标值被用作拟合该被测 面型的数学模型，监测其各项参数的变化。 视场中的丁字形靶标上粘贴有9 个高反射目标编码点，他们的点中心由三 坐标测量机精确定位，作为已知的空间点对相机方位进行标定。图中所示靶标 的两个平行矩形面之间具有空间的距离深度，目的是令求解的方位参数更精确。 测量中采用的相机是具有3 0 0 8x 2 0 0 0 像素高分辨率的c o r p o r a t i o nn i k o n d 1 0 0 。在实际的测量中，相机在不同的角度对被测面进行拍照，图2 1 中只给出 了其中的4 个站位。 拍到的若干照片被存储入计算机，进行软件测量工作。 2 1 2 软件组成 在亮暗对比鲜明的相片上，高反射目标点的边缘是容易求得的，利用这些 圆形或者椭圆形的边缘片断拟合出规则的椭圆，其质心被求解用作点匹配及三 维解算。靶标上的编码点可以被软件精确识别并以同样的方式求解点中心。 采用相机的针孔模型，利用靶标上编码点中心的空间坐标和图像坐标，通 过直接线形变换( d l t ) 求解各相片拍摄时的相机内外方位参数。这些参数一方 面被用来求解图像对之间的极线几何关系，具体求解方法在下一章介绍，为点 匹配提供初始匹配点集；另一方面对匹配出来的所有图像同名点进行束调整， 求解相应空间点的最佳三维坐标。系统的软件组成如图2 2 所示。 第2 章摄影测量系统模型与标定 2 2 相机成像模型 图2 2 摄影测量系统的软件组成 三维计算机视觉能从相机获取的图像信息出发，计算三维环境物体的形状、 位置等几何信息，并由此识别环境中的物体。空间中点的位置和对应的图像点 坐标之间存在关系，这种关系由相机的光学成像模型决定，这些模型包括一系 列内外方位参数，可以通过实验和计算得到，得到这些参数的过程就是相机标 定。相机模型是光学成像几何关系的简化，最简单的是针孔模型【9 】。通过图像坐 标系、相机坐标系和世界坐标系之间的转换可以得到这种线性的成像模型。 2 2 1 两个图像坐标系之间的转换 z f 五 一 0 ： x ( ，) 1 ， 1r1，y 图2 3 两个图像坐标系 9 第2 章摄影测量系统模型与标定 相机通过位于暗箱后部的矩形电荷耦合器件( c c d ) 承接光信息。电荷耦 合器件上均匀密布小的感光元件，这些感光元件将接收到的光强转化成为电信 号储存，称为一个像素。图像在计算机中以m n 大小的数组形式存储，每个像 素的值为图像点的亮度，m 和分别为c c d 中像素的行数和列数。因此，如 图2 3 定义坐标系，坐标原点q 位于图像左上角，图像上的每个点具有以像素 为单位的图像坐标( “，v ) ，表示该点在数组中的行数和列数。 另外，为了进行在物理单位上的坐标系变换，必须在像平面上建立物理单 位( 通常是m m ) 坐标系d l 砂，d 为相机透镜主光轴与像平面的交点，x 轴与“ 轴平行，y 轴与1 ，轴平行。q 叫做像平面主点，通常位于c c d 中心，但是由于 相机制作原因，可能稍有偏离。 如果q 在q 洲中坐标值为( ，v o ) ，每个像素在x 轴和y 轴方向的物理长度 为d 。m m 和d 。m 小，则同一个像点的以像素为单位的图像坐标( “，1 ，) 和以毫米为单 位的图像坐标( x ，y ) 之间的转换关系为： r ， “= + 1 ，= + v o ( 2 1 ) 口x a y 利用齐次坐标的矩阵形式，上式可写成： = 1 五o 1 o 万 001 ( 2 2 ) 相应的逆变换就是由像素图像坐标到毫米图像坐标的转换。 2 2 2 相机坐标系和世界坐标系之间的转换 在三维空间中定义坐标系来描述空间点以及相机的位置，称作世界坐标系。 摄影测量的研究目的就是寻找世界坐标系和图像坐标系之间的关系。在我们的 摄影测量系统中，通过靶标上的已精确标定的编码点来描述此世界坐标系，在 图2 4 中用d w 瓦匕z w 表示。 作为从世界坐标系到图像坐标系的过渡，有必要以相机透镜光心d 为原点 定义另外一个坐标系，它的乃轴就是透镜光轴，穿过光心，与像平面的交点就 是2 1 1 中介绍的图像坐标系的原点0 。，0 0 之间的距离是主距，用厂表示；其 l o 第2 章摄影测量系统模型与标定 五轴和轴分别与图像坐标系的x 轴和y 轴平行，如图2 4 所示。这里为了图示 简便，将像平面画在了光心之前。 图2 4 针孔成像模型其中，d w x 。y w z 。为世界坐标系，o x c r 。z c 为相机坐标系 相机坐标系同世界坐标系之间的关系可以用旋转矩阵尺和平移矩阵t 来描 述，空间中的同一点在世界坐标系中的齐次坐标为( k ，匕，z w ，1 ) ，在相机坐标系 中的齐次坐标为( 五，e ，z c ，1 ) ，则它们之间的转换关系为： x c 艺 z c l = 纠 x 。 匕 z w l = m e x 。 匕 乙 l ( 2 3 ) 其中，尺为3 3 正交单位矩阵；t 为三维平移向量；0 r = 0 0 0 1 ；m ，为4 4 矩阵，称为外方位矩阵，e 代表e x t r i n s i c ，表示外方位。 2 2 3 针孔成像以及图像坐标和世界坐标之间的转换 根据几何光学知识，如图2 4 所示，在相机坐标系下，空间一点尸( 以，k ，乏) 在像平面上所成像点p 由光线p o 与像平面的交点确定，被称为中心投影或者透 视投影。由三角形相似关系容易得知像点p 在图像坐标系下的坐标( x ，y ) 为： 第2 章摄影测量系统模型与标定 ，f x 一 乙 形 y2 = 尹 z c 料o x c k z c l ( 2 4 ) ( 2 5 ) 联立式2 2 、2 3 和2 5 ，可以得到点p 在世界坐标系下的坐标( l ，匕，z w ) 与 其像点p 在图像坐标系下的坐标( “，1 ，) 之间的投影关系为： 料 1 磊o i o 万 oo1雕 = iquoo。jiflo皿,0 0000 ： 2 l q1 l d | i 一 ：i i 1 j x w 圪 z w l x 。 l z w l ：l q o 叫【欠 5 og 。y 1 0 欠 t 】 x 。 l z w l = a i rt i x = m , m , x ，= 删， ( 2 6 ) 其中，q = f d x ，口，= f d y ；m 是3 x 4 的矩阵，称为投影矩阵；鸠由q 、 g ，、g 。和v o 确定，a x 、g ，、u o 和v o 仅与相机内部结构参数有关，称这些参数为 相机内部参数，f 表示内部( i n t r i n s i c ) ；尬由相机相对于世界坐标系的方位确 定，称为相机外部方位参数。确定内、外方位参数的过程就是相机标定。 由式2 6 ，如果知道了一个成像系统的内外方位参数，即知道了成像模型， 那么根据空间点在世界坐标系下的三维坐标x ，= ( l ，匕，z w ) ，可以求出其在图 像上的二维坐标似力。反之，如果知道了空间一点的像点图像坐标，却不能求 解对应的空间三维坐标。知道一个坐标以y ) ，通过2 6 式可以得到三个方程式， 将第一、二式除以第三式，得到两个含有3 未知数x ，匕，乙的方程，不可能得 到唯一解。在物理上表示的是像点与光心连线代表的光线。如果需要得到空间 点三维坐标，需要利用同一空间点在另一个成像系统中的像点所指示的光线与 1 2 1，j ，1置旷 。l r_，j 0 0 0 o 0 1 第2 章摄影测量系统一模型与标定 刚才的光线相交，得到含有未知数l ，】j = i ，z w 的四个方程，方可得到唯一解。这 也就是为什么单目没有距离感，双目可以定位深度信息的原因。 2 3 相机针孔模型的标定 甘似= 鞋篡 x w 匕 z w 1 ( 2 7 ) 那么相机标定的首要工作是求解投影矩阵m 中的各参数i l ，3 】，j 1 ，4 】。 在相机视场中摆放标定参照物靶标，利用上面已经精确定位的若干目 标点以及它们在图像中的像点坐标，代入2 7 中，通过求解若干线形方程组成的 方程组，可以得到各参数。这就是直接线性变换( d l t ) 的相机标定方法。 令( l ，k ，乙，1 ) 为第f 个靶标点的空间齐次坐标，对应的像点图像坐标为 ( ，v ，1 ) ，代入2 7 中并消掉未知的z c ，得到下面两个方程： l 铂l + 匕m 2 + z 0 ，1 1 3 + ，1 1 4 一l m 3 l u , y , m 3 2 一z 州m 3 3 = 嘶4 瓦i + 圪朋2 2 + z w f + m 2 4 一m 瓦l v l y w i m 3 2 一v t z 。, t m 3 3 = u 鸭4 ( 2 8 ) 如果靶标上有r 个已知点，则总共可以得到2 ，z 个关于投影矩阵m 中元素的线性方 程，以矩阵的形式写出这些方程： lo 0 lo 0 x 峨 1o 0 x 。 oo 匕。z w ， oo z 础 o0 z 二 0 飞k l 叫l l 1 一h j ，w i 叫匕l 0 心飞 1 一v k k 一攻 0 叫。五。一匕 1 一哆冀易一乞 叫i z w l l j 乙 飞瓦 一杉z 。 i 2 铂3 ，1 1 4 ，伤l i ，他4 鸭l r n 3 z ，3 嘶 巧 o 乙。 乙o o o o o k o k o 第2 章摄影测量系统模型与标定 由2 7 式，m 乘以任意不为零的常数，并不影响由2 7 得到的两个线性方程， 因此也不影响相机的成像关系。可以将鸭。指定为1 ，以利于求解，从而得到关 于m 中其他1 1 个元素( 记为m ) 的2 ”个线形方程，于是2 9 式可以简化为： 砌= u ( 2 1 0 ) 其中，置为式2 9 左边2 n x l l 的矩阵，由各空间点三维坐标和它们的像点平 面坐标确定；厂为式右边由像点平面坐标确定的2 ，l 维列向量；当2 n 1 1 时可以 同过最小二乘法拟合上面方程中投影矩阵的各个参数为： 脚= ( k r 五) 一1 置7 u( 2 1 1 ) 朋与鸭。构成了透视投影矩阵m 。我们使用的靶标上有9 个编码点，并且具有 空间乙方向上的深度差别，目的是减小最小二乘拟合时的误差。 得到了投影矩阵m ，就可以利用2 6 式反算相机拍摄时的内外方位参数， 也可以直接通过鲫分解得到a 、r 和t 1 0 】。关于最小二乘法进行参数拟合的内 容在后面的章节介绍。 2 4 本章小结 本章首先介绍了我们使用的摄影测量系统的硬件和软件组成；然后，为了 给后面的极线约束和图像校正作铺垫，对相机的成像模型以及内外方位参数进 行了比较详细的推理和说明；进而由投影方程指出了双目视觉在三维信息获取 方面的必要性；最后介绍了如何通过空间已知点拟合透视投影矩阵并解算相机 内外方位参数。 1 4 第3 章极线几何和图像校正 第3 章极线几何和图像校正 在2 2 3 中介绍了利用影像取得空间深度信息的条件：至少有两个对应空间 同一点的像点坐标被求出，即在至少两幅图像上得到对应同一物空间点的像点。 这就是匹配问题，如引言中提到的，匹配问题是相机标定之后、三维信息重建 之前，摄影测量中最重要的问题。 这一章利用前面求出的透视投影矩阵给出立体视觉匹配最重要的一个约束 条件极线约束。然后介绍了一种特殊形式的极线约束，以及利用标定的内 外参数对它进行求解的一种简单方法一图像校正。 3 1 极线几何 3 1 1 物理意义 p入 ， | l 、 、 图3 1 双目立体视觉和极线约束 在如图3 1 所示的双目立体视觉系统中，两个相机成像坐标系分别为 d c 。鼍。e 。乙。和q ：置：艺：z c ：。空间点p 通过光线q 。p 成像于左像面上一点p 。， 第3 章极线几何和图像校正 通过光线d c ：户成像于右像面上一点p 2 ，则a 和段是一对同名点。平面p d c 。d c ：交 左右两个像平面分别于直线和乞。由于p 的同名点岛既位于右像平面上，同 时又位于平面尸d c 。d c ：上，因此仍必位于鹏。o c ：于右像平面的交线如上；同理， 岛的同名点a 必位于交线上。乞叫做右图上应于p i 点的极线；叫做左图上对 应于岛点的极线。这样，对同名点的搜索便由整张图片缩小到一维直线上。伴 随着空间点p 位置的变化，像点和对应的极线在图像上的位置和角度也发生变 化，但是，由于所有的鹏。d c ：平面都相交于直线d c 。d c ：，而d c 。0 c ：交两个像平面 于固定两点e l 和岛，故左像平面上所有的极线相交于岛，右像平面上所有极线相 交于乞。e l 是右相机光心q 。在左像面的像点，叫做左极点；吃是左相机光心q ： 在右像面的像点，叫做右极点。 下面给出通过已标定的两相机投影矩阵g l 和m ：求解像点极线的方法。 3 1 2 求解基本矩阵 根据式2 6 ，一个双目视觉系统的两个成像单元各自的透视投影方程为： z c 。= 丝x ，= ( m lm 1 ) x p ( 3 1 ) 乙2 1 1 2 = 鸭x p = ( m 2 lm 2 ) x ， ( 3 2 ) 其中，x ，是一空间点p 在世界坐标系下的齐次坐标；m 和屹是分别是p 在两个 成像系统下的像p ，和p 2 的齐次图像坐标；投影矩阵m 被分为两部分，3 维列向 量朋，( f = 1 ，2 ) 表示m 的最后一列；m ，j ( ，= 1 ，2 ) 表示投影矩阵左边3 x 3 的矩阵。 将= ( ，乙，1 ) r 记作一= ( x r1 ) r ，其中x = ( k ，) r ，n a = 面两式可展开为： z c l 啊= m l x + m i ( 3 3 ) z c 2 d 2 = m 2 l x + m 2 ( 3 4 ) 将上式消去x 得： 乙2 “2 一z c i 鸠l 鸩l 一4 1 = m 2 一心l m n - i m l ( 3 5 ) 在求解极线约束之前，首先介绍关于反对陈矩阵的定义和两个性质。设三 维列向量t = ( 乙，f ，乞) r ，称下面的方阵为t 的反对陈矩阵，记作 f 】。： | _ o 一乞 o 【f 】。= i 乞0 一t xl ( 3 6 ) l o oj 由定义知， f 】。= 一( f 。) r ， f 。是一个不满秩不可逆的矩阵，它有两个性质： 1 6 第3 章极线几何和图像校正 1 ) 任意三维向量，与t 的向量积为： f ，= f 】。， 2 ) 任意满足【f 】。，= 0 的向量，与t 只差一个常数因子， 将3 5 式等号右端的向量记作册，即： 肌= m 2 一鸠l 鸭l _ 朋l 即r = k t 。 将朋的反对陈矩阵记作沏】。，并用它去乘3 5 式的两端， 【朋 。( z c 2 2 一z c l m 2 l m l l - l u l ) = 0 将上式两端除以z c z ，并且记z c2 乏，得到： ( 3 7 ) 由于 肼】。xm = 0 ，得： ( 3 8 ) 朋】。z c m 2 l 肘l l 一 g l = 【胁】。 ( 3 9 ) 上式等号右端的向量 柳】。= 朋，该向量与正交，将r 左乘上式两 端，并将所得等式两边除以乃后得到如下结果： 口2 2 【朋】。肘2 l 肘j l q 鸭= 0 ( 3 1 0 ) 其中 m i x 是由向量埘定义的反对称矩阵，m 由3 7 式给出。 式3 1 0 给出了对应物空间同一点p 的同名像点和之间必须满足的关 系。可以看出，在给出的情况下，3 1 0 是一个关于横、纵坐标关系的线性 方程，即对应于在像平面厶上的极线；反之，在给出的情况下，3 1 0 是一 个关于横、纵坐标关系的线性方程，即对应于在像平面上的极线。3 1 0 还表明了对于已标定的双目立体系统，极线方程仅与投影矩阵m 和鸠有关。 令f = 【扰】。腹，m 一，则f 给出了双目之间的极线约束关系，将3 1 0 式写 作，f u l = 0 ，f 是双目立体视觉中的重要矩阵，叫做基本矩阵。 3 2 用图像校正产生特殊形式的极线约束 3 2 1 物理意义 图3 1 描述了一种普通形式的相机方位和极线约束关系，在左右两幅图像 中，所有的极线均相交于一点极点，在图中以e l 和岛标示。下面考虑一种特 殊形式的相机方位，如图3 2 所示。 图中左右两像平面和厶位于同一平面上，那么光线q d c ：将会平行于这个 平面，不会与或厶相交。根据3 1 1 中极点的定义，e l 、岛将分别位于两像平 1 7 第3 章极线几何和图像校正 面上的无穷远处，即所有的极线相交于无