（模式识别与智能系统专业论文）基于图像绘制的红外场景模拟.pdf

华中科技大学硕士学位论文 摘要 绘制物体的不同视点图像进而模拟其三维场景可以为目标识别和跟踪提供必要 的图像样本，对于算法的训练、评估和可靠性检验具有十分重要的意义。本文研究了 无需建模的基于图像的绘制( i b r ) 方法，从有限的实拍红外图像，合成空间不同点的 视图，实现红外三维场景的模拟。 本文基于视图变形的思想，根据两幅不同视点图像的基本矩阵计算其对应的变换 ， 矩阵，通过重投影变换校正图像平面，然后经过插值和反变换生成新视点的图像。f 基 本矩阵给出了图像间外极几何( e p i p o l a r ) 关系的代数描述，包含了摄像机的所有内、 外参数，是非定标图像对中可获得的重要信息。而视图合成的结果在很大程度上依赖 于对极几何关系的获取，并最终取决于基本矩阵的准确估计。因而本文在综合比较各 x 7 一、 种基本矩阵估计算法的基础上提出线性加权迭代算法，改善基本矩阵的估计精度和 稳定性。为获得校正图像对同名点间的对应关系，以便于图像的插值合成，本文研究 了一种将特征约束和动态规划算法相结合的立体匹配方法，并给出了快速实现算法。 ， 文中同时分析了视图合成中需要注意的相关问题及其解决方法。f 由于红外图像与可见 t 光图像的成像特点不同，特别当距离较远时要考虑到辐射衰减，噪声等的影响，本文 利用已合成的新视点图像，通过相应的衰减计算和噪声处理，生成了不同方位、距离 的图像，实现红外场景的模拟。、- ， ，1 “ 关键词：图像绘制外极几何基本矩阵图像校f 立体匹配多分辨率红外场景 ，一一一 一 华中科技大学硕士学位论文 ：= = = = 4 = = = = = = = = = = = = = = = = = = = = = = = = 一 a b s t r a c t o b t a i n i n gs a m p l ei m a g e so f as t a t i co b j e c tf r o md i f f e r e n tv i e wp o i n t si sa l li m p o r t a n t i s s u ei nt h et e s t i n ga n de v a l u a t i o no fo b j e c tr e c o g n i t i o na n dt r a c k i n ga l g o r i t h m s t h e s i m u l a t i o no fs o m e3 ds c e n e si sa c c o m p l i s h e di nt h i st h e s i sb ys y n t h e s i z i n gn e wv i e w s f r o mb a s ei n f r a r e di m a g e sw h i c hi sc a l l e da ni m a g e b a s e dr e n d e r i n gm e t h o d i m a g ep a i r s a r er e c t i f i e d t h r o u g h a r e p r o j e c t i o np r o c e d u r ea c c o r d i n g t ot h e h o m o g r a p h ym a t r i c e se x t r a c t e df r o mt h e f u n d a m e n t a lm a t r i xw h i c hi sk n o w na sav i e w m o r p h i n gt e c h n i q u e t h e nn e wv i e w sa r eg e n e r a t e db yi n t e r p o l a t i n gt h ec o r r e s p o n d i n g p o i n t so n t h o s er e c t i f i e di m a g e sa n dt r a n s f o r m i n gt h ei n t e r m e d i a t er e s u l t sb a c kt oo r i g i n a l i m a g ec o o r d i n a t e s t h e f u n d a m e n t a lm a t r i xi sa t la l g e b r a i ci l l u s t r a t i o no ft h ee p i p o l a r g e o m e t r y w h i c h i m p l i c i t l yi n t e r p r e t st h ei n t r i n s i ca n d e x t r i n s i cp a r a m e t e r so fac a m e r a a n d i th a sc o n s i d e r a b l ei n f l u e n c eo nt h er e s u l t so f v i e ws y n t h e s i s t h e nan e w w e i g h t e di t e r a t i v e l i n e a ra l g o r i t h mi s p r e s e n t e dt oe n h a n c et h ea c c u r a c yo ft h ef u n d a m e n t a lm a t r i x s i n c e c o r r e s p o n d e n c ec o m p u t a t i o n i sn e e d e df u rt h e i n t e r p o l a t i o n o fr e c t i f i e d i m a g ep a i r s a f e a t u r e c o n s t r a i n e dd y n a m i cp r o g r a m m i n ga l g o r i t h mi su s e dt om a t c ht h e m a n daf a s t c o m p u t a t i o n m e t h o di s g i v e n h e r ew h i c hb a s e do nt h e c o a r s et o f i n e s t r a t e g y c o n s e q u e n t l ys o m ep r o b l e m s t h a tw en e e dp a ya t t e n t i o nt oh a v eb e e nd i s c u s s e da sw e l la s r e l a t i v es o l u t i o n i na d d i t i o n ，i n f r a r e di m a g e sa r ed i f f e r e n tf r o mv i s i b l el i g h ti m a m sf o rt h e i n f l u e n c ec a u s e db yr a d i a t i o na t t e n u a t i o na n dn o i s ec a n n o tb en e g l e c t e d i nc o n s i d e r a t i o no f t h a t ，v i e w sa td i f f e r e n td i s t a n c ea n do r i e n t a t i o nw h i c hc o m p o s et h e3 d s c e n eh a v eb e e n g e n e r a t e d f r o mt h e i m a g e ss y n t h e s i z e d b e f o r eb a s e do nc e r t a i n c o m p u t a t i o n a b o u t a t m o s p h e r ef a c t o ra n d n o i s e k e y w o r d s ：i m a g e - b a s e dr e n d e r i n g ( i b r 、 i m a g e r e c t i f i c a t i o ns t e r e om a t c h i n g e p i p o l a rg e o m e t r y f u n d a m e n t a lm a t r i x c o a r s et of i n ei n f r a r e ds c e n e 华中科技大学硕士学位论文 _ _ - i _ - i _ _ _ i _ - _ _ _ - l _ i _ _ _ _ _ _ - _ _ l _ l _ _ - _ _ - 1 1 本课题的背景和意义 1 绪论 在目标识别和跟踪中，采集物体不同视点的红外图像进而模拟其三维场景对于提 供必要的图像样本，获得完整的实验结果以及检验算法的可靠性具有十分重要的意 义。在过去的工作中，获取这种红外图像样本通常是通过使用软件生成物体的几何和 热模型，并用软件计算目标和背景的热辐射特性，以及气体分子吸收、微粒散射、湍 流、气象条件等引起的大气辐射衰减，来生成各种视点的红外图像。但这种方法存在 一些缺陷：一是图像由模型人工生成，并不一定符合场景的客观情况。二是这种方法 计算量大，耗时很多。特别是对于存在内热源的复杂物体，需要人工计算其表面温度 分布，而这种计算十分困难。 相比之下，无需建模的基于图像的绘制方法则具有明显的优点：一是参考图集是 实际拍摄所得，更符合景物的真实情况。二是不需要很复杂的建模过程，利于实时生 成更多的样本图像，用于算法的训练和评价。因此，研究直接从图像到图像的基于图 像的绘制方法具有重要的意义和应用价值。 1 2 基于图像绘制方法的发展情况与现状 基于图像的绘制1 m 1 ( i b r ) 是计算机视觉和图形学领域出现的一种新方法，最初是 应虚拟现实中对三维场景的模拟要求而产生的，大多数应用集中在可见光场景的处理 上。传统的三维场景的模拟是基于计算机图形学原理，对场景建立几何模型，然后采 用消隐算法消去不可见面【1 2 】，再采用适当的光照模型进行绘制，以产生真实的效果。 通常把这种方法称为基于模型绘制法。这种方法存在一些问题：一是建模非常困难； 二是由于绘制过程涉及到复杂的几何，光度等计算，微机的计算能力往往难以满足复 杂三维场景的实时绘制要求。 华中科技大学硕士学位论文 法、模型。然而，大量事实使人们认识到，建模计算总是需要消耗大量的时间，并且 最后产生的图像还是有人工合成的痕迹。于是，人们设想省去中间的建模过程直接生 成结果图像，这就是所谓基于图像的绘制( i m a g eb a s e dr e n d e r i n g ) 方法。由于基于 图像绘制方法是直接从图像到图像的过程，因而图像生成的速度快，利于快速实现。 其核心思想是如何从已知的视图合成新的图像。基于这种思想，人们提出了多种方法， 并已在三维场景的模拟中得到一定程度的应用。这其中包括图像变形【5 l ”】、光场绘 制m ，l9 1 、全光模型j 1 3 , 2 0 , 2 1 1 、图像镶嵌 4 j o 、混合绘制【1 3 , 1 4 1 、图像插值 1 , 2 , 1 7 , 1 8 , 2 2 , 9 1 等方法。 其中已经应用的有a p p l e 公司的q u i c k t i m e v r i 副系统，它是基于无缝镶嵌技术的全景 图模拟系统。 图像变形主要是利用视图间的几何关系直接产生中间过渡视图，虽然原理简单， 但不一定能保证三维物体的形状，在摄像机角度较大的情况下易产生明显的扭曲失 真。光场绘制方法简单的对获得的图像进行组合与重采样，就可以得到任意视点的图 像。这种技术的关键在于把输入图像解释为一个四维全视觉函数光场的二维切 片，从大量几何绘制或数字化的图像序列可以建立光场，新的视图就可以通过实时提 取切片产生。但光场绘制存在全光函数获取困难，采样数据量大的问题。图像镶嵌合 成，是采集很多具有重叠区域的场景图像，然后将它们无缝平滑的粘贴到一起。这种 方法有其局限性，就是视点是固定的，也需要较频繁的采样。混合绘制采用了部分重 建的方法，经过立体匹配得到其视差图，进而可得到三维信息，再经过重投影得到新 视点图像。它仍需要大量的采样和计算。图像插值则是利用图像间隐含的信息，通过 一定的插值方式，合成新视图。 1 3 本文的主要研究工作 鉴于这些图像绘制方法的优缺点，本课题基于视图变形( v ie w m o r p h i n g ) 的基本思 想们，采用较简便的，具有物理有效性( 保持物体的三维形状不变) 的线性视图插值方 法，从两幅源图像中产生连续的中间视图，从而实现三维场景的模拟。 此前的一些研究主要基于可见光图像，本文将结合红外图像的特点，考虑辐射衰 华中科技大学硕士学位论文 等相关问题。 全文主要分为以下几个部分：第一章是绪论；第二章介绍了在文中很多地方要用 到的有关外极几何和投影变换等的相关概念。第三章分析了视图合成的基本原理及在 非定标图像中的应用。第三章在综合分析以往的基本矩阵计算方法基础上，给出了线 性加权迭代估计算法，以改善估计精度和稳定性。第四章研究了将特征约束和动态规 划相结合的立体匹配方法实现校正图像对的匹配，并给出了快速实现算法。第五章提 出了视图合成中需要注意的相关问题以及解决方法。第六章分析了红外图像的特点， 通过相应的处理，实现红外场景的模拟。最后是结论以及今后需要进一步研究的问题。 3 华中科技大学硕士学位论文 _ _ i - _ l - _ - _ _ _ _ _ _ _ _ _ l i _ - - 目_ _ _ _ _ _ l i i l - - _ _ 2 投影变换和外极几何的基本概念 2 1 透视投影变换 将客观世界的3 d 场景投影到摄像机的2 d 象平面上，这个投影可用成像变换描述。 最常用的成像变换是几何透视变换矧，它的特点是，随着3 d 场景与摄像机的距离变 化，象平面上的投影也发生变化。 成像变换涉及到不同坐标系统之间的变换。考虑到图像采集最终结果是要得到计 算机里的数字图像，在对3 d 空间景物成像时涉及到的坐标系统主要有： ( 1 ) 世界坐标系统：它是客观世界的绝对坐标。一般的3 d 场景都是用这个坐标系 统来表示的。 ( 2 ) 摄像机坐标系统：以摄像机为中心制定的坐标系统x y z ，般常取光心为原点， 摄像机的光学轴为z 轴。 ( 3 ) 象平面坐标系统：在摄像机内所形成的象平面坐标系统x y 。一般常取象平 面与摄像机坐标系统的砂平面平行，且x 轴与x 轴，y 轴与y 轴分别重合，这样象平 面原点就在摄像机光学轴上。 ( 4 ) 计算机图像坐标系统：在计算机内部数字图像所用的整数坐标系统m n 。数 字图像最终由计算机内的存储器存放，所以要将象平面的投影坐标转换到计算机图像 坐标系统中。 根据以上几个坐标系统不同的相互关系，可以得到不同的成像几何模型，也称摄 像机模型。 因为一般情况下，物体离相机距离远大于焦距，实际中常采用小孔成像模型来代 替透镜成像模型。当世界坐标与摄像机坐标重合时( 如图2 1 所示) ，可以推出摄像机 坐标与世界坐标的关系是非线性的，为计算方便，可以借助齐次( h o m o g e n e o u s ) 坐 标方法将它们表示成线性矩阵形式。几何坐标为( x ，z ) 的点，其齐次坐标为 华中科技大学硕士学位论文 k y k z f 七r17 ，显然，将齐次坐标变回几何坐标可用第四个坐标去除目u 二个坐杯 得到。考虑到一般z f ，定义透视变换矩阵为 图2 1 投影成像示意图 100 0l 肚川0 。0 j q 。 那么，象平面的齐次形式的坐标向量c 可以由p 与齐次世界坐标向量的乘积 00 0 1 loo1 0 - l f 0 j 肼 七y 彪 七 当象平面投影齐次坐标c 转换到计算机图像齐次坐标厶时，从人眼观察的角度 看，图像是上下颠倒，左右互换的，故x 、y 相应的反号。则投影变换矩阵变为 ( 2 3 ) 笏 2 1llllj 厂脯心吲 一 ，l = l o o 。l | | p j j g 为程方影投的应 0 o o 相 。厂。 拈 ，o o 硕 = ：r 肚 骺的标坐次齐点间空让果如 华中科技大学硕士学位论文 当世界坐标系和摄像机坐标系分开时( 但仍将驯平面和x y 平面重合) ，摄像机 模型需要考虑象平面坐标系相对于世界坐标系的平移和旋转变换。不失一般性，我们 可以假设摄像机相对世界坐标系先做平移运动，位置偏差记为矢量d ( q ，d 。，砬) ，这 个过程可用平移变换矩阵r 表示： 瓦= lo0 一d 一 01 0 一d 。 0 old oo 0l ( 2 5 ) 接下来，摄像机相对世界坐标分别绕z 轴和绕x 轴的旋转。两个旋转矩阵级连为 一个旋转矩阵： 、 r = 心b = c o s ys i n y 00 - s i n y c o s ac o s a c o s y s i n a0 s i n 口s i n ys i n a c o s 7 c o s o r0 000l 此时图像齐次坐标与世界齐次坐标关系为： ( 2 6 ) l h = p r h 瓦 ( 2 7 ) 如果记乘以了一个尺度因子的图像点齐次坐标为；，则有如下公式 ；砷 降剐 x l ， z l 地嘲 x y z 1 = 爿r l 爿r = 只。( 2 8 ) 式中矩阵a 代表了摄像机的内参数，月，7 1 代表了摄像机相对于世界坐标系的方 6 吣翟 唧叩一 华中科技大学硕士学位论文 向和位置关系。 若令h = a r ，则投影方程可表示为： 其中 ；= 俐一册 = b 。 c = qq 见 7 ( 2 9 ) ( 2 1 0 ) c 代表摄像机中心在世界坐标系中的坐标，日称为对应性矩阵( h o m o g r a p h y ) ，表示了 摄像机的内外参数。这个公式将在后面的图像校正中用到。 2 2 外极几何及基本矩阵 从不同视点获得的同一场景的两幅非定标图像，它们之间满足外极几何约束的基 本关系【2 4 】，如图2 2 所示。 图2 2 外极几何关系示意图 图中c 、c 分别是左右摄像机的中心( 此处即透镜光心，如图2 1 中的( 0 ，0 ，f ) 点) ， 摄像机模型为针孔模型，所有空自j 点在图像平面上的投影都经过光心。设空间点吖在 左右图像平面上的投影点分别为埘，m ：给定第一幅图像上的点肌，则其在第二幅图像 上的对应点被腓4 在珊的外极线0 ( 过m 点) 上；外极线屯是由埘、c 、c 所定义 的平面石( 称为外极平面) 与第二幅图像平面，的交线。因为m 可能对应于射线c m 上 7 华中科技大学硕士学位论文 的任一点( m 可能位于无穷远处) ，而c m 在图像平面，上的投影为直线，故点m 对 应于直线。我们观察到图像平面，中所有点的外极线都交于同一个点p ( 称为外极 点) 。外极点e ，是光心连线c c t 与图像平面，的交点。这一点我们可以这样理解：对 于图像平面上的任一点m ，其外极线k 是外极平面以( 由m k 、c 、c 定义) 与图 像平面，的交线，则所有的外极平面以组成了通过直线c c 的平面束，而这个平面束 必与，。交于e 。由于对称性，图像平面，上任一点m 在左图像上的对应点也必定位 于其外极线上，且平面，上所有点的外极线也必定交于图像平面，上的外极点e 。 不失一般性，我们可以假定世界坐标系和第一个摄像机的坐标系统重合。因摄像 机模型为针孔模型，由前一节，我们得到： 七磊= 彳 ，o 】面，后鬲= 彳f 月，】面 ( 2 1 1 ) 式中a ，a 一代表摄像机的内参数矩阵，m 、m 、面分别代表乘了一个尺度因子 的m 、所、m 的齐次坐标，为单位矩阵，( r ，f ) 代表第一个摄像机坐标系转变到第 二个摄像机坐标系所需的旋转和平移变换。我们可以消去面、k 、k ，得到： m ”f m ：0( 2 1 2 ) 其中 f = 4 7 【f 】x r a 一 式中， 纠。是由向量，定义的反对称矩阵( 对于向量f = 【f l ，：f 3 】7 ，定义其反对 称矩阵为：。= 睦亨专。 ，且对任一三维向量x ，满足。x = ，x ，c r x 代表 向量f 与x 的叉乘) 。从几何上，y m 定义了点m 在第二幅图像上的外极线。方程 方程形式为a u + b v + c = 0 的直线可用向量陋，b ，c 】，表示，点( “，v ) 在直线上即表示为 8 华中科技大学硕士学位论文 = 自_ ：e # j = ；j 。；_ _ 目_ i ；l l i _ _ l i _ - 自_ _ _ l _ - _ - v ，7 兰 = 。，。对称的，有鬲7 ，；= 。我们称s s 的矩阵f 为基本矩阵，因 为d e t ( t 。) = o ，故有： d e t ( f ) = 0 ( 2 1 3 ) f 是一个秩为2 的矩阵，又f 乘以一个尺度因子仍然满足方程( 2 1 2 ) ，故f 自由度为 7 。显然，如果将第二个图像选为世界坐标，可以得到其基本矩阵为f ”。 下面分析外极点与基本矩阵的关系。我们知道外极点同时具有多重意义。它是所 有外极线的交点，是基线( 光心连线) 与图像平面的交点，同时是摄像机光心在另一个 图像平面上的投影。由图2 2 知，凡对应于图像平面，中过点p 。的外极线束，故对， 上任一点p ，有p 4 f e = 0 ，故f e = 0 。又f 是秩为2 的矩阵，故其外极点e 是f 的 对应于0 特征值的特征向量。同样的，e 是，对应于0 特征值的特征向量。同时， 观察图2 2 知，如果图像平面和基线平行，外极点位于无穷远处，坐标形式为 a b 0 1 。此时，所有外极线平行。 2 3 本章小结 投影变换和外极几何的基本概念有助于理解视图合成的过程。在各种坐标系中， 点的坐标都采用齐次坐标形式，这为线性表达投影方程提供了方便。这一章中，我们 引入了基本矩阵的概念，并介绍了它的基本代数性质和相关几何意义。 9 华中科技大学硕士学位论文 = = = = = = = = = = = = ；= = = = = = = = = = = = = = = = = = = 一 3 图像校正及合成 3 1 三维场景表示及其途径 基于图像的三维场景表示已经成为计算机视觉和计算机图形学领域许多研究者 关注的热点。基于图像的技术吸引人之处在于它所获得的光度信息已被证明对于识别 任务非常有 2 5 , 2 6 】，而且它具有简单实时的特点，这些信息也易于从基本视图中获得， 不需要自动或手动的建立三维目标模型。 为使生成的用来表示场景的图像具有真实的效果，就需要考虑视点和物体姿态的 变化。由两个视点的图像插值合成两者之间的第三个视图，这是很多人都考虑过的模 拟三维场景的方法。关键是保持物体的几何形状不变( 即所谓合成的物理有效性) 和 计算复杂度的问题。视图变形( v i e w m o r p h i n g ) 思想【9 l 通过重投影变换给出了一种具有 保形性的有效视图合成途径，它最早由s e i t z 和d y e r 提出，因其简单有效性而得到 了广泛的研究与应用。其中比较关键的步骤是图像的校正与插值合成。 3 2 视图合成的基本原理 3 2 1 平行视图的插值 假定我们获得目标的一个视图，。，然后将目标沿平行于摄像机图像平面的方向移 动，缩小，得到第二个视图，或者我们也可以类似的移动摄像机而不是物体，如图3 1 所示。c h e n 和w i l lj a m s 等首先考虑了这种特殊情况，认为当摄像机沿平行于图像 平面的方向移动，线性图像插值就可以产生新的投影视图。实际上，假定开始时摄像 机坐标系和世界坐标系重合，摄像机从世界坐标系的原点移到( c 。，c ，0 ) ，焦距从厶变 为，；，此时摄像机相对于世界坐标系只有平移运动。根据2 1 小节，我们知道，相关 0 华中科技大学顽士学位论文 的投影矩阵司以写成： f f o 000 i 1 1 0 = 1 0 f o 00 j l0 0l 0 j l i 0 0 一- ，i c 。i n 。= l 0 f l 0 一f , c ，f l 00l0 1 我们称具有这种形式的投影矩阵的视图为平行视图。 ， ( 3 1 ) ( 3 2 ) 幽3 1 半仃视幽插值不意图 图3 1 表示了对平行视图的变形。对两个平行视图的对应点线性插值，得到平行的中 间视图。 设n o 、f i ，是输入图像的投影矩阵，n ，是输出图像的投影矩阵，结果图像是( 下 标j 代表0 到l 之间的插值系数，图3 1 中为0 5 ) 。假定分别位于图像，o 、，l 中的两 点( x o ，) 和( ，m ) ，齐次坐标为p o = ( ，y o ，1 ) 和b = ( ，m ，1 ) ，它们是空间中同一点 p = 口y z 1 r 在两个视图中的投影。则风和p ，的线性插值为： ( 1 - s ) p 。+ 印一= ( 1 - s ) i h o p + s 三f i ，p = 吉兀。尸 ( 3 3 ) 华中科技大学硕士学位论文 其中 1 2 s = ( 1 一s ) no + s f l i ( 3 4 ) 可见图像插值的结果产生了新的视图，它的投影矩阵兀。是两个基本视图的投影矩阵 n 。、兀的线性插值。其相机中心和焦距分别为 g = 雨靠c x 而彘c r 0 ) 邛c x c r ，0 ) z = ( 1 一s ) 厶+ 颐 ( 3 5 ) ( 3 6 ) s 随着s 的改变在0 到1 之间单调连续变化，因此，两个平行视图的插值反映的是摄 像机沿两个光心之间连线移动同时连续的放缩后的视图。 实际上，由上述的推导公式( 3 3 ) 知，这种插值要求兀。和兀的第3 行相等，如 此处都为0 01 0 1 ，这样图像点齐次坐标的第三项相同，才可以将其作为公共分 数因子提出来( 此处为z ) 。满足这个更一般性条件的视图代表了一类更广泛的可通过 线性图像插值产生新视点的视图。个特殊情况是所谓正交投影，例如投影矩阵兀。、 n 的第3 行是【0 0 o 1 】，任意两个正交视图的线性插值，产生新的正交视图【2 7 】。 3 2 2 非平行视图的插值 使用立体校正技术，可以将计算任意投影视图的中间视图问题化简为平行视图的 情况。假定视图，o 、，l 的投影矩阵分别为1 2 。= 【h 。i - m o c o l ，1 2 l = 【h f h 1 c 】。为 方便起见，我们可以这样选择世界坐标系，使得摄像机光心c o 、c 位于x 轴上，例 如，c 。= 【o 0 o 】，c = c 。0o 】7 。剩下坐标轴的选择应该尽可能减小图像重 投影造成的扭曲变形。一个简单有效的选择方法是使y 轴成为两个图像平面法线的叉 乘矢量。 要合成中问视点的透视视图，首先对，。、，。分别乘以h 。、h 1 以使其平行。这 华中科技大学硕士学位论文 - _ l _ - = _ _ _ i _ _ _ _ _ - 。 个过程和立体视觉中的校正技术相同。给定投影矩阵兀，= 【h ，卜h ，c ，】，c ，由公式 ( 3 5 ) 确定。如图3 2 所示，以下步骤将产生对应于投影矩阵n ，的视图，： 1 重投影变换：分别用h o 、h l “乘以，o 、，l ，得到，。、，。a 2 线性插值：对，。、，。相应点线性插值得到，。 3 反投影变换：用。乘以，产生图像，。 重投影变换使图像平面平行而不改变光心的位置；线性插值使光心的位置移到 c ，：反投影变换把新视点的图像平面变换到理想的位置和方向。 尸 图3 2 非平行视图插值示意图 注意变换后的图像，。、i 的投影矩阵为兀。= ，卜c o ，i - i 。= 【j i - c 。 ，这里，是 3 3 的单位矩阵。由于投影矩阵的这种特殊形式，。、，上的对应点出现在同一扫描 线上，因而插值图像，。可以沿扫描线进行一维计算和重采样。我们称满足这种扫描线 特性的一类平行视图符合规范配鼍。前面已经谈到，可以线性插值的视图类要求满足 兀。和n 。的第三行相等这个一般性条件，而规范配置进一步要求第二行相等。例如此 处两个投影矩阵的第三行都为【0 0l 0 】，第二行都为【0 10 0 】，则由投影公式 华中科技大学硕士学位论文 = = = = = = = = = = = = = = = = = = = = = ；= = = = = = = = = = = = = = ；：1 13 。4 p ，图3 2 中空间点p ( x ，y ，z ，1 ) 在两个原图像平面及其插值平面上的投影点 齐次坐标；的第二项和第三项都相同( 此处为y 和z ) ，故这些投影点在图像上的y 坐 标( y = ；( 2 ) ；( 3 ) = y z ) 相同，即满足扫描线特性。也就是说，假定投影矩阵 f i o = 【，i o ，f i l = 【日l | 一h c 】处于规范配置，则h 、c l 必具有如下形式 耻 | ：i c ，= 【c 。0o r ( 3 7 ) ( 3 8 ) 式中1 2 , b ，c ，c ，为任意常数。( 3 7 ) 、( 3 8 ) 两式可作为判断规范配置的条件。 3 2 3 非定标图像的校正与插值 和i o 的图像坐标轴重合，则l o 、，的投影矩阵分别为兀。= ，j o 】，n 。= f 何。j - h g 】， 而外极点分别是c l 在，。上的投影，c 。在，。上的投影： = c ， ( 3 9 ) 8 l = - h l c l ( 3 1 0 ) 对于向量p = b 少z r ，定义反对称矩阵 纠。= 肛割 c s 1 4 华中科技大学硕士学位论文 ：= = = = = = = = = = = = = = = = = = = = = = = = = = = = ；= = = = = = = = 根据【32 1 ，基本矩阵可表示为f = 【q 】。h ，。如果两个视图处于规范配置，因h - 、c 满 足公式( 3 7 ) ，( 3 8 ) ，则q = f e ，0o r ，因此基本矩阵( 不计尺度因子) 满足： l0 0 0 l f ：100 1 l( 3 1 2 ) l 010 i 反过来，假定f 具有形式( 3 1 2 ) ，未知投影矩阵为兀。= i l l o ，f i 。= h l i h 。c 。 ，因 相应的外极点e 。、e ，是矩阵f 、f 的零特征向量，则 = k ，0o r ( 3 1 3 ) 式中p ，是未知常数。由公式( 3 9 ) ，c 。= e 。0o 】。如果通过重投影变换h 。1 使，变 为h , - i ，则n ，变为【j i c ，】，相应的基本矩阵变为，7 f 。由前面的讨论知道，这种 特殊的情况显然满足规范配置，故变换后的基本矩降，不计尺度因子，是固定的，由 日7 f = f( 3 1 4 ) 故h 必须有如下结构： 即 | i 慨- s ， 因为h ，、c 满足( 3 7 ) 、( 3 8 ) ，所以两个视图处于规范配置。由此可见公式( 3 1 2 ) 目的是找到一对对应性变换矩阵h 。、h 。，使校正后的图像，o = n 。- i 。，。= n l - i ， , r f h 。= f ( 3 1 6 ) 实际上有很多h 。、h 。满足( 3 1 6 ) ，主要区别在于对校正平面的不同选择。在选 华中科技大学硕士学位论文 术的好处是在正交情况下，问题可以简化为【2 7 】的过程。首先通过选择与，。平面的交线 来间接确定校正平面。在齐次坐标下，图像中无穷远处的点具有向量形式byo 】2 。 任何形如如= p ，d ，o j 7 的，。上的点，代表使向量d = p - c 。平行于，。的空间点p 的投影。令e = c 1 一c o ( c o ，q 是两摄像机光心) ，如果d = p c o 和e 不平行，它们 就生成了一个特定的外极校正平面。校f 的第一步就是旋转平面，。使其平行于这个平 面，即将。绕向量d 旋转直至平行于e ( 参见图3 3 ) 。 图3 3 图像校正示意图 这个步骤可以通过如下的方法间接完成：将，。绕d 。旋转一个角度吼，使得外极 点= 【e ，e ，e z 】7 变成无穷远点( 因e o 是c l 的投影，e o 无穷远代表，。平行于e ) 。 换句话说，我们需要一个旋转矩阵r 毒( d o 为轴，岛为磊绕旋转角度) ，使i = r 毒形 如i ：e e yo r 。旋转矩阵形式如下： 磁= d x 2 + ( 1 - d x2 ) c o s o o d x d 。( 1 - c o s o o ) d y s i n 臼o d ，d y ( 1 一c o s o o ) d y2 + ( 1 一d 。2 ) c o s o o d xs i n o o d ys i n o od ，s i n g c o s o o ( 3 1 7 ) 1 6 华中科技大学硕士学位论文 d 12 式中d ，是玩向量的第、第项。由公式( 3 1 7 ) 知，旋转角度为： 岛= 一争t a n l 华) ( 3 1 8 ) 这时，图像j 。= r 毒，。的外极线互相平行。下一步是旋转图像以使外极线水平，旋转 轴为z 轴。旋转角和旋转矩阵分别为 o 2 一t a n ie _ y p ( 3 1 9 ) 01 0 i( 3 2 0 ) 1 i 对，i 进行类似的操作。设d l 为由向量d 和e 组成的平面和，l 的交线，瞒可以这样计算： 老：f d o = 卜yz 】7 ，则雹= 【一y x 0 1 7 。q 、西以犀分别绕吐和 o 0 1 t 的旋转矩 阵，计算过程与前面所述相同。这里，我们令h 。= ( 磷) ，h 一( 赠) ，则基 本矩阵为： v o 0 0 1 万：一h i f 万。：l00 口i( 3 2 1 ) 1 0 6 c j 最后为使f 满足公式( 3 1 2 ) ，第二幅图像还要经过一个平移和垂直尺度变换： 00l 一日一cl 0b i 综上所述，两幅图像厶、需经过如下的变换进行校正 氕= & 磁厶= h o 。l o ，- 一一心磺j 。= h i - i j ( 3 2 2 ) ( 3 2 3 ) ( 3 2 4 ) 整个校正过程依赖于磊的选择。对矾选择唯一的限制是d 和e 不能平行。因此一个 喊紫 一 c 魂丸 宝口o 一 旧 一 | i 华中科技大学硕士学位论文 i i i i - _ _ _ - _ _ _ - _ _ _ - _ _ - 合适的选择是让正交于，例如巩= 一勺8 ，o 7 。 实际上，旋转矩阵聪已经使图像平面平行。尽管这对图像的插值已经足够了， 但通过额外的变换使外极线对齐仍是有用的，它可以简化中阳j 的匹配和插值步骤。 如前所述，对已经预变形的图像插值的结果是光心沿c oc 1 的新视图。与标定情况 相反，反变换不是确定的。将f 变成，。的对应性矩阵并没有明确提供给我们。一种方 法是简单的将凰。1 和h ，。的元素( 谚，口，z 和z ) 插值，产生厶到之间连续的过渡。 另一种方式是选择反变换使得变换后图像的角点是相应原始图像角点的线性插值。第 一种方法可以产生任意尺寸和形状的图像，而第二种方法产生的中间图像通常是矩形 的，并且尺寸是原始图像的插值。对于后一种方法，变换矩阵通过确定，和，。上的相 应角点位置计算出来的。l 上的角点是通过分别线性插值厶和。左上角、右上角、左 下角、右下角的角点得到。而相应，上的角点是通过先对厶和，i 上的相应角点预变换 然后线性插值得到。给定，和，上这四个点的位置，所需的反变换矩阵可以通过解相 应的线性方程组得到。 3 3 本章小结 视图变形是一种通过插值合成中间视图的有效图像绘制方法。本章分析了其中图 像校正及合成的基本原理。在大多数情况下，我们处理的是非定标图像，摄像机内、 外参数是未知的，这时进行校正以及插值合成唯一可依赖的信息是图像基本矩阵。下 一章将介绍如何来求解图像基本矩阵。 1 8 华中科技大学硕士学位论文 4 1 基本矩阵估计 4 图像基本矩阵的获取 要对图像进行校正和匹配需要知道外极几何关系，而外极几何的求解实际上归结 于基本矩阵的精确估计和找到稳定的易于实现的算法。1 9 8 1 年，l o n g u e t h i g g i n s 【2 州 提出了八点算法，该算法是线性算法，具有快速且易于实现的优点，但对噪声十分敏 感。后来f a u g e r a s 2 9 】给出了非线性的迭代算法，弥补了八点算法的不稳定性，提高 了估计精度，也同时存在着算法计算复杂、不能保证全局最优等问题。不久， r i h a r t l e y 3 0 】改进了八点算法，他通过先对二维数据进行规范化( n o r m a l i z a t i o n ) 的 预处理，包括相应的平移和尺度变换，减少了噪声的干扰。b e a r d s l e y 和z i s s e r m a n 给出了线性迭代算法【3 1 1 ，简化了迭代过程，但认为各- 匹配点对估计结果的贡献是相同 的，而实际上，各点误差不同，对基础矩阵的影响也不相同。本文综合比较了各种基 础矩阵估计算法，在线性迭代算法的基础上，考虑到各匹配点对基本矩阵的不同影响， 通过在目标函数中引入与余差有关的权值函数，给出了新的加权线性迭代算法。实验 表明，这种算法改善了估计精度和稳定性，且易于实现，并具有较快的运算速度。 4 2 线性算法概述 设啊( 【m v f 1 r ) 和蚂( h v i t ) 分别为两幅图像上对应点的齐次坐标，则它 们之间满足方程： m ? 1 1f m i = 0 式中f 为3 x 3 秩为2 的基本矩阵，对称的有： 川7 f 7 m 。= 0 ( 4 1 ) 式可写成九元线性齐次方程： ( 4 1 ) ( 4 2 ) 1 9 华中科技大学硕士学位论文 u r f = 0 ( 4 3 ) 式中 u ，= “。“。，v ，“，“，“，v ，v ，v ，v ，“。，v ，l 】7 ， f = i f , ，e ：，e ，e 。，：，e ，e ：，r 假设有，1 个匹配点，则可得到由n 个方程组成的线性方程组： 够= 0 ，其中u = 【u 1 ，u 2 ，u 。】7 ( 4 4 ) 由于是非零向量，u 。应是奇异矩阵，厂是其零特征向量。注意到，乘以一个常数 仍然满足( 4 1 ) ，故只要8 个点就可在仅相差尺度因子的情况下求出f 。实际上，我 们常采用多于8 个的匹配点对来估计，。出于噪声等影响，u 。并不满足矩阵奇异的 条件，这时我们可以转为求满足下面最小平方和的f ： 唾n e ( m ，7 砌) 2 ( 4 5 ) 为防止多解性，可设0 州= 1 ，上式可写成下面的带约束最优化问题： y n i j 2 ( 4 6)：jl o = 1 我们采用u 7 u 的对应于最小特征值的单位特征向量e ，来估计f ，实际上在加上 例i = 1 ( 消除全零解) 的约束下，由l a g r a n g e 函数可导出e ，是对( 4 6 ) 式的最优解。 式( 4 6 ) 可变为如下的无约束最优化问题 m i n 、= f ( f ，a ) ( 4 7 ) 其中 h u ( f ，五) = i i 吵0 2 + 力( 1 一i v i l 2 ) ( 4 8 ) 令 - f ( f ，五) 对厂的阶偏导为0 ，有 u ”w f = 旯厂( 4 9 ) 可见，厂是9 x 9 矩阵u 7 u 的单位特征向量，五是相应的特征值。因为u 7 u 是对称半 华中科技大学硕士学位论文 正定矩阵，它的所有特征值是非负实数。不失一般性，可以设【，7 c ，的9 个特征值按如 下的非递增顺序排列： 2 丑五0 ( 4 1 0 ) 这里厂有9 个候选解，分别对应a = ，( f _ l ，2 ，3 ，9 ) 。代回到( 4 8 ) ，有 w ( f ， ) = ( 4 1 1 ) 显然要使、壬，( ，五) 最小，f 应取对应于u 7 u 最小特征值( 如矗) 的单位特征向量。 e ，可通过对u 的s v d ( s i n g u l a rv a l u ed e c o m p o s i t i o n ) 分解求得。 然而上述算法还存在偏差，它使得外极点向图像中心偏移3 2 1 。实际上若设外极线 ，的方程：，。= f m ，= 【，。，：，扎】7 ，则图像中的一点肌到相应的外极线，的距离( 外 极距离) d ( m i ，f ) = 一i 厅可= 砌， “，= 厨可 ( 4 1 2 ) 则( 4 5 ) 式可写成删n c ，2d 2 ( 川o l ) ，可见由于目标函数中引入了没有明确物理意 义的因子c ，对基本矩阵的估计造成了一定的偏差。因此可改用外极距离作为目标函 数： 呼n 吐2 = 呼n 一2 ( 卅，) + d 2