（电路与系统专业论文）平面单应算法在视图插补中的应用研究.pdf

摘要 f 计算机图形学通常采用平面多边形模型来描述三维景物，在绘制时用射影 变换技术把三维景物投射到特定视点下的平面图像。这种技术难以生成复杂的自 然景物模型以及相应的多视点下的具有真实感的图像。而近年来发展起来的建立 在计算机视觉多视图几何理论基础之上的基于图像的绘制技术不必依赖场景的 几何模型就可以生成真实感较强的多视点下的图像，本论文主要从计算机视觉的 ， 多视图几何理论出发，研究基于图像的特别是平面景物图像的多视图插补和显示 的理论、算法及其应用问题。主要研究内容如下。 论文首先介绍了与本论文工作相关的多视图几何的一些基本理论，( 如齐次坐 标，射影几何，摄像机针孔模型，两视图几何等；在讨论两视图几何时着重对对 极几何和基本矩阵进行介绍，并且介绍了基本矩阵的两种算法：归一化的八点算 法和六点算法初步说明平面单应在计算中的作用) 然后重点介绍了平面单应的基 本理论，详细讨论了单应矩阵的各种算法，如给定f 和图像对应时平面诱导的单 应算法、点对应算法、利用两幅图像之间的单应关系作为约束的算法。以及直线 对应算法。最后，论文将平面单应算法应用到个实时视图插补系统。这个应用 系统综合集成了计算机视觉以及图像处理的理论和本论文的工作，由于采用了平 面单应算法，使得在保证插补图像满足透视性，图像的质量和图像真实性的条件 下，达到了实时插补和实时显示的目的。系统软件设计合理，操作简便，适用性 强，可广泛应用于网上购物，虚拟现实等一系列应用领域。 ( 综上所述，基于图像的特别是平面景物图像的多视图插补和显示的理论、算 法及其应用问题对于计算机图形学和计算机视觉的建模和绘制研究与应用都具 有开拓性意义。对于图像处理、虚拟现实等多个领域的研究都有一定的推动作用。格 关键词：多视图几何，平面单应，视图插补， a b s t r a c t l ti sw e l lk n o w nt h a tc o m p u t e rg r a p h i c sa l w a y sd e s c r i b e3 ds c e n e sw i t hp l a n a rp o l y g o n m o d e l s ，w h e nr e n d e r i n g ，w i t ht h et e c h n i q u e so fp r o j e c t i v et r a n s f o r m a t i o n ，3 do b j e c t sp r o j e c tt o p l a n ei m a g e su n d e rc e r t a i nv i e wp o i n t s f o rv e r yc o m p l e xs c e n e s ，w ec a nn o to b t a i n r e a l i s t i c i m a g e sb yu s i n gt r a d i t i o n a lg e o m e t r i c a lm o d e l i n gt e c h n i q u e so fc o m p u t e rg r a p h i c s b u tw e c a n o b t a i nr e a l i s t i ci m a g e sb yu s i n gm u l t i p l ev i e wg e o m e t r yt h e o r yi nc o m p u t e rv i s i o nt oc o n s t r u c t m t 试e lb a s e do ni m a g e s t h i st h e s i sc o n c e n t r a t eo nt h er e s e a r c ho ft h et e c h n i q u e sa n da l g o r i t h m s o fv i e w i n t e r p o l a t i o na n dd i s p l a yo fp l a n a rs c e n e sb a s e do ni m a g e s ，a c c o r d i n g t ot h ep r o j e c t i v e g e o m e t r yf r a m e w o r k i nc o m p u t e rv i s i o n t h em a i nc o n t e n t sa r ef o l l o w s ： i nt h i s t h e s i s ，w ef i r s ti n t r o d u c es o m eb a s i ct h e o r i e so fm u l t i p l ev i e wg e o m e t r y ，s u c h 鹋 h o m o g e n e o u sc o o r d i n a t e s ，p r o j e c t i v eg e o m e t r y ，p i n h o l ec a m e r am o d e l ，t w o - v i e wg e o m e t r ye t c w h e nt a l k i n ga b o u tt w o - v i e w g e o m e t r y ，w es p e c i a l l y d i s c u s st h e e p i p u l a rg e o m e t r y a n d f u n d a m e n t a lm a u i x ，a n d p r o p o s e d t w ok i n d so f a l g o r i t h m s o ff u n d a m e n t a lm a t r i x ：t h e n o r m a l i z e d 8 - p o i n ta l g o r i t h ma n d6 - p o i n ta l g o r i t h m ，w h i c hp l a ya ni m p o r t a n tr o l ei np l a n e h o m o g r a p h y s e c o n d ，w ei n t r o d u c et h eb a s i ct h e o r i e so fp l a n eh o m o g r a p h y ，d i s c u s ss o m ek i n d s o fa l g o r i t h m so ft h ec o m p u t a t i o no fh o m o g r a p h ym a t r i x ，s u c ha ap l a n ei n d u c e db o m o g f a p h i e s w i t hg i v e nfa n di m a g ec o r r e s p o n d e n c e s ，t h eh o m o g r a p h yf o rc o r r e s p o n d i n g p o i n t so rl i n e se t c a tl a s t ，w ea p p l yt h ea l g o r i t h m sc o m p u t i n gh o m o g r a p h yt oar e a l - t i m ev i e wi n t e r p o l a t i o n s y s t e m t 1 l i ss y s t e mi n t e g r a t et h et h e o r yo fc o m p u t e rv i s i o na n di m a g e p r o c e s s i n ga n d t h ew o r ko ft h i st h e s i s s i n c ew eu s et h ep l a n eh o m o g r a p h ya l g o r i t h m ，w eo b t a i n r e a l - t i m ei n t e r p o l a t i o na n dr e a l t i m e d i s p l a y ，a tt h es a m et i m e ，t h ei n t e r p o l a t i o n i m a g e ss a t i s f yp e r s p e c t i v i t y n es o f t w a r ei sd e s i g n e dv e r ye a s yt ob eo p e r a t e d ，a n d c a nb e w i d e l yu s e d i ns o m ef i e l d ss u c ha ss h o p p i n gi nt h e i n t e r n e t ，v i r t u a lr e a l i t ye t c i naw h o l e ，t h et h e o r ya n da l g o r i t h mo fm u l t i p l ev i e wi n t e r p o l a t i o na n dd i s p l a y b a s e do ni m a g e se s p e c i a l l yo np l a n es c e n e i m a g e sd om a k eas e n s ei nc o m p u t e r g r a p h i c s ，a n dt h es t u d yo fc o m p u t e rv i s i o ni nm o r p h i n ga n dr e n d e r i n g ，w h i c ha l s o p r o m o t e t h es t u d yo f i m a g ep r o c e s s i n ga n dv i r t u a lr e a l i t ye t c k e y w o r d s m u l t i p l ev i e wg e o m e t r y ，v i e wi n t e r p o l a t i o n ，p l a n eh o m o g r a p h y l i 甲面单应算法在视图捅补巾的应用研究 第一章引言 1 1 论文的研究背景 视图插补技术是当前计算机图形学和计算机视觉相互交叉的一个研究热点， 它在图像绘制、虚拟现实、场景漫游中得到了广泛的应用。目前，视图插补算法 主要分为两大类，一类是传统的计算机图形学的方法，另一类是基于真实图像的 方法。 传统的计算机图形学( c o m p u t e rg r a p h i c s ) 插补方法是直接绘制一个结构已 知的三维几何模型。而这些三维几何模型一般可以通过c a d 建模软件或三维数 字化设备等工具来生成。要使生成的三维几何模型表面具有较强的真实感，通常 采用纹理映射( t e x t u r em a p p i n g ) 、环境映射( e n v i r o n m e n tm a p p i n g ) 、明暗算法 ( s h a d i n ga l g o r i t h m s ) 等技术，或者是这些技术的组合来实现1 1 ，2 】。尽管经过多 年的研究，在3 d 建模和绘制方面已经取得了巨大的成就，但是仍然有很多实际 需求不能被满足。首先，生成复杂的几何模型需要付出巨大的工作量并且需要使 用很多技巧；其次，为了绘制出较好的光照效果，需要大量耗时的计算并且往往 依赖于经验；最后，生成的图像质量并没有一个客观评价标准，只能依赖于人的 主观感受。概括起来就是：建模非常难，绘制非常慢，图像的真实感没有保证。 目前，只要通过大量漫长耗时的计算，传统图形学方法已经有能力生成一些以假 乱真的电影特效画面。但是，虚拟现实( v i r t u a lr e a l i t y 简称v r ) 环境的生成技 术对此提出了更高的要求：不但要保证生成图像的真实感，而且要保证图像绘制 的实时交互性。这是计算机图形学一直在为之奋斗的终极目标。因为传统图形学 方法的计算速度对于场景复杂度( 三角形面片的数量) 非常敏感，所以要真正达 到照片级真实( p h o t o r e a l i s t i c ) 的效果同时又要满足绘制的实时交互性，以现在 的图形硬件计算能力，可以说是不可行的。所以迫切需要一种新的不依赖于场景 复杂度的绘制技术，以满足虚拟现实环境对图像真实感和实时交互性的双重要 求。 基于图像的视图插补是通过对图像进行简单的几何变换和灰度变换，插补出 新视点下的图像。基于图像的插补技术与传统计算机图形学中的插补技术的根本 平面单应算法在视图插补f f l 的应用研究 区别在于：它不过分依赖于几何建模，而是通过事先获取的一组自然场景图像序 列，对环境进行编码，并对这些图像通过适当地变换，插补出位于不同视点下的 新视图，其主要优点在于： 生成的环境是这组图像所反映的真实场景， 算法复杂度与场景内容无关，不需要专业的图形加速设备， 通过真实图像完全有可能生成与照片一样真实感的场景。 视图插补算法一般都是基于图像的像素位置和颜色的内插，它涉及到多视图 几何中的多参数估计以及图像对应点的匹配问题。对应点匹配是视图插补的基础 和前提，也是视图插补的核心问题。如何建立匹配点间的对应关系，一直是计算 机视觉和图像处理中的难点。对于一般的图像，对应点之间在两视图是双线性关 系，三视图是三线性关系，n 视图是n 线性关系，它们之间的对应关系需逐点 计算建立，为此我们需要建立稠密的匹配点并估计出摄像机的参数矩阵之后，进 行大量的计算；在下面的论文中可以看到对于由平面组成的立体场景图像，由于 平面所诱导的对应点之间存在的是单应关系即平面单应，它是一种简单线性关 系，因此对应点之间的匹配算法简单，计算量小，速度快，使用平面单应算法可 以实现对图像的实时插补和显示。 2 甲面单应算法在视图插补中的应用研究 1 2 论文的组织结构 本论文围绕平面单应在视图插补中的应用展开了一系列研究。全文共分为五 章，分别包含以下内容： 第一章为引言，简要介绍了论文的研究背景及应用领域，并对文章的组织结 构进行了说明。 第二章介绍了与本论文工作相关的多视图几何的一些基本理论，如齐次坐 标，射影几何，摄像机针孔模型，两视图几何等。在讨论两视图几何时着重对对 极几何和基本矩阵进行介绍。并且以介绍基本矩阵的两种算法：归一化的八点算 法和六点算法初步说明平面单应在讨算中的作用。 第三章对平面单应理论及算法做了深入的研究，首先介绍了平面单应基本理 论，然后详细讨论了单应矩阵的各种算法，如给定f 和图像对应时平面诱导的单 应算法、点对应算法、利用两幅图像之间的单应关系作为约束的算法，以及直线 对应算法。 第四章主要介绍了平面单应在视图插补中的一个重要应用“基于图像的 视图插补系统”。对该应用系统进行了总体介绍、理论解析，还给出了实验数据 实验过程分析和实验结果。 第五章是对全文的总结。 平面单应算法在视图插补中的应用研究 第二章多视图几何的基本理论 过去十多年里，计算机视觉在多视图几何的理解和建模方向已得到迅速发 展，理论和实践已达到成熟的程度，十多年前尚未解决的并经常被认为无法解决 的一些问题，现在多已经有了很好的算法。支撑这些算法的基础是一种新的、更 完整的关于多幅未标定视图的几何理论的理解，系统介绍多视图几何相关的内容 请参考f a u g e r a s 【3 】、m u n d y 和z i s s e r m a n 【4 1 、h a r t l y 和z i s s e r m a n 【5 】( 中译本： 韦穗【6 】) 、马颂德和张正友【7 】等人的专著和一些相关的论文。 本章介绍的多视图几何的基本理论包括射影几何、齐次坐标、摄像机针孔模 型和两视图几何。在讨论两视图几何时着重对对极几何和基本矩阵进行介绍。并 且以介绍基本矩阵的两种算法：归一化的八点算法和六点算法初步说明平面单应 在计算中的作用。 4 甲面单应算法在视图插补巾的应用研究 2 1 射影几何 计算机视觉中需要用到广泛的几何知识，它包括我们熟悉的欧氏、相似、仿 射几何以及本论文经常用到的射影几何。表2 1 给出了平面变换在这几种几何中 所具有的不变性质。 怒鲑h 2 11 1 2 剽会萋氅然瀑麓 仿射 a 1 10 1 2t 。 z 二 平行，面积比，共线线段或平行线段的长度比 6d o f 广 ( 例如中点) ，矢量的线性组合( 例如形心) a 2 1 口2 lt ” ii无穷远线l 。 o01 相似 s _ ls r t 2l z口 长度比，夹角虚圆点i ，j ( 见1 7 3 ) 4d o f s r 2 15 7 k t ， 口 0o1 欧氏 1 l，1 2 长度，面积 3d o f ，2 lr 2 2 f ， 口 001 表2 1 常见平面变换的几何不变性质 c a - d 是2 2 的可逆矩阵r - 【r d 是2 0 旋转矩阵( t 。t ，) 是2 n 平 移矢量失真列显示变抉对正方形所产生的典型效应表巾高层的变换可以产生其低层变换的所有效应。其 范圉从欧氏( 其中仅有平移和旋转) 到射影( 其中正方形梭变换成任意四边形( 假定没有三点共线) ) 本节重点介绍一下射影几何。射影几何学是研究图形在射影变换下的性质， 讨论在把点投影到直线或者平面上的时候，图形性质依然保持不变的几何学分支 学科，一度也叫做投影几何学。射影几何学中。把无穷远点看作是“理想点”。 通常的直线再加上一个无穷点就是无穷远直线，如果一个平面内两条直线平行， 那么这两条直线就交于这两条直线共有的无穷远点。通过同一无穷远点的所有直 线平行。在引入无穷远点和无穷远直线后。原来普通点和普通直线的结合关系依 然成立，而过去只有两条直线不平行的时候才能求交点的限制就消失了。由于经 过同一个无穷远点的直线都平行，因此中心射影和平行射影两者就可以统一。平 5 甲面单应算法在视图插补中的应用研究 行射影可以看作是经过无穷远点的中心投影。这样凡是利用中心投影或者平行投 影把一个图形映成另一个图形的映射，都可以叫做射影变换。射影变换有两个重 要的性质：首先，射影变换使点列变点列，直线变直线，线束变线柬，点和直线 的结合性是射影变换的不变性；其次，射影变换下，交比不变。交比是射影几何 中重要的概念，用它可以说明两个平面点之间的射影对应。 6 甲面单应算法在视图捅朴叶1 的应用研究 2 2 点与直线的齐次坐标 平面上的一点可以用i r 2 中的一对坐标( z ，y ) 来表示，通常i r 2 等同于一个 平面。把i r 2 看作一个矢量空间时，坐标对( 而_ ) ，) 是矢量，也就是说点等同于矢量 考虑矢量空间之间的线性映射并将这样的映射表示成矩阵。在通常的方式下，一 个矩阵和一个矢量的积是另一个矢量，即该映射下的象。它山现了“列”与“行” 矢量的区别，因为矩阵可以被列矢量右乘或被行矢量左乘。在不加说明时，几何 实体用列矢量表示。粗体符号如x 总表示列矢量，它的转置是行矢量x 7 。按此约 定，平面上的点将表示为列矢量( 而) ，) 7 ，而不是行矢量o ，_ ) ，) 我们记x = o ，) 7 ， 这个等式的两边都是列矢量。 2 2 1 点与置线 直线的齐次表示：平面上的一条直线可用形如a g + 缈+ c 一0 的方程式表示， a , b 和c 的不同值给出不同的直线。因此。一条直线也可以用矢量( 口，玩c ) 7 表示。 直线和矢量( 口，b ，c ) 7 不是一一对应的，因为，对任何非零七，直线a x + 妙+ c 一0 与 直线k a x + t d , y + k c i o 相同。因此，对任何非零k ，矢m ( a ，b ，c ) 7 与k ( a ，b ，c ) 7 表示 同一直线。事实上，这两个只相差一个全局缩放因子的矢量是等价的。这种等价 关系下的矢量等价类被称为齐次矢量。任何具体矢t ( a ，阢c ) 7 是所属的等价类的 一个代表。在i r 3 - ( o ，o ，o ) 7 中的矢量等价类的集合组成射影空间i p 2 ( o 0 ，0 ) 仅 表示矢量( 0 , 0 ，o ) 7 ，而不与任何直线对应，因此被排除在外。 点的齐次表示：点x = “y ) 7 在直线i 一( 口，6 ，c ) 7 上的充要条件是 a x + 缈+ c 一0 ，也可用矢量内积形式把它表示为( x ，y ，1 x a ，b ，c ) 一( 善，j ，1 ) i - 0 ；即 添加“1 ”作为最后一个坐标，将i r 2 中的点o ，) ，) 7 表示成3 维矢量。对任何非零 k 和直线l ，方程( 妇，k b ，勋) i 0 的充要条件是0 ，b ，1 ) 1 0 因而，自然地将k 取所 7 平面单应算法在视图插补中的应用研究 有非零值所得的矢量集( h ，i o , ， ) 7 看作是i r 2 中点( x ，) ，) 7 的一种表示。因此，与直 线一样，点也可用齐次矢量表示。一个点的任何齐次矢量的表示形式为x 2 ( 膏。，x 2 ，而) 7 ，它表示i r 2 的点x = ( x 。x 3 ，工：x 3 ) 7 于是，点作为齐次矢量同样也 是射影空间i r 2 的元素。 点x 在直线l 上的条件：点x 在直线i 上的充要条件是x 7 it o 表达式x 7 l 就 是两矢量x 和i 的内积或标量积，即妒l = i r x = x 1 一个点的齐次坐标是3 维矢 i x = o ，z ：，屯) 7 ，非齐次坐标是2 维矢量) ，) 7 自由度：为了指定一个点必须提供两个值，即它的工羊吵坐标。同样，一条直 线由两个参数指定( 两个独立的比率佃：6 ：c ) ，因而有两个自由度。在非齐次表 示中，这两个参数可以取为直线的斜率和y 轴上的截距。 直线的交点：给定两直线i = ( 口，b ，c ) 和l = ( 口，b ，c ) 7 ，定义矢量x = i i ， 这里x 表示矢量积或叉积。由三重纯量积等式：1 0 x l ) = 1 ( 1 x l ) ：0 ，推出 i r x - l r x = 0 因此，如果把x 视为一个点，则x 同时在两条直线i 和f 上，这表明 两直线l 和l 的交点是点x - l r 因为采用了直线和点的齐次坐标形式，两直线 交点的表达显得很简洁。 点的连线：过两点x 和x 的直线的表达式可完全类似地导出。定义直线 l x x x 后不难验证点矗和x 都在i 上。因此过两点x 和x 的直线是i x x 2 2 2 无穷远点与无穷远直线 平行线的交点；两直线积+ 缈+ c = 0 和甜+ 缈+ c 一0 可分别用矢量 i - ( 口，b ，c ) 7 和i = ( a , b ，c ) 7 表示，其前两个坐标相同。不难算出这两条直线的交 点为i x i = ( c - c x b ，一口，o ) 7 ，忽略标量因予( c 一c ) ，得到点( 6 ，一口o ) 。用非齐次形 式表示该交点，得到( o ，一a o ) 7 。它表示该交点的坐标为无穷大。一般地，具有 8 甲面尊应算法在视图捅补中的应用研究 齐次坐标o ，y ，0 ) 7 的点不与i r 2 中任何有限点对应。这与通常平行线相交于无穷远 的概念是一致的。 无穷远点与无穷远直线：当x 3p t 0 时，齐次矢量x = ( ，屯，屯) 7 对应于i r 2 中 的有限点。把最后坐标为矗- o 的点加入i r 2 ，所扩展的空间是所有齐次3 维矢量 的集合，称为射影空间i p 2 最后坐标为如- 0 的点被称为无穷远点，所有无穷远 点的集合可以写成“，屯，o ) 7 ，该集合在一条直线上，称为无穷远直线l 。- ( 0 , 0 ，1 ) 可以验证( o , o , l x x l ，x 2 0 ) 7 0 关于直线的交点，我们曾得到结论：两直线l 和l 的交点是点x - i n 由此 我们可以推出直线l 一( a , b ，c ) 与i 。交于无穷远点( 6 ，一a ，o ) 7 不论c 的取值如何， 任何一条与i 平行的直线i = ( n ，b ，c ) 7 也与l 。交于相同的无穷远点( b ，一口0 ) 7 在非 齐次表示下，( 6 ，一口) 7 是与直线i 相切的矢量，与l 的法线( 口，相正交，因而它 代表该直线的方向。当直线的方向改变时，无穷远点( 6 ，一日，o ) 7 沿l 。而变化。基于 这些理由，无穷远直线可以看作是平面上所有直线的方向的集合。 弓l 入无穷远点的概念后，点与直线相交的概念得到了简化。在射影平面i p 2 中。可以说任意两条相异直线都相交于一点而任意两个相异的点都在一条直线上。 研究射影平面i p 2 的几何称为射影几何。在无坐标的纯几何研究中。射影几 何的无穷远点和普通康没有任何区别。但通常将区别无穷远点和非无穷远点，无 穷远直线也被看成射影空间中的一条特殊直线。 或更简洁地表示为，x 一h x 此方程中的矩阵h 乘以任意一个非零比例因子不会使单应改变。换句话说h 是一个齐次矩阵，与点的齐次表示一样，有意义的仅仅是矩阵元素的比率。在h 的九个元素中有八个独立比率，即一个单应有八个自由度。单应将每个形状投影 为射影等价的形状，并保持所有的射影性质不变。 9 _ 甲面单应算法在视图插补中的应用研究 2 3 摄像机模型 图像一般由摄像机获取，故在图像的研究中我们有必要先介绍线性摄像机模 型针孔模型。 2 3 1 摄像机针孔模型 实际的成象系统通常是透镜成象，图2 1 为透镜成象原理图。其中，为透镜 的焦距，v 为象距，。为物距，且有 。三+ 三 rhv 图2 1 摄像机成象物理原理 一般地由于h ，于是v 一，这时可以将透镜成象模型近似地用针孔模 型代替，如图2 2 所示。 图2 2 摄象机针孔数学模型 1 0 甲谣单成算法在槐图插补巾的应用研究 图2 2 是摄象机针孔模型的成象示意图。空间任何一点m 在图像上的成象位 置可以用针孔模型近似表示，即任何点m = ( 石，y ，z ) r 在图像上的投影位置m = ( “，v ) 7 ，为光心p 与m 点的连线p m 与图像平面的交点。这种线性关系可以用一 个3 x 4 的投影矩阵c 表示为： s m r , 1 1 7 一c m j 1 7 ( 2 1 ) 其中s 为任意比例因子。由于本文研究的是基于图像的平面单鹿的应用，即 从2 d 图像平面上获取2 d 世界平面的信息，所以可以令世界坐标系中的第三维 坐标z 一0 设c = f c l ，c 2 ，c 3 ，c 。1 ，f l q ( 2 1 ) 式可得： s i ；】 c 1 c 2c 3 c 4 巨 x 1 一【c 1 c ：c 4 】f yj ( 2 2 ) l ，j 由式( 2 2 ) 可以得出2 d 世界平面上的任何一点m = ( z ，y ) 7 ( 第三维坐标z 0 ) 与其对应图像点m = ( “，v ) 间的关系可用一个3 3 单应矩阵h 表示为： s m 7 j 1 7 一h i m 7 ，1 1 7 其中h 一【c 。c ：c 】 甲睡单应算法在视图捅补巾的应用研究 2 4两视图几何 本节介绍两个透视视图的几何。设每一个视图相应的摄像机矩阵为尸，p ， 一个3 维空间的点x 在第一幅视图的像是x 一蹦，在第二幅视图的像是 x 。p 。像点z 和工相互对应。因为它们是同一个三维空问点x 的像。那么给 定第一幅视图中的图像点z ，它怎样约束第二幅视图中的对应点x 的位置? 本节 描述两视图的对极几何，并回答了这个问题：一个视图中的点定义了另一个视图 中对应点所在的对极线。对极几何是两个视图之间内在的射影几何它独立于景 物结构，只依赖于摄像机的内参数和相对位置。基本矩阵f 集中了这个内在几何 的精华，它是一个秩为2 的3 3 矩阵。如果一个三维空问点x 在第一，第二个 视图中的像分别为x 和石，则此两个图像点满足关系z ”f x 一0 。我们将首先描 述对极几何并推导基本矩阵。然后同时针对视图之间的摄像机的一般运动和一 些经常发生的特殊运动，阐述基本矩阵的性质。基本矩阵是独立于景物结构的， 然而它可以仅依据场景点的对应而计算出来。并不要求知道摄像机的内参数或其 t 相对位置。在本节详细研究了基本矩阵f 的算法：归一化的八点算法和六点算法。 2 4 1 对极几何 本质上。在两个视图之间的对极几何是像平面与以基线( 基线是连结摄像机 中心的直线) 为轴的平面束的交的几何。假定3 维空间中的一个点x 在两个视图 中成像，其在第一、二个视图上的像为分别为工和善。那么在对应图像点x 和z 之问存在什么关系呢? 如图2 3 a 所示，像点善和善、空间点x 和摄像机中心是 共面的。记这个平面为石。显然，从x 和工反向投影的射线相交于x ，因而此两 条射线共面并在万上。现在假定我们只知道z ，我们或许会问其对应点z 是如何 被约束的。此时平面石由基线与由工定义的射线所确定。从上面讨论知道对应于 ( 未知) 点工7 的射线在刀上，因此点工在平面石与第二个像平面的交线，上，直 线f 是从x 反向投影的射线在第二幅视图上的像。 对极几何中所涉及到的几何元素在图2 4 中描述，其有关术语是 对极点是连接摄像机中心的直线( 基线) 与像平面的交点。等价地，对极点 _ 甲嘶单应算法在视图捅补巾的应用研究 是在一幅视图中另一个摄像机中心的像。它也是基线( 平移) 方向的消影点 对极平面是一个包含基线的平面。存在着对极平面的一个单参数簇( 束) 。 对极线是对极平面与图像平面的交线。所有对极线相交于对极点。一个对极 平面与左或右像平面相交于对极线，并以此定义了对极线之间的对应。 在图2 5 和图2 6 中给山了对极几何的例子。 ( a ) ( b ) 图2 3 对应点的几何。( a ) 两摄像机由它们的中心c 和c 以及它们的图像平面表示。 摄像机中心、3 维空间点x 和它的图像x 和x 都处在一个公共平面h 上。( b ) 图像点x 反向 投影成3 维空间的一条射线，它由第一个摄像机中心c 和x 确定。这条射线在第二个视图中 被影象成一条直线l 。逞影到x 的3 维空问点x 必然在这条射线上，因此x 在第二视图上 的图像x 必然在1 上。 甲面单应算法在视图捕补巾的应用研究 ( b ) 图2 4 对极几何。( a ) 摄像机基线与每幅图像平面交于对极点e 和e ，。任何包含基线的 平面“是一张对极平面，并且与图像平面交于相应的对极线1 和l ，。( b ) 当3 1 ) 空间点x 位 置变化时，该对极平面绕基线“旋转”。这个平面族称为对极平面束。所有对极线相交于对 极点。 1 4 _ 甲面单应算法在规圈插补中的应用研究 ( b ) ( c ) 图2 5 会聚的摄像机。( a ) 会聚摄像机的对极几何。( b ) 和( c ) 叠加了对应点和它们的对 极线( 白色) 的一对图像。视图之间的运动是一个平移加旋转。在每幅图像中另一个摄像 机的方向可以由对极线束的交点来推算。对此情形，两个对极点都在可视图像的外面。 ( b ) ( c ) 图2 - 6 平行于图像平面的运动。对于平行于图像平面作平移以及旋转轴垂直图像平面的 特殊运动情形，基线与图像平面的交位于无穷远。因此，对极点是无穷远点而对极线是平行 平面单应算法在视图插补中的应用研究 线。( 8 ) 平行于图像平面作平移的对极几何。( b ) 和( c ) 一对图像t 视图之间的运动( 大致) 是平行于。轴的平移而没有旋转。四条对应的对极线用白色线叠加在图像上注意对应点在 对应的对极线上。 2 4 2 基本矩阵f 基本矩阵是对极几何的代数表示。给定一对图像，我们已在图2 3 中看到对 于其中一幅图像的每一点工，在另一幅图像中存在一条对应的对极线，。在第二 幅图像上，任何与该点x 匹配的点x 必然在对极线，上。该对极线是过点x 和第 一个摄像机中心c 的射线在第二幅图像上的投射。因此，存在一个从一幅图像上 的点到另一幅图像上与之对应的对极线的映射 x _ z 这个映射是一个( 奇异) 对射，即是由称为基本矩阵的矩阵f 表示的从点到赢线 的射影映射。 几1 可推导 我们从基本矩阵的几何推导开始。一幅图像上的一个点到另一幅图像上与之 对应的对极线的映射可以分解为两步。第一步，把点x 映射到在另一幅图像上它 的对极线，上的某点x 。这个点j 是点x 的一个潜在的匹配点。第二步，连结x 与对极点p 所得的直线就是对极线，。 步骤l ：点通过平面的转移。参考图2 7 ，考虑空间中不通过任何两个摄像 机中心中的平面石。过第一个摄像机中心与z 的射线与平面玎相交于一点x ，这 个点x 再投射影到第二幅图像上的一点工。这个过程称为通过平面玎的转移。如 图2 3 b 所说明的，因为x 在对应于工的射线上，它的投影点x 必然在对应于这 条射线的图像即对极线f 上。点x 和善都是在个平面上的3 d 点x 的像。在第 一幅图像上所有这样的点而的集和对应点爿的集是射影等价的，因为它们分别都 射影等价于共面的点集x 。因此存在一个2 1 ) 单应量l 把每一个而映射到彳。 步骤2 ，构造对极线。给定点x ，通过并和对极点一的对极线f 可以记为 ，一e z 一( e7 l x 。因为xf 可以记为工一日。工，故有 1 6 甲面单应算法在视图插补巾的应用研究 l 一【e l h ，z = r 其中我们定义f k l x h 。，它就是基本矩阵。其中h ，是从个图像到另一幅图 像通过任意平面玎的转移映射。而且，因为k 1 有秩2 和以有秩3 ，所以f 是秩 2 的矩阵。 图2 7 一幅图像的点x 通过平面“转移到第二幅图像的一个匹配点名。过工的对极线 由连接工与e 而得到。我们可以用符号写成x 一日。工和f - 【e 1 x x 一f e l h ，x f x ，其 中f k 】1 日。是基本矩阵。 对应条件 f 定义了映射z 一，。我们现在讨论基本矩阵最基本的性质。对两幅图像的 任何一对对应点x 一，基本矩阵都满足条件x ”f x 。0 。这表示不用参考摄 像机矩阵，可以仅从对应图像点，就能给出一种刻画基本矩阵的方式。从而可仅 由图像点的对应来计算f 。由x ”f x o 计算f 一般情况下至少需要7 组对应。 基本矩阵的性质 基本矩阵f 定义为对所有的对应点x x ，满足工”f x 0 的唯一的秩为2 的3 x 3 的齐次矩阵，它的性质有： ( 1 ) 转置t 如果f 是摄像机对( p ，p ) 的基本矩阵，贝l j f 是其反序对妒，p ) 的基本矩阵。 ( 2 ) 对极线：与第一幅图像的任意一点x 对应的对极线是，f x 。类似地， 1 7 _ 甲面单应算法在视图插补巾的应用研究 f 。r 表示对应于第二幅图像的点x 的对极线。 ( 3 ) 对极点：对任何( 不同于e ) 点z 的对极线f - f x 包含对极点e 。因 此对所有x ，e 都满足e ”( r ) 一( e ”f ) x ；0 。从而推出e r f 一0 ，即e 是f 的左 零矢量。同理可得f e 一0 ，即e 是f 的右零矢量。 ( 4 ) f 有7 个自由度：一个3 3 齐次矩阵有8 个独立的比率( 矩阵有9 个 元素，而公共的尺度因子不影响自由度) ；此外，f 还满足约束d e t f 一0 ，因此 再减去一个自由度。 ( 5 ) f 是一种对射，_ _ 种把点映射到直线的射影映射。在此情形下第一 幅图像上的点x 确定了在第二幅图像上的一条直线f 一f x 。即x 的对极线。如果 f 和f 是对应的对极线( 见图2 8 a ) ，则在l 上的任何点都映射到同一直线，。这 意味着不存在逆映射，从而f 不是满秩的。由于这个原因，f 不是一个真对射( 真 对射应该是可逆的) 。 ( a ) ( b ) 图2 8 对极线的单应。( a ) 在每幅图像中存在以对极点为中心的对极线束。以基线为轴 的平面束确定对极线l t 一1 t 之间的对应。( b ) 可由基线上任何点p 为中心的一个透视变换 来确定对应线之间的对应关系。由此可见对极线束之间的这种对应是一种1 d 单应。 对极线单应 每幅图像的对极线集合组成过对极点的直线束。这样的直线束可以看作一个 1 维射影空间- 从图2 8 b 清楚地看出对应的对极线是透视相关的，即在第一幅 视图中以e 为中心的对极线束与在第二幅视图中以p 为中心的对极线束之间存 在着一种单应。这种1 维射影空间之间的单应有3 个自由度。因此基本矩阵的自 1 8 _ 甲面单应算法在视图插朴叶1 的应；t t 研，t 一一 由度可计算如下：p 有2 个，p 有2 个，把过p 的直线映射到过p 赢线的对极线 单应有3 个( 共7 个l 假设，和，是对应的对极线，且七是不过对极点e 的任何直线，则，和，阃的 关系是f 一f 陆】。f 。对称地有f f r 恤 。f 。的一个方便的选择是直线e 因为 七r p 。e ，- 0 。因此直线e 不过点e 满足所需要求。同理选择k - e 也成立。这样 一来，对极线单应可以记为 l a f k 】。ff f 7 【e 】。f 。 2 4 3 由对应点来估计基本矩阵f 基本方程 基本矩阵由下面方程定义： x ”f x 一0 ( 2 3 ) 其中并一x 是两幅图像的任何一对匹配点。给定足够多的匹配点墨一l ( 至少 7 对) ，方程( 2 3 ) 可以用来计算未知的矩阵f 。进一步地说，记x 一( x ，y , 0 7 和 z 。0 ，y ，1 ) 7 ，每一组点匹配提供关于f 的未知元素的一个线性方程。其条数可 以很容易地用已知点善l 铂茗的坐标来表示。具体地说，对应于一对点“y ，1 ) 7 和 ( x ，y ，1 ) 7 的方程是 x x f l l4 - x r f , 2 + x ，f 1 3 + y x f 2 1 + y f 2 2 + y f 2 3 + x f 3 l + y f 3 2 + f 竹- 0( 2 4 ) 用向量f 表示由f 的元素组成并按行优先顺序排列的9 维矢量。那么( 2 4 ) 可 以表示为一个矢量内积 ( x x ，x ，y ，x ，y x ，y y ，y ：x ，y ，1 ) f 一0 从n 组点匹配的集合，我们得到如下线性方程组； 1 9 平画单应算法在视图捅补巾的应用研究 ，。一 这是一个齐次方程组，即f 可以被确定到只差常数因子。如果存在一个解，矩阵 a 的秩必须最多为8 ，如果秩正好为8 ，则解是唯一的( 只差尺度因子) ，而且可 以用线性算法求解此解是a 的右零向量空间的生成元。 如果因点的坐标有噪声而导致数据不准确，则矩阵a 的秩可能大于8 ( 事实 上等于9 ，因为a 有9 列) 。此时要求最小二乘解。f 的最小二乘解是对应于a 的最小奇异值的奇异失量，即在a 的s v d 分解a u d v 7 中矩阵y 的最后一列矢 量。用这种方法得到的解向量f 是在条件9 ，l i - 1 下0 a ，0 的最小值。以上介绍的算 法是计算基本矩阵算法中的基本方法，称为8 点算法。 奇异性约束 基本矩阵的一个重要性质是它是奇异的，事实上秩为2 。进一步说，f 的左 和右零空间由两幅图像的两个对极点( 在齐次坐标系下) 的矢量生成。基本矩阵 的大多数应用与它的秩为2 这个事实有关。例如，如果基本矩阵非奇异，则所计 算的对极线将不重合，如图2 9 所示。由解线性方程组( 2 5 ) 所得到的矩阵f 在一般情况秩不是2 ，我们应该采取步骤强迫这种约束。实现这个步骤的最方便 方法是修正由a 的s v d 分解得到的矩阵f 。矩阵f 用矩阵f 。来代替并在约束 d e t f 一o t 使f r o b e n i p s 范数忙一f 1 f 达到最小。实现它的一种简便方法还是用 s v d 分解。具体说，若f = u d v 是f 的s v d ，其中d 是对角阵，d = d i a g ( r ，s 。t ) 满 足r s t 。则f - u d i a g ( r ，s ，o ) v 最小化，一f 的f r o b e n i u s 范数。 因此，计算基本矩阵的8 点算法可以描述为下面二个步骤： ( i ) 线性解由对应于a 的最小奇异值的向量f 求得的解f ，其中a 在( 2 5 ) 中定义。 ( i i ) 强迫约束在f r o b e n i u s 范数下用最接近f 的奇异矩阵f 代替f 。仍采 用s v d 分解作此修正。 2 0 曲q0p n1：_q n ；k儿；儿y ；y 蜘：坻； m ；k，h l i fa 甲面单应算法在视图插补叶l 的应用研究 一一 假定有适宜的现成线性代数程序，这里陈述的算法非常简单并且便于实现。照惯 例必须进行归一化，我们将在后面回到这个问题。 ( a )( b ) 图( 2 9 ) 对极线。( a ) 非奇异基本矩阵的效应。对极线根据1 = f x 计算，当x 变化时不交于 一个公共的对极点。( b ) 用本节描述的强迫奇异性的s v d 方法的效应。 归一化的8 点算法 8 点算法是计算基本矩阵的最简单的方法，