（信息与通信工程专业论文）目标3d不变特征的提取与应用.pdf

国防科学技术大学研究生院学位论文 摘要 基于图像的目标识别技术已经广泛应用于国防与国民经济建设的诸多领域，提取 反映目标本质属性和具有较强适应性的特征，一直是研究的核心内容。在平移、旋转、 尺度等变换下保持不变的常规特征已不能满足新的目标识别的需要，近年来兴起的3 d 不变性研究正成为计算机视觉中一个非常活跃的研究领域。3 d 不变特征是指那些在 定范围内不随视点和姿态等的变化而改变的特征，可以有效克服透视变形对成像目标 带来的歧义理解，在目标识别中有着突出的发展潜力和应用价值。， ， i 基于射影几何理论? 弛文围绕3 d 不变特征的提取和应用进行了如下的研究歪转： ( 1 ) 系统总结了射影几何中的若干基础概念i 旭括：透视成像的相机模型、射影对 应、交比不变量、基于不同几何变换下的不变量的简单对比、对极几何中的基础矩阵、 对极点、对极线等口( 2 ) 扩展了2 d 射影变换矩阵的求解方法，将单纯利用点集对应 的计算模式扩展到利用直线集、点线组合等多种类型来建立两个射影平面的对应关 系：总结了平面上基于点、直线元素可求解的多种3 d 不变量：提出了双视图下由点、 直线元素的多种对应关系求解2 d 射影变换来构造“虚元素”的方法，结合“实元素” 和“虚元素”可以提取更多的空间3 d 不变量。) ( 3 ) 深入分析了2 d 对称性目标透视 成像的几何特点，将共点四线交比用于目标轮廓上的关键点的特性描述中：利用调和 共轭关系，提出了一种针对左右对称型目标的对称点检测和对称轴提取的算法；利用 交比关系构造了目标的形心不变量，提出了一种针对旋转对称型目标的旋转对称单元 判定、旋转中心提取的算法；进一步利用3 d 不变量和2 d 射影变换，实现了一定条 件下的对称性目标的形状恢复技7 k ) ( 4 ) 详细论述了消失元素( 消失点、消失直线、 消失平面等) 所体现的垂直、平行等特殊几何约束关系：对单视图，提出了一种利用 消失点列的3 d 不变量解释平面直线关系的方法；l 对双视图，提出了利用自共轭三角 形和对极几何约束，提取任意直线的消失点的算法，并在此基础了提出了一种利用消 失元素的3 d 不变量解释直线间、直线与平面间、平面间等多种空间几何关系的方法。 将所提出的方法用于仿真图像和真实图像，取得了满意的实验结果。 ， 关键字：巨拯主只别，犍征提取，3 d 不变性，射影几何，对极几何，几何变换 对称，消失元素一一一一 国防科学技术大学研究生院学位论文 a b s t r a c t 0 b j e c tr e c o g n i t i o nb a s e do ni m a g e sh a sb e e nu s e di nm a n yf i e l d so fd e f e n s ea n dc i v i l e c o n o m i cc o n s t r u c t i o n e x t r a c t i n gt h o s ef e a t u r e st h a ts h o wo b j e c t si n t r i n s i cc h a r a c t e r i s t i c s a n dh a v es t r o n ga d a p t a b i l i t i e si st h ek e m e lo f r e c o g n i t i o nr e s e a r c ha 1 1a l o n g t h et r a d i t i o n a l i n v a r i a n tf e a t u r e si nt r a n s l a t i o n r o t a t i o na n ds c a l i n gt r a n s f o r m a t i o nc a r l ts a t i s f yt 1 1 en e e d s o fa d v a n c e do b j e c tr e c o g n i t i o n s ot h er e s e a r c ha b o u t3 di n v a r i a n c ep r o s p e r e di nr e c e n t y e a r si sb e c o m i n g o n eo ft h ea c t i v er e s e a r c hf i e l d si nc o m p u t e rv i s i o n 3 di n v a r i a n tf e a t u r e s a r et h ef e a t u r e st h a tw i l ln o tc h a n g ew i t ht h ev a r i e t yo fv i e w p o i n t so rp o s e s s oi tc a ns o l v e t h ep r o b l e m so fm i s 。i n t e r p r e t a t i o ni np e r s p e c t i v ed e f o r m a t i o n t h u si th a ss i g n i f i c a n t p o t e n t i a l sa n di n t e r e s t si no b j e c tr e c o g n i t i o n b a s e do np r o j e c t i v eg e o m e t r y , t h er e s e a r c hw o r k sa b o u t3 di n v a r i a n c e se x t r a c t i o n a n da p p l i c a t i o nh a v eb e e nd o n ei nt h i s 血e s i sa sf o l l o w i n g ：f 1 、t h eb a s i ct h e o r i e sa n d c o n c e p t si np r o j e c t i v eg e o m e t r ya r es y s t e m a t i c a l l ys u m m a r i z e d i ti n c l u d e s ：t h ec a m e r a m o d e l so f p e r s p e c t i v ei m a g i n g ，p r o j e c t i v ec o l l i n e a t i o n ，c r o s sr a t i o ，as i m p l ec o m p a r e a b o u t i n v a r i a n c e ( i n v a r i a n t ) a m o n gs o m eg e o m e t r yt r a n s f o r m a t i o n s ，f u n d a m e n t a lm a t r i x e p i p o l a r a n de p i p o l a rl i n ei n e p i p o l a rg e o m e t r y , a n ds oo n ( 2 ) t h ec a l c u l a t i o nm e t h o d sf o r2 d p r o j e c t i v et r a n s f o r m a t i o na r ee x t e n d e df r o mp o i n t st 0m u l t i e l e m e n t ，w h i c hi n c l u d e sp o i n t s 1 i n e s p o i n t s l i n e sa n ds oo n ，t og e tt h er e l a t i o n s h i pb e t w e e nt w op r o j e c t i v ep l a n e s 3 d i n v a r i a n t sb a s e do np l a n a rp o i n t sa n dl i n e sa r es u m m a r i z e d i nt w o v i e wc a s e am e t h o di s p r e s e n t e df o r c a l c u l a t i o n2 d p r o j e c t i v et r a n s f o r m a t i o na n dc o n s t r u c t i o nt h ev i r t u a le l e m e n t s b yc o m b i n a t i o no fs p a t i a lp o i n t sa n di i n e s s om o r e3 di n v a r i a n t so fo b j e c t ss p a t i a l s t r u c t u r e sc a nb ee x t r a c t e df r o mr e a le l e m e n t sa n dv i r t u a le l e m e n t s r 3 1t h eg e o m e t r i c c h a r a c t e r i s t i e so f2 ds y m m e t r i co b j e c t s i np e r s p e c t i v ei m a g e sa r e1 u c u b r a t e d t h ec r o s s r a t i oo ff o u rl i n e si s a p p l i e dt od e s c r i b ef c a t u r ep o i n t so no b j e c ts i l h o u e t t e f o rb i l a t e r a l s y m m e t r yo b j e c t s ，t h et e c h n i q u e s o n s y m m e t r y - p o i n t d e t e c t i o na n d s y m m e t r y - a x i s e x t r a c t i o na r ep r e s e n t e db a s e do nh a r m o n i cc o n j u g a t i o nr e l a t i o n s h i p f o rr o t a t e ds y m m e t r y o b j e c t s ，t h et e c h n i q u e so nr o t a t e du n i t sd e s c r i p t i o na n dr o t a t e ds y m m e t r yc e n t e re x t r a c t i o n a r ep r e s e n t e db a s e do nc e n t e ri n v a r i a n t so fo b j e c t s f u r t h e rm o r e b yu s i n g3 di n v a f i a n t s a n d2 d p r o j e c t i v et r a n s f o r m a t i o n ，a na p p r o a c h t or e c o v e rs h a p ef r o m p a r ts y m m e t r yo b j e c t s i sr e a l i z e do ns o m ec o n d i t i o n s ( 4 ) t h es p e c i a lg e o m e t r i cr e s t r i c t i o n sl i k ep a r a l l e l i s ma n d p e r p e n d i c u l a r i t yi m p l i c a t e di nv a n i s h i n ge l e m e n t sa r ed e e p l ys t u d i e d i ns i n g l e v i e wc a s e ， t h et h e o r yi sp r e s e n t e dt o i n t e r p r e tr e l a t i o n s h i pb e t w e e nt w op l a n a rl i n e sb ya p p l y i n g3 d i n v a r i a n t so f v a n i s h i n gp o i n t s i nt w o v i e wc a s e ，t h em e t h o do ne x t r a c t i o nv a n i s h i n 2p o i m o fa na r b i t r a r ys p a t i a ll i n ei sd e s c r i b e d a n dm o r e o v e r , t h et h e o r yi sp r e s e n t e dt o i n t e r p r e t r e l a t i o n s h i pb e t w e e nt w oe l e m e n t si n3 ds p a c e ，s u c ha st w ol i n e s ，t w op l a n e s ，l i n ea n d p l a n e ，a n ds oo n o u ra p p r o a c h e sd e v e l o p e da r ea p p l i e dt ob o t hs y n t h e t i ca n dr e a li m a g e s ，a n ds a t i s f i e d r e s u l t sa r eo b t a i n e d k e yw o r d s ：o b j e c tr e c o g n i t i o n ，f e a t u r ee x t r a c t i o n ，3 di n v a r i a n c e ，p r o j e c t i v eg e o m e t r y e p i p o l a rg e o m e t r y , g e o m e t r yt r a n s f o r m a t i o n ，s y m m e t r y , v a n i s h i n ge l e m e n t s 1 1 国防科学技术大学研究生院学位论文 第一章绪论 研究计算机视觉的一个主要目的就是进行目标识别，尽管识别技术在历经多年的 研究和探索后已经取得了令人瞩目的长足进展，但是建立一个有效的识别系统仍然存 在许多不易克服的障碍。由于目标成像的透视变化带来的含糊性就是其中一个重要的 瓶颈问题。众所周知，从3 d 目标( 场景) 到其对应图像的过程是一个从3 d 到2 d 的 变换过程，这一过程带来的直接结果是：目标的成像特性将随着相机或姿态的变化而 变化。图1 1 1 ( a ) 中几个差别显著的图形其实都是同一目标的不同成像轮廓。图 1 1 1 ( b ) 中的三张景物成像实际上来自于不同姿态的一组目标成像。 ( a ) 。e p t 一 ( b ) 图1 1 1 同一目标或场景不同成像条件下的图像特性 目标识别可以简单理解为将待识别模式与目标模型进行比较分析、并得出目标类 别归属和描述的过程。目标模型通常是由目标的特征来表述的，特征包括目标的图像 特征和几何特征等，这些特征的选择和提取是目标识别的关键环节。当模型与待分析 图像并非来自同一成像状态时，克服成像变化带来的干扰，找到那些不变的目标特征 成为解决问题的核心所在。几何特征是视觉计算中广为应用并作用突出的特征群之 一，诸如：距离、夹角、面积p 4 长2 、矩等特征参量在解决存在平移、旋转、尺度变 化下的目标识别问题时具有突出的应用价值。但是随着成像条件的复杂化、成像分辨 率提高带来的图像细节丰富化，成像变换不再拘泥于简单的欧氏变换或仿射变换而是 一个射影变换的过程，此时沿用常规几何特征量已无法对目标的本质特性做出真实刻 画和描述( 参见论文2 4 节的比较说明) ，必须找到和应用那些在射影变换下保持 不变的目标特性一3 d 不变性，才能达到行之有效的识别目的。 第1 页 国防科学技术大学研究生院学位论文 基于3 d 不变性的目标识别技术是近年来计算机视觉中一个十分活跃的研究领域。 3 d 不变性的特点在于它对目标的描述不受目标的姿态、透视成像和相机内部参数的影 响，这类特征的计算和提取一般无需校正和重建就可直接在2 d 图像上进行，因此在 应用条件、计算复杂度、稳健性和适用范围等诸多方面，3 d 不变量都显示出极大的优 越性。本论文研究了3 d 不变性( 量) 在计算机视觉的中层符号特征提取技术、以及 高层目标描述和解释中的有关应用问题。 在本章中，将首先介绍课题背景，然后说明有关3 d 不变性的研究现状，课题的 主要研究内容和主要研究成果将在本章第三节介绍，最后说明论文的内容安排。 1 1 课题背景 3 d 目标识别系统一般包含多个组成部分，各组成部分之间互相作用，以达到某 种识别目的。图1 1 2 展示了一个3 d 目标识别系统的主要组成部分，其中对不同类型 的信息互传作了简单的提示。 图像 增强 l ! 堡竺兰兰i 图1 1 2 典型的3 d 目标识别系统 一个典型的3 d 目标识别系统一定存在两个关键步骤：建模过程和识别过程。所 谓建模过程是指根据已有的先验知识和训练图像等获取有关目标或场景的描述，选取 第2 页 国防科学技术大学研究生院学位论文 那些充分反映目标特性、具有典型意义并能与其它目标严格区分的有效信息，组合和 抽象化。这个过程一般还包括将目标的语义模型转化为便于计算机提取、计算和描述 的计算模型的过程。识别的过程则是将图像中若干感兴趣的目标或场景提取出来，并 与目标模型库中的知识进行匹配、核选、确认的过程。按照不同层次的识别目的，可 以把“识别”按级别由低到高分为：检测、分类、描述和重建等不同的层次。根据具 体的识别需要，在这个过程中，主要的工作集中在如何把巨量的原始数据化简、抽象 成精练的特征参数，以体现图像中目标的本质特征，并将这些特征用于索引、印证在 模型参数中的对应目标类。 目标识别的关键在于特征 1 8 ，提取和应用那些反映目标本质属性的特征参 量，是能成功理解图像、正确解释和识别目标的核心所在。 在常规的特征提取技术中，矢量的长度、矢量的夹角、区域的面积、区域的周长 以及多种矩的统计值等参量，都具有反映目标几何属性的特点 2 。这些参量般是 欧氏变换下保持不变的不变量( 如：平移不变量、旋转不变量、尺度不变量等) ，当 成像模型可以近似为正交投影或平行投影时( 相机距离目标无穷远的情况) ，它们可 以作为有效反映目标本质几何特征的参量参与目标识别和目标描述。 图1 1 3 目标在透视成像中的畸变 但是，当相机与目标的距离相对于目标的尺寸不可近似为无限远时，或者目标自 身的某些侧面与成像平面不保持平行关系时，成像关系应视为透视投影变换【2 【1 1 。 此时，3 d 目标的2 d 成像有可能发生形状( 结构) 上的畸变，如图1 1 3 所示：一个 正方形的透视成像可以变化成任意四边形的形状。这种变化随着视点( 透视中心) 、 成像的角度、目标的姿态、相机内部参数等成像条件的变化而改变，在这种情况下沿 用传统的形状描述方法或几何特征的提取策略，将存在很大的含糊性和不稳定因素， 势必严重影响对真实目标或场景的确切识别和刻画( 表2 4 1 ) 。 为了能有效、正确地识别和描述透视成像中的目标或场景，我们希望提取和应用 那些不受姿态和成像条件影响的特性和参量。解决问题的思路不外乎两点：其一，通 过分析成像特性，找到对应的射影变换关系，利用相机校正或3 d 重建的方法，在恢 第3 页 国防科学技术大学研究生院学位论文 复得到目标的“真实原貌”的基础上，再来求解目标几何特性：其二，借助于数学工 具，挖掘存在于2 d 图像中的丰富信息，直接利用成像中的几何测量量和几何关系解 释目标的特征属性。射影几何的理论为寻求第二种求解思路提供了可靠而直接的数学 依据【3 】 4 【6 9 】 1 0 】。 射影几何的知识表明，经过射影变换后一定的几何元素之间确实存在不变的属性 ( 结合性) 和不变的参量( 交比) 。由此，若干取自同一目标的图像组之间一定存在 确定的不变量和不变关系，使其在变化的2 d 成象表现形式的背后存在本质的统一不 变的联系纽带。如果能够挖掘出这些3 d 不变性与3 d 不变量，把它们与其他图像特性 相结合，势必形成比之运动不变性( 量) 、仿射不变量更强大的特征描述和识别工具， 同时可以完善多视图之间的对应关系和3 d 信息互补，实现有效的3 d 目标识别 1 4 儿3 8 。 鉴于3 d 不变性在目标识别理论和实践中的重要价值，本论文以射影几何的理论 为基础，对3 d 不变性的提取和应用在几个方面作了深入研究和探讨。 1 23 d 不变性的研究现状 将射影几何的有关概念引入视觉计算当中，兴起于8 0 年代，随之召开的多次国 际会议 1 5 1 6 3 1 等反映了近2 0 年来国内外学者在射影不变量提取和应用技术上 的长足进展。最初的有效尝试是由d u d a 和h a r t 在他们1 9 7 3 年出版的“模式分类与 场景分析”中论述的，对于射影几何知识的运用仅限于在正交投影图中理解多面体。 8 0 年代中期，出于希望更好地由多视图理解、重建3 d 场景的几何结构的目的，人们重 新关注射影几何。由l o n g u e t h i g g e n s 提出的两个相机构成的所谓“对极几何”体系 下的“基本矩阵”概念，无疑带来了新的突破。8 0 年代末期，研究者们的注意力转向 在相机内、外参数均未知的情况下由单视图或多视图提取不变的目标特征参量的问 题。由此，确切的建立了3 d 不变量、3 d 不变性的概念，即不随相机位置、相机内、 外参数变化而变化的有关3 d 目标的一种几何度量和目标特性，射影几何理论被更充 分的引入计算机视觉领域。 目前有关3 d 不变性的研究主要可以分以下四个方面： 其一：基础理论的研究。探讨从几点、几线，提取3 d 不变性或3 d 不变量，以及 能由几张视图提取几个独立3 d 不变量的问题 1 4 3 8 。例如：共线的四点存在一个 独立3 d 不变量，共面的五点或五线存在两个独立不变量，空间六点或六面存在三个 独立不变量等，q u a n l 7 8 就由3 张视图的六点提取3 个独立3 d 不变量的问题作了 深入的研究；e m b a r r e t t 等从延伸意义的3 d 不变量出发提出另一种观点：由四张视 图的六点可提取4 个不变约束量，三张视图的七点可提取l o 个不变约束量，两张视 第4 页 国防科学技术大学研究生院学位论文 图的八点可提取2 4 个不变约束量，但b a r r e t t 并未论及不变约束量的相互独立性问 题 1 5 1 6 。 其二：基于交比或其他3 d 不变量作为一种有效的特征测量，作为目标识别、分 类的参数，参与检测和识别工作。由j m u n d y 等研制的基于射影不变量的2 d 目标识 别系统就是典型的例子 1 1 2 ，他们的研究侧重于由单视图上提取一定结构关系的基 元集的3 d 不变量；另外，有的研究者从多视图的相互对应关系入手 3 4 3 5 1 0 8 ， 借助于3 d 不变性的关系，实现视图之间目标的预报和匹配等识别和检测任务，也有 明显的实用价值；由于3 d 不变量的提取严格依赖关键元素的有效提取，如何获得稳 健的3 d 不变量用于识别和描述也是这方面研究的一个侧重点。 其三：由射影几何的关系和3 d 不变性的辅助，从多视图进行重建的问题。此处 的“重建”包括相机参数的重建，也包括3 d 目标空间关系的重建等问题。h a r t l e y 等 研究2 视图下，由八点对应求解“基本矩阵”，再作重建的问题 4 5 儿8 5 ；a 1 i o m o n o s 等研究3 视图下，由“三聚焦矢量”作重建的问题 3 5 。研究的焦点在于如何在尽量 少的已知条件和约束环境下重建的问题。 其四：在运动分析中的广泛应用。借助于3 d 不变性和多种几何约束，实现多视 图下的关键元素的预报、匹配等，从而方便对点、线乃至目标的跟踪与识别，同时经 由3 d 重建或直接借助于几何推导，获取目标的姿态变化参数或运动参数，并对运动 作出进一步地预测 1 0 3 1 0 6 1 0 9 。 1 3 课题的主要工作 课题的研究以射影几何理论为基础，因此论文在其后的论述中，涉及3 d 不变性 或3 d 不变量的概念时一般仅限于射影几何意义下，特此说明。 课题研究对象限于刚体目标及场景，由于基于射影几何理论的3 d 不变性研究总 是以一定的几何元素集合为基础，这些几何元素包括点、线( 直线或曲线) 、面( 平 面、曲面) 等，本论文中着重讨论了基于点、直线、平面等元素的情况。 紧扣目标识别的两个关键点：特征提取和特征应用，课题的主要研究工作集中在 两个环节：3 d 不变性的提取技术和3 d 不变性的具体应用。课题完成的主要工作如下： ( 1 ) 基础知识的学习与总结。 系统学习和总结了射影几何中的若干基础概念。包括：透视成像的相机模型、射 影对应、交比不变量、基于不同几何变换下的不变量的简单对比、对极几何中的基础 矩阵、对极点、对极线等。 ( 2 ) 利用变换求解3 d 不变性。 第5 页 国防科学技术大学研究生院学位论文 深入分析了2 d 射影变换建立射影平面对应关系的多种可能性。扩展了2 d 射影变 换矩阵的求解方法，使单纯利用点集对应的计算模式扩展到可以利用直线集、点线组 合等多种类型来进行。 对3 d 不变量常规提取方法的总结：沿用经典的交比计算思想，基于单一类元素 的计算方法，扩展多种基元组合的计算方法。例如，由共面五点交比，可相应推出： 共面上的3 点2 线、4 点1 线、2 点2 线等多种交比的形式。丰富了原有的交比求解 思路，为进行更复杂的3 d 不变量提取作好准备。 基于前面的分析，提出了双视图下由点、直线元素的多种对应关系求解2 d 射影 变换来构造“虚元素”的方法，结合“实元素”和“虚元素”，可以有效提取空间结 构的3 d 不变量，并将之用于目标空间结构属性以及目标相互关系的描述中。 ( 3 ) 对称性目标中的3 d 不变性。 深入分析了对称性目标的透视成像特点，将共点四线交比用于目标轮廓上的关键 点的特性描述中，可以良好反映对称性目标关键点的分布规律性，有效克服了对称形 状在射影变换后不再保持对称的难点。 利用调和共轭关系，提出了一种针对左右对称型目标的对称轴提取的算法；利用 交比关系构造了目标的形心不变量，提出了一种针对旋转对称型目标的旋转参数计 算、旋转中心提取的算法。 从对称目标特有的形状特点入手，分别利用3 d 不变量和2 d 射影变换，实现了 一定条件下的对称性目标的形状恢复技术。 ( 4 ) 特殊几何约束关系下的3 d 不变性。 详细探讨了消失元素( 消失点、消失直线、消失平面等) 所体现的垂直、平行等 特殊几何约束关系，对射影几何中的极点、极线、共轭、自共轭三角形等概念作了深 入分析。 深入研究了消失点列的射影不变量所反映的直线内在关系，基于单视图，提出了 一种利用消失点列的3 d 不变量解释平面直线关系的方法。 基于双视图，提出了利用自共轭三角形和对极几何约束，提取任意直线的消失点 的算法，并在此基础了提出了一种利用消失元素的3 d 不变量解释直线间、直线与平 面间、平面间等多种空间几何关系的方法。 将消失元素的3 d 不变量用于目标的形状描述和姿态分析中，可以有效克服透视 成像带来的理解歧义，实现了对目标形状或姿态的一个真实刻画。 第6 页 国防科学技术大学研究生院学位论文 1 4 论文结构安排 论文后面各章内容安排如下： 第二章，3 d 不变性理论的基本概念。本章介绍了齐次坐标的概念；详细给出了 透视成像的相机模型：对射影几何中重要的概念：交比，作了系统阐述；并对对极几 何的概念及其多目成像研究中的应用作了简单介绍。本章是提取和应用3 d 不变性 ( 量) 的基础所在。 第三章，基于2 d 射影变换的3 d 不变性。2 d 射影变换是射影几何中的重要概念， 本章在总结多种平面3 d 不变量的基础上，从2 d 射影变换体现的几何元素对应关系 入手，详细介绍了多种条件下求解2 d 射影变换矩阵并将之用于空间目标3 d 不变量 提取的技术。 第四章，基于对称性目标的3 d 不变性。本章研究了3 d 不变性在描述和分析对 称型目标时的一些应用途径。针对两种简单的2 d 对称性目标：左右对称型目标和旋 转对称型目标，分别对如何提取左右对称目标的对称轴、如何提取旋转对称目标的对 称中心作了介绍、并就对称目标的部分形状恢复技术作了初步论述。 第五章，基于特殊几何约束下的3 d 不变性。本章的研究重点是那些经由透视成 像后不再保持平行和垂直属性的几何元素组合。研究消失点、消失直线的3 d 不变量 所蕴含的特殊几何意义，它们一般体现了目标的形状特征和结构关系。 第六章，结束语。课题的工作小结以及研究方向展望。 第7 页 国防科学技术大学研究生院学位论文 第二章3 d 不变性理论的基本概念 2 1 概述 在大量的有关3 d 视觉的研究中 2 1 1 】，都把目标的成像过程近似为正交投影或 平行投影，这种近似的前提条件是假设相机距离目标无限远的情况。上述近似条件下 可以提取目标的一些不变特性，这种不变特性是欧氏几何下的不变性或仿射几何下的 不变性 2 【6 。基于上述假设得到的目标特征描述，在相机与目标的距离有限远、目标 姿态发生变化时不再具有稳定性和一致性，此时必须按照成像的真实情况一透视投影 的成像模型来分析和提取新的不变量才能反映目标的固有特性。 目标的成像过程是一个射影变换的过程，射影几何意义下的不变性( 量) 在这一 变换过程中是保持不变的。因此研究目标成像的透视模型，了解射影几何的相关知识 将是非常必要的。本章简单介绍了贯穿课题始终的一些核心概念，它们是研究3 d 不 变性的基础内容，也是论文后面各章节的知识铺垫，我们在本章中着重阐述了以下问 题： 首先，给出了齐次坐标的有关定义和若干简单运算公式。由于3 d 不变量的提取 是基于若干几何元素的( 本论文的研究重点限于平面中的点元素和线元素，以及空间 中的点元素、直线元素和平面元素) ，因此几何元素的表达形式是首要解决的问题， 论文统一采用齐次坐标的方式来表示几何元素，并把几何元素作为矢量看待。如无特 别说明，论文一律采用小写黑体字母表示平面点矢量、直线矢量，采用大写黑体字母 表示空间点矢量、直线矢量、平面矢量。 其次，对透视成像的相机模型作了详细的分析。从最简单的小孔成像模型，逐步 推广得到由3 d 目标到2 d 成像的一个普遍公式( 2 2 1 4 ) 。该公式是反映成像关系的 一个基础公式，对理解多目成像、对极几何的概念大有助益，也是相机校正、3 d 重建 的理论依据。 然后，对射影几何的基本知识作了简要说明，对不同变换意义下的不变量作了简 单分析和比较。尤其是射影变换下保持不变的交比不变量，作为本论文研究的出发点， 在2 4 节给出了1 d 、2 d 、3 d 下的多种交比不变量的定义。在论文的第三章、第四章、 第五章等章节中，均有对这些交比不变量的直接或间接的引用。 最后，从双目视觉的研究角度对对极几何的概念作了概括介绍。对极几何是双目 分析、多目分析的基础。在很多情况下尤其是研究空间3 d 目标的特征分析时，基于 单张视图的信息往往不能有效提取3 d 不变量。从多视图的角度入手，必然涉及视图 间关系的解释，对极几何是一个有效的工具。由于不是论文的研究重点，2 5 节仅 第8 页 国防科学技术大学研究生院学位论文 就论文中涉及较多的一些概念作了提示性说明，包括基础矩阵、对极点、对极线等， 更详细的内容，读者可以参阅文献 3 4 3 5 【6 2 【1 0 7 。论文的第三章、第五章用到 了对极几何的有关概念。 2 2 透视成像的相机模型 一、齐次坐标 在欧氏平面内建立二维笛氏坐标( 直交或斜交) ，则可使平面内的有穷远点与有 序实数偶之问建立一一对应，从而确立了平面内点的坐标的概念。为了刻划无限远点， 我们引入二维齐次坐标。 定义2 2 1 设欧氏平面内点p 的笛氏坐标为( x ，y ) ，则满足x 。居3 = x ，x 2 x ，= y 的 有序三数x i ，x 2 ，x 3 ( 其中x 3 0 ) 叫做点p 的齐次坐标，记以p ( x ，x 2 屿) 。 由定义可见，平面内一点的齐次坐标有无穷多组；( h ，虹：，h ，) ( 其中k 0 ) 和 ( z 。，x ：，x 。) 表示同一点的齐次坐标。论文为了区别起见，( z ，y ) 叫做点p 的非齐次坐标。 尤其当x ，= 0 时，点p ( x ，x ：，x ，) 表示平面上的无限远点，但没有以( 0 , 0 ，0 ) 为齐次坐标 的点。 定义2 2 2 设欧氏平面内直线l 的解析表达式为，z + 1 2 y + z ，= 0 ，则有序三数 ( f l ，2 ，) 叫做直线i 的齐次坐标，记以i ( 1 ，：，：) 。 由定义可见，平面内一直线的齐次坐标有无穷多组；( “，k 1 2 ，肼。) ( 其中k 0 ) 和( f ，2 ，7 ，) 表示同一直线的齐次坐标。当7 。= f ：= o 时，直线l ( j ，f ：，f 3 ) 表示平面上的无 限远直线，没有以( 0 , 0 ，0 ) 为齐次坐标的直线。 由于齐次坐标可以通过任意非零比例因子k 表示成其它形式，为表述方便，论文 中统一采用符号“兰”表示存在比例因子关系，实际表示同一点或直线的两个齐次坐 标。即：( 舡。，缸2 ，奴，) 兰( x ，x ：，x ，) 。利用齐次坐标，可以得到如下常用公式： 连接两点p 。和p ：的直线l 可以表示为： l 兰p l p 2 ( 2 2 1 ) 两线l 。与1 2 的交点p 可以表示为： p 兰i 】 1 2 ( 2 2 2 ) 点p 在直线l 上，可以表示为： p 。l = 0 ( 2 2 3 ) 第9 页 国防科学技术大学研究生院学位论文 若平面三点p i ，p2 ，p 3 共线，则 d e t ( p l ，p2 ，p3 ) 0 ( 2 2 4 ) 若平面三直线i 。，l ：，1 3 共点，则 d e t ( 1 l ，1 2 ，l3 ) ；0 ( 2 2 5 ) 在3 d 空间情况下，同理可以定义空间点与直线的齐次坐标。空间一点e ( x ，y ，z ) 的 齐次坐标可以表示为e ( x l ，x 2 ，x 3 ，x 4 ) ，其中x 1 x 4 = x ，x 2 x 4 = y ，x 3 x 4 = z 。若z 4 = o ， 该齐次坐标表示空间的无限远点。空间一平面u 的解析表达式若为 u i x + “2j ，+ “3 z + “4 = 0 ，则该平面的齐次坐标可以表示为v ( u l ，u 2 , u 3 ，u 4 ) 。若 “，= “：= 叱= 0 ，则该平面为无限远平面a 二、相机模型 对于中心投影来说，小孔成像是最简单的相机模型。在理想的小孔成像模型下， 基准轴与z 轴成一致关系，该轴与成像平面的交点即基准点位于图像坐标系的原点， 如图2 2 1 所示： ( x y ，圩 视少 “，v ) 、 乓一f 一 基准轴 7 成t 平面 基准点 z 图2 2 1 小孔成像原理 若采用非齐次坐标表达成像关系，由空间一点( x ，y ，z ) 。投影到成像平面一点 ( “，v ) ，可表示为： i u = f x 7 2 ( 2 2 5 ) i v = 痧z 其中，厂是相机焦距。若采用齐次坐标表示，式2 2 5 可以写作： 第1 0 页 国防科学技术大学研究生院学位论文 饼；0 ( 2 2 6 ) 上式也可以写成： p = d i a g ( f ，f ，1 ) 【i io 妒 ( 2 2 7 ) 其中：d i a g ( f ，f ，1 ) 表示对角矩阵。 上述情况是假设基准点恰好位于成像平面坐标系中心点时的情况，当基准点发生 偏移时，也即空间点( x ，y ，z ) 的成像坐标为 + p 。，v + p ，) ，( p 。，p ，) 是基准点的偏移 量，则式2 2 6 应调整为： ( 2 2 8 ) 进一步地，考虑到相机发生旋转和平移的情况，即基准轴与z 轴并不保持在同一 直线和同一方向上，相机坐标系的原点与世界坐标系的原点并不统一时。若表示世界 坐标系中一点的非齐次坐标，而q 表示相机坐标系中该点的非齐次坐标，则二者存在 关系：q = r ( p c ) ，即： q = 曙一脚 z 。， q 5 lo1 p 他- 2 9 其中c 表示投影中心在世界坐标系中的非齐次坐标，r 是一个3 x 3 的旋转矩阵， 表示相机坐标系相对世界坐标系的方向变化，我们可以得到。用齐次坐标表示的中心 投影公式可以进一步写作： 其中：厂是相机的焦距；( 见，p ，) 是基准点的图像坐标，r 是相机旋转矩阵，c 是相机在投影中心在世界坐标系的位置。一共涉及9 个参数。 第1 1 页 ，o 0 、l = 1，j p p p + + z 詹矗 。l c一 r 1lll，j v p p ，o ，0 ，0 o 。l = 1llj v p p + + z 髓麝 l 国防科学技术大学研究生院学位论文 0 见 厂p ，1 ，我们可以得到一个广义的小孔成像的公式 01 j p = k r i | t i p 广义的d , t l 成像包含9 个独立系数( 9 个自由度) 。 小孔成像模型假设目标所在的3 d 世界坐标系和成像后的2 d 图像坐标系在各轴向 上具有相同的尺度度量，当这个条件不满足时，坐标系的各轴向的尺度度量存在比例 关系，设为m 。：m ，( 它们可以看做在“，v 两个方向上单位距离内像素的数目) ，则矩阵 k 变为： 这种模型关系存在1 0 个独立参数( 1 0 个自由度) 。 另外，考虑到成像情况的复杂性，“，v 两个方向并不总是保持垂直正交关系，此 时需加入另一个参数因子：扭曲因子s 。矩阵k 应写作下式。我们把这种广义透视投 影的 k = 雕： ： 成像关系写成更普通的形式，把成像过程视作目标空间( 3 d ) 的一个变换过程。这个过程，利用其次坐标可以采用下式表示： 圣 黯阵 向图像空间( 2 d ) 式中3 4 的矩阵采用p 表示，称为透视投影矩阵。由于等式中存在一个比例因子 关系，广义透视投影存在1 1 个独立参数( 1 1 个自m s x ) 。矩阵p 可以分解成形式： p = m | _ m c ( 2 2 1 5 ) 当矩阵m 是一个3 3 的非奇异矩阵时，式( 2 2 1 4 ) 表示了相机位于有限远的 位置时透视投影的关系；若无此约束，相机可以在任意位置，包括无限远的位置上。 第1 2 页 ，o o ，。l = k没 ，_j h y p p o k o k o o ，l i i 1，j “ v p p o 砌o 砌o 0 。，l = k 国防科学技术大学研究生院学位论文 2 3 射影几何的基本知识 在2 2 节中，我们已经提到了无限远的概念。本节将从中心射影引进平面内的 无限远元素( 理想元素) ，并建立射影空间的模型。 一、中心射影 首先给出点列到点列的中心射影的定义。 定义2 3 1 设l 和l + 是共面的两条直线，点。是此平面上( 但不在直线l 和l 。上) 的 一个定点。对于i 上的任意点p ，连接o p 与l 。交于p 。，则称p 为p 从。投射到l 的中心 射影。简称p 为p 的对应点。( 严格说，要引进无限远元素后，才能建立一一对应) 。 点。称为射影中心。如图2 3 1 。 显然直线i 和i 。的交点s 是中心射影的不变点。当o q “时，q 的中心射影不存在。 中心射影与射影中心有关，射影中心改变后，点p 的中心射影也随着改变。中心射影 又称透视对应( 但透视对应不限于中心射影) 。 其次给出点场到点场的中心射影的定义。 定义2 3 2 设u 和u 是空间两个平面，o 为空间不在u 和u 上的一个定点，对 于平面u 上的任意一点p ，连接o p 与u 。相交于点p ，则称p 为p 从0 投射到u 的中 心射影。简称p 为p 的对应点( 同样要在引进无限远元素后，才能建立一对应) 。 点o 称为射影中心。如图2 3 2 。 l _ 图23 1 点列中心射影 图2 3 2 点场中心投影 显然平面u 和u 的交线s 上的每点是中心射影的不变点。当o v 平行于u 时， 点v 的中心射影不存在。对于u 上的直线l ，若点o 与直线l 形成的平面与u 平行， 则直线l 的中心射影不存在。点场到点场的中心射影与射影中心有关，改变射影中心 点的中心射影也要改变。这种中心射影也称点场到点场的透视对应。 第1 3