（测试计量技术及仪器专业论文）基于3d不变量的三维物体识别.pdf

哈尔滨理1 二大学t 学硕l 二学位论文 基于3 d 不变量的三维物体识别 摘要 三维物体识别是计算机视觉研究的一项重要课题。由于其在军事、工业等 社会诸多领域中具有潜在的，巨大的经济和应用价值，半个世纪以来受到各国 视觉研究者的广泛关注，并提出了大量的理论和方法。但在常规的识别方法中， 当相机与目标的距离相对于目标的尺寸不可近似为无限远时，或目标自身的某 些侧面与成像平面不保持平行关系时，三维物体的2 d 成像有可能发生形状( 结 构) 上的畸变，在这种情况下将会产生很大的不确定性，从而严重影响真实三维 物体的准确识别。 为了能够有效地、正确地识别三维物体，本文采用了基于3 d 不变量的三维 物体识别方法，其中运用了大量不受姿态、成像条件和相机内部参数影响的特 征量，这些特征量是以射影不变量为代表的3 d 不变量，而且提取和计算一般无 需校正和重建可直接在2 d 图像上进行。该方法首先对图像进行预处理、点线特 征提取与精确匹配，以获得准确的点、线特征对应对；然后在此基础上以2 d 射 影变换作为建立视图关系的工具，利用多种组合形式的点、线对应对建立视图 关系，合理构造虚元素，结合实元素和虚元素巧妙的提取空间复杂物体的多种 3 d 不变量；最后通过以3 d 不变量组成的数据模型库与哈希表相结合实现了三 维物体识别。实验表明，基于3 d 不变量的三维物体识别方法可以有效地克服透 视变形对成像目标带来的歧义理解，在一定程度上能够较好的解决三维物体识 别的需求。 关键词3 d 不变量；不变性；三维物体识别 哈尔滨理丁大学丁学硕十学位论文 t h r e e - d i m e n s i o n a lo b je c tr e c o g n i t i o n b a s e do n3 di n v a r i a n t a b s t r a c t t h et h r e e - d i m e n s i o n a l o b je c tr e c o g n i t i o n i sa ni m p o r t a n tt o p i ci nc o m p u t e r v i s i o nr e s e a r c h i th a sh u g ee c o n o m i ca n da p p l i c a t i o nv a l u ei nt h em i l i t a r ya n ds o c i a l d o m a i n s s i n c et h eh a l fc e n t u r y , i th a sr e c e i v e dt h ev a r i o u sc o u n t r i e s v i s i o n r e s e a r c h e r sw i d e s p r e a da t t e n t i o n ，a n dt h em a s s i v et h e o r i e sa n dt h em e t h o d sh a v e p r o p o s e d b u ti nc o n v e n t i o n a lr e c o g n i t i o nm e t h o d s ，w h e nt h ed i s t a n c eb e t w e e n c a m e r aa n dg o a lc a n tb ea p p r o x i m a t ef o rb e i n gf a rl i m i t l e s s l yt ot h es i z eo ft h eg o a l ， o rw h e ns o m es i d e sa n dl e v e l so ff o r m a t i o no fi m a g ed on o tk e e pt h ep a r a l l e lr e l a t i o n ， t h r e e d i m e n s i o n a lb o d y s2 di m a g ef o r m a t i o nh a st h ep o s s i b i l i t yt oh a v et h es h a p e ( s t r u c t u r e ) o nd i s t o r t i o n i nt h i sc a s e ，t h ev e r yb i gu n c e r t a i n t yw i l lb ep r o d u c e d ，t h u s t h r e e d i m e n s i o n a lb o d ya c c u r a t er e c o g n i t i o ni si n f l u e n c e ds e r i o u s l y i no r d e rt ob ea b l et or e c o g n i z ec o r r e c t l ya n dd e s c r i b ee f f e c t i v e l yt h eg o a lo r s c e n ei nt h ef o r m a t i o no fi m a g e ，am e t h o df o rt h er e c o g n i t i o no ft h r e e - d i m e n s i o n a l o b j e c ti sp r e s e n t e dw h i c hi sb a s e do n3 di n v a r i a n c e an u m b e ro ft h ec h a r a c t e r i s t i c s a n dp a r a m e t e r s ，w h i c ha r ei n f l u e n c e db yt h ei m a g ef o r m a t i o na n dt h ec a m e r ai n t e r i o r p a r a m e t e r s ，t h ep r o j e c t i v ei n v a r i a n t i s a d o p t e da st h er e p r e s e n t a t i v eo ft h e3 d i n v a r i a n c e ，a r ee x c a v a t e df r o mt h e i d e n t i c a lo b j e c ti nt h ei m a g eg r o u p t h e s e c h a r a c t e r i s t i c se x t r a c t i o na n dt h e c o m p u t a t i o nd on o tn e e dt oa d j u s ta n dt h e r e c o n s t r u c t ，o n l yc a r r y o nd i r e c t l yo nt h e2 di m a g e f i r s t l y , t h ep o i n t - l i n e c h a r a c t e r i s t i cp a i r st h o u g h o u tt h ep o i n t l i n ec h a r a c t e r i s t i co b t a i n i n ga n dt h ee x a c t m a t c h i n gi nt h ei m a g e s t h e n ，o nt h i sb a s i s ，t h e2 dp r o j e c t i v et r a n s f o r m a t i o na st h e t o o lw h i c hi se s t a b l i s h e dt h ev i e wr e l a t i o n t h r o u g ht h ev i r t u a le l e m e n t sw h i c ha r e r a t i o n a l l yp r e s e n t e d ，a n dm a n yk i n d s o f3 di n v a r i a n to fc o m p l i c a t e d s p a t i a l s t r u c t u r e sc a l lb en e a t l ye x t r a c t e db yc o m i n gr e a le l e m e n t sa n dv i r t u a le l e m e n t s f i n a l l y , t h r o u g ht h eu n i o no ft h e3 di n v a r i a n tm o d e ld a t a b a s ea n dt h eh a s ht o i m p l e m e n t a t i o no ft h r e e d i m e n s i o n a lo b j e c tr e c o g n i t i o n e s t a b l i s hd a t a b a s ea n dc o m e t or e c o g n i z et h et h r e e - d i m e n s i o n a lo b j e c t t h er e s u l t si n d i c a t et h a tt h ei n v a r i a n tc a n - i l 哈尔滨理t 大学- t 学硕1 学位论文 e f f e c t i v e l yo v e r c o m ei n f l u e n c eo fi m a g i n gc o n d i t i o n ，a n dt h em e t h o dc o u l ds a t i s f y w e l lt h r e e - d i m e n s i o n a lo b j e c tr e c o g n i t i o nd e m a n d k e y w o r d s 3 di n v a r i a n t ，i n v a r i a n c e ，t h r e e d i m e n s i o n a lo b j e c tr e c o g n i t i o n i i i 。哈尔滨理工大学硕士学位论文原创性声明 本人郑重声明：此处所提交的硕士学位论文基于3 d 不变量的三维物体识 别，是本人在导师指导下，在哈尔滨理工大学攻读硕士学位期间独立进行研究 工作所取得的成果。据本人所知，论文中除已注明部分外不包含他人已发表或 撰写过的研究成果。对本文研究工作做出贡献的个人和集体，均已在文中以明 确方式注明。本声明的法律结果将完全由本人承担。 作者签名：亏1 刃拜日期知7 钦写月2 。日 哈尔滨理工大学硕士学位论文使用授权书 基于3 d 不变量的三维物体识别系本人在哈尔滨理工大学攻读硕士学 位期间在导师指导下完成的硕士学位论文。本论文的研究成果归哈尔滨理工大 学所有，本论文的研究内容不得以其它单位的名义发表。本人完全了解哈尔滨 理工大学关于保存、使用学位论文的规定，同意学校保留并向有关部门提交论 文和电子版本，允许论文被查阅和借阅。本人授权哈尔滨理工大学可以采用影 印、缩印或其他复制手段保存论文，可以公布论文的全部或部分内容。 本学位论文属于 保密口，在年解密后适用授权书。 不保密囹。 ( 请在以上相应方框内打) 作者签名： 导师签名： 希l 霾褥 施努婚 日期：少7 稻彤c 日 同期：二7 月娴 f 第l 章绪论 1 1 课题背景及意义 第1 章绪论 计算机视觉是研究用计算机来模拟宏观视觉功能的科学和技术，其研究 目标是使计算机具有通过一幅或多幅图像获取周围环境信息的能力。这种能 力将不仅使机器能感知环境中物体的几何信息，包括它的形状、位置、姿态、 运动等，而且能对它们进行描述、存储、识别等理解。其中三维物体识别是 计算机视觉的重要组成部分。随着工业和医疗等领域各种现实应用需求的急 剧增加，三维物体识别技术已成为一个很活跃的研究领域，它广泛应用在机 器人工件抓取任务、自动导航、自动检测、装配任务与医学图像的分析等系 统中。 三维物体识别的关键在于那些反映三维物体本质属性的特征参量【1 2 1 。在 常规的特征提取技术中，矢量的长度、矢量的夹角、区域的面积、区域的周 长以及多种矩的统计值等参量，都具有反映三维物体几何属性的特点f 3 】。这 些参量一般是欧氏变换下保持不变的不变量( 如：平移不变量、旋转不变量、 尺度不变量等) ，当成像模型可以近似为正交投影或平行投影时( 相机距离目 标无穷远的情况) ，它们可以作为有效反映三维物体本质几何特征的参量参与 三维物体识别和描述。 但是，当相机与目标的距离相对于目标的尺寸不可近似为无限远时，或 目标自身的某些侧面与成像平面不保持平行关系时，成像关系应视为透视投 影变换【4 1 。此时，三维物体的2 d 成像有可能发生形状( 结构) 上的畸变。这种 变化随着视点( 透视中心) 、成像的角度、目标的姿态、相机内部参数等成像 条件的变化而改变，在这种情况下沿用传统的形状描述方法或几何特征的提 取策略，将存在很大的含糊性和不稳定因素，势必严重影响对真实目标或场 景的确切识别和刻画。 为了能有效、正确地识别和描述透视成像中的目标或场景，本文借助于 数学工具，挖掘存在于2 d 图像中的丰富信息，直接利用成像中的几何测量 和几何关系解释三维物体的特征属性。出于机器人工件抓取任务、医学图像 的分析、航空测绘、目标动态监控及工业检测等等大量现实应用的需要，其 成果可以广泛应用于工业、医学、公安、军事等方面，对这些领域的自动化 第1 章绪论 水平和机动性能的提高发挥了重要作用被广泛应用于等领域。 1 2 三维物体识别的发展及现状 物体识别技术的出现和发展得益于计算机视觉的不断进步。对于计算机 视觉，不得不提的是英国已故科学家戴维马尔( d a v i dm a r r ) ，他在计算机视觉 发展史上写下了浓重的一笔。在2 0 世纪7 0 年代末，他提出了第一个较为完 善的视觉系统框架，即计算机视觉理论框架。m a r r 的视觉框架成为包括物体 识别在内的诸多相关研究领域的理论基础。他认为视觉是一个复杂的信息处 理过程，并有不同的信息表达方式和不同层次的处理过程，而最终的目的是 实现计算机对外部世界的描述和理解。由此，他提出了三个层次的研究方法， 即计算理论层、表征与算法层以及实现层。并且设想出了自下而上、没有反 馈的视觉处理框架，他认为视觉的主要任务是获得物体的三维形状。 物体的识别过程涉及到视觉中从低到高的所有层次，它是当前计算机视 觉领域最困难但也是最活跃的研究领域之一。国内外很多研究机构都在不断 地进行着相关的研究工作。迄今为止，已经提出了很多不同的框架和方法解 决物体识别问题。有些方法采用三维数据，有些方法试图利用物体的多个视 点的图像进行解释，还有些则试图从单一的二维灰度图像或彩色图像中推断 物体的三维特征。然而，基于二维图像的三维物体识别系统所面临的主要问 题是在将物体映射到二维图像平而时，丢失了物体大量的三维结构信息。因 而，必须从二维图像中提取物体的三维特征。 b r o o k s 的a c r o n y m 系统是最早的视觉系统之一，成功地用于带噪声 灰度图象中的飞机识别【5 ，6 】。它的模型使用了广义圆柱体表示。其主要贡献是 使用了模型、约束和基于预测和反馈的符号推理；缺点在于对分割的鲁棒性 不好，另外仅仅利用了边缘信息，系统的性能可以通过在低层视觉的输入引 入深度信息得到提高。 l k e u c h i 提出了一种从由平面和圆柱面组成的物体的c a d 模型离线生成 解释树的方法。他的b i np i c k i n g 系统包含了双摄像机的立体视觉系统、几何 模型系统( s o l v e r ) 和解释树二个部分。系统有编译和运行两个模块组成。系统 可以准确地确定单个物体的姿态( 没有给出量化的结果) ，但没有显示出对于 不同物体的识别能力。该系统的主要优点在于使用了表示属性的概念来减小 识别处理中的搜索空间；缺点在于视点的生成是使用穷举法而不是解析方法， 在匹配过程中也没有考虑回溯的可能性。 第l 帝绪论 b o n e s 和c a i n 开发了用于b i n p i c k i n g 任务中三维工件识别定位的3 d p o 系统。物体模型采用了边界表示的扩展表示，即在边界表示基础上增加了特 征分类网络。物体模型描述由四个部分组成：扩展c a d 模型、特征分类网 络、线画图模型和平面片模型。扩展c a d 模型包括体、面、边、点描述及 其拓扑连接关系，主要用于生成深度图象。特征分类网络按类型和尺寸进行 分类，主要描述的是圆柱表面和平面表面，每一个特征类型存有一张表，如 圆弧表、直线边表、有共同法线的平面表和有共同轴线的圆柱面表等，这些 表组成相互联系的网络。这种表示便于获取的三维特征与模型的直接匹配， 特征之间的关系又便于进行假设检验。在其搜索策略中，通过采用少量边特 征形成初步的假设的方法减少搜索空间。其缺点在于特征选择高度依赖于视 点的选择，其方法通用性差，针对不同的视觉过程需要建立不同的表示模型。 h a n s e n 的主要方法是c a d 模型自动选择特征并形成识别物体的策略树 来识别物体。c a d 系统是山u t a h 大学开发的基于b r e p 的立体造型系统 a l p h a 1 系统，由c a d 模型导出的视觉模型采用翼边描述，从而可清楚地表 达物体特征之间的关系，系统所使用的特征是面、弧和点。通过“特征滤波 器把物体初始特征按照一定标准自动选择之后形成一个物体特征集，从而 实现特征的自动选择。系统所用的识别策略树是树分类器的推广。系统的识 别与定位由遍历策略树而得到。h a n s e n 的主要贡献是在匹配阶段使用滤波器 自动选择特征，其局限性在于滤波器设计是靠设计者的经验而不是实际模型。 k a k 的系统采用了特征副7 ，8 i 表示，特征图中的节点表示物体表而，其属 性为曲面类型和表面积。特征图从c s g 模型生成，在匹配中采用图匹配的方 法。 在c h e n 和k a k 的3 d p o l y 系统中物体模型通过合并多试点的深度图像 建立。曲面基元于平面和二次曲面，匹配过程中使用了朝向、位置参数等几 何特征。在景物与模型匹配时通过面和边特征的适当组合估计出物体位姿， 在几何变换确定后，通过比较景物与模型中所有特征的朝向来验证对物体位 姿作出的假设。该系统通过以上策略实现三维物体的快速识别。 v e m u r 等人的工作突出之处在于将深度数据同时作为物体模型和输入图 像，物体模型通过将从多个视点获得的深度图像合并而成。 f a n 等人通过多视点的深度图像建立物体的模型，与v e m u r i ，c h e n 的不 同之处在于f a n 在匹配时采用的是只从这些视点获得的深度图像，而并不是 从这些深度图像建立的物体模型。 f l y n n 的b o n s a i 系统采用了商业化的c a d 软件g e o m o d 作为其c a d 第1 章绪论 系统，把物体的边界表示与视觉有关特征结合起来生成物体的关系图，物体 识别与定位使用了假设检验方法。f l y n n 给出了从c a d 系统自动导出关系图 的方法，即由商业化c a d 系统生成的i g e s 导出关系图。 s c h i e l e 使用多维直方图( m u l t i d i m e n s i o n a lr e c e p t i v ef i e l dh i s t o g r a m s ) 进 行物体识别。n a y a r 实现了1 0 0 个复杂三维物体的识别系统。h u a n g 使用特 征向量识别三维物体。s c h m i d 使用图像的局部特性识别三维物体。g r i m s o n 使用边、直线段和法向矢量来描述多面体，由于使用多面体逼近曲面物体的 表面，需要大一量空间，所以有学者提出使用平面和二次曲面方程来描述曲 面表面。一些研究是根据表面点的高斯曲率和平均曲率，将表面片分成峰 ( p e a k ) ，凹( p i t ) ，鞍( s a d d l e ) 等一些主要的形状。s t e i n 提出了一种结构表达方 法，这种方法根据表面法矢量的分布来确定边和局部表面片，因此它能够处 理任意形状的物体表面。d o r a i 提出了3 d 自由形状物体的c o s m o s 表达方 法，这种方法先定义表面小区域上的归一化形状索引特征，然后在全部表面 上进行统计，以得到形状谱，接着再根据形状索引特征得到最大一致形状表 面片，两者联合起来则构成对任意形状物体的表达。 陈拓等将几何不变性应用到三维物体的识别，有效消除观察视角、摄像 机参数等不利影响，实现对规则物体和任意形状物体的识别【9 1 ；申金媛等利 用物体相位信息来识别近乎透明的物体【1 0 1 ：黄黎红采用基于m c d 距离 ( m c d m a x i m u mc l o s ed i s t a n c e ) 的相关匹配法作为图像相似度的度量方法来 识别家庭环境中部分遮挡的物体【1 1 1 ；b i c e g o 提出了一种基于外观的物体识别 方法，该方法对物体的分类是很鲁棒的，但需要获取多视角下的图像，而且 搜索速度慢，计算复杂度偏古【1 2 】。b ogp 提出了对于遮挡情况下物体的识别 是很有效的，但是匹配的复杂度很高1 1 3 。r u b e r t o 提出了用一种改进的 h a u s d o r f f 距离方法来实现匹配，该方法对于测试两种模式之间的相似性很有 效，并且对于适度的噪声变化是鲁棒的，但对于大的几何变换有限制，并且 在模型特征和图像特征之间无对应关烈1 4 1 。 1 33 d 不变量在三维物体识别中的应用 1 3 13 d 不变量概述 在大量有关3 d 视觉的研究中，都把目标的成像过程近似为正交投影或 平行投影，这种近似的前提条件是假设相机距离目标无限远的情况。上述近 第1 章绪论 似条件下可以提取目标的一些不变特性，这种不变特性是欧氏几何下的不变 性或仿射几何下的不变性。基于上述假设得到的目标特征描述，在相机与目 标的距离有限远、目标姿态发生变化时不再具有稳定性和一致性，此时必须 按照成像的真实情况透视投影的成像模型来分析和提取新的不变量才能 反映目标的固有特性i ”l 。 射影几何知识表明，经过射影变换后一定的几何元素之间确实存在不变 的属性( 结合性) 和不变的参量( 交比) 。由此，若取自同一目标的图像组之间一 定存在确定的不变量和不变关系，使其在变化的2 d 成像表现形式的背后存 在本质的统一不变的联系纽带。如果能够挖掘出这些3 d 不变性与3 d 不变量， 势必形成比之运动不变性( 量) 、仿射不变量更强大的特征描述和识别工具， 同时可以完善多视图之间的对应关系和3 d 信息互补，实现有效的3 d 目标识 别【1 6 】。 共面关系下的3 d 不变量，多以角度比值、长度比值或面积比值等形式 出现( 如交比等) ，可以直接凭借一张视图提取 1 7 - 1 9 1 。空间关系的3 d 不变量， 一般需结合多张视图，利用视图间的约束关系来提取。这类方法有：经由重 建或校准后在目标3 d 结构上提取【2 0 】；或经由变换后将空间关系转成共面关 系，再利用共面关系的交比计算方法来提取3 d 不变量。 长期以来，建立视图间的相互关系多是从点集对应入手1 2 1 , 2 2 1 ，这限制了 求解条件和应用范围。本文把2 d 射影变换作为建立视图之间相互关系的工 具，从射影几何的基本性质出发说明了利用其他几何元素对应求解此类问题 的可行性。利用多种组合形式的点线对应建立视图关系而不必单纯依赖点集 对应条件。这使得空间元素的共面性检验问题、构造共面虚元素的问题有了 更灵活的应用环境。在此基础上通过合理构造虚元素，结合实元素和虚元素 可以巧妙提取空间复杂结构下的多种3 d 不变量，使计算3 d 不变量的方法、 可提取3 d 不变量的空间元素集合的类型均得到进一步扩充。 1 3 2 基于3 d 不变量的三维物体识别 基于3 d 不变量的三维目标识别技术是伴随着不变量和三维目标识别技 术的成熟应运而生的新型三维目标识别技术。它是从传统二维相关识别的基 础上演化出来的方法，相对于众多三维目标的识别方法，它具有鲜明的特点： 即引入了实元数和虚元数。在实际应用中，巧妙利用2 d 射影变换，可以合 理构造虚元素，实现由空间关系向共面关系的过渡。这对原有的共面元素集 第1 章绪论 合是一个有效的补充。结合实元素与虚元素计算的3 d 不变量体现了空间结 构的射影不变性。 鉴于2 d 射影变换求解的灵活性，使我们可针对多种情况下的元素集合， 运用不同的方案。如此计算得到的3 d 不变量尽管以1 d 或2 d 的不变量形式 出现，由于体现空间交点或交线关系的虚元素的介入，其本质还是反映了空 间几何元素的3 d 关系。 因此，在信息源的获取方面，基于3 d 不变量的三维目标识别技术是其 它三维目标识别技术所望尘莫及的。此外，它还具有建模简单，操作方便等 特点；相对于传统三维目标识别技术，它又具有识别灵敏度高的优势，所以 其研究和应用具有广阔的前景。 1 4 课题的主要研究内容 三维物体识别要求从3 d 物体的2 d 图像中识别和定位物体，由于物体成 像形状将随着视点位置，视角，目标姿态等成像参数的变化而变化，这种变 化有时非常剧烈，从而会导致常规的识别方法失效。而本文提出的基于3 d 不变性的识别方法可以有效地消除这种变化产生的不利影响，该研究主要包 括提取特征和匹配、计算3 d 不变量和实现三维物体识别这几部分。 1 研究图像特征点、线的提取和匹配方法为了能够获得准确的3 d 不 变量，本文对图像的预处理、特征点线的提取与匹配展开较为深入的研究， 使其与本识别方法达到最佳的效果，能够精确的计算出3 d 不变量。 2 计算3 d 不变量从射影几何的基本性质出发，利用多种组合形式的 点线特征对应建立视图关系。合理构造虚元素，并将实元素和虚元素相结合 提取空间复杂结构下的多种3 d 不变量。 3 根据得到的3 d 不变量识别三维物体通过对3 d 不变量与哈希表相 结合的研究，建立数据库，以实现三维物体的快速识别。 第2 章基于3 d 不变量的三维物体识别原理 第2 章基于3 d 不变量的三维物体识别原理 基于3 d 不变量的三维物体识别就是从射影几何的基本性质出发，利用多 种组合形式的点、线对应建立视图关系，合理构造虚元素，结合实元素和虚元 素巧妙的提取空间复杂物体的多种3 d 不变量，从而消除了物体成像形状随着 视点位置、视角、目标姿态等成像参数的变化而带来的剧烈影响。本章将介绍 基于3 d 不变量的三维物体识别的方法流程，在得到三维物体的图像特征的基 础上，进行3 d 不变量的计算，三维物体数据库的建立，三维物体识别和仿真 实验，其中三维物体的图像特征的提取与匹配将在第3 章详细介绍。 2 1 三维物体识别系统 图2 1 是一个三维目标识别系统的组成框图。 图2 - 1 基于3 d 不变量的三维物体识别的步骤示意图 f i g 2 - lt h es t e pd i a g r a mo ft h r e e - d i m e n s i o n a lo b j e c t r e c o g n i t i o nb a s e do n3 di n v a r i a n t 第2 章筚于3 d 不变量的三维物体识别原理 基于3 d 不变量的三维物体识别系统可以通过两个阶段的处理来完成三 维目标的识别【2 3 1 ，首先用传感器获取的三维场景输入数据来得到三维场景的 表达；然后将它与数据库中存储的三维物体表达相匹配。具体来说，三维目 标识别系统必须解决如下几个问题1 2 4 】：( 1 ) 获取原始数据的传感器类型；( 2 ) 三维目标模型构造方法；( 3 ) 描述原始数据和物体模型的工具；( 4 ) 从输入数据 获得的物体描述和物体模型描述之间的匹配方法。其中，传感器决定了输入 数据的分辨率、准确性和类型( 2 d 或3 d 信息) ；而模型则提供了视觉系统的 先验知识；表达则用于描述采集的数据和物体模型，是计算机视觉中的一个 关键论题；另外，知识表达还决定了匹配策略、匹配策略的鲁棒性和系统效 率，并且在匹配过程中描述还用来计算物体的不同特征。由于匹配策略是在 识别系统运行时执行的，因此它必须解决数据和模型描述之间的二义性。一 旦正确的匹配己确定，则根据物体模型，即可以将已定位物体的方向和变换 计算出来，最终完成物体识别的任务。 2 23 d 不变量的基本知识 三维物体的成像过程是一个射影变换的过程，射影几何意义下的不变量 在这一变换过程中是保持不变的。因此研究三维物体成像的透视模型，了解 射影几何的相关知识将是非常必要的。本节将简单介绍一些基础概念，它们 是研究基于3 d 不变量的三维物体识别的基础内容。 1 三维物体成像模型成像过程是三维空间n - 维平面上的投影，即将 空间物体上某种属性按一定规律投射在平面上形成图像，通常称为透视。当 投射线交于一点时称为中心透视：当投射线平行时称为平行透视。为了研究 三维物体图像的不变量，有必要首先了解三维空间的点到二维平面上成像的 模型。 实际摄像机形成图像可以用一个中心透视模型很好地近似表示，3 d 空间 中的点投射到像平面上产生对应的像点，所有的投射线目标点和其像点 的连线( 延长线) 都交于一点，该点即为投射中心。如果选取一个3 d 坐标系 o 一m ，使得坐标系原点d 。在投射中心( 也称为透视中心或透镜中心) ，光 轴作为z 轴，像平面为z = 厂( 厂为焦距) ，像平面坐标系的原点是像平面和z 轴的交点，x 轴、】，轴分别平行于x 轴、y 轴，如图2 2 ，则3 d 空间中的点 ( x ，l ，z ) 与其像点( 毛y ) 的坐标有如下非线性透视变换关系 第2 章幕于3 d 不变量的三维物体识别原理 x = f x z ，y = 尽z 图2 - 2 成像模型 f i g 2 2i m a g ef o r m a t i o nm o d e l z 刁 ( 2 1 ) 中心投影是多对一的映射，在同一条投射线上的不同目标点有相同的像 点。在齐次坐标系中，透视变换可以表示成线性形式。定义3 d 空间中的 p = ( x ，y ，z ) 7 的齐次坐标为声= ( c o x ，t o y ，t o z ，c o ) 7 ，这里是任意常数。易知， 用声的第四个分量除前三个分量可得该点原来的非齐次的真实坐标p ，因而 ( c o x ，l ，t o z ，t o ) 7 。和( k t o x ，k t o y ，k t o z ，k t o ) 7 都表示同一个物理点( x ，y ，z ) r 。为使 变换式可逆，将坐标系0 一x t z 的原点移至像平面的原点处，那么投射中心 的坐标就是( o ，0 ，一厂) 。令像点的齐次坐标为( x i ，x 2 ，x 3 ，讫) 7 ，于是透视变换可表 示为 而 屯 屯 而 1o0o 0100 0 o 1 0 0 0 1 f 1 x 】， z 1 x 】， z z f + l ( 2 2 ) 像点的非齐次坐标为xx 1 x 4 = f x ( f + z ) ，y = x 2 x 4 = j y ( f + y ) ， z = x 1 x 。= f z ( f + z ) 。像点的坐标z 实际应是0 ，由于上式存在反变换，为 使一个像点映射为一条直线而不是一个点，在数学上取z 为一个自由变量， 它可以反映出目标点到象平面的z 方向上的距离。当进行反变换时将 z = f z ( f + z ) 代入可得目标点的正确坐标值。 第2 章摹于3 d 不变量的三维物体识别原理 2 基于射影几何的交比不变量射影几何学研究的不变量是相对射影变 换下保持不变的属性和参量。交比是射影几何最基本的不变量，已在模式识 别及计算机视觉中有着日益重要的应用。 根据交比的概念，我们可以从1 d ，2 d ，3 d 射影变换的角度得到多种定 义形式，下面一一说明。 定义2 1 共线四点的交比是1 d 射影变换下的不变量。若( p ，p 2p ，p 。) 是共线的四个不同点，则四点交比r ( p 。，p ：，p ，p 。) 可以表示为式( 2 3 ) ，其中 p i p ，表示连接p l , p ，两点线段的有向距离，其它定义类同。 r ( p p 帅pp 。) = 些+ 坠 p 2 p sp 2 p 4 ( 2 - 3 ) 定义2 2 共面五点的交比是2 d 射影变换下的不变量。如图2 3 所示。若 ( p lp ：，p ，p 。，p ，) 是共面的五个不同点且任意三点不共线，则五点交比 r ( p 。，p ：，p ，p 。，p ，) 可以表示为式( 2 - 4 ) ，其中p p ：p 。表示顺序连接三点形成的 有向面积，其它定义类同。 图2 3 共面五点交比 f i g 2 - 3t h er a t i oo fc o p l a n ef i v ep o i n t s r ( p l ，p 2 ，p 3 ，p 4 ，p 5 ) = _ a p l p 2 一p 4 - a p l p 2 一p s ( 2 4 ) a p , p s p 4 6 p l p 3 p s 其中，a p p ，p 。= j 曼至兰l ，c i j 婷，s ，且；，k ，。 其中， jk = l 五j 勤 h i ，( i ，j ，k = 1 ，5 ，且i j k ) 。 j kh 而k i 第2 章基于3 d 不变量的三维物体识别原理 定义2 3 空间六点的交比是3 d 射影变换下的不变量。如图2 4 所示。若 ( p l , p ：，p ，p 。，p ；，p 。) 是空间六个不同点且其中任意四点不共面，则六点交比 r ( p 。，p ：，p ，p 。，p ，p 。) 可以表示为式( 2 5 ) ，其中p ，p ：p ，p ，表示顺序连接四点 形成的有向体积，其它定义类同。 r ( p l , p 2 p 3 p 4 p s p 6 ) 2 丽a p l p 2 p 3 p 5 丽a p l p 2 p 3 p 6 ( 2 - 5 ) z 印1 p 2 p 4 p 5z 印l p 2 p 4 p 6 其中，p i p j p m p = x l ix 2 i x l jh x l kx 2 k h 如 x 3 i矗i 勤确 而k 而h矗h ，( i ，j ，k ，h = l ，6 ，且i j k h ) 。 空间六点共存在三个独立不变量，按照式( 2 3 ) 的定义，交换点c ，c ，c ，c 。 和风，扔和p 4 的位置可以得到另外两个独立不变量。关于如何理解空间六 点的交比，一种形象的解释是( 如图2 4 所示) ，连接珐p ，形成空间一直线， 利用空间一直线与不在其上的一点可唯一确定一个平面，分别构造平面 p 。p 2 p 3 ，p 。p 2 p 4 ，p 。见岛，p 1 p ：p 6 ，设空间另一直线l 分别与上述四平面相交， 交点依次c 。，c ，c ，c 。，则形成共线四点的情况，沿用式( 2 3 ) 可以推导得 到式( 2 5 ) 。 图2 4 空间六点交比 f i g 2 - 4t h er a t i oo ft h es p a t i a ls i xp o i n t s 第2 章基于3 d 不变量的三维物体识别原理 3 对极几何两幅图像之间的对极几何是图像平面与以基线为轴的平面 束的交线的几何 2 ”。基线定义为两摄像机中心的连线。上世纪7 0 年代初， 美国摄影测量学家u v h e l a v a 提出了一维极线相关的概念，使用对极约束 将两视图立体匹配二维搜索问题简化为一维搜索。自此，极线的作用在摄影 测量自动化系统中得到重视f 2 6 1 。 假定三维空间点x 在两幅视图中成像，在第一图像上的像为u ，在第二 幅图像上的像为u 。从图2 5 中可以看出，像点u 、u 、空间点x 和摄像机 中心是共面的。 对极点是连接两摄像机中心的直线与像平面的交点。或者说，对极点是 摄像机中心在另一幅图像中的像。对极平面是包含基线的平面。对极线是对 极平面与像平面的交线，对极平面决定了左右两幅图像上对极线的对应。所 有对极线交与对极点。 对极几何在3 d 视觉研究中的应用非常广泛，主要体现在以下四个方面： ( 1 ) 用于解释多视图之间元素的对应关系，实现多视图元素的匹配、预 报等1 2 7 】： ( 2 ) 用于求解多视图条件下的3 d 不变量，这类研究有多种方法实现：一 种是从射影几何为基础的交比知识，多应用对极点的特殊性进求解；一种 g r a s s g a l e y 代数的概念直接基于基础矩阵求解【2 8 】； ( 3 ) 用于基于多视图的3 d 重建研究； ( 4 ) 用于对序列图像的运动情况进行分析和解释【2 9 1 。 图2 5 对极几何 f i g 2 - 5e p i p o l a rg e o m e t r y 第2 章基于3 d 不变量的三维物体识别原理 2 33 d 不变量的计算 在本节中，我们将给出一个利用四点对应求解2 d 射影变换矩阵的通用 公式；以此为基础，利用2 d 射影平面上，点元素与线元素的对偶性，尝试 把线元素对应关系引入求解2 d 射影变换矩阵的方法中，使在不同点、线组 合条件下：四点、四线、三点一线、三线一点、两点两线等四元素对应时， 2 d 射影变换矩阵均可得解【3 0 1 。 长期以来，建立视图间的相互关系多是从点集对应入手，这限制了求解 条件和应用范围。本节把2 d 射影变换作为建立视图之间相互关系的工具， 从射影几何的基本性质出发说明了利用其他几何元素对应求解此类问题的可 行性。利用多种组合形式的点、线对应建立视图关系而不必单纯依赖点集对 应条件。这使得空间元素的共面性检验问题、构造共面虚元素的问题有了更 灵活的应用环境。在此基础上通过合理构造虚元素，结合实元素和虚元素可 以巧妙提取空间复杂结构下的多种3 d 不变量，使计算3 d 不变量的方法、可 提取3 d 不变量的空间元素集合的类型均得到进一步扩充【3 1 1 。 2 3 12 d 射影变换的基本概念 两射影平面的四点对应唯一确定一个2 d 射影变换。 定义2 4 射影平面u 和v 上，考虑u 上的一点p ( x l ，x ：屯) 7 到v 上的一点 q ( 乃，y 2 乃) 7 的一个对应 其中，t = 墨i 篷兰； 七。，且d e t c t ，= i i 。 ( 2 6 ) 这样的一种映射关系称为由射影平面u 到v 的2 d 射影对应，此对应体 现的变换称为2 d 射影变换。矩阵t 称为2 d 射影变换矩阵。 屯 而 o k k + + + 砭屯屯 防 恐 让 + + + 五而五乞岛 i i i i i j 肼功膨 第2 章基于3 d 不变量的三维物体识别原理 定理2 1 两射影平面u 和v 上的四点对应，其中任意三点不共线，唯一 确定u 与v 之间的2 d 射影变换。 引理2 1 由共面四点e l ( 1 ，0 ，0 ) 7 1 ，e 2 ( 0 ，1 ，o ) 7 ，e 3 ( 0 ，0 ，1 ) 丁，e 4 ( 1 ，1 ，1 ) 7 到共面的 四点p ，( _ ，x 2 ，x ，) 7 1 ( 其中任意3 点不共线) 的2 d 射影变换矩阵t ，使得 p ，_ - - - _ t e i ，“= 1 , 2 ，3 ，4 ) ，满足形式 x 1 2 a 1 4 3 x 2 2 a 1 4 3 x 3 2 a 1 4 3a 庐= d e t 睢l x l kx 2 k 兰x 3 卜7 ， 庐= hx 2 jbi ( 2 - 7 ) 七j 定理2 2 己知射影平面u 上的四个点p ，( _ ，屯。，屯，) 7 ，与射影平面v 上的 四个点q ，( y n ，y 2 ，y ，) t ( f - 1 , 2 ，3 ，4 ) 两两成直射对应，其中共面的四点任意三点 不共线，由该四对点对应构成的2 d 射影变换矩阵t 为 y 1 2 a 1 4 3 y 2 2 a 1 4 3 y 3 2 a 1 4 3 而2 a 1 4 3 x 2 2 a 1 4 3 屯2 a 1 4 3 2 3 2 利用2 d 射影变换提取空间的3 d 不变量 ( 2 - 8 ) 简单变换可以丰富2 d 不变量的求解方法，由此推想：把这种方法推广 到空间的几何元素组合的3 d 不变量计算中，利用：空间三点唯一确定一平 面、空间两平面唯一确定一直线、空间一直线与一平面相交唯一确定一点、 空间一二次曲线唯一确定一平面等关系，我们可以进一步将空间的复杂关系 简化，形成共面意义下的多种几何元素组合的不同形式。 1 利用2 d 射影变换构造“虚元素”不经重建来求解空间3 d 不变量， 一种常用的方法就是把空间关系合理转化成共面关系，再利用共面条件下的 交比计算方法来计算空间元素集合的3 d 不变量【3 2 1 。因此，必须找到一种有 效的途径来转化或构造共面关系。在此，我们先引入两个术语：实元素，代 指视图中那些可见的或具有明确物理意义的关键元素；虚元素，代指视图中 那些原不可见的、或不是目标自身具备的、或不具有物理意义的关键元素， 这类元素往往是空间元素的交点、交线等。单纯依靠实元素集合求解3 d 不 变量，在实际应用中受到很大限制。巧妙利用2 d 射影变换，可以合理构造 1j 4 4 4 2 ， 2 砭而 船 为 重 4 重 而吃屯 l 兰1