（计算机科学与技术专业论文）基于特征点匹配的多面体可视外壳精度优化方法研究.pdf

摘要 基于视频图像的三维实时建模是计算机视觉、图形图像等当前计算机热门领域的重 要研究内容，三维实时建模的精度更是该领域研究的核心问题。通过研究多面体可视外 壳实时建模的方法，存在没有利用物体图像的特征信息来优化模型的问题。针对这个问 题，本文在分析多面体可视外壳实时建模及其现有的优化方法的基础上，在尽量不影响 建模实时性的前提下，研究利用已知图像特征信息优化多面体可视外壳，从而获得物体 较高精度的模型。重建出的高精度三维模型可用于混合现实中虚实物体交互、远程医疗、 体育和表演中动作捕捉等。 r 提出一种快速准确获取相邻图像对应特征点对的方法。在完成利用p v h 方法获 得目标物体的初始模型之后，首先提取出物体侧影图像中的特征点，然后计算图像特征 点对应另一个相机的极线，通过选取适当的模板参数和空间位置关系，搜索极线上相匹 配的特征点。通过选取适当的阈值，确定图像特征点的对应关系，克服计算误差。 2 在分析了目前的各种优化方法的基础上，提出了基于特征点匹配的模型优化方 案。利用相邻图像公共可视区域中的特征点对，采用立体几何投影原理，计算目标物体 模型上该特征点的准确位置。将这类点与其所在面片的顶点进行三角化处理，形成众多 三角面片，并利用线性插值方法对面片进行处理，从而实现对初始p v h 建模所得模型 的优化修正。 最后，通过实例程序对该优化方法进行验证，将优化后的模型与初始多面体可视外 壳算法生成的目标物体模型以及原目标物体进行比较分析。结果表明，该优化方法对初 始模型的优化效果较为突出，使优化后的模型更加逼近于真实物体。 关键词：实时建模，图像特征点，极线原理，多面体可视外壳 a s t u d yo nt h em o d e lo p t i m i z e dm e t h o d so fp o l y h e d r a lv i s u a lh u l l b a s e do nf e a t u r ep o i n t sm a t c h i n g j i a n gj i e ( c o m p u t e rs c i e n c ea n dt e c h n o l o g y ) d i r e c t e db ya s s o c i a t ep r o f c h e ng u o j u n a b s t r a c t t h e3dr e c o n s t r u c t i o nb a s e do nt h ev i d e oi m a g ei nr e a l t i m ei sa l li m p o r t a n tp r o b l e mo f p o p u l a rf i e l d so fc o m p u t e r , s u c ha s ：c o m p u t e rv i s i o n ，c o m p u t e rg r a p h i c s t h ea c c u r a c yo ft h e m o d e li se v e nt h ec e n t e ri s s u eo ft h e s ef i e l d s a f i e rc o n s i d e r i n gt h ep o p u l a rp o l y h e d r a lv i s u a l h u l l ( p v h ) r e c o n s t r u c t i o nm e t h o d ，w ef i n dt h a tt h e r ea r en om e t h o d st h a tm a k ef u l lu s eo ft h e i m a g ef e a t u r e i n f o r m a t i o ni no r d e rt om a k et h em o d e lm o r ea c c u r a t e c o n s i d e r i n gt h i s p r o b l e ma b o v e ，t h i sp a p e rf u l l l yc o n s i d e r st h ep o p u l a rp o l y h e d r a lv i s u a lh u l lr e c o n s t r u c t i o n m e t h o da n dt h eo p t i m i z i n gs o l u t i o n so fi t , a n dd o e ss o m er e s e a r c ha b o u th o wt om a k ef u l lu s e o ft h ei m a g ef e a t u r ei n f o r m a t i o nt oo p t i m i z et h ew h o l ei n i t i a lp v hm o d e lw i t ht h em i n i m a l i m p a c to nt h er e a t i m er e c o n s t r u c t i o n t h eh i 2 9 l l a c c u r a c y3 d m o d e lr e c o n s t r u c t e dc a nb eu s e d i ni n t e r a c t i n gw i t ho b j e c t sb e t w e e nv i r t u a lw o r l da n dr e a l i t y , t e l e m e d i c i n e ，m o t i o nc a p t u r i n g i ns p o r t sa n dp e i f o r m a n c e sa n ds oo n i t h i sp a p e ri n t r o d u c e saf a s ta n da c c u r a t em e t h o do fg e t t i n gt h ec o r r e s p o n d i n gi m a g e f e a t u r ep o i n tp a i r sb e t w e e nt h ea d j a c e n ti m a g e s a f t e rg e t t i n gt h em o d e lu s i n gt h ep v h m e t h o d ，t h i sp a p e re x t r a c t s t h ef e a t u r ep o i n t sr a p i d l y t h e nc a l c u l a t et h ec o r r e s p o n d i n g e p i p o l a ro ff e a t u r ep o i n t si na n o t h e rc a m e r a a c c o r d i n gt ot h er e l a t i o n s h i po fs p a t i a ll o c a t i o n ， s e a r c ht h ec o r r e s p o n d i n gp o i n to ff e a t u r ep o i n to nt h ep o l a rb ys e l e c t i n gt h ea p p r o p r i a t e t e m p l a t ep a r a m e t e r b ys e l e c t i n gt h ea p p r o p r i a t et h r e s h o l d ，w ed e t e r m i n ew h e t h e r t h i sp o i n ti s t h ec o r r e s p o n d i n gp o i n to ft h ef e a t u r ep o i n ta n do v e r c o m et h ec o m p u t a t i o n a le r r o r 2 o nt h eb a s i so fa n a l y z i n gv a r i o u so p t i m i z i n gm e t h o d sp r e s e n t l y , w ei n t r o d u c eam o d e l o p t i m i z i n g m e t h o db a s e do nt h e i m a g ef e a t u r ep o i n t sm a t c h i n g a f t e rg e t t i n gt h e c o r r e s p o n d i n g f e a t u r ep o i n tp a i r si nt h ep u b l i cv i s i b l ea r e a so ft h e a d j a c e n ti m a g e s ， c o n s i d e r i n gt h ec o r r e s p o n d i n gv i e wp o i n t sa n du s i n gt h ep r i n c i p l eo f3 dg e o m e t r y , w ef i n d t h ee x a c tl o c a t i o no ft h em o d e lp o i n tt h a tt h ef e a t u r ep o i n tc o r r e s p o n d st o a n dt r i a n g u l a t et h e n e wp o i n ta n dt h es u r f a c ev e g e xt h a ti n c l u d e st h ep o i n t , t h e nu s et h el i n e a ri n t e r p o l a t i o n m e t h o dt od e a lw i t ht h et r i a n g u l a t e ds u r f a c e s ，a n da c h i e v eo p t i m i z i n gt h ei n i t i a lm o d e lo f p v h f i n a l l y , t h i so p t i m i z i n gm e t h o di sv e r i f i e dt h r o u g hs o m ee x p e r i m e n t s a n dw ec o m p a r e t h eo p t i m i z e dm o d e lo fp v hw i t ht h ei n i t i a lp v hm o d e la n dt h e o r i g i n a lo b j e c t t h e e x p e r i m e n t a lr e s u l t si n d i c a t et h a tt h i sm e t h o dc a no p t i m i z et h eo r i g i n a lm o d e lo fp v hw e l l a n dm a k et h eo p t i m i z e dm o d e lm o r ea c c u r a t e k e yw o r d s ：r e c o n s t r u c t i o ni nr e a l t i m e ，i m a g ef e a t u r ep o i n t ，e p i p o l a rr e l a t i o n s h i p ， p o l y h e d r a lv i s u a lh u l l 关于学位论文的独创性声明 本人郑重声明：所呈交的论文是本人在指导教师指导下独立进行研究工作所取得的 成果，论文中有关资料和数据是实事求是的。尽我所知，除文中已经加以标注和致谢外， 本论文不包含其他人已经发表或撰写的研究成果，也不包含本人或他人为获得中国石油 大学( 华东) 或其它教育机构的学位或学历证书而使用过的材料。与我一同工作的同志 对研究所做的任何贡献均已在论文中作出了明确的说明。 若有不实之处，本人愿意承担相关法律责任。 学位论文作者签名：釜 日期：酬口年岁月巧日 学位论文使用授权书 本人完全同意中国石油大学( 华东) 有权使用本学位论文( 包括但不限于其印刷版 和电子版) ，使用方式包括但不限于：保留学位论文，按规定向国家有关部门( 机构) 送交学位论文，以学术交流为目的赠送和交换学位论文，允许学位论文被查阅、借阅和 复印，将学位论文的全部或部分内容编入有关数据库进行检索，采用影印、缩印或其他 复制手段保存学位论文。 保密学位论文在解密后的使用授权同上。 学位论文作者签名：兰垄： 指导教师签名驻一通晕 同期：弘f 口年 日期：加l 。年 日日 d1，d， 月月夕r 中国“油人学( 华东) 顾l ：学位论文 1 1 研究背景 第一章绪论 在计算机视觉、图形图像等领域中，动态三维物体的信息获取与实时建模逐渐成为 这些领域的研究热点。许多研究专家旨在努力通过一定的方法和手段实时地获取三维物 体的形状、纹理、材质、光影等多模式信息，并由此重建出该三维物体对应的三维模型。 三维实时建模对人们所熟知的三维重建( 3 dr e c o n s t r u c t i o n ) 问题提出了更高的要求， 其应用也更加广泛。三维物体的实时建模可以用于虚实交互、运动序列重建、动作捕捉、 娱乐和游戏等多个方面，对于柔性可变形物体的状态跟踪与模型库构建、材质动态性能 分析、生物行为研究、体育和表演类项目的训练与评测、虚拟手术培训等也具有潜在的 应用前景。 三维物体重建的目标就是从一幅或者多幅二维图像中恢复三维场景的信息，在这方 面的探索与研究可以追溯到近三十年之前。三维物体重建使得人们可以从真实世界中获 耿具有真实感的三维场景模型成为可能；并且，它将人们从枯燥繁重的几何建模工作中 解脱出来，实现了建模的自动化。三维重建是人类视觉的主要目的，也是当前计算机视 觉、图形图像等当前众多热门领域的主要研究方向。 近几年来，i j c v 、c v p r 、i c c v 、e c c v 、s i g g r a p h 等许多计算机视觉、计算机图 形学、虚拟现实等方面的国际权威期刊和会议不断地涌现出许多有关三维重建研究的论 文和成果展示，其中针对动态物体的三维实时建模的研究占了相当大的一部分。世界各 国的众多研究者们不断提出各种方法来解决三维实时建模中存在的种种问题，或者在现 有的技术的基础上，实现一些新的创新和应用。美国、英国、法国、日本等许多国家的 很多家研究机构都有专门的实验室和研究人员从事相关技术的研究工作，并且有些研究 机构已经开发出了_ 些原型系统。其中比较有代表性的有美国卡内基梅隆大学( c m u ) 研制的三维穹顶( 3 dd o m e ) 系统【2 l 及后来又经过升级的三维房间( 3 dr o o m ) 系统【矾， 麻省理工学院( m i t ) 的视点相关的可视外壳系统f 4 j ，还有法国国家信息与自动化研究 所( i n r i a ) 的数字栅格( g r l m a g e ) 系统1 5 1 等。上述这些系统均采用多摄像机对目标物 体进行视频采集，然后获取其三维信息，进而进行离线或实时建模，用于动态事件的重 建或虚实交互应用中。由于系统面向不同的应用方面，因而各具特色，采用的三维建模 方法也各有不同。 第一章绪论 在这种形势下，对建模的精度也会有更高的要求，尤其是目前应用更加广泛的三维 实时建模。目前针对三维实时建模方法，还存在较多尚未解决的难点问题。 1 2 国内外研究现状 随着三维物体建模技术、人机交互技术的发展，人们对三维物体建模的精度要求越 来越高，并成为近年来研究的热点。三维物体重建使得人们从真实世界中获取具有真实 感的三维场景模型成为可能，它将人们从枯燥繁重的几何建模工作中解脱出来，实现了 建模的自动化。 1 2 1 国外研究现状 l a u r e n t i n i f 6 l 在1 9 9 4 年最早提出了可视外壳( v i s u a lh u l l s ) 的概念。简单来说，所谓可视 外壳就是由空间物体的所有已知侧影轮廓线所决定并形成的该空间物体的包络。当我们 利用透视投影的方式从多个视角方向观察某一空间物体时，在每一个视角方向上都会得 到一条该空问物体的侧影轮廓线。那么，这条侧影轮廓线和对应的透视投影中心将共同 决定一个三维空间中一般形状的锥体。显然，该空间物体必将落于这个锥体之内，即： 该椎体完全包括了该空间物体；而由众多的所有已知侧影轮廓线和对应的透视投影中心 决定的锥体的交集，会形成一个包围体，这个包围体最终就是一个包含该物体的包络， 这个包络就是物体的可视外壳。在多数情况下，当拍摄视角足够多时，空间物体的可视 外壳是该物体的合理的逼近。 可视外壳建模算法总体上可以分为两大类：基于体的方法与基于面的方法。 基于体的可视外壳方法是早期的研究者们提出的一类方法。在基于体的可视外壳方 法方面，m a r t i n 并1 a g g a r w a l i t ! 曾提出基于多视点图像的侧影轮廓图来恢复三维物体的体 描述方法。他们使用与坐标轴一致的平行六面体单元，通过利用多个视点获得的目标物 体侧影图像的封闭轮廓线( o c c l u d i n gc o n t o u r s ) 来构建逼近刚性目标物体三维结构的包 围体( ab o u n d i n gv o l u m e ) ，并采用体分段( v o l u m es e g m e n t ) 描述的方法来加速包围体 的创建以及连续性优化。此方法的特点是：除了易于更新之外，还保留了物体表面的细 节，并且减少了点遮挡测试。c h i e n 等 g l 通过采用八叉树结构方法来表示物体的可视外壳， 该八叉树的结构是通过预先在平行投影照片上生成表示目标物体的四叉树的基础上建 立的。s z e l i s k i 等1 9 1 提出了用八叉树和体素描述的可视外壳建模方法，八又树节点在图像 平面上的投影为多边形，对每一个视角所拍摄的照片都要进行物体的侧影轮廓与所有八 2 中国缸油入学( 华东) 顺 j 学位论文 叉树节点投影的求交测试。因此，该方法在建模过程中计算量比较大，非常耗时。所有 上述这些方法都是基于常规的体素网格，并能够处理带有复杂拓扑的三维物体。但是， 由于他们所使用的空间是离散的体素单元，所以，利用上述这些方法只能得到近似的结 果；而与其计算的复杂性相比较，精确性太差。 m a t u s i k t m i 提出了基于图像的可视外壳( i m a g e b a s e dv i s u a lh u l l ，i b v h ) ，该方法通 过采用计算机视觉中的极线几何以及增量计算的原理，从目标物体的侧影轮廓图像数据 中实时地绘制出动态场景，建模过程的时间复杂度为o ( i k n z ) ，其中，为投影线与侧影轮 廓求交的平均时间，七为参考轮廓图的数目，疗为一条扫描线上的像素数目。 作为对i b v h 的改进，m a t u s i k 在文献中又提出了多面体可视外壳方法( p o l y h e d r a l v i s u a lh u l l s ，p v h ) 。该p v h 方法直接从侧影轮廓图计算可视外壳的精确多面体表示，它 是一种独立于视点的描述，并且很容易进行图像硬件的渲染操作。该方法在建模的过程 中，采用了视点相关的纹理映射方法，并且还考虑了可见性信息来渲染可视外壳。 法国i n r i a 的f r a n c o 等i 还提出了一种有效地、鲁棒地根据图像的轮廓来计算物体 可视外壳的精确方法，被称之为e p v h ( e x a c tp o l y h e a r a lv i s u a lh u l l s ) ，该方法能够比较 实时地恢复出目标物体准确的可视外壳多面体。 美国伊利诺斯州立大学的l a z e b n i k 掣佗1 提出了基于投影的可视外壳计算方法。该方 法利用了定向投影约束的原理，其主要特点是：利用固有的投影特征，比如：边缘点、 交叉曲线和交叉点，来标记可视外壳的表面；并且在多视图几何体和可视外壳拓扑间确 立相应的关联。在建模的过程中，不需要摄像机的强标定操作，而只需要知道摄像机的 基本参数就可以，然后利用定向投影约束的原理，就可以实现可视外壳的完全重建。该 算法可以实现计算具有光滑封闭表面的实体的可视外壳，而且只需要有限数量的针孔摄 像机。 i 2 2 国内研究现状 国内的不少研究学者在基于图像的建模以及绘制方面也已有一定的研究，但是，对 于动念三维物体的实时建模技术的研究还比较少，主要有浙江大学、北京航空航天大学 等少数几家研究单位。计算机辅助设计与图形学国家重点实验室( 浙江大学) 对可视外 壳算法进行了一定的研究，并且还提出一种基于自适应采样距离场( a d a p t i v e l ys a m p l e d d i s t a n c ef i e l d s ，简称a d f s ) 的可视外壳生成算法i b l ，该算法简化了可视外壳计算中的求 交运算，从而减少了计算量，提高了算法的效率。还研究了在自由拍摄视点下的可视外 3 第一章绪论 壳生成算法，并且已经实现了某些较大规模的室外场景的几何模型的获取等l i 舢。 北京航空航天大学虚拟现实技术与系统国家重点实验室对动态物体的三维实时建 模技术与装置也进行了深入的研究。基于多摄像机的实时采集、三维物体重建和交互的 思想，搭建了无标定实时三维物体建模与虚拟交互实验环境。该环境包括有6 台摄像机、 l 米xl 米xl 米运动范围的动态物体数据采集装置，还包括有2 4 台摄像机、3 米3 米3 米运动范围人体运动数据采集装置。多个摄像机可以实时地采集工作空间内的各 种运动物体的视频图像，并在进行背景去除和前景分割后，可以利用可视外壳建模方法 进行三维实时建模；并且通过具有自主知识产权的图形引擎构建虚拟环境，对真实物体 的运动行为进行了反馈，达到虚实交互的目标。该系统可以作为实时建模技术如：可视 外壳算法等的研究平台，也可以用于动作捕获、体育训练评估、产品的设计与评价、虚 拟装配等多个领域。 华中科技大学的高岑、李清光等【1 5 i 在2 0 0 7 年提出一种基于多视角三维表面重建的方 法，该方法是一种基于可见外壳( v i s u a lh u l l ) 思想的三维表面重建的方法。该方法是利 用价格低廉的摄像机作为图像获取的设备，基于无接触的光学测量，利用可视外壳 v i s u a lh u l l ) 重建的思想，通过处理从不同角度方向拍摄的真实物体的多幅侧影图像， 柬获取目标物体表面的三维几何信息；并且可以将物体表面的立体信息和彩色信息一次 性地扫描和恢复到计算机中，通过将v t k 嵌入到软件系统，然后生成目标物体表面的三 维模型。该重建方法的优势在于目标物体的侧影轮廓图像易于获取，并且与其他重建方 法相比较，更能够直接有效地获取物体表面的颜色信息。 综上所述，目前三维物体的建模技术已取得了一定的研究成果。已形成的各种实时 建模方案在一定程度上实现了三维物体的实时建模，较为逼真地形成了可视外壳模型， 但是，仍存在精度不足问题。随着人们对三维物体建模的实时性和精度的要求越来越高， 目前三维物体建模的精度越来越成为众多研究者们研究的重点和热点。 因此，本课题基于输入的目标物体侧影图像，首先进行初始p v h 三维物体建模，并 提取侧影图像的特征点，利用相邻图像之间特征点，计算目标物体上的精确点；在尽量 不影响建模实时性的基础上，然后利用三角化方法和线性插值方法对初始模型进行优化 修萨。 1 3 存在的问题 三维物体建模技术的一个研究方向是如何重建出高精度的三维几何模型，尤其是对 4 中国石油人学( 华东) 顺一l ：学位论文 当日玎应用更加广泛的三维实时建模来说，在保证实时性前提下，使所建模型的精度更高， 其应用也就更加广泛。在现有的用于三维实时建模的方法中，多面体可视外壳算法是目 自订研究与应用比较广泛的一种建模方法。利用该算法来重建物体模型，能够在保证实时 性地前提下有效地重建物体模型。所建的模型虽然达到了一定的精度，但是建模的精度 还可以进一步提高，建模的方法还可以进一步改进。为了实现利用多面体可视外壳方法 进行三维物体实时建模，需要解决的问题主要有以下三个： ( 1 ) 需要一种能够快速准确计算特征点对的算法 随着人们对三维实时建模精度要求的提高，p v h 实时建模方法能够在保证实时性 的前提下，进行三维建模，但是所得的模型的精度还可以进一步提高。目前多边形可视 外壳实时建模只是利用物体图像的侧影轮廓信息，没有利用物体图像的颜色信息。应用 颜色信息进行三维实时建模时，图像特征点的匹配是一个非常重要的环节。它既关系到 建模的准确度( 即：精度) ，又关系到建模的速度( 即：实时性) 。如何准确快速计算特 征点对是实时建模需要考虑的问题。 ( 2 ) 需要一种模型优化方法 目前已形成的各种模型优化方法一定程度上实现了对已建三维初始模型部分的优 化，但对采用p v h 重建后几何模型整体的优化缺少研究。因此，需要研究设计一种优 化方法在尽量不影响建模实时性的基础上，提高三维建模的模型精度。 ( 3 ) 模型优化后的精度比较问题 在对模型进行优化修正后，为了验证优化前后模型的精度变化，需要建立一种比较 方法。 1 4 本文研究内容 本文针对当前三维物体实时建模的研究现状，围绕初始p v h 建模、图像特征点匹 配技术、模型优化算法等三维实时建模中的关键技术进行了深入系统的研究。课题通过 提取已知输入图像的特征点信息，对目前被普遍利用的p v h 方法建模所得初始模型进 行优化修正，提出了一种基于图像特征点匹配的p v h 建模模型优化方法。目标物体建 模优化流程图如图 1 。 5 第一章绪论 初 始 勺 ，则可视外壳可以描述为：v h = n i = l n c o n e i ，即各侧影轮廓锥体c o n e i 的交集，每个c o n e i 由c i ，i i i ，s i 唯一确定。则多 面体可视外壳可表示为：p v h = f 3 乩n c o n e i ，该多面体可视外壳由多边形面片组成， 并且每个面片仅来自于c o n e i 的每个锥体面f i i 。多面体可视外壳建模的结果图如图3 2 所示。 在求交集的计算过程中，面f i j 与锥体c o n e k 的交集，需要在三维空间进行计算。由 于侧影轮廓锥体c o n e i 由侧影轮廓s i 和c i 唯一确定，所以采用极线几何原理，将三维计 算降到二维平面进行，以减少计算量。如图3 3 所示，将面体交集的计算转化为面面 交集的计算，则优化计算的步骤描述为： 已知视锥体i 的视锥面确，则 ( 1 ) 计算踊在其他视锥体k 的侧影轮廓平面上的投影，记为f i j k = n k ( 两) ； ( 2 ) 计算f i j k 与所在平面的轮廓多边形o k 的交集多边形集合，记为p i j k 2 = f i j k 人o k ： ( 3 ) 将p i j k 2 反投影回f i j 所在面，记为蹦k 3 = l i k ( 一1 ) ( p i j k 2 ) ，即面殉与 视锥体k 的交集； ( 4 ) 计算剐所在平面内的所有剐- k 3 的交集，即f i i 与所有其他锥体的交集之间 2 7 第三章基于图像特征点匹配的模型优化算法 再进行二维平面求交操作，得到f i j 对应的p v h 的一个面，记为 = n ( b 一七3 ) k = l , k ：g i ，该面可能由多个多边形组成。 由上可知，已知面f i i ，则该面对应的p v h 面的计算式为： f p u = 人( n k ( - 1 ) ( 兀k ( f i j ) 人0 | k ) ) 将f i i 采用投影函数n k 投影到锥体c o n e k ( k - l n 且k i ) 的侧影轮廓面s k 上， 然后与轮廓多边形o k 求交，得到平面交集多边形组p i i 1 【2 再采用逆投影函数n k - 1 反投回 原面f ，得到面r 与锥体c o n e k 的空间交集多边形组p j j - k 3 ，计算如式( 1 ) 所示。类似地， f i j 与其他n - 1 个锥体求交后，得到n l 组多边形，而可视外壳的对应于f u 的一个面f p i j 则是这n l 组多边形的交集，该组多边形在二维平面民上进行求交计算，计算如式( 2 ) 所示，则最终的p v h 是由每个多边形面所组成的多面体，可以描述为( 3 ) 式。 尸；一t 2 h t ( 乃) n q ( 1 ) p ：，兀：( 尸知 鹤= n ( 尸0 ( 2 ) i i i 七由 尸瞪= u u 心 ( 3 ) i = lj = i 图3 1 ( d ) 给出改进后的计算p v h 的一个面的过程；图( a ) 给出物体模型；图( b ) 给出5 个视锥体求交得到中间的p v h 模型；图( e ) 为f 1l 在锥体e 2 - c 5 的投影多边形 与各锥体侧影平面轮廓多边形求交；图( c ) 为反投影回f l l 平面的各多边形在该平面 的求交计算，得到f l l 对应p v h 的一个面。 ! 曼童苎查兰! 兰至! 竺兰! 垡堡塞 网 j一 圊 i 竺：一 翮 i ! ：! 尘! ：l 圈3 - 1f v h 的一十面的计算过程示意图 ( c ) 圈 i ：型：- l 圆 ( c ) f 铲im m o t p v h 在计算c o n e = i 的各面与其他0 k 韵交集时，两个相邻面凡和r 心i ) 共用一条边r a y i 0 + 1 ) ， 则边r a y , + 1 ) 要进行2 次投影及求交操作。针对这种情况，在算法中采用了e d g e - b i n 数 据结构如图3 _ 4 所示，将q 划分为t 个b i n 块对锥体的每条射线仅做1 次投影和求 变，以简化计算。 j 穆 - a 田”多面体可视外壳图3 - 3 降维计算圈3 - 4e d g e - f i r e 结构 f 睁2p 俏f 培”呐慨蛔吐咿f 攀一翻a m c t u r e o f 咄p 抽 利用多面体可视外壳方法，从目标物体的多方向角度的侧影轮廓图中计算得到目标 物体多面体模型。由建模的方法可以看出，得到的目标物体模型一定包含目标物体：但 第三章基十图像特征点匹配的模型优化算法 模型还不够精确。为了使所得的模型更加逼近于真实目标物体，本文利用所获得的目标 物体的图像颜色信息以及立体几何极线原理等技术方法，来实现对初始模型的优化修 正。 在三维物体重建的过程中，考虑物体表面的颜色信息等可以用来增加模型的限制条 件，使所重建的物体模型更加精确。物体表面的特征信息一般包括：特征线，特征点等， 为了充分利用已知的物体侧影图像信息，本文将物体的特征点，以及相邻侧影图像间的 立体几何空间位置关系作为研究的内容，通过提取相邻图像之间的特征点对的方法，来 实现对初始p v h 模型的优化。 3 3 对应特征点对的获取 多个目标摄像机在从目标物体的多个方向角度进行拍摄时，可以得到同一时刻情况 下目标物体的多个侧影图像。那么，在通过这些摄像机所拍摄到的同一时刻的目标物体 侧影图像中，就会出现目标物体上的一点能够在多个侧影图像上，尤其是在两个相邻图 像上可以显示的情况。因此，根据这个情况，如果我们找到该点在两相邻图像上的投影 点，然后根据已知的目标视点位置以及透视投影原理，就可以确定目标物体上该点的较 准确空问位置。本文在模型优化修正的前期正是采用该方法，首要工作就是获取相邻图 像问的对应特征点对。 在一幅侧影图像上的所有像素点对应的目标物体上的表面点中，只能有一部分点在 其相邻图像上可以看到。这部分点所对应到物体相应的侧影图像上的像素点所组成的区 域，可称之为相邻图像的公共可视区域。因此，位于相邻图像上的公共可视区域内的像 素点，可以在其对应的相邻图像上找到它的对应点对；而对于不在公共可视区域内的像 素点，由于它对该相邻图像的不可见性，那么在相邻图像上不存在对应点。为了减少计 算量，尽量保持模型优化的实时性效果，首先确定的就是能够找到对应点对的区域，即 相邻图像问的公共可视区域。 3 3 1 公共可视区域的确定 本文中，公共可视区域是指在目标物体的两个相邻侧影图像中，所包含的目标物体 图像的相同部分区域。由此可知，在查找的对应特征点对中，图像特征点必须是在相邻 图像的公共可视区域内的点。确定相邻图像的公共可视区域，不但可以消去很多不必要 的图像特征点提取，而且缩小了图像对应特征点对的匹配范围，从而减少了计算时间， 中目i 太学( 华东) 颐学位论女 提高了整个模型优化的运行散率。 在同一时刻，从目标物体的多个方向角度获得该物体的侧影图像。对于任意两个相 郫图像，为了获取它们的公共可视区域，本文采用了透视投影原理及其变换中的遮挡原 理，如图35 所示。 围3 - 5 获取相部图像公共可视区域 f 唔鼬d 喈l h e 呻b k l l l l l b l e f i e l d 图3 5 中，c ，c 。为两相邻图像i 与b 所对应的已知视点位置，点e 为视点c 在视点c 所拍摄图像i 上的投影，即为极点。经过视点c 的方向所拍摄的图像i 。中的任意一点p ， 反投影到已建的初始可视外壳上的第一个点，定为q 点，那么，q c i 在t l 像i 平面上的对 应投影为p e 。盘l j l q c i , ；t c 与初始可视外壳相交( 不包括点q ) t 即：线段q c j 上不含有初 始模型内部的点，则认为q 点从视点c 方向看去是可见的，即：q 点在图像i ，与i 的公共 可视区域内。否则，认为q 点从视点c j 方向看去是不可见的，q 点就不在图像1 与k 的公 共可视区域内。 在计算的过程中，如果视点c i 与沿着线段p c 上的每个象紊点依次形成的射线，在与 q c j 相交前，与初始模型相交，则认定q 点从参考视点q 方向看去是不可见的，那么沿着 p e 在该点之后的像素点就不需要再进行计算了；否则，在该点处与初始模型没有相交， 那么还需要继续往下计算，直到计算到e 点为止。计算到e 点时，形成的射线在与q c 相 空前仍旧没有相交那么认定该点从视点b 方向看去是可见的。因为该点又是图像在c 。 上的点，所以该点在相邻图像i 与i 的可视公共区域内。采用此方法，可以计算出相邻图 博之问的公共可视区域。 在获取相邻国像的公共可视区域过程中，在判断一幅物体侧影图像中的像素点所对 应的目标物体表面上的点是否在该图像的相邻图像上时，本文采用了极线原理的方法。 一套 第三章拱于图像特征点匹配的模型优化算法 3 3 2 极线原理 从两个不同角度方向拍摄同一个物体时，得到两幅该物体的侧影图像，则两幅图像 间会存在一种几何上的限制关系，称之为极线几何。利用极线几何原理，可以计算两张 侧影图像问的对应点对。 如图3 6 所示，c l 和c r 分别代表两个不同方向角度的视点，分别对应着各自的投影 平面，将c l 与c r 之间的连线记作基准线。那么，基准线c l c r 会分别与两个投影平面相 交，与这两个投影平面的交点记为：e l 、c r ，称这两个点为极点。e l 是视点c r 在左边的 投影平面上的投影点；相应的，e r 是视点c l 在右边的投影平面上的投影点。设m 点为从 视角c l 和c r 看去都可以看到的一点，并且x l 、x r 分别为m 点在这两个投影平面上的投 影点，即：这两个图像上的点x l 与x r ，对应空间中的同一点m 。连接e l 和x l 得到的线段， 记为极线l ；那么，线段c r m 在左边投影平面上的投影线段就是极线l 。根据同样的道理， 连接e ，和x ，得到的线段，记为极线r ；那么，线段c l m 在右边投影平面上的投影线段就是 极线r ；根据几何投影的原理可知，点c l 、c r 、x l 、x r 、e l 、e r 、m 都在同一个平面上， 它们是共面的，称为极平面。在极线几何中指出，同一个投影平面上的不同极线均通过 同一个极点。那么，x l 在右边的投影平面上的投影点必在r 上：同样的，x r 在左边的投 影平面上的投影点必在l 上。 图3 - 6 极线几何原理示意图 f i 9 3 - 6 m e t h o do fp o l a r 利用图像间的极线几何原理，再根据透视投影原理及其变换中的遮挡原理，可以计 算出相邻两幅图像之间的公共可视区域。那么，一幅侧影图像中的位于相邻图像公共可 视区域内的点，在其相邻的侧影图像中肯定存在其对应点。为了方便获取相邻图像间的 对应点对，选取图像中颜色信息易区别于其它像素点的点，即图像中的特征点，把图像 特征点作为计算的对象。 中国缸油大学( 华东) 硕l ：学位论文 3 3 3 图像特征点的提取 根据透视投影原理及其变换中的遮挡原理，获取相邻图像之问的公共可视区域。在 获得公共可视区域之后，由计算过程可知，一幅侧影图像中位于公共可视区域内的所有 像素点，在另幅对应的相邻侧影图像中，存在其对应的像素点。但是，由于很多像素 点的信息可能会相近或相同，所以要想获取这些所有的对应点对是非常耗时，而且是很 困难的。因此，为了方便获取两幅相邻侧影图像之间的对应点对，为了提高优化的运行 效率，选取图像中颜色信息易区别于其它点的点，即图像中的特征点，把图像特征点作 为计算的对象。 一般情况下，所谓的特征点是指：( 1 ) 轮廓线急剧锐转的两侧( 即拐角两侧) ；( 2 ) 较 平直曲线与大曲率弧线的交接部位：( 3 ) 拐点，即凹凸向相反的曲线结合处。图像中的 特征点就是指：图像中的颜色深度值变化比较大的临界区域上的点，例如：角点，拐 点等。 特征点的提取方法在近几年得到了越来越多的研究，其应用领域涉及长基线匹配、 特定物体识别及物体类别识别等。特征点检测器包括角点检测器、团块检测器和边缘 检测器。l o w e t 3 9 1 提出采用高斯差作为l a p l a c i a no f g a u s s i a n 的近似，进行尺度不变特征 点检测，减小了采用l a p l a c i a no fg a u s s i a n 方法的计算量。m i k o l a j e z y k t 柏i 提出 h a r r i s l a p l a c e 检测器和h e s s i a n l a p l a c e 检测器，分别对尺度不变角点和团块特征进行 检测。上述方法能够对大量区域进行检测，适用于物体类别检测，但准确度低于其他 检测器。b a y l 4 l l 提出s u r f ( s p e e d e du pr o b u s t f e a t u r e s ) 特征点，通过积分图方法高效 计算出h e s s i a n 矩阵的近似项，并提取s u r f l 5 特征。r o s t e n | 4 2 i 基于s u s a n 检测器通过 比较在距离一点固定半径圆周上的像素点，计算得到f a s t ( f e a t u r e sf r o ma c c e l e r a t e d s e g m e n tt e s t ) 特征。s u r f 和f a s t 特征具有较好的性质，但是不能做到实时提取和 匹配。本文针对的是p v h - - - 维实时建模方法的优化问题，需要快速提取出图像的特征点； 因此，上述提取特征点的方法虽然能够提取出图像的特征点，但是相对于本课题来说， 都存在一定的问题，要么提取的特征点精度不高，要么不能做到实时提取。 在已经获得的相邻图像的公共可视区域中，本文选用了快速提取图像特征点的算 法，计算公共可视区域中的图像特征点。在提取特征点时，将图像中的角点作为图像中 的特征点，具体提取的方法如下： 第三章基于图像特征点匹配的模型优化算法 中国石油大学毕末) 士学垃论z 提取的图像特征点效果图如图3 7 所示： ( 8 ) 原围像( 时捶取的特征点 圈3 _ 7 获取图像特征点 f i 9 3 - 7v m d h g t i e 钿恤件h b 在相邻图像的公共可视区域内，获取图像的特征点后，利用立体几何极线原理等方 法，查找出与其相关的两相邻图像中的对应特征点对。 3 3 4 查找对应特征点对 在两幅含有相同像素点的图像中，查找对应的像素点对时，如果不考虑两幅图像之 蒯的角度相对位置关系，首先选取其中一幅图像的一个像素点然后依次顺序与另一幅 第= 章基十目镕特 配的模型优化算镕 图像的所有像素点比较，具有与该点相同的颜色深度值的点，可咀认为它们是相同的像 素点。但是，在一幅图像中，一般会出现很多个颜色深度值相同的像素点，而与其真正 对应的像素点对只有一个。而且，现实中，因为摄像机的不同，所拍摄到的同一场景图 像中某点的颜色深度值往往是不完全相同的。所以，只根据相同颜色深度值的检测方法 所得到的只是相同像素点对。而并非是对应的像素点对。虽然，实际中因为摄像机的不 同，所拍摄到的同一场景图像中某点的颜色深度值往往是不完全相同的；但是场景中 某一点的颜色深度值信息与其周围点的颜色深度值信息之间的差值是一定的。根据这一 实际情况，本文在壹找对应特征点对的时候，选用将该像素点信息以及其周围的8 个像 素点信息一起考虑进来，将该点与其周围的像素点之问的差值作为比较的因子。为了减 少查找计算的时间，充分考虑图像所拍摄时的视点空间相对位置关系，充分利用立体几 何极线原理等方法，减少计算量提高查找的效率。 在获取了公共可视区域内的图像特征点之后，本文利用立体几何极线原理等方法查 找出与其相关的两相邻图像中的对应特征点对，如图3 8 所示。利用先前图像中已经提 取的特征点位罱坐标以及与之相对应的已知视点的位置坐标、匹配图像的参考视点这三 点的位置坐标形成一个平面。把该平面的方程与相邻图像所在平面的方