（计算机软件与理论专业论文）基于图像序列的物体可视外壳算法研究.pdf

摘要 近年来，无标记点运动捕获技术已经成为计算机视觉与计算机图 形学研究领域的一大热点，已经广泛的应用在计算机动画，游戏，电 影特技等领域。而基于图像序列可视外壳建模技术实现无标记点运动 捕获系统，可以将运动捕获拓广到方便性、安全性要求更高的体育仿 真、医疗康复、生物力学分析技术等应用领域。 基于图像序列的可视外壳技术般是利用图像侧影轮廓信息来 重建物体原始模型的，然而由于存在二维图像到三维空间映射的多义 性、物体遮挡与被遮挡等方面的困难，从图像序列恢复物体三维模型 信息还存在很多技术难点。针对这些问题，本文提出了一种新的基于 图像序列的可视外壳生成算法，能够保证一定的稳定性和数据精度， 进一步满足运动捕获数据的需要。 本文的主要工作如下： 1 介绍了基于图像序列的可视外壳技术的研究背景与研究目 的，总结了近年比较典型的基于图像的建模方法，并详细描述了基于 图像建模的相关基础理论知识。 2 提出了一种新的基于图像序列的可视外壳生成算法其通过加 权线段求交，线段集合中心线性过滤与线段集合多边形检测的方法计 算物体的可视外壳。实验证明算法的效率高、鲁棒性强、计算结果逼 近原始模型，满足对运动捕获数据的需要。 3 建立了可视外壳原型系统，该系统对可视外壳重建算法进行 了验证和应用，重建结果真实。用户通过和系统交互，可以进行各种 空间操作，实现对物体三维建模的要求。 关键字：基于图像建模，相机定标，可视外壳，三维重建 a b s t r a c t i nr e c e n ty e a r s ，m a r k e r l e s sm o t i o nc a p t u r eh a sb e e nah o t t o p i c i nt h ef i e l d so f c o m p u t e rg r a p h i c s a n d c o m p u t e r v i s i o n ，a n di th a sb e e nw i d e l yu s e di nav a r i e t yo ff i e l d ss u c h a si nc o m p u t e ra n i m a t i o n ，g a m e s ，s t u n t m a r k e r l e s sm o t i o n c a p t u r es y s t e ma c h i e v e db yv i s u a lh u l l ，w h i c hi sc o n s t r u c t e d f r o mi m a g es e q u e n c e s ，c a na p p l yt ot h es i m u l a t i o no fh u m a n m o ti o n ，b i o m e c h a n i c sa n a l y si sa n dv i r t u a lr e a li t yi nw h i c hh a v e g r e a t e rd e m a n d si nt h ec o n v e n i e n c ea n ds e c u r i t y t h es i l h o u e t t ei sv e r yi m p o r t a n ti n f o r m a t i o n i tc a n c o n s t r u c tt h ev i s u a lh u l lo f 3 dm o d e lf r o mas e to fi m a g e s e q u e n c e sb yc o m p u t i n gs h a p e f r o m - s il h o u e t t e w h il eb e c a u s eo f t h ed i f f i c u l t i e so ft h e2 d 一3 dp r o j e c t i o n ，o c c l u s i o n sa n d s e l f o c c l u s i o n s ，t h ec u r r e n tv i s u a lh u l lc o n s t r u c t i o nb a s e do n i m a g e ，s e q u e n c e sa r es t i l lal o to ft e c h n i c a ld i f f i c u l t i e s t h i s d i s s e r t a t i o np r o p o s e dan e wv i s u a lh u l l g e n e r a t i o n a l g o r i t h m s ，m e e t i n gt h en e e do ft h em o t i o nc a p t u r ed a t aa n d i m p r o v i n gt h ea c c u r a c y o fd a t a t h em a i n s t u d yw o r k sa n d a c h ie v e m e n t si n cl u d ef o ll o w i n ga s p e c t s ： 1 i ti n t r o d u c e st h er e s e a r c hb a c k g r o u n da n dp u r p o s e so f t h ei m a g e b a s e dm o d e li n g ，s u m m i n gu pt h et y p i c a li m a g e b a s e d m o d e l i n ga l g o r i t h ma n dd e t a i l i n gd e s c r i p t i o no ft h er e l e v a n t t h e o r e t i c a lk n o w l e d g eo ft h ei m a g e b a s e dm o d e l i n g 2 i nt h i sp a p e ran e wv i s u a lh u l la l g o r i t h mw a sr e p r e s e n t e d c o m p a r e dw i t ht r a d i t i o n a lm e t h o d s ，o u ra p p r o a c he m p l o y st h e m a x i m u mo v e r l a pli n es e g m e n t si n t e r s e c t i o nt oc a l c u l a t eli n e s e g m e n ti n t e r s e c t i o ns t a b l y i na d d i t i o n ，t h ee x t r a c t i o no ft h e b o r d e rs u r f a c ei sm o r ea c c u r a t e t h ee x p e r i m e n t a lr e s u l t s d e m o n s t r a t et h ea l g o r i t h me f f i c i e n c y ，r o b u s t n e s s ，r e s u l t s c l o s et ot h eo r i g i n a lm o d e l 3 av i s u a lh u l l p r o t o t y p es y s t e m i sd e v e l o p e d ：t h e i m p o r t a n tt e c h n o l o g i e sa r ev e r i f i e da n da p p li e di np r o j e c t r e c o n s t r u c t i o nr e s u l t sh a v er e a l i s t i c u s e ra n ds y s t e m sc a n i n t e r a c tt oc a r r yo u tav a r i e t yo fs p a c eo p e r a ti o n st oa c h i e v e t h e3 dr e c o n s t r u c ti o no ft h eo b j e c t k e yw o r d s ：i m a g e b a s e dm o d e l i n g ，c a m e r ac a l i b r a t i o n ，v i s u a l h u l l ，3 d r e c o n s t r u c t i o n l v 湖南师范大学学位论文原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独 立进行研究工作所取得的成果。除文中已经注明引用的内容外，本论 文不含任何其他个人或集体已经发表或撰写过的作品成果。对本文的 研究做出重要贡献的个人和集体，均已在文中以明确方式标明。本人 完全意识到本声明的法律结果由本人承担。 学位论文作者签名：哥参貉 沙f 。年夕月珥日 湖南师范大学学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定， 研究生在校攻读学位期间论文工作的知识产权单位属湖南师范大学。 同意学校保留并向国家有关部门或机构送交论文的复印件和电子版， 允许论文被查阅和借阅。本人授权湖南师范大学可以将本学位论文的 全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫 描等复制手段保存和汇编本学位论文。 本学位论文属于 1 、保密口，在年解密后适用本授权书。 2 、不保密战 ( 请在以上相应方框内打“ ) 作者签名： 导师签名： 孑吕孙 i 纠吣 日期：沙7 。年夕月坼日 日期：沙f 0 年，月淘 基于图像序列的物体可视外壳算法研究 1 1 研究背景 1 绪论 随着现代技术的快速发展，运动捕获技术已经越来越受到人们的 关注，尤其像美国好莱坞的魔戒、极地特快、变形金刚、日 本的最终幻想等电影的成功。然而，传统的运动捕获技术是要求 人体穿戴一些特殊的标志或者利用一些硬件设备进行的，其操作不便 捷，数据不够真实，还可能带来安全隐患。例如，捕获蹦床、跳水、 体操等剧烈体育运动，标记点或者机械装置，会妨碍运动员技术动作 的执行，在强烈的冲击力作用下，对运动员也是一种潜在危险；同时， 标记点或机械装置会由于皮肤、衣物的变形而产生滑动，获得的人体 运动数据会有一定程度的误差。而通过可视外壳技术( v i s u a l h u l l ) 的运动捕获能够满足运动捕获技术的发展目标及更真实更便捷，因为 通过图像序列构建物体的可视外壳方法具有建模过程简单，速度快等 特点。它是利用了图像序列根据视觉技术获取几何模型的数据，不需 要进行复杂的建模过程，减少了工作量，同时通过图像可以获得场景 信息、物体的纹理，减少了对光照等物理特性的设计，这样就降低了 计算能力的需求。 近十年来，随着数字摄像机和高性能p c 机的日渐普及，基于可 视外壳( v i s u a l h u l l ) 技术的无标记点运动捕获已经成为了研究的热 点。由此也产生了一系列无标记点运动捕获原型系统和商业系统。卡 耐基梅隆大学机器人试验室的c h e u n g 等人( 2 0 0 4 ) 、苏黎世联邦理工 学院的r e m o n d i n o 等人( 2 0 0 4 ) 、法国l y o n 大学的m i c h o u d 等人 ( 2 0 0 7 ) 、斯坦福大学无标记点运动捕获项目组( 2 0 0 6 ) 、意大利p a d o v a 大学b a l l a n 等人【1 1 、麻省理工的d a n i e l 等人【2 1 、国内北京交通大 硕七学位论文 学的袁保宗、苗振江等人先后给出了基于可视外壳的运动捕获原型系 统【3 1 。这些系统的主要区别在于以下几个方面：1 ) 使用采集设备和 数目不同；2 ) 是否使用运动捕获数据库；3 ) 使用的算法类型不同；4 ) 使用的匹配模型不同；5 ) 识别的人体运动部位不同。与目前主流的运 动捕获系统相比，基于可视外壳技术的无标记点运动捕获技术无法与 之抗衡。它只能够得到运动物体的近似形状，而像手指、面部、皮肤 以及扭转等小幅度的运动和变形就不能精确捕捉n t 4 1 ，需要添加仿真 细节来增加真实性，例如为织物添加动态褶皱【5 】。因此，本文提出了 一种新的基于图像序列的物体可视外壳生成算法，其通过加权线段求 交，线段集合中心线性过滤与线段集合多边形检测的方法计算物体的 可视外壳，满足运动捕获数据的需要，并进一步提高数据处理的精度。 1 2 研究目的与意义 基于图像序列的物体可视外壳研究不仅在无标记点的运动捕获 技术有着深刻的应用意义还在动画制作、医疗诊断、虚拟现实、工业 制造、文物保护等领域有着广泛的应用前景。正由于此，它吸引着越 来越多的研究人员的广泛参与。具体来说，其应用领域还包括如下几 个方面： 在生物医学方面【6 】，通过三维模型的方式了解认识人体的各个内 部结构与功能是非常重要的方式。基于c t & m r i 的医学图像经常会用 来确诊病情，但他们只能提供人体器官和组织的二维图像信息。通过 二维图像信息重建人体内部组织器官的三维模型可以直观的显示各 部分之间的相互关系，方便医生诊断与治疗。 三维重建与计算机图形学以及模式匹配有着密切的联系f 7 1 。随着 功夫熊猫，冰河世界等数字电影的成功，数字角色在娱乐业中 越来越重要。与传统电影制作相比，基于图像的建模具有建模速度快， 对象模型真实感强，操作简单等特点。 基丁图像序列的物体可视外壳算法研究 虚拟现实在教育、军事、娱乐等方面应用广泛，而虚拟现实的基 础内容是虚拟环境的建立及三维场景建模。传统几何建模效率低且需 要专用绘制软件。基于图像序列的虚拟场景建模，建模效率高，建模 真实，克服原有方法的缺陷与困难。c a r r a n z a 8 】等人提出的基于侧影 轮廓线的人体动作捕捉，并在三维模型中重建此动作。此外m a r k u s 9 1 等人设计了一个高效的虚拟现实系统，物体可以通过镜子中的影像直 接计算三维模型。 在工业制作领域【1 0 】，检测不合格的产品是一项非常重要的过程， 如果不能发现不合格的产品就有可能带来灾难性的事故，如大型机械 设备的生产，民用生活工具的制作。但一般来说，工业产品的微小缺 陷是不能被肉眼发现的如细微裂痕，内部气泡等，必须使用c t 或超 声设备检测。通过对超声图像和c t 图像的建模恢复产品原始模型就 可以发现产品的结构和内在问题，除此之外还可发现产品表面之间的 粘合程度。 在古建筑和文物考古恢复中【l ，基于图像的建模也具有深刻的应 用意义。文物是人类文化的遗存物，是历代先人创造的物质财富，是 具有历史、艺术、科学价值的珍贵遗产。但是由于种种原因文物会受 到自然的和人为的损坏，有时就只能从图像中欣赏。基于图像的建模 可以在某些情况下重建文物的原貌，再现历史的风情。 1 3 本文研究内容及所做的工作 1 3 1 论文的主要内容 本文研究的主要内容是怎样从建模的各个步骤中提高处理质量， 主要包括线段集合加权求交技术、线段集合中心线性过滤技术、表面 重建技术。 基于图像序列的物体可视外壳重建过程是一个从二维图像序列 中提取三维信息进行物体原始模型重构的过程。它是一个复杂的数据 硕士学位论文 处理过程，又由于重建的任务是根据不同的图像类型和数量以及重建 算法进行的，所以没有统一的处理过程，本节主要给出了所提算法的 主要处理步骤，如下所示：( 如图l 一1 所示) ： ( 1 ) 图像处理：首先得到从各个视角拍摄的用于重建的物体照 片，并对这些照片做预处理操作( 提取物体轮廓信息) ； ( 2 ) 线段集合加权求交：锥体母线穿过其他锥体时，会产生交线 段或切点，记录母线穿过其它锥体的所有交线段结果，对这些线段结 果进行交运算得到的交集即是母线可视外壳的部分。通过记录所有锥 体母线所产生的交集结果，即得到可视外壳模型的线段集合； ( 3 ) 线段集合中心线性过滤：线段求交的结果只能得到可视外壳 的近似结果，其中会有受到噪声的影响，通过中心线性过滤的方法平 滑线段集合，使线段集规则整齐的排列； ( 4 ) 表面重建：从已经平滑后的线段集合中构造多边形，再通过 多边形集合计算相邻多边形之间的公共边界，重构物体的表面模型。 罩z 竹重逢凳罩 伸 啻令 至 图卜1 本文基于图像序列建模处理流程 在整个过程的处理流程中，每一个步骤的数据处理质量对基于图 像序列的建模结果都是起着非常重要的作用。 基于图像序列的物体可视外壳算法研究 1 3 2 论文的研究成果 本文针对基于图像序列的物体可视外壳算法进行了深入的研究， 从算法的处理流程的各个环节上探讨提高图像建模质量的关键技术， 其中包括线段集合加权求交技术、线段集合中心线性过滤技术、表面 重建技术，最后整合各个处理技术构建了一种鲁棒的可视外壳生成算 法。本文提出并实现了相关方法，取得了令人满意的结果其创新之处 如下： 1 )提出了一种线段集合加权求交技术 由于传统的线段求交算法得到的求交结果总会因为误差的原因 产生信息缺失的问题及不能得到交集结果。本文提出了一种加权线段 集合求交的方法，其最大程度的得到线段的近似交集结果，弥补传统 求交算法中信息缺失问题，且交集结果可能只有一条线段，也可能有 多条线段。核心思想为将多组处于同一直线上的所有线段相互之间重 叠次数最多的部分为线段集合的交集结果。 2 )提出了一种线段集合过滤方法 首先，我们通过仿真数值试验验证加权线段求交方法的求交处理 步骤可以显著的提高求交结果的质量。在此基础上，我们提出了一种 线段集合中心过滤的方法，平滑线段交集集合通过平滑处理后结果线 段集规则整齐排列使其具有更高的稳定性，通过试验证明此方法有效 性和实用性。 3 )提出了一种表面重建的方法 从已经平滑后的线段集合中构造多边形，再通过多边形集合计算 相邻多边形之间的公共边界，重构物体的表面模型。利用线段集合多 边形检测对物体进行表面重建，得到物体的可视外壳。通过这个方法， 可以精确得到物体表面信息，同时还可以进一步满足表面约束条件， 通过此方法，我们可以更精确的得到物体模型。 4 )提出了种鲁棒的可视外壳生成算法 硕士学位论文 基于以上基础，本文提出了一种新的可视外壳生成算法，其通过 加权线段求交，线段集合中心线性过滤与线段集合多边形检测的方法 计算物体的可视外壳。与传统算法相比在计算效率和算法稳定性重建 精度上都有显著提高，实验证明算法的效率高、鲁棒性强、计算结果 能够更好的逼近原始模型。 1 4 论文的组织结构 全文共分5 个章节，章节安排和主要内容如下： 第一章是绪论部分，主要介绍基于图像序列建模方法的研究背景 与意义以及本文的主要内容和研究成果。 第二章介绍了摄像机模型、相机定标、极限几何和基础矩阵等基 于图像序列建模的基本理论知识。并对现有的基于图像序列建模技术 进行了总结，归纳了几种比较典型的基于图像序列的建模方法。 第三章介绍了本文所提出的鲁棒的可视外壳生成算法，详细介绍 了算法的原理及步骤，并通过图像处理、加权线段求交、线段中心线 性过滤和表面重建四个方面来设计算法，最后展示算法的实验结果。 第四章介绍了根据第三章算法所构建的可视外壳建模系统，详细 介绍了系统的设计目标，系统的体系结构，系统的设计思想以及系统 的设计界面。 第五章总结了全文的研究工作，并对算法和系统的进一步完善和 未来的研究方向进行了讨论。 1 5 本章小结 本章主要介绍了基于图像序列建模方法的研究背景，并针对本课 题说明了课题研究意义，本文的主要内容以及研究成果，最后介绍了 全文的组织框架。 基于图像序列的物体可视外壳算法研究 基于图像序列建模综述 通过物体的拍摄图像重建原始模型是计算机视觉领域的一个重 要分支，也是计算机视觉的热点领域。至今图形学研究人员已提出了 多种依靠图像二维信息重建三维模型的方法，在七十年代h o r n 就发 表了一些相关的论文，称之为s f s ( s h a p ef r o ms h a d i n g ) 的方法。之 后的几十年里，由于其应用广泛已经成为了计算机视觉的研究热点。 本章第一小节主要介绍了基于图像序列建模的基础知识，主要有 摄像机模型、坐标系统、极限几何与基础矩阵、摄像机定标等四个方 面；第- - 4 , 节主要详细介绍了四种主要的基于图像序列的建模方法； 第三小节主要对基于图像序列的三维建模方法的展望；第四小节是本 章的总结。 2 1 基于图像序列建模基础知识 2 1 1 摄像机模型 在摄像机定标技术的发展过程中，常用的摄像机模型有三种：透 视投影模型、正交投影模型和逆透视投影模型。理想的针孔摄像机模 型，不考虑摄像机的畸变，简单实用同时准确性也较高。 在本文的试验中，我们也采用透视相机模型，它相当于一个理想 的针孔相机模型【1 2 】。在计算二维图像和三维空间之间的相互关系时主 要取决于选择的透视投影、相机中心c 和图像平面r 。在场景中的一 点m ，连接摄像机中心与m 点的连线与图像平面r 相交与点m ，如 图2 1 所示。光轴( o p t i c a la x i s ) 是一条穿过摄像机中心c 且垂直与 图像平面的直线，它与图像平面的交点为p 。如果我们在图像平面中 定义一个正交的坐标系统，中心设为p ，我们就可以定义一个三维的 硕士学位论文 正交系统，称之为相机坐标系统，投影中心设为c ，它的x 、y 坐标 轴平行于图像平面r ，第三个坐标轴平行于光轴( o p t i c a la x i s ) ，此外 相机中心c 与图像平面r 的距离称之为焦距，记为f o z 图2 - 1 针孔摄像机模型 m 点的坐标【x yz 】t 与它在图像平面r 上的投影点m ，【z y 】t 之间存在如下关系：。 f x ：擘 z ( 2 1 ) k 譬 图像平面上的点m 表示一条入射光线穿过图像平面r ，叫做点m 的光线。这条光线穿过摄像机的中心，因此可以通过原点来定义它在 摄像机坐标系中的空间位置，在这里我们只需指出沿这条光线上的另 一点m 的三维坐标为f x yz 1 t 。除此之外，此坐标系中的任何一个 坐标( 坐标为【2 x 2 y 2 z t ) 都在同一条光线上，它们在图像平面的 二维投影点都是点m 。投影点m 在摄像机坐标系中的坐标为 卜yl 】t ，所以这个投影坐标代表所有穿过点m 光线上的三维点在 图像平面的投影信息。根据此性质，通过变换可以用矩阵和齐次坐标 的形式表示，如下： 基于图像序列的物体可视外壳算法研究 z i = 旺 00 0 3 ooi 01 0 j x 】， z l = p o m ( 2 2 ) 其中，异是一个3 x 4 的投影矩阵，代表着从三维空间到二维空间 的映射关系。 2 1 2 坐标系介绍 在图像坐标系中，我们需要考虑摄像机的内部参数。如图2 2 所 示，是一个从图像平面上获得的图像坐标系。从上所知，空间一点 m ( k ，】乙，z 二) 的实际位置在摄像机坐标系下可表示在图像二维坐 标系中，其说明摄像机所拍摄图像上的各个像素点位置的坐标系。数 字图像是以m x n 的二维数组的形式存储，例如点的像素m 坐标( x ，y ) 表示该点位于二维数组中的列数和行数，它的值表示图像上该像素点 的亮度( 灰度值) 。参数和圪。是摄像机坐标系的主点 尸= 【x oy o1 】t ，x 和y 分别是图像的高和宽单位为像素。 图2 2 图像坐标系 参数之间的关系如下所示： l i ，x - _ - x x o ( 2 - 3 ) 【_ = y y o 其中颤和砖都为变量，单位为 像素长度】。 硕士学位论文 图像坐标系是通过如下等式变化得到的： 掰= ( i = 手 喜丢罩 等 = k 享 c 2 - 4 ， 其中，a x = 以、口，= 以，厂是图像平面和摄像机中心之间的距离 及焦距，s 是两图像坐标轴倾斜程度的参数。 在公式2 4 中，k 是一个3 x 3 的上三角矩阵，称作摄像机的参数 f q s x o k = 10 口y y o l 【0 01j 在k 中有五个参数，图像平面中每一像素在x 轴与y 轴上的物理 尺寸为出和方且q = 1 出，口y - 1 d y ；( 而y o ) 为摄像机坐标系的主点坐 标；a x , a y 表示图像x 轴和y 轴上的尺度因子。 所以，下面这个公式描述了从三维世界坐标系到图像坐标系的变 换。 m = k m r ( 2 - 5 ) 其中，m 。表示图像平面上的坐标形式。 在通常情况下，摄像机的像素点几乎是一个非常完美的矩形，因 此s 非常接近于o ，同时主点也会非常接近于图像的中心位置。这些 假设经常会被用到，通过反复复杂的迭代计算过程来得到最适合的初 始化参数。 在世界坐标系中如图2 3 所示，需要考虑摄像机的外部参数情况， 通过摄像机的移动寻找它们之间的关系。世界坐标系定义为 ( k ，y 删，) ，原点为。其中摄像机中心可放置在一个易于描述 和计算的基准坐标系上，且是可以根据实际情况进行自由的选取。对 于某些情况下，适当世界坐标系的选取可以极大的简化模型的数学表 达式便于计算。场景中点的转换可以如下所示： 基于图像序列的物体可视外壳算法研究 r 尺t l 肌k ，p ( 2 6 ) 其中r 是3 x 3 正交变换矩阵，其列或行向量是单位正交的， f = l 勺乞 t 是3 l - 册- v 曲, i c b , 占i h j 且_ 里。 图2 - 3 世界坐标系 2 1 3 极线几何与基础矩阵 y 在两张图像之间的内部投影几何关系称之为极线几何( e p i p o l a r g e o m e t r y ) ，其与图像中物体的形状、颜色无关，主要依赖于摄像机 内部的参数及外部参数。在本研究中，利用基础矩阵来运算，基础矩 阵( e s s e n t i a lm a t r i x ) 便是用来描述两张图像之间的极限几何关系。 在计算物体可视外壳( v i s u a lh u l l ) 时，运用极线几何的方法来找希望 结果视图和拍摄照片之间的对应关系，这样可以加快处理速度，以节 省希望结果视图和拍摄照片之间的对应分析处理过程时间。 考虑两张从不同的位置拍摄的物体图像，这两张图像之间存在一 种几何限制关系。利用此限制进而找到两幅图像之间的对应点，而这 种几何限制条件称之为极线几何，如图2 4 所示。 硕士学位论文 c m 图2 4 极线几何 g 与c 。分别是左图像与右图像相机点的光学中心位置，而g 与 c 。的连线称之为基线( b a s e l i n e ) ，极线几何的关系就是由通过基线 平面与两个投影平面相交而成。假设点m 是一个同时被两部摄像机拍 摄到的三维空间点，工：是m 投影在左边拍摄平面上的二维投影点， 是m 投影在右边拍摄平面上的二维投影点。 投影平面上的二维投影点五与以，三维空间上的点m ，以及两部 摄像机的中心点可以形成共平面的情况。从各自摄像机的中心点穿越 图像平面上的五与x 。投影到三维空间，可以发现这两个射线相交于 三维空间上的点m 。由点m 、摄像机中心g 与c 。所形成的平面即为极 线平面( e p i p o l a r p l a n e ) 。两个摄像机中心g 与q 的连线分别交左投 影图像和右投影图像于e l 与，e ：为摄像机中心c ：投影在左投影平面 上的点，p 。为摄像机中心c 。投影在右投影平面上的点，称这两个点为 极点( e p i p o l e ) 。 根据极线几何关系，可以发现左投影平面上的任何一点x ，和左 投影平面的摄像机中心q 所形成的射线q 五，投影在右投影平面上， 将成像为一条线，即为极线( e p i p o l a rl i n e ) 。由此可以推出左边 投影平面上的点五，其在右投影平面上的对应点为以且会落在，上。 三维空间中c ：五上所有的点都会投影在极限平面的极线，上。反之， 极线，。上的任何一点也会投影在c 置射线上。 基础矩阵是极线几何的代数表示，所以极线几何可以转化为对基 础矩阵f 的估计问题。如图2 4 所示，图像门铂，的极线几何关系可 基于图像序列的物体可视外壳算法研究 以表示为： x 0 f x l = 0( 2 - 7 、) 其中f 就是基础矩阵，它包含了标定好的摄像机从第一个位置相 对运动到第二个位置的所有信息，可以从拍摄图像中估计出来。特殊 的，气与各自为两个相机中心在另一幅图像上的投影点，且满足 f e l = 心= o 。它具有如下的基本性质： 1 ) 当且仅当矩阵f 的秩为2 时，其才为基础矩阵。 2 ) 两幅图像上的极点气与，满足心= 心= o 。 3 ) 在只差一个非零常数因子的情况下基础矩阵是唯一的。 基础矩阵在计算机视觉的研究中有着非常重要的作用，所以精确 的计算基础矩阵已经是计算机图形学学者的主要研究方向。目前，估 计基础矩阵的方法大致可以划分为线性算法、非线性算法和迭代算法 等。假设基础矩阵f 有如下形式： f = 鞋j | p 8 ， = i 厶石名l ( 2 - 8 ) l 石 石石- j 该方程为关于基础矩阵的九个未知数的齐次线性方程，且在两幅 图像上有一组匹配的齐次坐标分别为脚= 【，y ，1 r 和= 【甜，v 7 ，1 】r ，且满足 m f m = 0 。由( 2 7 ) 可得： u u f , + 1 ，“z + u z + “v 六+ w 以+ v 兑+ 奶+ 1 毵+ 石= z r f = 0( 2 - 9 ) 其中 厂= 【z ，厶，厶，六，五，石，五，石】7 z = u u 1 ) u “洲w 1 ，“1 ，l 】2 把匹配点m 和班代入公式m 7 f m = 0 ，得 z = f u u 甜删w ，7 材v1 1 7 = 0 lj 因此，只要所有的匹配点对i = l ，n ，可得n 个如下的线性方程 硕士学位论文 组； 匮甍乞。，“z 吃k 0 1 卜t z - l u 一， 1 “： “：“。7 “。吒屹吃屹j j 因此，根据基础矩阵的性质，得到的所有解释向量之间只相差一 个常数因子。通过加上一个约束条件= 1 ，则可以避免出现多解的 现象即可解出唯一的基础矩阵f 。 2 i 4 摄像机定标 传统摄像机定标方法是指用一个结构一致、加工精度高的标定块 作为空间参照物，通过空间点和图像点之间的对应关系来建立摄像机 模型参数的约束，然后通过优化算法来求取这些参数。一般来说，传 统的摄像机定标方法分为三大类：线性定标、非线性定标和两步定标 【1 3 1 0 通过求解线性方程形式的摄像机参数确定是线性方法的主要定 标过程。算法的运算效率高速度快，然而这种方法完全没有考虑摄像 机过程中的非线性畸变问题( 一般来说未知参数的个数比实际的自由 度要大) ，这种冗余的出现，使实际的中间参数的约束不够，所以这 种方法的运行结果会受到噪声的影响，且影响效果明显。其中的常用 的算法如直线线性变换( d l t ) 在线性标定方法。这种方法的优点是 可以假设相机的光学成像模型非常复杂，它考虑了相机成像过程中的 各种因素，并且精心设计了相机成像模型，计算速度快，可以用在需 要实时计算摄像机参数的系统中。但这类方法也存在缺点：首先，标 定的精度会因为不考虑摄像机镜头的非线性畸变而产生误差；其次， 线性方程组求解过程中过分参数化求解，但由此得到的参数值未必与 实际情况相符，得到的精度也会有误差。 非线性方法使用了许多未知数和大规模的非线性优化。非线性模 型越准确，计算代价越高。通过弥补镜头畸变来使用更加复杂的映像 基于图像序列的物体可视外壳算法研究 模型。但是，算法的迭代计算需要有很好的初始化估计。并且，如果 迭代过程设计的不合适，尤其在高扭曲的条件下，可能会带来优化过 程的不稳定。这些技术包括：s o b e l 标定系统【1 4 】、f a i g s 方法【1 5 】、p a q u e t t e 方法【1 6 1 和g e n n e r y 立体视觉标定方法【”】等标定方法。 除此之外，还有另外一些摄像机标定技术，如m a r t i n s 1 8 1 使用的 双平面方法，也有提出不用任何具体模型的人工神经网络【1 9 】和统计方 法【2 0 】来进行标定。 在1 9 9 9 年的i c c v 上微软研究院的张正友提出了一种新的介于传 统定标方法和自定标方法之间的标定方法，此方法标定精度高，鲁棒 性好，避免了传统标定方法设备要求高、操作繁琐的缺点。本文实验 即采用张氏定标方法来完成相机定标的。接下来就详细介绍张氏定标 法。 此方法的运算步骤如下：( 1 ) 打印一张标定模板( 棋盘格) 并 贴在一个平面上；( 2 ) 从不同角度拍摄若干张( 大于或等于3 张) 模 板图像；( 3 ) 应用h a r r i e s 角点探测法检测出每幅图像中的特征点；( 4 ) 求出每幅图像的单应矩阵h ( h o m o g r a p h y ) ，本文应用m a t l a b 优化工具 箱提供的优化函数来实现该矩阵值的计算；( 5 ) 在不考虑畸变值的影 响下，利用单应矩阵h 以及内部参数的两个基本约束方程和内部参数 矩阵自身约束方程求出摄像机的内部参数；( 6 ) 利用单应矩阵和已求 出摄像机的内部参数矩阵求出摄像机的外部参数；( 7 ) 利用反投法对 摄像机内外部参数进一步优化求精，同时求出各项畸变系数。 设标定板上有点n l ，图像坐标为肌- - - - uy 1 7 ，令齐次坐标为 詹= x y z1 1 7 ，历= 阻v 矿，则： s 历= a 【rf 】麝( 2 1 1 ) 其中a 为摄像机的内部参数矩阵：a = l0 qv o u ol ，y 为图像轴 i 口。 7 i l 001 i 的倾斜因子， ( “。，v o ) 为主点坐标，s 是尺度因子，吼和吼分别是1 1 硕士学位论文 和v 轴上的尺度因子，厨- - x y z1 r 为模板面上点的齐次坐标， 历= 【“v1 】r 为模板平面上的点投影到图像平面上的对应齐次坐标，r 和t 分别是摄像机坐标系相对于世界坐标系的旋转矩阵和平移向量。 令世界坐标系与图像坐标系的z 平面重合，则z = o ，同时令旋转 矩阵的第i 列为，根据( 2 1 1 ) 有如下的坐标转换关系： x 】， 0 1 = 4 州司 陋 此时厨- - x y1 】r ，令日= 彳【，i r 2 小则有 s t h = 腑 ( 2 1 3 ) 令日= 【啊如】，则有【啊岛】兄彳【，i r 2t 】，其中兄为任意的 尺度因子，并且，i ： 彳一- 如，吃：) - ，- a 一，。根据旋转矩阵的性质，得 r i r r 2 = o ，= i = 1 ，每幅图像可以获得以下两个对内参数矩阵的基本 约束： h ，f r a - 一r r a - 一l 。h ，2 = ，0r r 。， ( 2 1 4 ) ij l l r 彳一r a 。17 l i = | j 1 27 a r a 一 、7 由于其中五个内参数未知的摄像机，所以只有当所拍摄的图像数 目大于等于3 时，才可以线性求解唯一的a 。但是外部参数共有6 个， 其中包括3 个平移参数和3 个旋转角度参数。 令： 基于图像序列的物体可视外壳算法研究 召= 4 一r 4 = 墨 差曼 7 a u 2 a ” y a u 2 c t v v 0 7 一“o a vy ( v o y 一“o 口，) v o 口h 2 口ya u 2 a 2 ya p 2 7 u o a ， a u a v y ( v o r u o a ，)v o a u z a 2 va y 2 ( r o y - f u 了o a 一，) 2 + v 0 了2 + 1 口“2 d 2 v。口v 2 一 ( 2 一i s ) 则b 是一个对称矩阵且是由6 维向量定义的，表示为： 6 = 且，且：，岛：，骂，垦，b ，r 。 令h 的第i 列向量为：h i = h i ，赡：，红， r ，贝j j ( 2 1 4 ) 知h i r b 乃= v u r 6 其中 吻= 吩。乃。忍。乃：+ 忽：哆。名：乃：曩，哆。+ h i 。乃，曩，哆：+ h i ：乃，红，乃， r ， 这样，约束方程组( 2 1 4 ) 就能够重新表示为用b 表示的两个同质 方程： 即 心v 1 2 纠 若有1 1 张图像，由上式可得 v b = o 其中v 是一个2 n x 6 的矩阵。 ( 2 1 6 ) ( 2 1 7 ) 由式( 2 1 6 ) 可以求出b ，也就确定了b ，然后分解就可得到内参数， v 0 = ( e 2 8 1 3 一b i l 垦3 ) ( b l i b 2 2 一b 1 2 8 1 2 ) 名= b 3 3 一【马3 2 + v o ( b 1 2 8 1 3 - b l l 岛3 ) l b , l 口v2 口“5 y = 一且2 a u 2 a ，五 = 隅吒一蜀3 a u 2 旯 其中，名是b = 2 a 叮a 中的任意比例因子。 ( 2 1 8 ) 利用平面投影矩阵h 和内参矩阵a ，通过如下式子就可求出摄 像机外部参数： 1 7 一i + 一2 v上咖 硕士学位论文 ，；= r a j i j l r 2 = r a _ 吃 r s = ，i r 2 ( 2 1 9 ) t = 吒= 刁彳一岛 刁- - i i i a 。1j l l l l = 1 1 1 a 一创 从不同的角度拍摄同一标定板平面2 幅以上的图像，就能够求出 摄像机的内外参数，并且该方法不需要知道平面模板移动的位移信息 和具体方位，且标定板制作简单，因此该方法非常简单、灵活易用， 非常适合研究者使用。 2 2 基于图像序列建模方法介绍 图像包含着丰富的场景信息，所以可以从图像获得逼真的场景模 型。与其他方法相比，基于图像序列建模方法的优点在于设备简单易 用，不受物体所在位置及形状体积的限制。基于图像的三维重建技术 主要有以下几类方法。 2 2 1 基于体素的三维建模方法 在多视点几何建模中，体素网格的表面建模方法一直是其中的经 典算法。空间雕塑算法【2 1 1 代表了空间周围由多个小的体素网格模型组 成的空间，通过减少其中的差异体素来得到物体原型。虽然这些方法 在重建时不需要对场景和物体的拓扑结构做必要的假设，且很容易同 时处理场景和对象的数据信息，但重建的结果往往会受到噪声的影响 而失去准确性。体素表示法也是用了l e v e l s e t 的技术2 2 1 ，其中表面提 取算法【2 3 2 4 ，如m a r c h i n gc u b e s 算法【2 3 1 就是一种常用的基于面的同值 表面体绘制算法。在多视点中使用l e v e l s e t 技术很容易处理拓扑结构 的变化，同时体素方式的应用也可以减缓高分辨率图像在内存的使 用。请注意，许多基于体素的方法能够同时处理对象和场景的数据信 息，但对于每一个包围盒( 单位网格体素个体) 却包含许多冗余信息， 基于图像序列的物体可视外壳算法研究 影响重建结果的精确度。 2 2 2 基于深度图像的三维建模方法 深度图像是含有m 刀个像素点的一般图像，每个像素点存储的是 场景中物体表面上各个采样点的深度信息而不是图像的颜色值。深度 图像的获取方式是多样的，如激光传播时间计量、声纳、雷达以及另 外的计算视觉手段。场景中常常会有遮挡的现象，所以会需要使用多 张深度图才可以重建物体表面。 对于只有单一物体的场景情况，需要通过配准和合并两个步骤将 多张深度图像组合起来才能重建物体原型。配准是通过平移、旋转等 一系列坐标变化对多张深度图像进行处理( 找出其中存在重复的部 分) ；合并是采用配准后深度图像得到的物体单一表达式，其也可以 使用隐式曲面或参数曲面表示。常用的合并方式一般有两种：直接空 间散乱点重建的形式进行合并和利用深度图像中各像素点之间的邻 接方式进行合并。通过合并得到的物体网格模型一般比较复杂，所以， 合并操作后还需要对网格模型进行简化操作。此外，若场景中有多个 物体时，需要先分割物体【2 5 1 ，然后再根据分割出来的物体模型进行合 并重组，之后就可以对图像中的物体模型进行参数化和场景的编辑。 目前使用的分割算法一般是人机交互式 2 6 1 。另外，在一些情况下我们 无法得到物体表面的深度图像信息时，就不能重建一个完整的结果， 为了解决这些问题研究人员提出了一些重建缺失补充的算法【2 7 】。 2 2 3 基于多边形表面的三维建模方法 基于多边形表面的建模方法也经常在三维建模中使用 2 8 , 2 9 , 3 0 】，它 首先是一个初始的物体模型，再通过空间和几何的一致性约束来进行 变换和调整。这些方法都能得到非常好的重建结构，最大的问题是它 们都不能很好的处理拓扑结构的变化。另外在进行物体表面重建的过 硕士学位论文 程中需要有一个结构清楚的物体模型才能较好的重建结果。目前，通 过图像上的物体侧影轮廓信息结合极线几何的多边形表面重建能够 得到较精确的结果。物体在图像上的侧影轮廓线是物体重建的重要信 息，通过摄像机以透视投影的方式从多个角度拍摄某物时，在每个拍 摄图像上都有物体的侧影轮廓信息，再从摄像机拍摄点穿过图像上的 侧影轮廓得到一个空间锥体，则真实物体原型一定在这个锥体中；所 有锥体的交及是物体的原始模型，称为物体的可视外壳【3 。拍摄点越 多，则得到的重建结果越逼近物体的原始模型。基于可视外壳的三维 重建方法建模效率高，但当前的方法得到的重建结果不能很好的重建 物体的原始模型，本文提出了一种新的可视外壳的建模方法很好的解 决了上述问题，得到了较精确的重建结果。 2 2 4 基于立体视觉的三维建模方法 三角测量原理是立体视觉建模的方法基本理论：对于两张已经通 过相机内外参标定的图像，假设我们可以在两幅图像中找到一组对应 点及是场景物体中的同一个点的投影) ，则由两