（信号与信息处理专业论文）基于序列图像的摄像机定标和三维重建的研究.pdf

摘要 本论文研究了摹于序列图像的摄像机定标和三维重建，由此 恢复的 _ 约儿何结构是物体识别和分类、合成虚拟环境等应用的 基础。 木文fi i 由序列图像进行三维重建的框架下，讨论了基于 d i r e c t s h o * 的摄像机定标和基于 k h o r o s p r o开发平台的三维重 建钓 _ 保ill_ 系统精度的情况h 提高计算速度， 缩短计算时间等 方面进行了研究和实现。本论文的工作包括: 综述比较了多视角重建的方法，并选取了 s h a p e f r o m s i l h o u c tt e 的方法进行了 重点地研究。 基一 d i r e c t s h o w的 摄像机定标， 在d i r e c t s h o w体系结构下， 定制c a l ib f i l t e r ， 实现了自 动的 摄像机定标处理。 本方法易于 操作， 结果可靠。 相比于传统的定标程序， 本方法在总体时间 上要节约 7 0 %以上。 基于k h o r o s 开发平台的三维重建，着重研究并实现了空间求 交检测和基于八叉树的模型表示， 并采取了一系列的措施来提 高运算 速度。 提出了 一个基于s h a p e f r o m s i l h o u e tt e 的 三维重 建系统框架，并在k h o r o s p r o 平台上通过建立特定的重建模 块和集戍已有的其他模块成功实现了三维重建系统。 此外还建 立 一 个操作界面， 输入所需数据和参数， 可视化强， 操作简单。 实验表明，本文的算法在重建三维物体的体积精度上有保证， 而计算时间上， 在计算量相对大的情况下， 时间最长也不超过 4分钟。 在忽略去畸变的情况下，计算时间更是大为减少， 仅 不到半分钟。 关键词 s h a p e fr o m s i l h o u e tt e 体积相交 八 叉树 摄像机定 标 州维重建 abs t ract t h i s t h e s i s a d d r e s s e s s e q u e n c e s i m a g e s b a s e d c a m e r a c a l i b r a t i o n a n d t h r e e - d i me n s i o n a l r e c o n s t r u c t i o n . s u c h s t r u c t u r e s a r e e s s e n t i al f o r o b j e c t r e c o g n i t i o n a n d c l a s s i f i c a t i o n , s y n t h e s i s v i r t u a l e n v i r o n m e n t a n d s o o n di r e c t s h o w- b a s e d c a me r a c a l i b r a t i o n a n d t h r e e - d i me n s i o n al r e c o n s t r u c t i o n i n k h o r o s p r o d e v e l o p m e n t e n v i r o n m e n t a r e d i s c u s s e d i n t h e p a p e r s . a s t h e p r e - c o n d i t i o n o f m a i n ta i n i n g c e r t a i n t h e s y s t e m p r e c i s i o n , w e p a y m o r e a tt e n t i o n t o r e d u c e t h e c a l c u l a t i o n t i m e . t h e ma i n c o n t r i b u t e s o f t h i s t h e s i s a r e l i s t e d a s f o l l o ws : h a v e s u r v e y e d a n d c o m p a r e d t h e m e t h o d s s o l v i n g t h r e e - d im e n s i o n a l r e c o n s tr u c t i o n fr o m m u l t i p l e v i e w s , a n d t h e n t h i s p a p e r m a i n l y f o c u s e s o n al g o r i t h m o f s h a p e fr o m s i lh o u e tt e ( s f s ) d i r e c t s h o w - b a s e d c a m e r a c a l i b r a t i o n , w h i c h i s p r o p o s e d a s p e c i f i c f i l t e r - c al i b f i l t e r t o r e a l i z e a n a u t o m a t i c c al i b r a t i o n . c o m p a r i n g t o t h e t i m e s p e n t 妙 t r a d i t i o n a l o f f - l i n e m e t h o d s , t h e e x p e r i m e n t r e s u l t s h o w s th e w h o l e p r o c e s s i n g t i m e h a s b e e n r e d u c e d a r o u n d 7 0 %. k h o r o s p r o - b a s e d t h r e e - d i m e n s i o n a l r e c o n s t r u c t i o n . t h e p a p e r s u c c e s s f u l l y c o m p l e t e s t h e r e c o n s tr u c t i o n a l g o r i t h m i n c l u d i n g v o l u m e i n t e r s e c t i o n a n d o c t r e e - b a s e d r e p r e s e n t a t i o n . a s y s t e m f r a m e h a s b e e n p r o p o s e d a n d i m p l e m e n t e d o n t h e k h o r o s p r o p l a t f o r m w h i l e a s p e c i f i c m o d u l e o f s fs a n d t h e e x i s t e n t m o d u l e s a r e i n v o l v e d . a n o p e r a t i o n w i n d o w i s a l s o b e e n m a d e f o r i n p u t t i n g d a t a a n d p a r a m e t e r s u s i n g i n t h e c o n s t r u c t i o n p r o c e s s i n g . t h e e x p e r i m e n t r e s u l t s s h o w t h a t t h e p r e c i s i o n o f r e f i n e d m o d e l i s h i g h . a s t o t h e t i m e c o n s u m i n g , i t i s l e s s t h a n 4 mi n u t e s w h i l e i t wo u l d b e l e s s t h a n h a l f a mi n u t e i f t h e l e n s d i s t o r t i o n w e r e i g n o r e d k e y w o r d s :fr o m s i l h o u e tt e v o l u me i n t e r s e c t i o n o c t r e e c a me r a c a l i b r a t i o n t h ree - d i me n s i o n a l r e c o n s t r u c t i o n y5 8 6 3 1 6 致谢 本文 是在尊敬的导师阮秋琦教授悉心指导下完成的。阮老师 的渊博的学识、严谨的治学、深邃的见解，都给我留下了 难以忘 怀的印象。从本科时期在阮老师的指导下进 行毕业 设计， 到师从 于 他攻读硕士学 位， 从师四 年， 获益非浅。无论在学习 态 度、 科 研方法还是思想觉悟方面，阮老师都给予了 我深刻的教海和极大 的支持帮助。从阮老师这里学到的做人和做学问的深刻道理将使 我受益终生。 本文的完成凝聚着阮 老师大量的心血。 在此， 我首 先要向 我的 导师 表示 衷心的感谢和崇高的敬意。 在攻读硕士学 位期间， 得到以下教师的指导和热情帮助， 他 们是:表保宗教授、裘正定教授、肖 扬教授、 赵耀教授、梁满贵 副 教授、胡绍海副教授、林碧琴副教授、唐晓芳老师等。特向他 们表示 感谢。 在攻读硕士学位期间， 刘剑秋、 周继宏、 陆俊、 周航、 倪蓉 蓉、 孙彦妍等博士，已 经毕业的陆宽、 舒志龙、张萌萌、 周树民 等硕士，以及同 届的 赵惠芳、 朱涛、丁海洋、张鹏、 李毅、 轩波 等同 学都曾 给予我许多有益的启发和帮助， 使我能够顺利完 成硕 士期间的学习 和工作， 在此一并致以 诚挚的 谢意 另外还要感谢奥地利维也纳理工大学的 模式识别与图 像处 理实 验室的s r d a n t o s o v i c 给作者提供了实 验数据。 这使作者加快 了 论文的进度。 在整个硕士的学习 和研究阶段， 我的父母、 女友以及朋友们 都给予我很大的鼓励和支 持，本文的完成也凝聚了 这些亲人和朋 未绮育 一燕、 ca 勃.一 友对我的 殷切期望， 他们对我的关心和帮助是我在人生道路上不 断前进的动力. 最后， 再一次对各位师长、 同学的支持和鼓励致以最衷心的 谢意! 第一李纷. 述北京交a人 学硕 i s 学位论文 第一章综述 1 . 1 计算机视觉的研究概况 1 1 . i 引n 视觉是人类感知环境世界、认识外部世界的主要途径。据统 计， 人类约有8 0 % 的 信息是 通过视觉途径获取的 1 , z 。 计算 机视 觉( c o m p u t e r v i s io n ) 的 研究目 的 就 是要 赋 予 计 算 机以 人 类的 视 觉认知功能。计算机视觉或称图像理解研究的主要内 容是通过计 算机分析景物的二维图 像， 从中获取三维世界的结构和属性等信 息， 进而完成在特定环境下的 特殊任务。 它大致可以分为 三个主 要 研究h i= 1 3 : 对 生 物 视觉 系 统建 模( c o m p u t e r v i s i o n ) ， 解决 实 际问题 ( m a c h i n e v i s i o n )和推断景物的描述 ( i m a g e u n d e r s t a n d i n g ) 。 计 算机视 觉的 研究重要 性是 不言 而喻的， 早在 1 9 8 9年美国总统办公厅便将 c v列为联邦高性能计算计划 ( h p c p ) 中 具 有“ 重大挑战意义” 的 研究 领域【 4 。 在其后的 十 几年的时间里，从最初的机器人视觉导航到目 前日 益流行的基于 图像的三维游戏、 可视通讯、视频特技、 虚拟现实、 互联网虚拟 漫游、数宁图 书馆、电子商 务等诸多前景广阔的 应用，如何更逼 真、更简便的获取真实世界的三维模型激励着计算机视觉研究人 员不断的提出新的算法和完善现有的方法。 第-标还北京交通人学硕上学位论文 1 . 1 .2 计算机视觉理论的发展 k 们匕是希望机器视觉能如同智能生物那样从场景的图像中 理解该场景及其中的物体，在某种程度和某种环境下，可以替代 人类的工 作。于是，随着数字信号处理理论的发展和计算机的问 世，计算机视觉逐渐发展成为一门新的学科。目前，计算机视觉 技术融合了图像处理、模式识别、计算机技术以及心理学等学科 的研究成果，并成为了信息科学和人工智能领域内一个活跃的和 富有成果的部分 5 0 然 1e 在计算机视觉的理论的发展历程上，从 1 9 6 4年 r o s e n f e l d i ll 建第 一个计算机视觉实 验室 【 6 6 1 , 1 9 6 5 年r o b e r t s 富 有开 创 性的 工 作 6 ， 相关 研究 历 经十 多 年的 时 间， 其间 直到1 9 8 2 年 ma r r提出将视觉系统从概念上分成几个独立模块的视觉范型 ( p a r a d i g m ) 7 ， 计算机视觉研究 领域才第一次出 现了 一 个理论 框架。 ma r r 在其视觉计算理论的整体框架中主要阐述了两种观点: 处理观和表示观。 在处理观方面， m a r r 强调的是层次化思想， 他 将视觉过程看成是复杂的信息处理过程. 必须在三个不同的层次 上来3 t 解:计算理论层、算法层和硬件实现层。在表现观方面， ma r r强调的是模块化的思想，他首先提出了“ 2 d 一 一2 . 5 d 3 d 的表示框架， 然后指出完成这一表示框架所必须遵照的模块 设计原则。 ma r r 曾得出结论: 对体视信息的分析就象对运动的分 析一样， 也可以 在没有其他信息出 现的情况下独立的进行 7 1 。 根 据这一结论， ma r r 把视觉信息处理分成若干个可以分别予以理解 第一帝练 土 北京交通人学硕1学位论文 的模块，即所谓的“ s h a p e f r o m x ” 模型。 例如，运动视觉、立 体视觉、 ! 明暗恢复形状、由纹理恢复形状、由轮廓恢复形状等 模型。 图 1 . 1 计算那论层次充分体现了ma r r 工作的独创性。 m a r r 把视觉过 程定为定量地恢复图像所反映的景物中三维物体的形状信息和空 间位置，并将这一恢复过程分成三级内部表示。如图 1 . 1 所示。 第一级是图像的表示 ( 2 d r e p r e s e n t a t i o n ) ，要把二维图 像中的主 要信息描述清楚，如物体的边界、顶角，图像的光强度变化，局 部 的儿何结构等 ;第二级是可见表面的表示 ( 2 . 5 d r e p r e s e n t a t i o n ) ， 在以 观察者为中 心的 坐标系中 描述 可 见表面的 三维信息，隐藏在背后的表面是看不见的，这一阶段集中把看得 见的表面恢复深度，这是不完全的深度恢复，故称二维半。它是 在二维初始简图与三维模型之间建立一个中间表达层次，主要描 第一章综述北京交通大学硕 上 学位论文 述可见表面的内 在特征，如表面朝向、反射和入射光照、表面纹 理等。建立二维半表面表示的手段，可以概括为:由图像中的x 来恢复形sir ，其中的x可以是图像的明暗、纹理、颜色、轮廓、 运动 、立体视觉等 。第三级表示是三维模型的表示 ( 3 d r e p r e s e n t s山 o n ) ， 在以 物休为中心的坐标系中用来处理和识别三维 物体的三约形状表示，它是在二维半表面表示的基础上，通过模 型或者先验知识的约束， 使三维目 标得到清晰的描述。 由此可见， 三维重建是ma r r 理论为计算机视觉提出的具体目 标。 ma r r 开创性的视觉计算理论决定了其后十几年来计算机视觉 发展的主流方向， 并已 对计算机视觉的研究起了巨大的推动作用， 但是到目 前为止，这样的理论还远未解决人类视觉的理论问题， 在实践中也 遇到了很多的困难。从 1 9 9 1 年到1 9 9 4 年的短短四年 间， c v g i p : i u杂志组织了 两次大的讨论，很多学者从计算机视 觉、 神经生理学、 认知学甚至哲学等各个领域就ma r r 理论的合理 性进行了 很多 争论【 8 , 9 , 1 0 1 。 而国内的 模式识别和人工智能杂 志 也 在 9 0年代 初就相关问 题进行了 评论 和探讨 1 1 , 1 2 , 1 3 。 在对 ma r r 理论争论的过程中， 人们逐渐认识到， 真正建立一个通用的 计算机视觉系统现在还为时尚早，而为某一特定目的的专用的视 觉系统则是最有可能投入实用的视觉系统。 从二维图像中恢复三维物体可见表面的几何结构，是人类视 觉的主要日的之一，即所谓的三维重建。为了能够重建出具有真 实感的三维模型，数十年来众多的研究人员进行不懈的努力。到 目前为1 上 ，文献中的三维重建系统大致分为以下两类:一类是利 用精裕的!州牛 设备， 如激光 扫描仪、 结构光、 深度扫描仪 ( r a n g e s c a n n e r ) 等，直接测量出物体表面点的三维坐标。这类方法由于 第一取今 、 这 北京交通大学硕卜 i 位论文 是直技 ,_ 维物体的空( 11 信l 进行处理，因此精度较高。但是这 类方r ) . r jj 较为复杂的b il 件设备，包括激光扫描装置、数据存储 设备等，从而极大的限制了该技术的使用场合。另一类三维重建 系统是还过摄像机成像模型， 从二维图像计算出物体的三维结构 这 一 头的) j t 去 成本较低，1 :- ! 是重建结果往往容易受到其他因素的 影响。本又的_ 作属于第二类的方法。 日 厂一 际 一 比较成熟汀_ _ 维重建系统主要有: . f a u g e r a s 1 4 , 1 5 等人 完 成的 利 用 经典的 分 层重 建、自 定 标方 法直 接从图 像序列中重建建筑物的三维重建系统。该系统考 虑了建筑物的特殊性，利用了建筑物上的三维坐标已知点 ( a n c h o r p o in t s ) 、己 知角 度 或平行线 等物理信息来 标定 摄像 机，并利用多面体来表示被重建场景。该系统主要用于为 c a d / c a m等建模系统提供原始的几何模型。 . 法f7 i n r i a的b o u g n o u x 1 6 等人开 发的t o t a l c a l i b 系 统。该 系统需要半手工的完成图像的匹配， 摄像机定标以 及三维重 建，以获得较好的重建结果。 . 比利时的k .u l e u v e n 大学的p o l l e f e y s 1 7 , 1 8 等人开发的 物体 三维表面自 动生成系统， 利用了可变参数下的摄像机自 定标 技术。该系统仅要求用户利用手持摄像机围绕要重建的物体 拍摄一系列的图像，通过对图像对应点的密集匹配，即可自 动的实现摄像机的自定标和分层重建。此系统在欧洲的考古 学、文物保护等领域得到了成功的应用。 . 英国 剑桥大学计算机视觉研究组开发的p h o t o b u i l d e r 1 9 三维 重建系统。该系统需要手工指定空间中三组正交平行线在图 像中的 “ 消失点”来标定摄像机的内参数。其适用的范围较 第一章练还北京交通大学! j ! 生 _ 学位论义 窄，自动化程度不高 1 . 2 论文的研究背景和内容 1 .2 . 1 研究背景 人类视觉的功能是要从感知到的视网膜上的二维图像中提取 出有关三维世界的信息。相应的，计算机视觉的研究也是从二维 图像恢复和重建出三维世界的信息。所不同的是，计算机视觉要 利用计算机系统，通过摄像机获取二维图像，利用相应的算法实 现检测、识别、重建等任务。在二维图 像识别方面，某些系统已 经实用化。例如，指纹、虹膜自 动识别系统，印刷品检测系统， 毛纺织物检测系统等。 但是，当前计算机视觉所面临的主要问题 和困难还是在三维景物分析方面.总的来说，计算机视觉是用二 维的图像来理解属于三维空间的三维对象，因此， 研究物体的三 维表尔以及由多幅或序列图像重建物体的三维结构是计算机视觉 的一个重要研究内容。 关于物体三维表示和恢复这一计算机视觉研究中的焦点问题 曾有过激烈的争论。 美国 科学院出版的期刊c v g i p : i u在9 0 年代 初刊vi i . 了关于 这一争论的 一 系列的文章 2 0 , 1 0 , 2 2 , 2 3 ， 很多著名 的计算机视觉专家都发表了 各自 的看法“ r a n和b l a c k 2 0 认为三 维表示和恢复框架在视觉研究中是可行的， 它提供了人类视觉和 机器视觉深刻理解和建模的一个有前途的框架。 a l o i m o n o s 1 0 指 出，主动视觉、有目的的视觉和定性视觉并不排斥三维表示和恢 第一令术北京交通大学硕 1 学位论文 玺的研究， 相反， 前者的研究还要借鉴后者的许多思想。 j a i n t 2 1 1 认为一约农示问题是视觉研究中最重要的问题之一，机器视觉研 究者史7要一系列物体表示方法来解决视觉中的实际问题。 总之，: 三 维物体的表示和重建是 个值得深入研究的问题， 也是本文自 (j 研究重点。 本文的论题是基于序列图像的三维重建算法研究，或者说是 一种基于多个视角的图像进行三维重建的方法。而基于多视角的 三维重廷力法甚多，其共体实现步骤可以分为以下儿个部分: 1 ,图像采集; 2 ，摄像机定标; 3 ,于维物体的 表示 和重建; 由以上的各个步骤我们可以看出， 摄像机定标和三维物体的 表示和重建是整个三维重建过程中比较重要的部分，因此，本文 针对上述两个问 题， 分别在d i r e c t s h o w和k h o r o s p r o 两个平台上 进行了相关的研究，并重点实现了 三维建模部分。 相关的综述将 在后续的章节给出， 具体的算法将在相关的章节进行详细地描述。 1 .2 .2 基于多视角的三维重建 有 一 般的条件下，从二维物体的二维图像进行它的三维模型 重建是计算机视觉领域内一个极富挑战的工作。 数十年以 来， 研 究五 作者们不断地用多种方法进行着尝试，归纳起来，主要有下 表所分的几种方法。 第一草综还北京交通大学硕 1 学位论文 方0 -, 类) ,-j 信息获取类型数据模型 重建策略 立i 木 视觉被动_ 浅点集 三角化 纤 1 构光主动式点网三角化 被动式体素集体积相交 表 1 . 1 多视角的 立体视觉法 2 2 , 2 3 , 2 4 ， 这种方法通过利用多幅图 像 间特征点的匹配来获得三维几何关系，并通过密集匹配三维点阵 进行表面匹配和三角化来得到三维模型。但是立体视觉法也有很 多不足之处，例如为了获得有效的匹配，视角必须要非常靠近并 且必须要找到图像中的匹配点:不同视角下合成的局部三维点阵 必须被三角化并且要融合成一个连续的 模型。 在稀疏匹配的情形 下， 一个参数化的模型必须要适合来表示表面模型的稀疏三维点。 为了避免多视角立体视觉法的缺点，研究工作者又提出了基 于模型的多 视角 立体视觉法【 2 5 。 基于模型的 方法和传统的 立体 视觉方法小同在于，这种方法度量图像的实际场景与一个预先给 定的三维模型的偏差程度。基于模型的方法减少了那些相对分离 的视角间的匹配问题，并且基于视觉方法下的局部表面融合的难 度也得以降低。然而，这种方法仍然需要一个初始的三维几何模 型，而这又带来了更多的交互工作。 然而多视角立体视觉方法和基于模型的立体视觉方法的缺点 仍然_ i 分明显， 于是学者们又提出了 体积相交的方法 2 6 , 2 7 1 。 这 种方i ) , 通过确定体积元素 ( v o x e l ) 是否包含三维场景中的物体体 积来表示物体的体积，因此被又称为体积场景建模方法。体积建 模的方法允许采集图像的视角相互分离，而这些在其他的方法中 8 北京交通大学硕 t 学位论文 是不被允许的。更重要的是， 这种方法完全不涉及复杂的匹配问 题。另 一 方面，最后得到的模型将从目 标物体所在的初始体积场 景中迈步生新出来。 因此， 这种方法不用像前面的那些方法那样， 去融合初始模型和合成的三维物体数据。但是这种物体空间的体 积建枝方法必须依赖于对物体空间的初始包围体积的设置。 结构光法是一种加入 特殊人造光源的方法【 2 8 ， 这种方法将已 知结构的图像投影到被检测的物体表面，由于物体表面的取向不 同，标准图像会产生畸变，利用这个畸变可算出物体表面的三维 坐标。标准图像一般采用细线、方格等。而加入的光源多以激光 为主。 由 轮廓恢复形 状 ( s h a p e fr o m s i l h o u e tt e ) 是一 种基于体积相 交的方法， 在这种方法中， 物体的轮廓图像是我们唯一感兴趣并 需要获取的 特征. 轮廓 ( s i l h o u e t t e ， 也 被称为 a p p a r e n t c o n t o u r , o c c l u d i n g c o n t o u r , p r o fi l e 或o u t l i n e ) 是 侧面影 像， 它 是一 种最常 见的图像特征，尤其对于那些光滑无纹理的表面，轮廓更是它的 唯一图像特征 2 9 。 表面点位置的 透视图， 在这些点上视线正交 于表面法线。相比于由特征点、边缘和表面标示得到的特征，即 所谓的视角独立的特征，轮廓从本质上是与视角相关的。一般而 言，从两个不同的视点观察一个物体的任意表面可以得到两个轮 廓图像，这两个轮廓是两个不同空间曲线的透视图，因此他们不 能提供相应的匹配。这样一来.刚体假设并不适用于轮廓，由此 引发了一种完全不同的技术。 我们知道，从视点的角度，每一幅图像中的轮廓都代表着三 维空间中的一个圆锥形的休积，而所有视角所代表的圆锥形休积 的交集便是重建出 来的三维模型了。由 轮廓恢复形状的算法计算 第一章.t . 还 北京交通大学硕 t 学位论文 量并不复杂，需要的设备也仅仅是一 个普通的摄像机，这使得这 种方妞可以被用来快速的构建出一个物体的初始三维模型，然后 以此为基础结合其他的方法进行模型的改进。该方法可以被用于 物体的任意形状，包括一定程度上的凹陷，只要这种凹陷能从至 少一个视角 h 可见。这种方法也可以被用来估计物体的体积。 , l 在1 9 7 7 年， b a k e r 3 0 就利用在旋转桌上的 物体的轮廓图 像 重建出了 物体的网格模型。1 9 8 3 年， m a rt i n 和a g g a r w a l 2 6 通过 轮廓的正交投影图像获得了体积分割模型。同年，c h i e n和 a g g a r w a 3 1 从正 交 投 影图 像中 重建了 基于八 叉 树表示 方 法的 模 型。随后， 在1 9 8 6 年， v e e n s t r a 和a h u j a 3 2 发 展了 上述的 方法， 他们从 1 3个标准的正交视角获取了投影图像。1 9 8 7年， p o t m e s i l 3 3 采用任意 视角 上的 透视投影， 实 现了 基于八叉树的 建 模.对于 其中的每一幅视图， 他都建立了一个八叉树来表示相应 的圆锥体体积， 然后再将这些圆锥体进行几何求交。与此相反的 是， s z e li s k i 3 4 在1 9 9 3 年 提出 ， 可以 首 先 快 速 地建 立 一 个低 解析 度的八又树模型，然后逐步将新加入的轮廓图像与已 有的模型进 行求交运算，最后得到设定精度的八叉树模型。这里的求交运算 是采用将八叉树的节点投影到图像平面上来实现的。随后，在 s z e l is k i 的m- 础 一， k . k . w o n g 2 9 ， k e m p e l 和t o s o v i c 3 5 , 3 6 以 及a d e m和u l a s 3 7 均实 现了自 己的 三维 重建系统。 在国内的 研究人员中，浙江大学计算机视觉国家实验室利用基于 s h a p e f r o m s i l h o u e tt e 的方法实现了 对人体玩偶的重建 3 8 。 另外 在机 械设计的建模方法中，有一种名为 “ 逆向造型”的方法与上述方 法也很相似 3 9 。 本文的7作也主要是在s z e li s k i 工作的基础上展 开的。 第一令综述 北京交通大学硕 学位论文 1 . 2 .3 摄像机定标研究 空问物体的三维位置信息与其在二维图像中的投影之间存在 着一种月伽变换的关系，rm 这种关系是由 摄像机的成像几何模型 来确定的，确定模型参数的过程就叫做摄像机定标。对摄像机系 统进行定标以后就能从所采集的二维图像出发，计算三维物体的 位t . ) li ttl e 等1 l 何信息，边向重建场景和识别物体。摄像机定标 的精反和ij 靠性直接影响着i f一 算机视觉的三维定位精度。摄像机 定标问题首先是在摄影测量领域中提出，并己经形成了一套比较 严密完整的理论方法和实验技术， 但是摄影测量中大多使用专业 的量a j 摄像机和高分辨率的照片，设备要求高，开销比较大。而 在计算机视觉系统中， 我们只需要普通的 c c d相机即 可，设备 要求低，这也同时带来了图像分辨率低、 镜头畸变较大等问题。 考虑到摄像机定标在理论和实践中的重要价值，研究人员在最近 的二十多年中进行了 广泛的研究，各种对于不同问 题背景的解决 方法也是层出不穷。 在早期的定标方法中，研究人员利用的定标模板是三维控制 场，根据成像模型的表达方式，应用线性算法得到摄像机参数。 这其中， h a l l 4 0 1 发 现每对匹配点 将可以 提供两个向 量， 对于 1 2 个参数而舀，当匹配点数大于等于6 个时，就可以利用最小二乘 法求解方程了。 同时考虑， 当两图像坐标轴夹角等于9 0 度时， 旋 转矩阵向量之间是相互正交的， 从而可以算出摄像机的内外参数。 他利川坛小二乘法来估计摄像机参数，计算简单，运算速度快， 但是没t . 虑镜头的非线性畸变，精度不高。1 9 8 7年， t s a i 4 1 1 第一章 r. 述北京交通大学硕 十 学位论文 提出了两步定标法，算法中假定 c c d阵列中感光元的横向间距 和纵向间距是己知的。然后考虑如下平行约束关系: 假设 摄像机镜头的畸变是径向的， 无论畸变如何变化，从图 像 中心卢o到图像点t x j y , ) 的向 v, o , m、 的方向 保持不变，ji与 m- m平 行 如图 1 . 2 所示，m二 是光 轴上的一 点， 其: 坐 标与 物 体点在摄像机坐标系下的坐标值相同; 等效1 t. il l i .f 对x 、 和y e 产,1 同 样的 影响， 所以f 的大小不影响向 量0,m,的 方向 ; 当 世界 坐标 系 沿着x 和y 轴 放置 和 平 移， 使 得 在每 一点 有q m, 与 蔽石平 行， 然 后 坐 标 系 沿 着: 方 向 平 移 时 ， 对 x 。 和 y . 影 响 相 同 ， 从 而 向 量 乙 ,m 百 的 方 向 保 持 不 变 ; 在每一点 处向 量q m d 与m m的 约束 条 件与 径向 畸 变表 达式 的系数、等效焦距、三维空间平移向量t 的z 分量无关。 扒节 ,刁 北京交通大学硕士学位论文 图1 .2 然后冉弓 入非 确定尺度因子 s , ， 它是由 摄像机横向 扫描与采样定 时误并所引起的。当给定17 对匹配点时( n ? 7 ) 问 题转化为求解 。 、 7 知v ; 的 线 性方 程 计 炸出 旋 转 矩阵 中 的 各向 量八 , r 2 , y a ， 及 平 移0 1 x 1: 1 的t t , i ， 数 值， 最 终 采 用非 线 性优 化 计 算 等 效 焦距 厂 ， 径 向 畸变系 数k ， 和 平 移向 量的 : 轴 分量， 。 随 后 ， w e n g 4 2 在t s a i 的 基础上义考虑了 离心畸变和薄棱镜畸变， 优化的步骤就更多了。 范洪 4 3 i l 过对李锦成d l t e a 4 4 的改进，提出了d l t e a - 1 1 算法， 虽然可以得到很高的定标精度， 但分解出内外参数， 精度并不高。 这是因为计算投影矩阵参数时没有考虑到投影矩阵参数的冗余， 这样分解内外参数时就会产生较大的误差。 随着个入 p c机的日 益普及，以及数字拍摄设备价格的降低， 人 们越 来越 希 望 有 一 种简易 的 桌 面 视 觉 系 统( d e s k to p - b a s e d v i s io n s y s t e m ) 。 这 种系 统可以 面 对一般的 计算 机使用者， 且应具有造 价低，灵f l 方便，鲁棒性较好的特点。基于这些考虑，科研工作 者提出了 基于 二维 平面 参照系的定 标方 法。 这其中 z h a n g 4 5 , 4 6 提出的基j 几 平面棋盘的定标方法应用较为广泛。他通过拍摄棋盘 模板在若十个( 至少两个) 角度下的图像， 且不需要知道平面( 或 摄像机)的运动信息，利用线性方法先计算出初始值，再利用基 于最大似然估计准则的非线性算法得到优化后的结果。具体方法 在本又的讯三 章有详细描还。 此外， s t u r m 4 7 在着重对基于平面 运动定扎 i % i 法中出 现的奇异胜( s i n g u l a r it y ) 问 题进行了 分析， 同 时他给出的方法可以 处理摄像机焦距可变的 情况。 b a k s t e i n 4 8 第 一 章练还 北京交通人学硕j : 学位论文 也提出了一 种基于d l t ( d i r e c t l i n e a r t r a n s f o r m)变换的定标方 法，他的参照系是一个lm j 满等距黑线网格的平面，并且 他提出了 扩展d l t变换 ( e x t e n d e d d i r e c t l i n e a r t r a n s f o r m) 来处理摄像机 畸变软大的 情况。 另 外， j e o n g 4 9 的方 法也很 有特色， 他的 参照 平而 刻,m 1 的是一些宽度不同的直线，这些不同的宽度恰恰提供 了 更多的信息。 自 定标理论是近年来在摄像机定标方面的一个重要发展。摄 像机的自定标方法只用到图像之间的匹配，就可以得到摄像机的 内、外部参数和物体的运动和结构，其优点在于不依赖特殊装置 和环境并月可以在线进行。但由于自 定标问题的先验条件较少， 要恢复视觉系统的内外部参数， 不可避免地比 传统方法复杂得多， 数值稳定性也存在一定差距。 在过去的十几年时间中， f a g u e r a s 5 0 , h a r te ly 5 1 和 t r i g g s 5 2 等 人从 不同 度出 发， 提出了 多种方法，但基本上可以分为下面几类: 第一类是从 射影重建出发，寻找绝对二次曲 线 ( 或绝对二次曲 面)，作为满足全部约束条件的唯一曲 线 ( 或曲 面)。 这意味着 所有的图像必须进行规范化，由 于它们直接与摄像机的内 部参数 相关联，并且假定内部参数保持不变。 第三炎力法同 样使用绝对二 次曲 线， 但将对极几何关系作为约 束条件。 此类方法的优势在于只需计算基础矩阵。 但基础矩阵的 计算精度又直接影响随后的估计过程。 除此两类方法之外，也有人在特定系统下或简化模型下进行 摄像机定4 , j ，如，中科院自 动化所的马颂德 5 3 等人提出利用主 动视觉系统控制摄像机做两组相互垂直的运动， 进行手一眼定标， 但这种方法需要较高的硬件条件支持。北方交通大学信息所的邹 第一争 “ 扛 主北京交通人学硕 1 学位论文 国辉: 洲 义出采用简化透视投影模型( 假设像主点位于 图像中心， 图像两坐标轴相互垂直)摄像机定标方法，减少了估计过程的运 算量，但精度不高。 1 .2 . 4 物体三维表示的方法 物体的二 维表示是计111 机视觉的一个重要问题，它位于视觉 的底j 2 : 处理和高层理解之问，并为视觉数据与深层理解两个信息 加工 过程提供积极的接口，臼 将视觉信息转换成具有特殊形式的 数据供深层理解读取。因此， 物体的表示既是一种抽象信息，又 是一 种数c结构。作为抽象信息它要真实地反映被观察事物的实 质，而作为数据结构它又要兼顾对访问操作的支持。基于这两方 面的考虑， 理想的三维表示应该满足以下几个方面的要求: ( 1 ) 表 示的 唯 一 性 ( u n i q u e ) 这种表示对于它所描述的一类物体，应该得出唯一的结果。 ( 2 ) 表示的易用性 ( c o n v e n i e n t t o u s e ) 这种表示应该便于从图像数据中获得，同时，作为一种数据 结构应该支持其他操作对数据结构的有效性， 便于处理、存储和 检索。 ( 3 ) 表 示的 可区 分 性 ( d i s tin g u is h a b l e ) 这种表示应该能够明显的将两个目 标中的相似特征和特殊特 征表示出来。 物体的不维表示主要分为基于表面的表示法 ( s u r f a c e b a s e d r e p r e s e n t a t i o n)和 基 于 体 积 的表 示 法 ( v o l u m e b a s e d 第一章综述北京交通大学硕 卜 学位论文 r e p r e s e n t a t io n ) 。 八 叉 树 表 示 法也 属于 一 种 基 于 体积的 表 示 法， 这 种表示法比较紧致、简洁，并 有着广泛的应用。八又树表示法是 本文的重要内容之一。 基于表面的三维物体表示法中，具有代表的是表面边界表示 法 ( s u r f a c e b o u n d a ry r e p r e s e n t a t i o n , b - r e p ) 。表面边界表示法通 过定义界定物体的 三维表面来 表示物体。 r e q u i c h a 和v o e l c k e r 5 5 比 较 详细的 讨 论了b - r e p 表 示 法。 我 们知 道， 任 意 表 面 可以 通 过 多个三角形进行任意程度的逼近， 因此， 简单的b - r e p 表示法是 具有三角面的多面体，通过存储一系列的三角面片来实现。 t i l l e r 5 6 利用b - r e p 表示法实 现了 对人脸 表面的 表示， 他 用一 系 列三角形和四边形逼近人脸表面的光滑区域， 并使用有理b样条 表面表示来存储数据。一种略为紧凑的表示形式允许将相邻的、 连接的、 共面的三角形替换成任意的n边平面多边形。 这种表示 形式更为普遍，原因是这时模型的表面区域和体积可以得到更好 的定义，并且对物体的所有操作可以使用分段的平面算法。进一 步扩展， 我们可以使用二次曲面边界表示，二次曲面通常需要1 0 个参数确定， 其中3 个参数是用来描述给定二次曲 面的形状。 c o o n 曲 面和张量积曲 面是常用的二次曲 面边界表示。 y o r k , h a n s o n 和 r i s e m a n 5 7 讨论了 如何在计 算机视觉系统中 使用c o o n曲 面和三 次b样条边界曲面表示表面信息。他们在v i s i o n系统的长期存 储 ( l t m) 层次网络数据库中规划出该表示法的 运用，并展示了 利用形状特征对三维圆进行识别的初始实例。使用齐次坐标系可 以允till有理或无理张量积illl 面以相同矩阵形式表示。 有理b样条 曲面十分通用，原因在于它们可以利用统一的数学形式十分精确 地表示二次曲面基元和多面体。因此，这种表示法也被采用作为 第争综述北京交通大学硕十学位论文 c a d / c a m / c a e位表ili i 表示的 i g e s标准 ( i n i t i a l g r a p h i c s e x c h a n g e s p e c i f i c a t i o n s t a n d a r d ) . 此外，q,于表面的表示法还有扩展高斯图表示法、方面图表 示法、深度图表示法、平而多边形表示法等等。 14 1- 1 = i : 积的三维物休表示法，其中具有代表性的是形体构造 儿何班 、 小* ) . ( c o n s t r u c t i v e s o l i d g e o m e t ry , c s g ) 5 8 , 5 9 . c s g是 一种典型的体积表示形式，它代表了利用物体部件结合正则集 ( r e g u l a r s e t ) 操作表示形体的一类方案。 c s g表示法是一个二元 树的层次结构，其中间节点代表操作，这些操作既可以是刚性的 运动也可以是正则化的并、交、差运算规则。叶结点代表形体的 基元，基兀又分为有界基元和无界基元两种。基于有界基元的 c s g表示称为简单c s g表示， 基于无界基元的c s g表示称为半 空间c s g表示。对于简单的c s g表示，由于基元的有界性保证 了形体基元是正则集，因此，正则操作规则的代数属性相应的保 证了如下的表示也是有效的，即如果基元的叶结点是有效的那么 c s g表示树也是有效的。 但是，基于无界基元的c s g表示法却 不是这样，此时的c s g表示树往往是无效的。 c s g表示法的主 要优点在于该表示法层次清楚，存储结构简单，对于基元能够与 表