（计算机软件与理论专业论文）基于图像的表面几何重建.pdf

基于图像的表面几何重建 摘要 虚拟现实( v ir t u air e aii t y ) 技术是当代信息科学的前沿研究领域。 v r 综合应用了计算机图形学、计算机视觉等多个学科领域的关键技术，在 计算机中营造出一个虚拟的环境，使用户产生身临其境的真实感受。目前 虚拟现实技术已在军事演习、工业、医疗卫生、环境保护、影视及娱乐等 领域获广泛应用。虚拟现实技术( v r ) 主要包括模拟环境、感知、自然技能 和传感设备等方面。因此其核心问题之一是实时生成高度真实感复杂虚拟 环境的立体视图。而传统的建模方法的复杂度、绘制的速度及绘制的质量 问题已成为影响画面实时生成的瓶颈。因此如何根据各场景的图像重建出 场景的三维模型将具有重要的研究意义。基于图像的三维重建是根据图像 序列来恢复物体和场景的三维模型的方法。与传统的利用建模软件或者三 维扫描仪得到立体模型的方法相比，基于图像三维重建的方法成本低廉， 真实感强，自动化程度高，因而具有广泛的应用前景。 本文对基于图像的三维重建技术进行了深入的研究，目的是探索一种 实时、高效、采样便捷的基于图像的建模方法，有助于基于图像的建模技 术在虚拟现实上的实际应用，也为基于图像三维建模软件的开发提供一个 原型系统。本文的主要工作如下： 1 对h a r ris 角点提取算法及c a n n y 边缘提取算法提出了改进算法，并 结合这两个算法提出了一种新的适用于基于图像自动建模的图像直线提取 算法。 2 提出了一种宽基线图像的分层立体匹配算法，并成功的应用于基于 图像的自动三维重建。 3 开发了一个基于图像三维重建的软件原型，实现了基于二视结构图 像的快速自动三维重建。该软件采用文本提出的分层匹配算法和基于重建 结果参数来逐步修正相机内参数的标定方法。线性地，恢复了场景的三维几 何信息，实现了三维重建。 关键词：三维重建l 酬立体匹配摄像机标定直线特征提取 i m a g e b a s e ds u r f a c eg e o m e t r yr e c o n s t r u c t i o n a b s t r a c t v i r t u a lr e a l i t yt e c h n o l o g yi st h ef o r e f r o n to fc o n t e m p o r a r yi n f o r m a t i o n s c i e n c er e s e a r c hf i e l d s v i r t u a lr e a l i t yc o m p r e h e n s i v ea p p l i c a t i o no fc o m p u t e r g r a p h i c s ，c o m p u t e rv i s i o n ，a n dm a n yo t h e ra r e a so f t h ek e yt e c h n o l o g i e si nt h e c o m p u t e rt oc r e a t eav i r t u a le n v i r o n m e n tt ou s e r sw h of e e lt h et r u ef e e l i n g s v i r t u a lr e a l i t yt e c h n o l o g yh a sb e e np r e s e n ti nt h em i l i t a r ye x e r c i s e s ，i n d u s t r i a l ， m e d i c a la n dh e a l t h ，e n v i r o n m e n t a lp r o t e c t i o n ，e n t e r t a i n m e n t ，a n do t h e ra r e a s w e r ew i d e l yu s e d v t r t u a lr e a l i t yt e c h n o l o g yi n c l u d e ss i m u l a t i o ne n v i r o n m e n t , a n dp e r c e p t i o n ，n a t u r a ls k i l l sa n ds e n s i n ge q u i p m e n t t h e r e f o r e ，t h ec o r ei s s u ei s o n eo ft h ec o m p l e xr e a l - - t i m eg e n e r a t i o nh i g h l yr e a l i s t i ct h r e e - d i m e n s i o n a lv i e w s o ft h ev i r t u a le n v i r o n m e n t t h et r a d i t i o n a lm e t h o do ft h ec o m p l e x i t yo f m o d e l i n g ，r e n d e r i n gs p e e da n dt h eq u a l i t yo fd r a w i n gh a sb e c o m ear e a l t i m e i m a g e sg e n e r a t e db yi m p a c to ft h eb o t t l e n e c k s oh o w t or e c o n s t r u c t i o nt h e t h r e e - d i m e n s i o n a lm o d e lo fo b j e c t sa n ds c e n e sw i l lh a v ei m p o r t a n ts i g n i f i c a n c e i m a g e - b a s e d3 dr e c o n s t r u c t i o n i st or e c o v e rt h e3 dm o d e l so fo b je c t sa n d s c e n e su s i n gi m a g es e q u e n c e s w i t ht h et r a d i t i o n a lu s eo f3 dm o d e l i n gs o f t w a r e o rs c a n n e rb yt h r e e - d i m e n s i o n a lm o d e lo ft h em e t h o d ，i m a g e b a s e d3 d r e c o n s t r u c t i o nb a s e do nt h em e t h o do fl o w - c o s t ，r e a l i s t i cs t r o n ga n da u t o m a t e d p r o c e s s e s ，w h i c hh a s b r o a d a p p l i c a t i o np r o s p e c t s i nt h i sp a p e r , t h r e e d i m e n s i o n a lr e c o n s t r u c t i o nt e c h n i q u e si n d e p t hs t u d y , t h ep u r p o s ei st oe x p l o r ear e a l - t i m e ，e f f i c i e n ta n dc o n v e n i e n ts a m p l i n go ft h e i m a g e - b a s e dm o d e l i n g m e t h o dt oc o n t r i b u t et o i m a g e b a s e dm o d e l i n g t e c h n o l o g yi nv i r t u a lr e a l i t yo nt h ea c t u a la p p l i c a t i o n ，b a s e do nt h ei m a g ef o r t h ed e v e l o p m e n to ft h r e e - d i m e n s i o n a lm o d e l i n gs o f t w a r et op r o v i d eap r o t o t y p e s y s t e m t h em a i n t a s ko ft h i sp a p e ri sa sf o l l o w s ： 1 h a r r i sc o m e ro ft h ee x t r a c t i o na l g o r i t h ma n dc a n n ye d g ed e t e c t i o na l g o r i t h m t oi m p r o v e ，a n dt h i sc o m b i n a t i o no ft h et w op r e s e n t san e wa l g o r i t h mf o rt h e a p p l i c a t i o no ft h ea u t o m a t i ci m a g e b a s e dm o d e l i n ga l g o r i t h mf o re x t r a c t i n g 2 3 1 i n e a rt m a g e p r e s e n t sa 、i ( 1 eb a s e l i n ei m a g el a y e r e ds t e r e om a t c h i n ga l g o r i t h m ，a n dt h e s u c c e s s f u la p p l i c a t i o no fi m a g e b a s e d3 dr e c o n s t r u c t i o n b a s e do l lt h ed e v e l o p m e n to fa3 di m a g er e c o n s t r u c t i o ns o f t w a r ep r o t o t y p e t h es o f t w a r eu s e db yt h e l a y e r e d s t e r e o m a t c h i n ga l g o r i t h m s a n d r e c o n s t r u c t i o nb a s e do nt h er e s u l t so fp a r a m e t e r st og r a d u a l l ya m e n d e d w i t h i nt h ep a r a m e t e r so ft h ec a m e r ac a l i b r a t i o nm e t h o d l i n e a rr e s t o r a t i o no f t h e3 dg e o m e t r yo ft h es c e n e ，a c h i e v e da3 dr e c o n s t r u c t i o n k e yw o r d s ：3 dr e c o n s t r u c t i o n ；i b m ；s t e r e om a t c h i n g ；c a l i b r a t i o n ；l i n e a rf e a t u r e e x t r a c t i o n i i i 广西大学学位论文原创性声明和学位论文使用授权说明 学位论文原创性声明 本人声明：所呈交的学位论文是在导师指导下完成的，研究工作所取得的成果和相 关知识产权属广西大学所有。除已注明部分外，论文中不包含其他人已经发表过的研究 成果，也不包含本人为获得其它学位而使用过的内容。对本文的研究工作提供过重要帮 助的个人和集体，均已在论文中明确说明并致谢。 做作者签名侃馒伊 2 。口孑年多月7 日 学位论文使用授权说明 本人完全了解广西大学关于收集、保存、使用学位论文的规定，即： 本人保证不以其它单位为第一署名单位发表或使用本论文的研究内容； 按照学校要求提交学位论文的印刷本和电子版本； 学校有权保存学位论文的印刷本和电子版，并提供目录检索与阅览服务； 学校可以采用影印、缩印、数字化或其它复制手段保存论文； 在不以赢利为目的的前提下，学校可以公布论文的部分或全部内容。 请选择发布时间： 口即时发布口解密后发布 ( 保密论文需注明，并在解密后遵守此规定) 敝储龋醐个翩躲 洲年月 日 广西大学硕士掌位论文基于图镶的表面几何重建 1 1 研究背景 第一章绪论 虚拟现实( v i r t u a lr e f l i 锣) 技术是当代信息科学的前沿研究领域。v r 综合应用了 计算机图形学、计算机视觉等多个学科领域的关键技术，在计算机中营造出一个虚拟的 环境，使用户产生身临其境的真实感受。目前虚拟现实技术已在军事演习、工业、医疗 卫生、环境保护、影视及娱乐等领域获广泛应用。 虚拟现实技术r ) 主要包括模拟环境、感知、自然技能和传感设备等方面。因此其 核心问题之一是实时生成高度真实感复杂虚拟环境的立体视图。在传统图形绘制技术里 均是面向景物几何而设计的，因而绘制过程涉及到复杂的建模、消隐和光亮度计算。尽 管图形硬件技术的发展已经能在的很短的时间里产生具有相当复杂度的真实感图形，但 离达到实时生成真实感图像的目标还相距甚远。因此，建模的复杂度、绘制的速度及绘 制的质量问题已成为影响画面实时生成的瓶颈。这在一定程度上限制了v r 技术的应用 推广。为解决这一矛盾，近年来国际上出现一种称为基于图像的建模和绘制( h n a g e b a s e d m 0 d e l i n ga n dr e n d e r i n g ，m m r ) 的新技术。考虑到我们要构建的很多三维模型都能在现 实世界中找到或加以塑造，而能够反映现实世界的图像非常易于获取，因此基于图像建 模技术就成了人们心目中理想的建模方式。 基于图像的建模和绘制是当前计算机图形学界一个极其活跃的研究领域。同传统的 基于几何的建模和绘制相比，m m r 技术具有许多独特的优点。m m r 技术尝试从根本 上摆脱基于几何的传统建模方式在表示复杂度、真实感程度与绘制速度等方面的相互制 约的局面。它不依赖于几何模型，而是利用预先获得的一组图像，通常是真实世界的照 片，通过适当地组合这些已知图像生成位于不同视点的新视图。这就为我们提供了获得 照片真实感的一种最自然的方式，为我们摆脱传统的绘制瓶颈带来了一线曙光。 与传统的基于几何的绘制方法相比，i b m r 方法有以下突出的优点： 建模快：基于图像的建模( m m ) 是通过照片恢复出被拍摄物体的三维模型，其所 需的几何信息、纹理信息直接从照片中提取。而传统的基于几何的建模涉及到复杂的建 模、消隐和光亮度计算，费时费力。 绘制快：基于图像的绘制( i b r ) 是直接从已有的视图中合成新的视图。整个绘制 过程都在二维空间进行，绘制时间不依赖于场景的复杂度，只跟图像分辨率有关。 真实感强：i b m r 技术直接从照片中提取纹理信息，真实的反映了物体的纹理细节，具 有较强的真实感。 基于图像的表面几何e 建 1 2 基于图像的三维重建研究现状 基于图像的物体和场景的三维建模在计算机图形学、计算机视觉领域一直是一个热 门的研究。随着虚拟数字模型的广泛应用，通过真实场景来创建三维模型的方法的需求 正变得越来越大。对恢复真实环境中物体的三维模型目前已经有大量的研究，其方法可 分为二类：一类是使用扫描设备( 如激光扫描仪) 来恢复物体的几何形状；另一类是使 用照相机捕获的图像来恢复。扫描设备能精确的自动的重建物体的三维模型，但是扫描 设备价格昂贵并且不方便运输和使用，尤其是户外的时候。因此，通过从照相机中捕获 的图像来恢复物体的三维模型的方法受到越来越多的关注【1 】【2 1 。 从图像中恢复一个完整的精确的具有照片真实感的三维模型还并不是一件容易的 事。特别是在一些复杂的遗迹的三维重建上，基于重建的图像是没有标定的并且是离散 的。而照相机标定是基于图像建模过程中从二维图像提取三维信息必不可少的步骤，在 重建过程中错误的相机参数都会导致重建结果的不准确和变形，对于视点相隔较远的图 像的点的匹配上还必须人为的交互完成。近年来摄影测量法已经能很好的从照片序列中 重建精确的三维模型，并且在很多商业软件上已经得到了成功的应用( a u s t r a l i s ，c a n o m a , i m a g e m o d e l e r , i w i t e n e s s ，p h o t o g e n e s i s ，p h o t o m o d e l e r , s h a p e c a p t u r e ) 。但是，目前这些软 件都是基于人的交互操作或半自动的形式来完成模型重建的。 基于图像的建模可以分为根据主动线索建模的方法和根据被动线索建模的方法。 根据主动线索建模是指人为地在物体表面上打条纹或者阴影，并且根据这些信息建模， 如某些几何特征和纹理特征。根据被动线索建模利用了物体本身的特征，如垂直和平行 等几何约束或灭点信息，从而减少了获取图像前的准备工作，因此基于图像的建模通常 采用根据被动线索建模的方法。根据建模所用的图像数目不同，我们将根据被动线索建 模的方法又分为：基于单幅图像建模【3 】【4 】f 5 】【6 】和基于多幅图像建模。目前，基于图像建模 比较成功的应用于一些有明显几何约束的物体的三维重建，如建筑物【刀隅1 【9 l 【i o 】。而对于 任意形状表面的物体的三维几何恢复还相当困难。 1 2 1 基于未标定的图像自动的重建场景的三维模型 近年来，众多研究者致力于完全自动的基于图像建模的方法研究，希望采集图像、 校准和定位图像、图像场景三维坐标的恢复和建立模型等过程都能实现完全自动。但是 这些方法在实际应用中并没有获得很好的成功。在计算机视觉领域，已有很多关于完全 自动建模的研究【1 1 1 2 1 1 3 l 。他们先用固定参数且未标定的摄相机通过匀速运动体获取一 个场景图像的序列，然后系统自动的提取特征点( 如角、边缘) ，再对这些特征点在相 邻的图像间进行匹配。根据匹配点用鲁棒性的技术计算相机的参数和这些点对应的三维 坐标。这个自动过程成功的关键是相邻的图像变化不大，即相邻图像采样的视点距离很 2 基于图像的表面几何1 建 小。对于复杂的物体，需要进一步的匹配来获得稠密的深度图像产生一个完整的三维模 型。s c h a r s t e i n 和s x e l i s l d 1 4 】对最近的立体匹配算法做了一个详细的介绍。在宽基线图像 对的特征点自动提取上，目前也进行了一些研究【1 6 】f 1 7 1 1 8 】【1 9 1 。但对于复杂物体的基于图 像的建模上，这些方法的可靠性还不能满足建模的需求，因为这些方法只能产生稀疏的 匹配的特征点。s t r e c h a t 等 2 0 l 、m e g y e s i 和c h e t v e r i k o v 2 1 1 为了改进这个不足，在对宽基 线的条件下的稠密匹配做了深入研究。 自动的基于图像的建模依赖于特征点的提取、及自动的匹配，因此自动过程需要较 好纹理的图像、较高的采用帧频及匀速的相机运动，否则将导致不可避免的失败。因为 完全自动的过程关键在于找到对应点和相机的姿态【6 2 】【6 3 】嗍j 因此自动的基于图像的建 模依赖于重建目标较好的外观。此外，由于自动的过程需要进行一些预处理，这意味着 还需要人的交互操作。基于自动建模的不足，结合人对图像的理解能力和计算机的速度 的建模是一个比较好的选择。因此半自动的建模方式是一种很有前景的方法。 1 2 2 基于已标定的图像半自动的重建场景的三维模型 对具有复杂几何构造物体的模型重建上，半自动的建模方法已取得许多令人满意 的成果【刀嘲【1 0 1 2 2 1 1 2 3 1 ，特别是在一些具有复杂表面的物体的恢复上的应用更为普遍。 d e b e v e c 等从一些参数化的基本几何形体出发实现了建筑场景的交互建模 8 1 。l i e b o w i t z 等提出了根据建筑场景中相互平行和垂直等几何约束实现交互建模的方法【9 j 。v a nd e n h e u v e l 使用一个线的摄影测量的数字模型和几何约束恢复了多面体的三维几何结构脚】。 这种方法根据共面等特性物体被遮挡的部分也能重建。e 1 h a k i m 提出了一种较简单的重 建复杂物体的方法l l o l 。l e e 和n e v a t i a 利用已有的数字模型对建筑场景来恢复几何模型 瞄j 。这种方法分层的把物体划分成基本的几何形状、正面的纹理和细节部分的几何结构， 在重建过程中需要用户提供如宽度、高度、半径等形状的信息。 1 2 3 基于已标定的图像完全自动的重建场景的三维模型 这类方法明确的利用场景中的一些强几何约束( 如建筑物的平行和垂直结构) 来实 现自动的几何建模。d i c k 等使用基于模型的识别技术从单幅图像中抽取高层的模型，然 后再将其映像到其它图像上进行核对 2 6 1 。这类方法需要预先定义类型的参数化构件。 g r u n 等用多幅图像的几何约束的自动匹配过程恢复了复杂物体的稠密点云【2 7 1 。w e m e r 和z i s s e r m a n 提出了一种全自动的表面拟合的方法：用自动生成的一个近似的模型代替 基本的形状来构造场景的主平面1 2 8 1 1 2 9 1 1 3 0 。d a p u z z o 设计了一种自动的物体表面测量的 方法j ，这种方法先在多幅图像中找到少量种子对应点，然后再在这些种子点定义的区 域内进行类似的匹配。 3 j * - 西大学瞻炙士掌位论文墓于图像的表面几何t 建 1 3 本课题的研究目的和主要创新点 1 3 1 本课题的研究目的 本课题将在分析各种基于图像建模方法的基础上，选择一种适当的方法并对相关算 法尝试加以改进。在从序列图像中成功恢复一些基于简单几何的物体三维模型后，尝试 恢复一些复杂物体的三维模型。目的是探索一种实时、高效、采样便捷的基于图像的建 模方法，有助于基于图像的建模技术在虚拟现实上的实际应用，也为目前一些常用的三 维建模软件( 如3 dm a x ) 提供一种新的模型数据导入方式。具有实际应用价值的图像建 模方法在许多领域都有广泛的应用前景。 本课题也旨在为基于图像的自动三维建模软件的开发提供一个原型系统，为今后实 际应用系统的开发提供支持。 1 3 2 本课题的主要创新点 图像立体匹配和摄像机位姿的估计是目前基于图像三维重建中的两大难点，本文根 据图像对之间的内在几何约束，提出了一种宽基线图像分层的立体匹配算法，并针对 c a n n y 边缘提取及h a r r i s 角点提取算法的不足之处提出了改进意见。 摄像机标定是三维欧氏重建中的一个必须的步骤，而目前摄像机的标定实验是一个 繁锁和复杂的过程，在某些情况下甚至是不可能现实的。因此，本文在分析了目前各种 常用相机的焦距分布基础上提出了一个先给定初值，然后再根据重建结果的参数来逐步 修正相机内参数的标定方法。 1 3 3 论文的内容结构 图1 - 1 研究内容的结构简图 f i g u r e1 - 1r e s e a r c hs t r u c t u r e 4 广西大曹明页士学位戗譬 蓉于图像的表面几何t 建 第二章基于图像的三维重建的基础理论。 本章介绍与本文相关的基于图像的三维重建的基本概念，主要包括射影空间和射影 变换、摄像机成像模型以及两视图几何存在的约束关系。本章内容是本文算法设计和应 用的理论基础。 2 1 射影几何 在欧氏空间中，欧氏变换不会改变长度和角度。当描述摄像机影像时，长度和角度 不再保持为变，并行线可能相交。因此，欧氏几何不足以处理摄像机影像。欧氏几何是 射影几何的一个子集，在射影几何和欧氏几何之间，还有相似几何和仿射几何。由于在 射影几何中，允许存在包括透视投影的更大一类变换，而不仅仅是欧氏几何的平移和旋 转，因此射影几何可以更好的描述摄像机的成像。其缺点是度量性质减少。 n + l 维向量x = b 。，工：，x 糟+ 。】r 表示刀维射影空间中的点或向量 h k ，屯h ，毛尾钉) ，毛，x 2 ，毛+ 。中至少有一个不为零，称这种坐标为齐次坐标。 x n + l = o 表示无穷远点。当且仅当存在任意非零常数入使x i = 砂，( 1 f 刀+ 1 ) 时，称两个 时1 维向量x 与y 相等，记为x 兰y 。 2 1 1 点和直线 一个点在二维射影空间尸2 下由一个3 维向量u = x yw r 表示，一条直线，同样也可 以由一个3 维向量表示。一个点在直线上的充分必要条件是： z r u ：0 ( 2 - 1 ) o 式也可以理解为是一条直线通过一个点的充分必要条件，这说明在射影空间下点 和直线在形式上并没有本质区别，这种关系称为对偶原则。 类似的，在三维射影空间，下，一个点可表示成胙y zr o t 而在，下与点有 对偶关系的是平面万，仍可用一个4 维向量表示，同样的，点在平面上的充分必要条件 是： 7 i r m = 0 ( 2 2 ) 5 广西大粤蛆炙士掌位禊叼基于图像的表面几何t 建 2 1 2 二维射影变换 二维射影几何研究的是关于射影平面产在所谓射影映像的交换群下保持不变的性 质。射影平面产可以定义为一个增加了无穷远点集和一条无穷远直线的仿射平面。二 射影变换是把一个平面的点映射到另一个平面的点的一种可逆映像，它把直线映像到直 线。更准确的说，二维射影变换是一个平面到它自身的一种满足下列条件的可以映射办： 三点x l , x 2 和x 3 共线当且仅当h ( x o ，h ( x 9 ，h ( x 3 ) 也共线。 上述射影变换的定义是用点线关联的几何概念来描述的，它与坐标无关。设万与万 是两个平面，在每一个平面上有一个齐次坐标系。考虑平面万的点尸& l ，勉，勋) 到平面万 的点尸7b l ，娩，扔，) 的一个对应 巨h 鞋 ( 2 3 ) 这个对应叫做非奇线性对应d ，日为单应性矩阵。方程中的h 矩阵乘以任意一个非 零因子不会改变射影变换。在日的九个元素中有八个独立比率，因此，平面射影变换有 八个自由度。 2 1 3 三维射影变换 计算机视觉研究的是三维射影空间。三维射影空间中的基本元素包括点、线、面。 如果某个三维点的欧氏坐标记为x = y ，z ) r r 3 ，则它对应的齐次坐标为 x = ( t x ，t y ，t z ，t ) r , t 0 。反之，如果y = o ，y ，z ，w ) r ，w 0 ，是三维空间点的齐次坐标， 那么它的欧氏坐标为y = ( x w ，y w , z w ) r 尺3 有齐次坐标为丘= o ，y ，z ，o ) r 的空间点，其中，x ，弘z 不全为零，称为无穷远点。 所有无穷远点所构成的集合瓦= 汜= ( x ，y ，z ，o ) rix 0 vy 0 vz o i ，称为无穷 远平面。 把r 3 = r 3v 瓦称为扩大的三维空间。在扩大的三维空间r 3 中，平面方程可记为： 戤+ 砂+ 铭+ d w = 0 ，可简写成：刀r x = 0 ，其中刀= ( a , b ，c ，d ) r ，当a = b = c = 0 ，d 0 时，表示无穷远平面的方程；当口，b ，c 不全为零表示有限平面的方程。 在三维空间中，“点一与“平面一叫做对偶元素。“通过一点作一直线 与“在平面 上取一直线弦、“通过一直线作一平面 与“在一直在线取一点 、“通过一点作一平面 与“在一平面上取一点一都叫做对偶运算。 三维空间的射影变换由非奇异4 x 4 矩阵给出，是关于齐次4 维向量的线性变换 6 吃黾 日 = 、0， 而砭黾 v人 觑舷岛 广西大掌硕士掌位论文 基于图像的表面j l 何重建 x i = 眍 ( 2 啕 变换矩阵日是一个齐次矩阵，乘以任意一个非零因子不会改变射影变换。在日的 1 6 个元素中有1 5 个独立比率。因此，空间射影变换有1 5 个自由度。 2 2 摄像机成像模型 摄像机是三维空间物体与二维图像之间的一种映像。成像模型就是三维空间物体到 二维视平面的投影关系。 2 2 1 针孔成像模型 为了定量的描述摄像机成像过程，首先定义四个坐标系：图像坐标系、成像坐标系、 摄像机坐标系、世界坐标系。 图像坐标系，也叫像素坐标系。数字摄像机采集的图像在计算机中是以像素形式存 储的，其坐标系原点位于图像平面的左上角，x 轴平行于c c d 图像平面水平向右，y 轴 垂直向下。坐标值 ， ，) 用来表示像素在图像中的行数和列数，其值是离散化的整数值。 成像坐标系是具有物理单位的平面坐标系，其坐标原点在c c d 图像平面的中心 ( ，) ，x ，y 轴分别平行于图像坐标系的坐标轴，如图2 1 所示。 图2 - 1 图像坐标系与成像坐标系 f i g u r e2 - 1i m a g ec o o r d i n a t e sa n di m a g i n gc o o r d i n a t e s 在实际摄像机所获得的图像中，每个像素并不能保证完全是正方形，记吒，k ，为像 7 广西大爿幽炙士曹q 立论文 基于田像的表面几何t 建 刚专渤 p 5 ， 的距离为摄像机的焦距厂，坐标用( & ，z c ) 来表示。图2 - 2 所示。 d 图2 - 2 摄像机坐标系 f i g u r e2 - 2c m e m 删i n a t e s ，磊) 在三维空间内，任意选择一个满足右手法则的坐标系作为世界坐标系，用来表示物 体及摄像机在空间中的位置，坐标用( 蜀，磊) 表示。在世界坐标系与摄像机坐标系 之间，存在一个可以由一个旋转矩阵r 加一个平衡向量来描述的刚体变换，如下式： x c 圪 z c l = 陋 # 摄像机模型满足针孔模型，成像符合透视投影，如图2 3 所示。 8 ( 2 6 ) 囊k 于田像的表面几何，e 建 图2 - 3 针孔成像模型 f i g u r e2 - 3p i n h o l ei m a g em o d e l 如图2 3 所示，成像坐标系与摄像机坐标系的成像关系为： 俳昙； 联立等式( 2 5 ) 、( 2 6 ) 、( 2 - 8 ) 得： 4 l = 孳 j f l 【， 0 棒 ( 2 - 7 ) = k r , i x = p x( 2 8 ) 其中，k 为摄像机的内参数矩阵，其值与摄像机的位置无关；p 为3 x 4 矩阵，称为 投影矩阵，上式将世界坐标系中点的坐标与摄像机图像坐标系中点的坐标联系起来，描 述了摄像机的成像原理。 2 2 2 c c d 摄像机 电荷耦合器件( c c d ) 摄像机于1 9 7 0 年推出，它已经在大部分现在应用中取代了 摄像管摄像机。目前，大部分图像应该都采集于c c d 摄像机，因此在基于图像的三维 重建中有必要考虑图像的成像过程。在针孔摄像机模型中假设图像坐标在两个轴向上具 有等尺度的欧氏坐标。对于c c d 摄像机来说，这个假定可能不成立，因为c c d 摄像机 的像素可能不是正方形的。如果图像坐标以像素来计算，需要在每个方向上弓 入等量尺 9 圪乙1 厂叫oih罩一 o 0 o fl露矿 1 卜o o o o j l 0 0 ol 广西大掣硕士尊啦论文蓉于图像的表面几何t 建 度因子具体地说，如果在x 方向和y 方向上图像坐标单位距离的像素分别是屯，和屯， 那么由世界坐标到像素坐标的变换，因此，c c d 摄像机的标定矩阵的一般形式是 2 3 对极几何约束 k = 褂： i i 0 ( 2 9 ) 在立体视觉分析中，最困难的部分是建立两幅图像的对应关系( 也就是说，确定第 二幅图像中的哪些点与第一幅图像中的点匹配) ，这也是基于图像的自动三维重构的一 个难点。对极几何约束在很大程度上限制了寻找这种对应关系的搜索范围。对特征点的 匹配搜索能够被限定在相应点的外极在线，而不是限定在整幅图像上。 2 3 1 对极几何 c q 夕 ( r ，f ) 图2 - 4 对极几何 f i g u r e2 - 4e p i p o l a rg e o m e t r y 对极几何是为两幅同一场景不同的视图之间提供约束的内投影几何。它只依赖于相 机的内部参数和相机的相对位姿。因此，最近的很多立体匹配的研究中都采用了对极几 何的约束。如图2 _ 4 所示，x 为三维空间中的一个点，c 和c 为相机中心，m 和m 为空 1 0 墓于图像的表面几l r f f - l ：建 间点x 在两幅图像中的对应点。e 和p 分别是相机中心的联机与两幅图像的交点，。称之 为极点；直线z 和r 为极线；平面x c c 为极平面。 基本矩阵f 是将图像i 中的点映像成它在图像i 中对极线的矩阵，其定义如下： 历确= o ，( f = k 一r 乩赵一1 ) ( 2 1 0 ) 在公式( 2 1 0 ) 中，基本矩阵f 是3 * 3 的矩阵，基中k ，r 分别为图像厶，的摄 像机内部参数。甬，群分别是m 与m 的齐次坐标，r 是平移向量皿是旋转矩阵，描述 了两个摄像机之间的运动关系，同样的，公式也描述了历( 崩) 位与向量历节( 秭) 关联的外极在线。 2 3 2 基本矩阵 基本矩阵是对极几何的代数表示，其具有如下性质： l 基本矩阵的秩为2 。 、 2 对于两视图上的两个极点e 和e ，则有： 2 3 3 本质矩阵 ( 2 - 1 1 ) 0 0l 屯0l 如乞o ) ( 2 1 2 ) 0 0i 本质矩阵是归一化图像坐标系的基本矩阵的特殊形式，它包含了标定好的摄像机从 第一个位置到第二个位置的相对运动的所有信息，可以从图像测量中估计出来。本质矩 阵有如下重要性质： 1 定义本质矩阵为 e = t xr = t l r ( 2 - 1 3 ) 2 本质矩阵与基本矩阵有如下关系： e = k 玎f k ( 2 1 4 ) 3 本质矩阵e 的秩是2 。 中一 阽 翟 d 淤吩 = p 为 dv 的阵矩本基 基于围1 裹的表面几何 建 4s v d 分解将e 分解为e = u d v r ，d 为对角矩阵，则 f k d = l0 【o 1 2 00 1 i k0 i 1 00i - i t ( 2 - 1 5 ) 墓 - o f 田像的表面几何t 建 第三章图像基本特征分析 计算机图像分析通常是指为了达到某种应用的目的通过计算机找出图像中所包含 的各种信息。图像中的信息包括角点特征、直线特征、边缘特征和区域特征等。这些基 本特征是实现图像匹配和三维重建的基本数据。图像特征提取与表达是图像理解的必要 步骤。在人类视觉中对物体光度变化部分有特殊的增强效应，在计算机视觉中则有边缘 检测。图像边缘检测是处理许多计算机视觉问题的关键，它在图像分割、特征提取、图 像识别等领域都起着基础性的作用。 本章首先针对基于图像三维重建的应用要求，分析和研究了图像分析基本算法一 角点特征和直线特征的提取算法，在此基础上，对h a r r i s 角点提取算法和c a n n y 边缘提 取算法进行了改进，并提出了一种新的图像直线提取算法，作为第四章图像立体匹配的 基础。 3 1 图像分析基本算法 3 1 1c a n n y 边缘提取 边缘检测是图像处理和计算机视觉中的基本问题，其基本操作就是寻找图像中变化 比较剧烈的像素位置。目前，边缘检测的主要方法有s o b c l 边缘检测、h o u g h 边缘检测、 均匀边缘检测、差异边缘检测及c a n n y 边缘检测。 边缘检测中一个主要的问题就是处理图像噪声。这是因为边缘检测器是为了回应急 剧的变化而构造的；而噪声通常能获得急剧变化的响应，形成伪边缘。噪声使得图像导 数有限差分估计变得不再可用，因此选择什么样的低通滤波器是减弱噪声影响的首要解 决的问题。其次是边缘强度阈值的选取问题，较小的阈值可检测较多的边缘，但也保留 了一些无用的信息。在现有的边缘检测算法中c a n n y 算法【3 3 】是一种较好的方法，并得到 广泛应用。 c a n n y 认为一个好的边缘检测算子应具有以下3 个特性： 好的检测性能。不漏检真实边缘，也不把非边缘点作为边缘点检出，使输出的信 噪比最大。 好的定位性能。检测到的边缘点与实际边缘点位置最近。 唯一性。对于单个边缘点仅有一个响应。 根据以上3 个准则，c a n n y 推导出最优边缘检测算子的一个近似实现是：边界点位 于图像被高斯函数平滑后的梯度幅度的极大值点。具体实现步骤如下： 广西大掣瞻薅士掌位论- 文基于田像的表面几何t 建 1 首先利用一维高斯函数对图像进行平滑处理； 2 求的各点的梯度值； 3 非极大值抑制； 4 利用双门限跟踪轮廓。 3 1 2h a r ris 角点提取 图像的角点是分析场景结构的重要信息，它的提取对掌握目标轮廓特征具有决定作 用。在计算机视觉领域，到目前为止，关于角点还没有很好的数学定义。在不同的角点 检测方法中，对角点都有自己的定义。常用的角点提取算法主要分为两大类：一类是直 接基于图像灰度的角点检测算法，主要通过计算曲率及梯度来达到检测角点的目的。另 一类是基于边缘的角点提取算法，其基本思想是角点是两条或多条边缘的交点。 h a r r i s 角点提取【3 2 】是c q h a r r i s ，m s t e p h e n s 在1 9 8 8 年提出的一种基于m o r a v e 的改 进角点特征提取算法。 m =一 候和 r = d e t ( m ) 一k * t r 2 ( m ) ，( 七= 0 0 4 ) ( 3 - 1 ) ( 3 2 ) d e e m ) = n 五t r ( m ) = 五 ( 3 3 ) ii 公式中，矩阵m 即为每个像素的平均平方梯度矩阵，表示了点( 五y ) 处的图像灰 度值，卷积符号，形是一个低通滤波器，用于图像的平滑。公式中，d e m ) 为矩阵的 行列式，删) 为矩阵的迹，k 为一个经验值，通常被选定为o 0 4 。尺为角点的响应函数， 通过设定一个合理的阈值来判断该点是否为感兴趣的特征点。k 越小，r 值就大，检测 到的特征点也越多。 h a r r i s 作为一种常用的角点提取算法，有以下几个方面的优点： 计算简单，提取算法效率高。h a r r i s 角点提取对图像的灰度中计算一阶差分以及 一个高斯平滑滤波，整个运算适合矩阵运算； 定位准确。h a r r i s 角点提取是计算图像中每个像素处的灰度平均平方梯度矩阵。 可以使得所求的特征点符合图像特点。纹理相对丰富的地方可以得到相对密集的角点， 相对简单的图像区域可以得到相对稀疏的角点。而且精度可以达到子像素级，易于在三 维重构中定位准确和几何结构的丰富； 1 4 、， 、形，哆 甜一砂叩-型引鱼渺 肌心 广西大掌硕士学位论文基于图像的表面几何重建 算法稳定。h a r r i s 角点提取不受图像旋转、灰度变化的影响，有很好的噪声抑制 效果。 3 2 图像边缘提取算法改进 c a n n y 算法在实际应用中存在如下问题。 c a n n y 算法的噪声平滑能力与边缘定位能力相矛盾。当高斯空间系数0 取值较小 时，边缘定位精度高，但图像平滑作用较弱，在有噪声的情况下不稳定；要获得好的噪声 抑制效果，必须增大。的取值，但又导致模板增大，使边缘位置偏移严重，且运算量增加。 对于一幅具体图像，用c a n n y 算法检测边缘时最佳的0 值和梯度阈值t h ；曲和t 。完 全依赖人工获得，无法满足大图像库中图像边缘自动检测的要求。本文仅针对阈值选择 问题提出了一种梯度阈值自适应的改进算法。 3 2 1 自适应阈值的c a n n y 边缘提取 c a n n y 边缘提取在进行梯度非极大值抑制后，留下的是一些可能为边缘的像素点， 将梯度强度值大于2 5 5 的量化为2 5 5 ，如图3 1 所示，这主要是跟灰度值相对应，便于 对像素点的归类和统计。对大量图像进行候选边缘点的梯度强度分析后发现，有效的边 缘点占候选边缘点的比例主要位于5 2 6 之内。因此，所设计的梯度阈值必须能有效 的把这个区间内的点都检测出来。 ( a ) 原始图像( 6 0 0 5 6 2 )( b ) 原始图像( 5 0 0 x5 0 0 ) 广西大学硕士掌位论文 基于图像的表面几何重建 ( c ) 非极大值抑制后的图像a ( 6 0 0 5 6 2 )( d ) 非极大值抑制后的图像b ( 5 0 0 5 0 0 ) 2 55 07 51 0 01 2 5 1 5 01 7 52 2 2 52 5 5 梯度强度 2 55 07 51 0 01 2 51 5 01 7 5 瑚2 2 52 5 5 梯度强度 ( e ) a 图的梯度强度直方图( f ) b 图的梯度强度直方图 图3 1 候选边缘点的梯度强度分析 f i g u r e3 1c a n d i d a t ea tt h ee d g eo f t h eg r a d i e n ts t r e n 舀h 自适应阈值的c a n n y 边缘提取算法的实现过程如下： ( 1 ) 用一维高斯函数分别按行和列对原始图像f ( x ，力进行平滑除噪，得到平滑图 像i ( x ，力。 g = ( 嘉) e x p ( - 鲁) ，( x ，y ) = g ( x ) g ( j ，) 】木f ( x ，y ) ( 3 - 4 ) ( 3 - 5 ) 其中木是卷积运算符。这一步实际就是一个低通滤波过程，用于消除空间尺度小于高斯 系