（计算机科学与技术专业论文）基于图像序列的建筑物模型重建技术研究与实现.pdf

浙江大学博上学位沦文摘要 摘要 随着计算机性能的不断提高和计算机技术的不断发展，真实场景的三维模型 越来越多地出现在各种计算机软件中，成为计算机软件表现现实世界的一种重要 手段。人们构造三维模型的传统手段大致包括两种：利用三维扫描仪等硬件获取 三维模型和利用几何造型方法构造三维模型。然而，三维扫描仪等硬件价格昂贵； 几何造型的方法要求操作人员具有丰富的专业知识，而且操作复杂，周期较长， 最终构造的三维模型真实感不强。在这种情况下，基于图像的建模技术作为一利r 成本低廉、操作简单、具有高度真实感的建模方法应运而生，并且逐渐成为计算 机图形学和计算机视觉领域的研究热点。 本文提出了一种面向建筑物场景的基于图像序列的建模方法，该方法包括相 机定标、基于单幅图像的建筑物模型重建和多场景模型合并等几部分。本文的主 要创新之处在于： 相机定标方面 根据两幅图像中的平面约束，证明了图像对的基础矩阵和同形矩阵的乘 积具有反对称的性质。给定两幅图像中的一系列对应点，利用这利t 反对 称性质，本文改进了g a n gx u 利用平面约束进行相机自定标过程中同形 矩阵的求解算法。将通过共面四点求解同形矩阵的方法转化成在方程组 约束条件下的二次规划问题，由给定的二次规划问题求解同形矩阵，提 高了算法的鲁棒性。 针对真实建筑物场景中普遍存在的两种几何结构：角结构和平行线结构， 提出了一种利用这两种几何结构的新的相机自定标算法。该算法可以利 用单幅透视投影图像中的几何结构计算出相机的焦距、以及相对于几何 结构坐标系的平移向量和旋转矩阵的初始值。由于在求取相机参数初始 值的时候只用到了一幅图像，这样就避免了在相机自定标过程中可能出 现的临界运动序列问题，从而避免了i 临界运动序列引起的相机自定标退 化问题，提高了相机自定标过程的鲁棒性。 提出了分别利用单幅图像和两幅图像中的几何结构对相机内、外参数进 行分步优化的算法。首先，以单幅图像中的几何结构作为约束，以最小 化图像线段和重投影线段之间的差别作为目标函数，对初始值进行第一 步优化：然后，引入两幅图像中的几何结构作为约束条件，以最小化几 浙江大学博士学位论文基于图像序列的建筑物模型重建技术研究与实现 何结构顶点的图像坐标和重投影坐标之间的差别对定标结果再次进行优 化。分步优化进一步提高了相机定标结果的精确度。 基于单幅图像的建筑物模型重建。针对建筑物模型的规则性，本文提出了以 平面和圆柱面为重建单元的建筑物模型重建算法，可以从单幅透视图像中恢 复出建筑物的表面模型。对于平面，我们根据场景中各平面之间的位置关系， 递归求解各平面的位置和法向量。对于圆柱面，我们有两种重建方法：分割 近似求解和几何求解。我们通过场景中平面和圆柱面的分别重建达到恢复整 个建筑物场景三维模型的目的。 多场景模型合并。对图像序列来说，通过上述基于单幅图像的建模技术，可 以得到序列局部模型，多场景合并就是将序列局部模型合并为一个整体，从 而得到建筑物的完整模型。针对建筑物模型的规整性特点，我们提出了一整 套实用并且相对易于实现的多场景合并策略。首先，利用相机定标结果建立 所有场景的公共坐标系链表：然后通过坐标转换、顶点合并、模型合拢、面 合并等步骤将各场景对应的独立模型合并成一个完整的建筑物模型。通过多 场景模型合并，我们解决了重建建筑物完整模型的问题。 关键词：基于图像的建模，建筑物，相机定标，单幅图像，图像序列，多场景 合并 i i 浙江大学博士学位硷文 a b s t r a c t i b m ( i m a g eb a s e dm o d e l i n g ) i san e wt e c h n i q u eu s e dt o r e c o v e rt h e3 dm o d e l so f r e a ls c e n e sf r o mi m a g e s i nt h i s p a p e r , an e wm e t h o dt o r e c o v e rt h ea r c h i t e c t u r e s m o d e lf r o mi m a g es e q u e n c e si sp r o p o s e d o u rm e t h o di sc o m p o s e do ft h ef o l l o w i n g s t e p s ：c a m e r ac a l i b r a t i o n ，a r c h i t e c t u r em o d e lr e c o n s t r u c t i o nb a s e d o ns i n g l e i m a g e a n di n c o r p o r a t i o no ft h em o d e l si nm u l t i s c e n e s p r i m a r yc o n t r i b u t i o n so ft h i st h e s i s i n c l u d e ： c a m e r ac a l i b r a t i o n a c c o r d i n gt o t h e p l a n a r c o n s t r a i n t s w e p r o v e d t h a tt h e p r o d u c t o ft h e f u n d a m e n t a lm a t r i xa n dt h eh o m o g r a p h ym a t r i xo fa ni m a g ep a i r i sa n a n t i s y m m e t r i cm a t r i x g i v e nas e to fc o r r e s p o n d i n gi m a g ep o i n t s ，w h i c ha r e c o p l a n a ri n3 ds p a c e ，ar o b u s ta l g o r i t h mb a s e do n t h ep r o v e da n t i s y m m e t r i c p r o p e r t y o ft h em a t r i xi s p r o p o s e d i n t h i s a l g o r i t h m ，t h ep r o b l e m o f c a l c u l a t i n gt h eh o m o g r a p h ym a t r i xi ng a n gx u sa l g o r i t h mw a s t r a n s f o r m e d i n t oa q u a d r a t i cp r o g r a m m i n gp r o b l e m t h e r e f o r e ，t h e r o b u s t n e s so ft h e a l g o r i t h mi si m p r o v e d t h e g e o m e t r i cc o n s t r a i n t s w h i c ha r ec a l l e dc o m e r s t r u c t u r ea n dp a r a l l e ll i n e s t r u c t u r e a r es t u d i e di nt h i s p a p e r a n e w a l g o r i t h m f o rc a m e r a s e l f - c a l i b r a t i o ni s p r o p o s e db yu s i n g t h e g e o m e t r i cc o n s t r a i n t s o ft h e s e s t r u c t u r e s b e c a u s eo n l yo n ei m a g ei su s e dt oc a l c u l a t et h ei n i t i a is o l u t i o n s t h ec r i t i c a lm o t i o n s e q u e n c e s c a l lb e a v o i d e d ，c o n s e q u e n t i a l l y t h e d e g e n e r a c i e si nc a m e r a s e l f - c a l i b r a t i o nc a nb ea v o i d e de i t h e r t h e nt h es o l u t i o n sf o rc a m e r ac a l i b r a t i o na r eo p t i m i z e du n d e rt h eg e o m e t r i c c o n s t r a i n t si nt w os t e p s f i r s t l y , t h eg e o m e t r i cs t r u c t u r ei no n ei m a g ei s i n t r o d u c e dt oo p t i m i z et h es o l u t i o n sv i am i n i m i z i n gt h ed i f f e r e n c e sb e t w e e n t h eo b s e r v e dl i n e sa n dt h er e p r o j e c t e dl i n e s s e c o n d l y , t h es o l u t i o n sa r e o p t i m i z e dv i am i n i m i z i n gt h ed i f f e r e n c e sb e t w e e nt h eo b s e r v e dp o i n t sa n d t h er e p r o j e c t e dp o i n t su n d e rt h eg e o m e t r i cc o n s t r a i n t si nt w oi m a g e s t h e p r e c i s i o n so f t h ec a l c u l a t e dp a r a m e t e r so ft h ec a m e r a sa r ei m p r o v e db yt h e o p t i m i z a t i o n si nt w os t e p s a r c h i t e c t u r em o d e lr e c o n s t r u c t i o nb a s e do ns i n g l ei m a g e c o n s i d e r i n g t h e r e g u l a rs h a p e o ft h ea r c h i t e c t u r e m o d e l ，a n e wa l g o r i t h mf o r r e c o n s t r u c t i o no fa r c h i t e c t u r em o d e lb a s e do ns i n g l ep e r s p e c t i v ei m a g ei sp r o p o s e di n t h i sp a p e r t h ep l a n ea n dt h ec y l i n d e rs u r f a c ei nr e a ls c e n e sa r ec o n s i d e r e da st h e i t t 浙江大学博l 二学位论文基于图像序列的建筑物模型重建技术研究与实现 r e c o v e r e dp r i m i t i v e si nt h i sa l g o r i t h m 0 n e et h ep l a n e sa n dc y l i n d e rs u r f a c e sa r ea l i c a l c u l a t e d ，t h ew h o l ea r c h i t e c t u r em o d e li sr e c o n s t r u c t e d t h ep o s i t i o n sa n dn o r m a i d i r e c t i o n so ft h e p l a n e s i dt h es c e n ea r ec a l c u l a t e do n eb yo n ev i ai n t e r a c t i v e o p e r a t i o n ，b yw h i c h t h ep l a n e sa r er e c o v e r e dt h e c y l i n d e rs u r f a c e sa r ec a l c u l a t e db y t w om e t h o d s ：1 t h ec y l i n d e rs u r f a e ei sd i v i d e di n t os e v e r a lp l a n a rp a t c h e s 0 n e ea l l t h ep l a n a rp a t c h e sa r ec a l c u l a t e d ，t h ec y l i n d e rs u r f a c ai sr e c o v e r e d 2 t h ec e n t e ra n d h e i g h to f t h ec y l i n d e ra r ec a l c u l a t e d ，t h e nd i r e c t l yt or e c o v e rt h ec y l i n d e r m e r g i n g t h e m u l t i p l ep a r t i a lm o d e l s i no r d e rt oo b t a i nw h o l ea r c h i t e c t u r em o d e l an e w p r a c t i c a lm e t h o df o ri n t e g r a t i n g t h ep a r t i a lm o d e l si nm u l t i s c e n e si s p r o p o s e di nt h i sp a p e r f i r s t l y , t h el i s t o ft h e c o m m o nc o o r d i n a t e 矗a m e si sb u i l tw i t l lt h es o l u t i o n si i 3c a m e r ac a l i b r a t i o np r o c e d u r e t h e nt h e p a r t i a l m o d e l si nm u l t i s c e n e sa r e i n t e g r a t e dw i t ht h ef o f l o w i n gs t e p s ： c o o r d i n a t e s t r a n s f o r m a t i o n ，v e r t i c e si n c o r p o r a t i o n ，s h u t t i n gt h em o d e la n dp l a n e i n c o r p o r a t i o n t h r o u g hi n t e g r a t i n gt h em o d e l si nm u l t i s c e n e s ，w es o l v et h ep r o b l e m o fr e c o n s t r u c t i n gt h ew h o l ea r c h i t e c t u r em o d e l ， k e yw o r d s ：i m a g eb a s e dm o d e f i n g ，i m a g es e q u e n c e ，a r c h i t e c t u r em o d e l ，c a m e r a c a l i b r a t i o n ，s i n g l ei m a g e ，i n t e g r a t i o no f t h em o d e l si nm u l t i s c e n e s v 浙江大学博士学位论文 第一章基十图像建模( i b m ) 技术综述 第一章基于图像建模( i b m ) 技术综述 1 1 三维建模方法分类 计算机图形学的飞速发展让人们的生活更加绚丽多姿，计算机三维造型也深 入到人们日常生活的方方面面。总的来说，现有的计算机构建物体三维模型的方 法主要有：几何造型的方法、用三维扫描仪等硬件获取三维模型的方法和基于图 像的建模( i m a g eb a s e dm o d e l i n g ) 方法等三种。 几何造型的方法是指通过点、线、面、体等几何元素的平移、旋转、变比等 几何变换和并、交、差等集合运算，产生实际的或想象的物体模型【孙家广1 9 9 5 1 。 在几何造型系统中，描述物体的三维模型有三种：线框模型、表面模型和实体模 型。线框模型就是用顶点和棱边来表示物体，其中没有面的信息；表面模型在线 框模型的基础上，增加了物体中面的信息，用面的集合来表示物体：但是线框模 型和表面模型保存的三维形体信息都不完整。实体模型则是用体素来表示物体， 它能够完整地表示物体的形状信息。根据表示方法的不同，实体造型又可以分为： 分解表示几何造型、构造实体几何造型( c s g 模型) 、边界表示造型( b r e p 模型) 以及混合造型等多种。几何造型方法起源于上世纪七十年代，现在已经广泛地应 用在计算机辅助设计、广告制作、影视制作等领域。利用现有的几何造型软件生 成三维模型，如3 d m a x 等，可以创造出逼真的卡通形象，渲染出复杂的场景效 果图。但是这种方法创作过程复杂，往往需要操作人员具有丰富的专业知识。 利用三维扫描仪等硬件可以获得精确的三维模型，而且适用于形状复杂的物 体。根据扫描仪不同的测头结构，可以分为接触式和非接触式两种，其中，接触 式测头又可分为硬测头和软测头两种，接触式测头需要与被测物体直接接触，获 取物体的三维信息。非接触式测头利用了光学及激光原理，称为三维激光扫描仪。 三维激光扫描仪利用激光扫描物体表面，物体表面的反射光成像于光检测器的表 面，然后根据光学三角法测量原理计算出物体表面的深度信息。利用三维扫描仪 获取三维模型的方法使用方便，精度高，并且构建模型所需时间相对较少，因此 广泛地应用于逆向工程、虚拟现实、环境仿真等领域。但是高精度三维扫描仪等 硬件价格昂贵。 基于图像的建模就是利用计算机视觉和计算机图形学知识，从单幅图像或图 像序列中恢复出物体的三维模型，它是用相机拍摄照片的逆过程。其图像获取工 具一般是数码相机等，价格低廉，并且可以获得具有“照片级”高度真实感的模 浙江大学博士学位论文 基于田像序列的建筑物模型重建技术研究与实现 型。在可以预见的未来，它将在广告制作、影视制作、建筑设计、虚拟现实和 i n t e r - n e t 等领域获得广泛的应用。 1 2i b m 技术进展 基于图像的建模可以分为根据主动线索建模的方法和根据被动线索建模的 方法，如图1i 所示。根据主动线索建模是指人为地在物体表面上打上条纹或者 阴影，并且根据这些信息建模。根据被动线索建模是指利用场景中物体本身所具 有的一些特征进行建模，如某些几何特征和纹理特征。因为根据被动线索建模利 用了图像中物体本身的特征信息，从而减少了获取图像前的准备工作，因此基于 图像的建模通常采用根据被动线索建模的方法。 图1 1 基于图像建模技术分类 根据建模所用的图像数目不同，我们将根据被动线索建模的方法又分为：基 于立体图像对建模、基于单幅图像建模和基于图像序列建模等几种。基于立体像 对建模是指利用同一场景的两幅图像进行建模，其典型流程包括相机定标、图像 匹配等过程，根据立体像对匹配算法不同，我们将基于立体像对的建模又分为利 用区域匹配的方法重建、利用相位匹配的方法重建、利用能量函数匹配的方法重 建和交互式重建等几种。利用场景中的已知形状或某些结构信息，如场景中直线 的垂直或平行关系等，可以从单幅图像中重建出物体的三维模型。根据重建使用 的几何元素不同，我们将基于单幅图像的建模分为以体为重建元素的建模、以平 面为重建元素的建模以及曲面重建等几种。 浙江大学博十学位沦文 第一章基于图像建模( i b m ) 拄术综述 1 2 1 根据主动线索的重建方法 b o u g u e t 【b o u g u e t2 0 0 2 提出了一种根据主动线索重建场景三维模型的方法。如 图12 ( n ) 所示，需要有两个互相垂直的平面，把物体放在水平面上。通过相机定 标确定光源和水平面n 。的位置，就可以通过 ，求解出垂直平面兀。的位置。操作 者要在光源前面移动一根细杆，其阴影投射在物体表面上，形成一根曲线，如图 1 2 ( 6 ) 上面所示。在某一时刻r ，细杆在水平和垂直平面上的投影分别为八。( 幻和 a ，( r ) ，它们对应的图像分别为z 。( t ) 和丑。( t ) 。根据水平面和垂直平面的位置可 以求解出a 。( f ) 和a 。( t ) 。如果阴影投射在物体表面上一点p ，其对应的图像点为 p ，这样，直线0 护与阴影平面s a 。( f ) a ，( t ) 的交点即为点尸的三维坐标。 ( a ) 原理示意图( b ) 重建结果 图1 2 根据主动线索重建方法 这种方法成本低廉，获得的模型精度也比较高，但是需要人工剑造重建线索 操作复杂，并且不适合大型场景。 1 2 2 基于被动线索的重建方法 基于被动线索的重建方法利用场景中存在的一些几何特征来重建场景模型， 从而避免了人工创造重建线索的烦琐步骤。 1 2 2 1 基于立体图像对建模 基于计算机视觉理论建模的基本原理在于根据两幅差别较小的透视图像求 出空间点的深度。如图1 3 ( 口) 所示，在输入为单幅图像时，图像点p 对应的三维 浙江大学博士学位论文 基于图像序列的建筑物模型重建技术研究与实现 空间点j p 可以在相机成像中一t l , c 和图像点p 的连线上任意移动。也就是说，在 没有其它先验知识的前提下，从单幅图像是无法求出p 点深度信息的，也就无法 重建出物体的三维模型。而在图1 3 ( 6 ) 中，图像点p 和p ，相匹配，所以它们对应 的三维空间点p 可以由直线c l p 。和c ：p ：的交点来确定。因此，只要确定了相机 的参数和图像点的匹配情况，p 点的深度就确定了，进而可以从图像中重建出物 体的三维模型。 ， ，一， p 、 ( 。) 单幅图像空间点与图像点对应关系( 6 ) 根据图像对重建原理 图1 3 基于立体图像对重建原理 p o l l e f e y s 在基于图像的建模方面做了大量细致的工作，他在文献 p o t l e f e y s 1 9 9 9 ( 2 ) ，p o l l e f e y s2 0 0 0 ，p o l l e f e y s2 0 0 2 中提出的方法可以自动地完成建模工作的整个 过程，其算法也是利用立体图像对进行建模的典型流程，主要包括以下几步：( 1 ) 抽取特征点，并进行特征点匹配，求解投影矩阵；( 2 ) 利用投影矩阵和特征点标 定相机内外参数；( 3 ) 根据相机参数将图像对重投影，得到重投影图像对：( 4 ) 重投影后的图像对逐点匹配，求解各点的深度，得到密深图；( 5 ) 将计算出深度 的三维离散点三角化，进行纹理映射，得到纹理映射后的最终物体表面模型。 p o l l e f e y s 的方法有以下优点：( 1 ) 自动化程度高是其算法最大的特点。按照 p o l l e f e y s 的流程，从特征点搜索、匹配，到立体像对的逐点匹配和最后的三角化 和纹理映射，只要指定用于建模的立体图像对，整个模型重建的过程基本上不需 要人的干预。( 2 ) 可以处理比较复杂的曲面。因为两幅图像之间的匹配是逐点进 行的，与场景的复杂度无关，所以即使比较复杂的曲面，也可以通过强壮的匹配 算法进行两幅图像之间的匹配，从而得到较好的重建模型。 但是，我们应该看到，这种方法也有一些它所特有的弱点：( 1 ) 需要花费的 时间较长。因为该方法要进行两幅图像之间逐点匹配，以求得图像的密深图。为 了得到较好的匹配效果，匹配过程一般要进行各种各样的非线性优化，所以花费 的时间很长，往往需要几个小时，甚至几十个小时。( 2 ) 匹配效果不好。对于颜 色比较单一的墙或者有重复纹理的结构等，虽然采取各种优化算法，进行逐点匹 配时的误配率还是会大大增加，这将严重影响重建模型的效果。 浙江大学博士学位论文 第一章基于图像建模( i b m ) 技术综述 周骥 周骥2 0 0 3 运) 1 相似的过程进行了基于立体图像对建模工作的探索，并 在特征点匹配、密深图匹配等方面进行了改进。利用多种优化方法，提高了特征 点匹配和密深幽匹配的效果，在算法稳定性方面取得了长足的进步。 p o l l e f e y s 的匹配算法是基于区域的匹配( a r e a b a s e dm a t c h i n g ，a b m ) 算法， 每一对待匹配的像素点及其邻域的灰度值都确定了一个系数，称为相关系数，根 据两个像素的相关系数来确定它们是否匹配。c a l w a y c a l w a v1 9 9 5 1 和x i e x i e2 0 0 0 利j h 傅立叶变换把信号的时域信息转化为频域信息，然后利用频域信息进行立体 像对的匹配。冈为窗口傅立叶变换是线性变换，所以利用频域信息进行匹配，速 度快；而且对于噪声和图像模糊的抗干扰能力也较强。但是这类算法往往有更多 的参数需要调整，匹配效果也不稳定。w e n g w e n g1 9 9 2 和p r o e s m a n s p r o e s m a n s1 9 9 4 提出了利用光流场进行匹配的方法，他们用像素灰度作为相似肚量度，同时用光 流场连续陛条件作为约束。其计算量和存储量都小于基于区域的匹配方法，但是 该方法对图像噪声非常敏感，并且要求有较好的初值。 对于建筑物等形状比较规则的场景，用p o l l e f e y s 的算法匹配时间长，而且由 于瀑配率的增加将会导致最终重建效果不好。c i p o l l a 提出了一种针对建筑物模 型的交互式建模方法 c i p o l l a1 9 9 9 ，其方法流程如下： 选择图 像线段 三角化、纹理映 射得到最终模型 相机 定标 求解投 影矩阵 ；粼? 图1 4 基于立体图像对的交互式建模流程图 首先，用户在图像上交互选择一些在三维空问互相平行或垂直的边：利用这 些平行线信息求解图像上的灭点，根据灭点标定相机参数，求解每一幅图像对应 的投影矩阵；然后利用图像之问的投影关系，在两幅图像上寻找更多的匹配点， 利用酗l _ 3 所示的原理求解各点的深度；将这些点三角化并进行纹理映射，以得 到最终的重建模型。该方法本质上还是利用立体图像对进行建模的方法，只不过 根据建筑物的特点，交互地指定了两幅图像之问的匹配点，缩短了匹配的时间， 但是同时也增加了手工交互的工作量，并且只能根据两幅图像求出建筑物的局部 模型。 浙江大学博士学位论文 基于图像序列的建筑物模型重建技术研究与实现 1 2 2 2 基于单幅图像建模 理论上来说，如果没有任何其它的先验知识，从单幅图像是无法恢复出物体 的三维模型的。但是如果充分利用人对自然场景理解的先验知识，从荦幅图像完 全可以恢复出建筑物等场景的三维模型。由于这种方法具有较强的实用性，许多 研究人员在这方面做了大量工作 d e b e v e c1 9 9 6 ，p h o t 0 3 d p h o t o m o d e e r l i e b o w i t z 1 9 9 9 ( 2 ) ，h o r r y1 9 9 7 ，z h a n g2 0 0 1 。根据其重建模型的基本几何单元不同，基于单幅 图像的建模又可以分为：以体为基本单元的重建方法、以平面为基本单元的重建 方法、以及曲面重建方法等几种。 1 2 2 2 1 以体为重建单元的建模方法 针对建筑物的规整性，d e b e v e c 提出了一种以体为重建单元的建筑物模型重 建方法 d e b e v e c1 9 9 6 。首先，在系统中定义多种几何模型构件，如长方体、棱锥 等通过尺寸和形状变量将这些几何模型参数化。利用手工交互在图像上指定建 筑物模型各部分对应的几何模型和各构件之间的依赖关系。然后根据图像上建筑 物轮廓信息的投影关系列出一系列方程，这些方程以相机内、外参数、各部分对 应的几何模型的参数和各部分之间相对位置为自变量。通过非线性优化算法求解 列出的方程，可以得到建筑物场景各部分对应的模型构件尺寸和相对位置，求出 的各部分模型合并在一起组成完整的建筑物模型。另外，d e b e v e c 基于单幅图象 的建筑物重建方法也可以参考文献 d e b e v e c1 9 9 6 ( 2 ) ，d e b e v e c1 9 9 9 。 d e b e v e c 提出的该重建方法简单实用，操作也非常方便，扩展性也比较强，对 特定的建筑物模型是非常有效的。但是它也存在一些不足：( 1 ) 不灵活。因为该 方法要在系统中定义很多种几何模型并将它们用特定的变量参数化，这项工作本 身的工作量就比较大；( 2 ) 建筑物场景中通常包含一些无法用特定的参数化模型 描述的部分，如不规则的多面体等，这样就会造成该方法失败if 3 1 因为不同的 几何模型有不同的参数，所以很难用统一的形式进行优化。 1 2 2 2 2 以平面为重建单元的建模方法 因为建筑物场景中平面是常见的几何元素，所以对以平面为重建单元的建模 方法的研究也比较广泛。其中，l i e b o w i t z 的方法最具有代表性 l i e b o w i t z1 9 9 9 ( 2 ) 1 。 其方法的基本思想是确定个基平面，该基平面确定了一个二维图像空间，如果 可以找到空间点在基平面上的投影，就可以求解出该点的投影在二维图像空间上 的坐标，再求解出该点到基平面的距离，该点的三维坐标就确定了。 浙江人学博士学位论文第一章基于图像建模( i b m ) 技术综述 图15l i e b o w i t z 以平面为重建单元的单幅图像建模算法流程图 图15 所示是l i e b o w i t z 重建方法的过程，主要分为如下几步 f 1 ) 利用图像中各方向的平行线求出图像上各方向的灭点，然后根据互相垂直方 向上的灭点求解相机内参数。 ( n ) 透视图像中的平面( 6 ) “校正”后的平面 图l6 平面“校正”示意图( 摘自 l i e b o w i t z1 9 9 9 ( 2 ) 中的图l 和图2 ) f 2 ) 选定个平面作为“基平面”，根据求解的相机参数和平面上的一个矩形对基 平面进行校正( r e c t i f i c a t i o n ) 。所谓“校正”，就是将一个透视投影的平面投影 回原来的三维空间，从而得到一幅类似于相机成像平面与三维空问平面平行 时拍摄的图像。因为基平面上的一点映射到“校正”后平面上的唯一点， 所以原图像基平面上的点在“校正”后图像上的坐标可求。图1 6 ( n ) 显示的 一幅透视图像，白色的线框和点是用来对所在平面进行“校正”的，图1 6 ( 6 ) 是校正后的图像。 浙江大学博士学位论文 基于图像序列的建筑物模型重建技术研究与实现 ( 3 ) 如果空间某点 在基平面尸上的投影， 已知，则其投影m 在“校正”后的 基平面上的二维坐标可根据第( 2 ) 步求解。然后根据计算机视觉原理求解点 到基平面尸的距离，这样点m 的三维坐标就完全确定下来了。 ( 4 ) 依次连接各平面的轮廓点就可以重建出模型的各平面，这样递归下去就可以 得到由平面组成的场景物体的表面模型。 也就是说，对于需要求解三维坐标的顶点，必须能够在图像上找到它们在基 平面上的投影，否则该点的三维坐标将无法求出。例如，对于一个有尖顶的建筑 物，如果以地面为基平面，而尖顶在地面上的投影无法确定，该尖顶的三维坐标 就无法求解，所以限制了该方法在建筑物场景重建中的应用。s t u r m 等提出了一 种类似的重建方法 s t u r m1 9 9 9 ，他们把图元之间的几何关系归纳为三种约束：点 共面约束、矢量或平面法向量垂直、矢量或平面法向量平行，最后将所有约束关 系表达为一个非线性问题的求解，通过优化方法求解得出平面和点的位置，从而 恢复出场景物体的表面模型。w i l c z k o w i a k 提出了利用场景中的平行六面体标定 相机参数，然后利用单幅图像或两幅图像重建平面组成物体的方法 w i l c z k o w i a k 2 0 0 1 ，w i l c z k o w i a k2 0 0 2 1 ，除了定标方法的差别之外，重建的其它过程与上面的方法 基本一致。 类似的基于平面的建模方法还有 p h o t 0 3 d ，p h o t o m o d e l e r 。它们都以面为重建的 几何单元，生成物体的表面模型。但是，这些算法都只能利用单幅图像，重建出 建筑物的部分表面，无法得到建筑物的整体模型。 1 2 2 2 3 交互式曲面重建 l i z h a n g 等提出了一种基于单幅图像的交互式自由曲面重建技术 z h a n g 2 0 0 1 。他们将物体表面形状用五种约束关系来描述：点约束、表面不连续约束、 折缝约束、平面区域约束、边缘曲线约束。点约束指的是要重建表面的位置或者 是表面的法向量；表面不连续约束描述了重建表面的裂缝：折缝约束( c r e a s e c o n s t r a i n t ) 描述了表面法向量不连续的折缝边缘；平面区域约束表明表面上某些 小区域在同一平面上；边缘曲线约束能够让用户沿着图像上任意曲线控制重建表 面的平滑性。通过这五种约束，物体表面各部分之间的相互关系可以用各自的约 束方程形式表示出来，最后问题转换成一个在线性约束下的二次非线性优化问 题。求解该优化问题，就可以得到满足交互指定的约束条件的物体平滑表面。 对于曲面重建，这些方法都可以得到相当不错的结果。但是一般来说，它们 只适用于一些较小的连续的曲面重建。对于建筑物或者其它较大的场景，或者并 浙江大学博士学位论文 第一章基于图像建模( i b m ) 技术综述 非连续表面的场景重建，它们就无能为力了。而且，它们的交互量一般都很大 操作较繁琐，往往要经过多次调整才能取得较好的效果。 1 2 2 3 基于图像序列建模 物体在图像上的轮廓是理解物体几何形状的一个重要线索。假设从不同的角 度拍摄一个三维物体得到一系列图像，每张图像中都可以抽取出物体的轮廓，从 投影中心发出经过轮廓点的射线构成了一个锥壳，锥壳和锥壳内的部分占有空间 中一块体积。不同角度拍摄的图像各自具有这样的锥体，所有这些锥体的交集就 构成了物体的三维模型。如果采样足够密集，则通过这种方法可以得到比较精确 的实体模型。m a r t i na n da g g r a w a l 最早提出了利用物体轮廓进行模型重建的方法 m a r t i n l 9 8 3 。c h i e na n d a g g r a w a l 提出了利用正交投影从多幅图像提取实体模型 的方法 c h i e n1 9 8 6 ， p o t m e s i l1 9 8 7 ，s r i v a s t a v a1 9 9 0 提出了利用任意多幅透视投影视 图构建实体模型的方法。 对于凸物体而言，这种方法简单可靠。但是实际生活中大部分物体要么有起 伏，要么有孔洞，对于这样的非凸物体使崩基于可见轮廓的方法重建会丢失凹进 部分的细节。 l a u r e n t i n i1 9 9 4 提出一1 种方法找出非凸物体中哪一部分与几何外形 有关，并把它们分为外包络( e x t e r n a lh u l l ) 和内包络( i n t e m a lh u l l ) ，然后通过分析 给出了计算内外包络的算法以及复杂度。 k a n g2 0 0 i 用代数曲面根据物体的轮廓 线来恢复三维表面。这是一个线性方法，利用了三维点和切平面之间的对偶性质， 并且用代数曲面来表示三维表面，其中代数曲面是隐式的2 次或更高次多项式。 较早的类似研究见于 c r o s s1 9 9 8 ，g i b l i n1 9 8 7 】，在这些文献里都假设相机运动是已 知的。 m e n d o n e a2 0 0 0 ，s u l l i v a n1 9 9 8 将原来的算法扩展到相机运动未知的情况下。 w o j c i e c h2 0 0 2 中也使用物体的视觉包络( v i s u a lh u l l s ) 来建模。w o j c i e c h 介绍了一 种根据图像中物体的轮廓计算和绘制视觉包络的方法，其中用到了极线几何和增 量计算( i n c r e m e n t a lc o m p u t a t i o n ) 技术，使得逐像素的渲染开销近似为常量。这种 算法不受有限分辨率，计算复杂度以及量化误差的困扰，并且在一定程度上可以 做到实时性。文中计算视觉包络的方法具有两个特点：1 计算在图像空间中进行： 2 所得结果是视点相关的。在图像空间中计算的好处是消除了重采样和量化误 差。这种方法类似于用光线投射法( r a y c a s t i n ga p p r o a c h ) 找出c s g ( c o n s t r u c t i v e s o l i dg e o m e t r y ) 的交集。利用物体轮廓建模一般需要较多的图像。 1 2 3 各种基于图像建模方法的比较 浙江大学博士学位论文基于图像序列的建筑物模型重建技术研究与实现 表i 1 各种基于图像建模方法的比较 建模方法性质自动化算法难易建模质量建模需适用领域 程度 程度 要时间 适用于移动不大的 基于立体图完全基 可以实 需要强壮可以很精 相机拍摄的两幅图 象对的重建于图像现完全 的算法，确地恢复 很k像建模。受匹配算 所以较难出物体曲 力的建模自动化法影响，对有重复 实现圆 纹理的模型不合适 适用于归整的建筑 以体为元素 物，可以得到完整 的重建方法 可以比较 物体三维模型，对 比较容易 精确的恢 难以参数化的形体 基于图实现 复出物体较短 不适合 以平面为元像和几 交互式 的表面模 适合于平面组成的 型 多面体重建，但只 素的重建方 何混合 建模 能得到部分表面模 法式建模型，无法得到完整 模型 涉及到各可以比较 交互式曲面 种曲面约精确地表 较长 适应于较简单的曲 重建束方程，示曲面表面重建 实现较难衄 基于可见轮基于图 一定程 和图像 一般需要图像采样 廓的重建 像序列 度上实 比较容 现自动 易实现 采样密一般密度比较大，适合 方法 的建模 度有关 凸物体的重建 化 表1 1 是主要的基于图像的建模方法在建模性质、自动化程度、算法实现难 易程度、建横质量、建模所需时间长短以及适用领域等方面的比较。可以看出， 各种基于图像的建模方法所适用的领域不同，各有优缺点。从中也可以看出，除 了p o l l e f e y s 的方法可以基本实现自动化外，其它的方法都需要人的交互操作。 然而，伴随自动化而来的是各种复杂的算法，难以实现并且需要漫长的计算过程。 由此可见，人的参与在基于图像的建模工作中还是非常重要的i 如果有人的先验 知识参与，完全可以从单幅透视图像中恢复出场景物体的三维模型。可以说， d e b e v e c 的方法是其中最简单，并且易于实现的，但是在有些情况下并不适用， 究其原因，是因为对有些情况来说，以体为重建元素，重建单元的粒度还是太大 了。但是，d e b e v e c 的方法难以处理的场景，l i e b o w i t z 的以平面为重建单元的方 法可以很好的处理，但是他们的方法很难重建场景的完整模型。这似乎是一个矛 盾，如何解决这个矛盾，把各种基于单幅图像的建模方法结合在一起，是一个值 得研究的课题。 浙江大学博士学位论文 第+ 章基于图像建模( f b m ) 技术综述 1 3 本文的研究目的和组织结构 1 3 1 本文的研究目的 本文的研究目的是：根据建筑物的规整性，研究场景中建筑物存在的视觉信 息，提出一种新的基于图像序列的建筑物模型重建方法。该算法允许通过少量的 交互操作，从场景本身包含的信息求解相机内、外参数，并且可见简便地从图像 中恢复出建筑物的三维模型；当输入是一个场景的完整图像序列时，能够从中恢 复出该场景中建筑物的完整模型。 1 3 2 算法概要 本文基于图像序列的建筑物模型重建算法的思想是：首先，利用图像中包含 的几何信息求解相机参数，然后利用每幅图像恢复出该图像对应的场景部分模 型，最后根据各图像之间的关系，将各独立场景模型合并成为一个完整模型。这 样，基于图像序列的建筑物模型重建算法的总体流程如图1 7 所示。 表1 2 列出了在算法流程中各部分的解决方案。 基于图像序列的建筑物模型重建技术研究与实现 八 v u 雪 耵采样v 000 相机定标 d 基于单幅 图像建模 。l。 弋夕 多场景 模型合并 上 最终完整模型 图i7 基于图像序列的建筑物模型重建算法的总体流程 浙江大学| 尊士学位论文 第一章基丁图像建模( i b m ) 技术综述 表12 各部分解决方案对应表 在相机定标问题上，本文主要对真实场景巾的平面约束、角结 构约束及平行线约束进行了研究，并有