（信号与信息处理专业论文）高精度三维重建技术的研究.pdf

摘要 摘要 本论文研究了如何由非定标图像序列恢复三维物体，对其中的若干关键技 术，特别是射影重建和自定标进行了深入研究。传统的方法都是针对已定标的图 像序列进行的，因而很难推广应用，实用性较差。本文的重点是在理论和实践两 方面研究了，在既不知道相机内部参数，又不知道相机外部参数的情况下，如何 由图像序列进行三维欧氏重建。本文给出的方法提高了三维物体重建的精度和速 度。主要成果如下： 1 提出了1 维子空间射影重建方法。该方法利用第1 幅图像点构成的3 个行向量 外加一个行向量就可以组成射影空间中一个基底的特性，将4 维子空削转化为 1 维子空间。理论分析和实验结果表明，该方法具有重建精度高和计算量小的 优点。 2 提出了一种利用重投影点代替遮挡点的基于遮挡射影重建方法。该方法首先假 设遮挡点都位于图像中心，进行射影重建，然后利用重投影点代替图像中的遮 挡点，经过多次迭代，最后求到遮挡点的真实图像位置并完成射影重建。由于 该方法利用了所有可见点的信息求解遮挡点的位置，因此具有较高的重建精 度。 3 提出了基于几何距离意义和代数距离意义下的线性迭代集束调整方法。由于调 整的参数值变化非常小，可利用上一次迭代求到的值代替本次迭代过程中的 值，交替地求取投影矩阵和射影空间点。理论和实验结果表明，该方法具有收 敛速度快、运算量小等优点。 4 提出了一种利用绝对二次曲面约束方程的线性迭代自定标方法。该方法首先假 设相机的畸变因子为0 及主点坐标位于原点，利用绝对二次曲面约束方程，得 到相机的初始内参数，再通过图像的坐标变换，使图像符合开始假设的相机所 获取的图像，经过多次线性迭代，最终实现相机的自定标。实验结果表明，该 自定标方法具有运算量小、收敛性好等优点。 5 ，提出了一种基于图像变换矩阵，将绝对二次曲面像的各个元素变换到同一个数 量级上的自定标方法。在已往的自定标方法中，由于二次曲面像的各个元素不 在一个数量级上，导致对噪声极其敏感。本文提出的方法在不增加计算复杂度 的条件下，能够提高自定标的精度及鲁棒性。 6 提出了一种适用于摄像机相对景深做较小运动情况下的基于单应性矩阵的增 i i西安电子科技大学博士学位论文：高精度三维重建技术的研究 强虚拟现实方法。摄像机在这种运动下，可以用一个单应性矩阵来描述两帧之 间的关系，这样大大简化了真实场景和虚拟场景的组合。理论和对真实图像序 列实验表明，该方法具有计算量小和真实性强等优点。 关键词：三维重建自定标射影重建集束调整遮挡 垒! ! ! 坠塑 坐 a b s t r a c t o u rr e s e a r c hi sf o c u s e do nt h ep r o b l e m so f3 dr e c o n s t r u c t i o nf r o m i m a g e s e q u e n c e sa n ds o m ec r i t i c a l i s s u e sr e l a t e dt ot h i s s u b j e c t ，s u c h a sp r o j e c t i v e r e c o n s t r u c t i o na n dc a m e r as e l f - c a l i b r a t i o n t r a d i t i o n a l a p p r o a c h e sa r eb a s e do na p r e l i m i n a r yc a l i b r a t i o no ft h ec a m e r as e t u p t h i s h o w e v e r , i sn o ta l w a y sp o s s i b l eo r p r a c t i c a l t h eg o a lo ft h i sw o r ki st oi n v e s t i g a t et h et h e o r e t i c a la n dp r a c t i c a lf e a s i b i l i t y i ne u c l i d e a nr e c o n s t r u c t i o nf r o mi m a g es e q u e n c e sw i t h o u ta n yp r i o rk n o w l e d g ee i t h e r a b o u tt h ep a r a m e t e r so ft h ec a m e r a s ，o ra b o u tt h e i rm o t i o n s m e a n w h i l e ，s e v e r a l m e t h o d s ，s u c ha sh o wt oi m p r o v et h ea c c u r a c ya n dt h es p e e do fr e c o n s t r u c t e d3 d o b j e c t ，a r ec o n s i d e r e di nt h i st h e s i s m a i nc o n t r i b u t i o n sa r ea sf o l l o w s ： 1 a ni t e r a t i v ef a c t o r i z a t i o nm e t h o db a s e do n1 ds u b s p a c ef o rp r o j e c t i v es t m c t u r e a n dm o t i o ni sp r e s e n t e d nr e l i e so nt h ef a c tt h a tt h eb a s i so fp r o j e c t i v es u b s p a c e c a nc o n s i s to ft h et h r e er o w si nt h em a t r i xc o m p r i s i n gt h ef i r s ti m a g ep o i n t sa n d o n er o wv e c t o rt h a ti so r t h o g o n a lt h ef o r m e r t h ee x p e r i m e n t sw i t hb o t hs i m u l a t e a n dr e a ld a t as h o wt h a tt h em e t h o di se f f i c i e n tf o rt h er e c o v e r yo fp r o j e c t i v e s t m c t u r ea n dm o t i o n 2 am e t h o df o rp r o j e c t i v er e c o n s t r u c t i o nf r o mu n c a l i b m t e di m a g es e q u e n c ew i t h o c c l u s i o n si sp r o p o s e d t h er e - p r o j e c t i o np o i n t sr e p l a c ea l lt h eo c c l u s i o n sa n d p r o j e c t i v er e c o n s t r u c t i o ni so b t a i n e df r o ma l l t h ep o i n t sa l t e r n a t e l y , a n dt h er e a l p o s i t i o n so fo c c l u s i o n s a n dt h ea c c u r a t ep r o j e c t i v er e c o n s t r u c t i o na r e f i n a l l y o b t a i n e d b e c a u s et h eo c c l u s i o n sa r eo b t a i n e df r o ma l lt h ei m a g ep o i n t s ，t h e m e t h o di sp r e c i s ef o rt h er e c o v e r yo fp r o j e c t i v es t r u c t u r ea n dm o t i o n 3 t om i n i m i z et h em e a n s q u a r e da l g e b r a i cd i s t a n c ea n dt h eg e o m e t r i cd i s t a n c e ，w e p r o p o s e al i n e a rr e s e c t i o n - i n t e r s e c t i o nb u n d l e a d j u s t m e n t m e t h o df o r p h o t o g r a m m e t r i cb u n d l ea d j u s t m e n t w ea d j u s tt h ep a r a m e t e r si ns os m a l lr a n g e t h a tt h ev a l u e so fp r o j e c t i o nm a t r i c e sa n dt h es p a c ep o i n t sc a nb es u b s t i t u t e db y t h e i rv a l u e si nt h el a s ti t e r a t i o n t h et h e o r ya n de x p e r i m e n t ss h o wt h ec o n v e r g e n c e s p e e do ft h em e t h o di sf a s t 4 ac a m e r as e l f - c a l i b r a t i o nm e t h o db a s e do nt h el i n e a ri t e r a t i o ni sp r e s e n t e d b a s e d o nt h ec o n s t r a i n te q u a t i o n so ft h ea b s o l u t eq n a d r i ca n dt h eh y p o t h e s e st h a tt h es k e w f a c t o ri sz e r oa n dp r i n c i p l ep o i n tl o c a t e st h eo r i g i n ，t h ei n i t i a l l yc a m e r ai n t r i n s i c p a r a m e t e r sa r ea t t a i n e d b yt h ec o o r d i n a t et r a n s f o r m a t i o n ，t h ei m a g es e q u e n c e a c c o r d sw i t ht h eo n et h a tt h ea s s u m e dc a m e r ac a p t u r e s a f t e rs e v e r a li t e r a t i o n s ，t h e i v西安电子科技大学博士学位论文：高精度三维重建技术的研究 r e a li n t r i n s i c p a r a m e t e r s a r eo b t a i n e d t h e e x p e r i m e n t s s h o wt h a tt h e s e l f - c a l i b r a t i o nm e t h o di se f f i c i e n t ，r o b u s ta n dh a sg o o dp r o p e r t yo fc o n v e r g e n c e 5 ，t h ee l e m e n t so ft h ed u a la b s o l u t eq u a d r i ch a v es ol a r g ed i f f e r e n c e si nm a g n i t u d e t h a ts o l u t i o n sa r ee x t r e m e l ys e n s i t i v et on o i s e t os o l v et h ep r o b l e m ，w ep r o p o s e d t h em e t h o dt h a ta l lt h ee l e m e n t so ft h ed u a la b s o l u t eq u a d f i ca r et r a n s f o r m e di n t o t h es a l - n em a g n i t u d eb a s e do na ne v a l u a t i v ei n t r i n s i cp a r a m e t e r t h es e l f - c a l i b r a t i o n m e t h o dc a nl e a dt oa t le n o r m o u si m p r o v e m e n to nt h es t a b i l i t ya n dr o b u s t n e s so ft h e r e s u l t sw i t h o u ti n c r e a s i n gc o m p u t a t i o n 6 w ea d d r e s sa na u g m e n t e dr e a l i t ys y s t e mt h a to p e r a t e si nt h ee n v i r o n m e n tt h a tt h e t m n s l a t i o no ft h ec a m e r ai sv e r ys m a l lc o m p a r e dw i t ht h ed i s t a n tt ot h e3 - ds c e n e t h i si sas p e c i a lc a s eo ft h eg e n e r a lp r o b l e m ，w h i c hs i g n i f i c a n t l ys i m p l i f i e s m e r g i n gt h er e a la n dt h ev i r t u a l ，b e c a u s eah o m o g r a p h yc a l l d e s c r i b et h ei m a g e m o t i o nb e t w e e nt w of r a m e so fav i d e os e q u e n c e t h et h e o r ya n de x p e r i m e n t sw i t h r e a lv i d e os e q u e n c es h o wt h a tt h ep r o p o s e da rs y s t e mi sv e r ys i m p l ea n de f f i c i e n t k e y w o r d ：3 d r e c o n s t r u c t i o n ；s e l f - c a l i b r a t i o n ；p r o j e c t i v e r e c o n s t r u c t i o n b u n d l ea d j u s t m e n t ；o c c l u s i o n s 第一章绪论 第一章绪论 1 1 引言 人类主要通过视觉感知世界。在所有感知的信息中，视觉信息占了人类各种 感知器官所获得的外界信息量的8 0 。视觉信息对感知世界的这种重要性极大地 促进了计算机视觉技术的研究和发展。随着计算机技术和信号处理理论的迅速发 展，如何利用计算机视觉通过一幅或多幅图像获取周围的环境信息，以达到扩展 人类视觉的能力，已经成为目前计算机技术中重要的研究领域之。一。而三维重建 则是计算机视觉研究领域中一个重要的分支。依照m a r r 的理论【l j ，视觉信息处理 是从相机获得的二维图像开始的，可分为三个层次：( 1 ) 基元图，它由二维图像 中的边缘点、直线段、曲线、顶点、纹理等基本几何元素或特征组成：( 2 ) 2 5 维描述，它是在以观察点为中心的坐标系统中，表示目标可见表面的方向、深度 值和不连续的轮廓等；( 3 ) 三维模型表示，它是在以目标为中心的坐标系中，对 目标的三维形状及其空间组织形式进行描述。其中第一层次是整个视觉信息处理 的基石和保证，第三层次是视觉处理的高级阶段。 在计算机视觉技术中，根据图像信息对物体进行三维重建具有极高的应用价 值 2 _ 5 】。从宏观而言，它可以应用于对宇宙世界的探索；从微观而言，它可以应用 于对分子、原子世界的探索。在日常生活中，三维重建更可广泛地应用于教育、 医疗、商业和娱乐业。1 9 9 2 年，作为一个多用途、独立于操作平台的三维图形应 用程序接( a p t ) 的o p e n g l 开始广泛地应用于工业界。与此同时，为了描述三维 景象，虚拟现实建模语言( v r m lv i r t u a lr e a l i t ym o d e l i n gla n g u a g e ) 也作为一个开 放的、可扩展的工业标准广泛地应用于i n t e r n e t 。上述二者为三维模型研究和应用 提供了很好的软件工具。因此，近年来计算机视觉领域中三维重建的研究被普遍 关注【6 。1 ”。 由图像序列进行三维物体重建，是对该物体用单个手提相机获取它的图像， 当相机移动后，用得到的图像序列进行该物体的欧氏重建。由相机所获得的图像 序列得到有关景物的三维信息是综合电子学、光学和计算机技术发展的一项先进 技术，在国际上已引起广泛重视1 1 2 - 1 5 j 。 相机模型可以采用一个投影矩阵来表示，该矩阵包含了相机的内部和外部参 数信息。9 0 年代以前，由两幅或多幅图像重建三维物体时，都是事先标定出相机 的内参数，再确定该投影矩阵，然后通过将两幅图像的匹配点反变换到三维空间， 这样就实现了景物的三维重建【1 6 1 。但是，相机定标是一个非常繁琐的过程，而且 每次使用时都需要重新定标。对于很多空间和时间有限制的任务来说，这种方法 !西安电子科技大学博士学位论文：高精度三维重建技术的研究 更是难以实现，所以人们迫切需要一种新方法来避免这一繁琐的过程。为了避免 这一过程，有许多关于利用景物的先验知识( 例如：平行线、直角、长度比等) 来实现相机定标的方法【1 7 2 们。但在许多情况下，很难知道景物中的先验知识，所 以这些方法的应用也受到一定的限制。进入9 0 年代后，越来越多的学者把注意力 转向相机的自定标 2 1 - 2 6 1o 自定标不需要事先测得相机参数，而是利用一个普通相 机的自由移动所拍摄的一组图像序列，经过计算求得相机的内部参数并重建出景 物的三维坐标，其优点是方便、实时、费用低。 在自定标的发展过程中，首先，f a u g e r a s l 2 7 】提出了基于绝对二次曲线的自定 标方法，并利用绝对二次曲线的特性导出了k r u p p a 方程，通过求解k r u p p a 方程 来实现相机的自定标。但该方法极易发散，得到的结果也不稳定，所以很难得到 真实解，这一方法主要出现在自定标的早期。h a r l t e y 28 等人给出了自定标和欧氏 重建的分层算法，该算法的思想是将射影重建到欧氏重建的过渡分成两个阶段： 1 从射影熏建到仿射重建的过渡；2 从仿射重建到欧氏重建的过渡。基于绝对二 次曲面的自定标方法首先出现在h e y d e n 的工作中【2 9 3 0 1 ，他将绝对二次曲面用于 相机自定标，得到的方程形式较为简洁，且绝对二次曲面同时包含了空间的仿射 和欧氏结构。后来各种各样的自定标方法大多数都是基于绝对二次曲面的，在这 些方法中，都需要解一个非线性方程组或其相应的非线性规划问题【3 1 3 3 】，这些方 法鲁棒性较差，而且对初值的选取也十分敏感。在重建实验方面，h e y d e n 和 a s t r o m 3 4 1 假定在相机移动过程中，相机的内参都保持不变的前提条件下，进行了 一些模型的欧氏重建实验。但在许多情况下，在照相过程中需要调整焦距，所以 该方法只能求出一个近似值。最近，p o l l e f e y s t 3 5 等从理论上证明了只要相机的歪 斜因子为零，从8 幅以上图像序列就可以获得相机的内外参数以及实现物体的三 维重建，从而使对相机数目的限制减为最少。但在实验过程中，他们假定相机像 素的特征比为1 及光心在图像的中心。这种假设虽然可以简化求解过程，但是在 实际应用中，由于制造工艺等原因，这种假设难以成立的，所以得到的结果也不 会很精确。针对这一问题，本文假设所使用的手提相机的焦距是变化的，而其他 几个参数也是未知的，但在拍摄过程中这几个参数却保持不变。这种模型更符合 实际情况，从而有利于得到更精确的重建结果。 由图像序列进行三维物体的欧氏重建是一项非常有意义的技术，由于相机自 定标技术的不断完善，近年来，研究人员对三维物体重建有了广泛的研究并取得 了显著的进展。西安电子科技大学在三维重建方面也进行了大量的工作，并取得 了一些成果。陈泽志博士对西安钟楼进行了三维重建m j ，但是他在重建过程中， 假定相机像素的特征比为1 ，并且要求所有的特征点在檠个图像序列中都可见。 这样就使得他的重建方法受到一定的限制。唐丽博士提出了基于遮挡的重建方法 3 7 , 3 8 1 ，但她并没有平等地看待整个图像序列中的图像，而是侧重前两幅图像，这 必影响重建的精度。姜光博士提出了基于旋转运动的三维重建方法( ”“】，该方法 第一章绪论3 要求相机或重建物体做纯旋转运动，这样必然导致其在应用中受到一定限制。本 文主要对其中的一些关键算法进行了研究。 1 2 三维视觉的主要研究内容 计算机视觉的研究目标是使计算机具有通过二维图像认知三维环境信息的 能力。这种能力将使计算机能感知三维环境中物体的几何信息，包括它的形状、 位置、姿态、运动等。计算机视觉的问题是一个逆问题，其目的是要从带噪声、 畸变的二维图像中恢复三维场景的有关信息( 如形状、位最等物理特性) 。但在图 像的投影过程中，不可避免地要丢失一部分重要信息，正是这些丢失信息的恢复 形成了计算机视觉研究的核心问题从图像序列中求出景物精确的三维几何描 述，并定量地确定景物中物体的空间性质。 物体三维重建的方法分为主动和被动两大类，主动的方法包括结构光 ( s t r u c t u r e dl i g h t ) 方法和激光扫描方法等，后者可以提供较高的三维重建精度，但 是价格昂贵，而且该类方法也容易受到应用环境和被测物体性质的限制。被动的 方法主要是根据相机拍摄的图像序列进行物体的三维重建。与主动的方法相比， 被动的方法不需要昂贵的设备，在应用中不受上述环境和物体性质的约束。在近 十年中，研究者们非常重视该类方法的研究，并提出了各种相关计算方法与技术 4 2 。4 5 】，以求达到较满意的三维重建结果。该类技术被称为从运动中恢复结构 ( s t r u c t u r ef r o mm o t i o n ) 或从运动中恢复形状( s h a p e f r o mm o t i o n ) 。 在解决诸如s h a p ef r o mx 等问题时，通常都隐含地假设分割问题已解决或者 根本不存在分割问题，此外，往往还需要引入一些约束条件，如乎滑性，物体的 刚性等。这些条件仅在很局限的情况下是成立的，之所以被计算机视觉引用，主 要是由于其简单性和数学上的易解性。 由图像序列进行三维物体的欧氏重建，主要需解决以下几方面的问题： 1 特征点跟踪( f e a t u r e t r a c k i n g ) 。给出一幅图像中的特征点，如何找出它们在其 余图像中的对应点 4 6 4 8 1 。这是一个病态问题，通常首先进行特征点提取1 4 9 - 5 i ， 再求出这些点之间的对应关系。若相邻两幅图像间的视差变化不大，则易于 准确跟踪，但是以此进行三维重建则会产生较大的计算误差；若相邻两幅图 像问的视差变化较大，则不易于进行准确的跟踪，但对三维重建来说会得到 较好的计算结果。因此我们通常采用较长的图像序列，虽然相邻两幅图像问 的视差变化不大，但整个图像序列的视差范围足够大，这样就可以在准确跟 踪的同时保证三维重建的计算精度。 2 多线性约束关系( m u l t i l i n e a rc o n s t r a i n t s ) 。对来自同一景物的几幅非定标图 像，存在一些几何约束关系。当只有两幅图像时，存在双线性约束关系1 5 2 。”j ， 一般也称为对极几何约束( e p i p o l a rc o n s t r a i n t s ) ；当只有3 幅或4 幅图像时， 4 西安电子科技大学博士学位论文：高精度三维重建技术的研究 存在三线性约束关系( 也称为三焦距张量) 5 6 6 2 】或四线性约束关系( 也称为 四焦距张量) 1 6 1 6 3 】；当图像数大于4 时，则不存在这样的几何约束关系【硎。 三线性约束关系和四线性约束关系中既蕴藏着对极几何关系，也包含着对极 几何所不包含的信息。这些约束关系是可以从匹配点序列中获得，与景物的 结构无关，只与相机的内、外参数有关。 3 射影重建( p r o j e c t i v er e c o n s t r u c t i o n ) 。f a u g e r a s 【2 7 】指出，仅从图像本身，而 没有进。步的先验知识，得到的三维重建具有一个射影变换的模糊性。但是 射影重建是欧式重建的必要阶段，其精确性将影响最终的结果。所以学者们 在这个问题仁也投入了许多精力1 6 s - 6 9 1 。h a r t l e y 提出了基于相机参考的射影重 建方法【”l ，他将第一个相机投影矩阵定义为个简单的单位阵和一个零向量， 而其它相机的投影矩阵由相机间的多视角几何关系来确定。这样，所有相机 的投影矩阵和真实投影矩阵之间只存在一个射影变换。t o m a s i 和k a n a d e 等 提出了以景物为参考的分解算法1 7 ，但他们的方法只适用于正交投影所得的 图像。t r i g g s 和s t u r m 等提出的分解算法可以用于射影相机模型【7 2 , 7 3 1 ，但是 要通过每两幅图像间的对极几何关系求取一些深度因子。而s p a r r 和h e y d e n 提出了一种基于深度概念的迭代算法1 7 4 , 7 5 1 ，该算法基于正交相机模型得到一 个初始值，所有的深度因子都相同，通过迭代，深度因子可以迅速收敛到正 确值，同时得到分解后的射影重建。为了进一步提高射影重建的精度，一种 优化方法一集束调整fb u n d l ea d j u s t m e n t ) 被应用【耐7 8 】，该方法是基于重投影 的最小均方误差意义下的优化算法。 4 自定标技术( s e l f - c a l i b r a t i o n ) 。由于所使用的相机为手持相机，其运动特性事 先并不确定，而且其焦距和主点等内参数也可能随着自动对焦而发生变化， 所以为了得到最终的三维重建，每幅二维图像所对应的相机的相对位置、姿 态及其内参数都应有待于求解。因为不涉及手动定标，这种定标过程称为自 定标。从1 9 9 2 年f a u g e r a s 等人指出相机的内参数有可能从非定标图像求取 以来i7 9 1 ，自定标成为许多学者研究的课题l 卧吲。最初的自定标方法是基于绝 对二次曲线的，该方法应用了一个k r u p p a 方程通过对极几何关系来求解绝 对二次曲线从而得到相机的内参数【踮8 9 1 。但是，该方法假定相机在拍摄过程 中相机的内参数保持不变。这一假定过于理想化，不适用于手持相机的情况。 h e y d e n 等人于1 9 9 6 年提出了一种基于绝对二次曲面的自定标算法 2 9 1 ，虽然 他选择的相机模型仍然为固定内参数的模型，但是得到的公式较为简洁且易 于求解。t r i g g s 于1 9 9 7 年对绝对二次曲面做了系统的阐述并推导出一种能够 适用于可变内参数的自定标算法 9 0 l ，该算法同等地对待所有的相机投影矩阵， 且方程形式较为简洁，从而提高了方程的收敛性；同时，绝对二次曲面同时 包含了空间的仿射和欧氏结构，因此应用绝对二次曲面可以避免由于分层算 法所引起的不稳定问题。 第一章绪论 5 5 稠密匹配( d e n s em a t c h i n g ) 。当相机的内外参数确定后，由一组匹配点就可 以得到相应的空间点。由于我们所要求的三维模型往往都有稠密的三维表面， 所以要求二维匹配点也是稠密的，即稠密匹配。自动地得到含有较少误差的 稠密匹配点非常困难，它是计算机视觉中的一个瓶颈问题，国际上有许多著 名学者在进行这方面的研究【9 1 _ 9 4 】。这些匹配算法可分为两类：一类是在校正 ( r e c t i f i c a t i o n ) 的两幅图像之间进行的【9 5 ，需将非校正的图像对通过校正的 办法使它们标准化1 9 “。另一类方法是不通过图像校正，而直接作用于非校正 的图像对，如q u a n 等人的区域增长法【9 ”。 6 三维重建。由二维图像序列获得三维物体的射影重建，仿射重建，进而将其 升级为欧氏重建是由图像序列进行三维物体形状恢复的最终目的。 c m u ( c a r n e g i em e l l o nu n i v e r s i t y ) 基于t o m a s i 和k a n a d e 的分解算法首先开发 了一个三维重建系统1 7 1j ，但由于它使用的是仿射相机模型且只用了特征匹配 点，因此重建的模型质量较差。近年来，p o l l e f e y s 9 剐、c h e n 9 9 1 、o k a t a n i 1 0 0 l 以及f a u g e r a s 1 0 i 】等人都给出了较好的重建算法。 总的来说，由手提相机获得的图像序列进行三维重建的全过程如图1 1 所示。 一攀 图1 1 由序列图像进行三维重建的系统流程图 甲印 6 两安电子科技大学博士学位论文：高精度三维重建技术的研究 1 3 本文的主要工作 学位论文的选题来自于两个国家自然科学基金项目一“真实场景与虚拟物体 混合的增强视频技术研究”( 编号：6 0 4 7 3 1 1 9 ) 和“内容基视频编码中的运动补偿” ( 编号：6 0 0 0 2 0 0 7 ) 。作者近年来在吴成柯教授的指导下，阅读了大量相关技术文 献，对非定标图像序列进行三维重建过程中的若干关键技术进行了深入研究，并 取得了以下研究成果： 1 提出了1 维子空间射影重建方法。利用第1 幅图像点构成的3 个行向量再加 一个行向量就可以组成射影空间的一个基底的特性，将4 维子空间转化为1 维子空间，因此可以用迭代方法代替s v d 分解，大大减少了计算量。理论分 析和实验结果表明，该方法具有重建精度高和计算量小的优点。 2 提出了一种存在遮挡的射影重建方法，该方法利用重投影点代替图像中的遮 挡点，进行射影重建，经过多次迭代，最后求到遮挡点的真实图像位置并完 成射影重建。由于该方法利用了所有可见点的信息求解遮挡点的位置，因此 具有较高的重建精度。 3 针对具有几何距离意义及代数距离意义的目标函数，分别提出了基于几何距 离意义和基于代数距离意义的线性迭代集束调整方法。针对具有几何距离意 义的目标函数，利用在集束调整过程中，由于调整的参数值变化非常小，因 此可以利用上一次迭代求到的值来代替本次迭代过程中的值的特性，交替地 求取投影矩阵和射影空间点。同时，本文提出了利用求代数距离的极小值代 替求几何距离的极小值，通过线性迭代地求取代数距离的极小值，由于该方 法考虑了深度因子为投影矩阵的第3 行行向量与射影空间点相乘而得到的， 所以该方法具有较快的收敛速度。 4 提出了一种利用线性迭代方法来实现相机自定标。该方法首先假设相机的畸 变因子为0 及主点坐标位于原点，利用绝对二次曲面约束方程，得到相机的 初始内参数，再通过图像的坐标变换，使图像符合开始假设的相机所获取的 图像，经过多次线性迭代，最终实现相机的自定标。该方法既不需要求解非 线性方程组，也不需要求解其相应的非线性规划问题，而是利用线性迭代的 方法求到相机的5 个内参数，最终实现相机的自定标。实验结果表明，该自 定标方法具有运算量小、收敛性好等优点。 5 针对绝对二次曲面像的各个元素不在一个数量级上，导致自定标算法对噪声 极其敏感这一缺点，提出了一种基于图像变换法的自定标方法。该方法首先 估计一个内参矩阵，然后通过变换，使绝对二次曲面的像的各个元素在一个 数量级上。该方法和咀往方法相比，在相机自定标过程中，并不会增加计算 的复杂度，却能够提高自定标的精度及鲁棒性。 第一章绪论7 6 针对摄像机相对景深做较小运动时所获得的图像序列，本文提出了一种基于 单应性矩阵的增强虚拟现实方法。摄像机在这种运动情况下，可以用一个单 应性矩阵来描述两帧之间的关系，这样就大大简化真实场景和虚拟场景的组 合。同时，由于虚拟场景来自二维图像，因此，对准问题也就非常容易解决。 理论和真实图像序列表明，该方法具有计算量小和真实性强等优点。 1 4 本文的结构安排 第一章绪论。介绍了计算机视觉研究面临的基本问题和近年来取得的研究 成果，并分析了由图像序列进行三维物体重建必须解决的一些关键技术。 第二章射影几何基础及多视角张量。介绍了射影几何的数学基础，在假设 相机模型为针孔模型的条件下，引出了在该模型i - - 的多视角张量。还介绍了一些 贯穿全文的一些概念如射影变换、仿射变换、欧氏变换、二次曲面等。 第三章射影重建。利用所有的图像序列构成的行向量生成的线性子空间之 和与射影重建结构点构成的行向量生成的子空间是同一线性子空间的特性，在该 线性子空间中，任何一个基底都可以作为射影重建的性质，提出了基于子空间的 线性迭代射影重建。并在此基础上，提出了基于1 维子空间线性迭代射影重建和 基于遮挡的射影重建方法。 第四章集束调整。针对具有几何距离意义及代数距离意义的目标函数，分 别提出了基于几何距离意义和基于代数距离意义的两种线性迭代集束调整方法。 第五章相机自定标。提出了一种利用绝对二次曲面约束方程的线性迭代自 定标方法，该方法利用线性迭代的方法求取相机的5 个内参数，最终实现相机的 自定标。同时，针对绝对二次曲面的像的各个元素不在一个数量级上，导致自定 标算法对噪声极其敏感这一缺点，提出了一种基于图像变换法的自定标方法。 第六章增强虚拟现实方法。针对摄像机相对景深做较小运动时所获得的图 像序列，本章提出了一种基于单应性矩阵的增强虚拟现实方法。 第七章结束语。总结全文，指出该领域存在的一些问题以及有待于今后进 一步研究改进的算法。 1 5 第一章参考文献 【1 】 m a r rd ，v i s i o n ：ac o m p u t a t i o n a li n v e s t i g a t i o ni n t ot h eh u m a nr e p r e s e n t a t i o n a n dp r o c e s s i n go fv i s u a li n f o r m a t i o n h e n r yh o l ta n dc o m p a n y , 1 9 8 2 【2 】 y fl ia n dz h a n gb ，am e t h o df o r3 dm e a s u r e m e n ta n dr e c o n s t r u c t i o nf o r a c t i v ev i s i o n m e a s u r e m e n ts c i e n c ea n dt e c h n o l o g y , v 0 1 1 5 ，n o 1 1 ，n o v 2 0 0 4 ， p p 2 2 2 4 2 2 3 2 第一章绪论7 6 、针对摄像机相对景深做较小运动时所获得的图像序列，本文提出了一种基于 单应性矩阵的增强虚拟现实方法。摄像机在这种运动情况下，可以用一个单 应性矩阵来描述两帧之间的关系，这样就大大简化真实场景和虚拟场景的组 合。同时，由于虚拟场景来自二维图像，因此，对准问题也就非常容易解决。 理论和真实图像序列表明，该方法具有计算量小和真实性强等优点。 1 4 本文的结构安排 第一章绪论。介绍了计算机视觉研究面临的基本问题和近年来取得的研究 成果，并分析了由图像序列进行三维物体重建必须解决的一些关键技术。 第二章射影几何基础及多栅角张量。介绍了射影几何的数学基础，在假设 相机模型为针孔模型的条件下，引出了在该模型下的多视角张量。还介绍了一些 贯穿全文的一些概念如射影变换、仿射变换、欧氏变换、二次曲面等。 第三章射影重建。利用所有的图像序列构成的行向量生成的线性子空间之 和与射影重建结构点构成的行向量生成的子空间是同一线性子空间的特性，在该 线性子空间中，任何一个基底都可以作为射影重建的性质，提出了基于子空间的 线性迭代射影重建。并在此基础上，提出了基于1 维子空间线性迭代射影重建和 基于遮挡的射影重建方法。 第四章集束调整。针对具有几何距离意义及代数距离意义的目标函数，分 别提出了基于几何距离意义和基于代数距离意义的两种线性迭代集柬调整方法。 第五章相机自定标。提出了一种利用绝对二次曲面约束方程的线性迭代自 定标方法，该方法利用线性迭代的方法求取相机的5 个内参数，最终实现相机的 自定标。同时，针对绝对二次曲面的像的各个元素不在一个数量级上，导致自定 标算法对噪声极其敏感这一缺点，提出了一种基于图像变换法的自定标方法。 第六章增强虚拟现实方法。针对摄像机相对景深做较小运动时所获得的图 像序列，本章提出了一种基于单应性矩阵的增强虚拟现实方法。 第七章结束语。总结全文，指出该领域存在的一些问题以及有待j 二今后进 步研究改进的算法。 1 5 第一章参考文献 m a nd ，v i s i o n ：ac o m p u t a t i o n a li n v e s t i g a t i o ni n t ot h eh u m a nr e p r e s e n t a t i o n a n dp r o c e s s i n go fv i s u a li n f o r m a t i o n h e n r yh o l ta n dc o m p a n y , 1 9 8 2 y fl ia n dz h a a gb am e t h o df o r3 d t e a s u t e m e n ta n d c o n s r u c d f o r a c t i v ev i s i o n m e a s u r e m e n ts c i e n c ea n dt e c h n o l o g y , v 0 1 1 5 ，n o 1 1 ，n o v 2 0 0 4 ， a c t i v ev i s i o n m e a s u r e m e n ts c i e n c ea n dt e c h n o l o g y , v 0 1 1 5 ，n o 1 1 ，n o v 2 0 0 4 ， p p 2 2 2 4 2 2 3 2 8 西安电子科技大学博士学位论文：高精度三维重建技术的研究 - _ _ _ _ _ _ _ _ _ - _ _ - _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ - _ _ _ _ _ _ _ _ _ _ _ _ _ _ - - _ _ _ _ _ _ - _ _ _ _ _ _ _ _ _ _ _ _ 一 【3 】 i s a a cc o h e na n dm u nw a il e e ，3 db o d yr e c o n s t r u c t i o nf o rl m m e r s i v e i n t e r a c t i o n p r o c a m d o ，2 0 0 2 ，p p 1 1 9 1 3 0 【4 】 n i e d e r s tj ，3 dr e c o n s t r u c t i o na n da c c u r a c ya n a l y s i so fh i s t o r i c a lr e l i e f m o d e l s p r o c e e d i n g so ft h e3 r di n t e r n a t i o n a ls e m i n a ro nn e wd e v e l o p m e n ti n d 酒t a lp h o t o g r a m m e t r y , g i f u ，j a p a n ，2 0 0 1 ，p p 3 4 - 3 7 【5 】陈泽志，刘勇，吴成柯相机非定标图像序列三维物体的测量自然科学进 展，v 0 1 1 2 ，n o 7 ，2 0 0 2 9 ，p p 9 7 5 - 9 8 1 6 】d u n c a nr o b e r t s o na n dr o b e r t oc i p o l l a ，b u i l d i n ga r c h i