（机械设计及理论专业论文）图像特征提取、匹配和新视点图像生成技术研究.pdf

摘要摘要基于图像的绘制技术是近几年兴起的一种新的虚拟场景绘制策略，它已成为当前计算机图形学界的一个研究热点。基于图像的绘制技术结合了计算机图形学、计算机视觉、图像处理、摄影测量学等许多学科的理论和成果，用真实的图像来代替传统的几何建模，使绘制的图像真实自然、绘制的速度不依赖于场景的复杂度。本文对该领域中新视点图像生成和其相关技术进行了研究，主要包括特征的检测和提取、基于点特征和线特征的宽基线( w i d eb a s e l i n e ) 图像匹配、基于轮廓对应的任意新视点图像生成等。特征检测是图像处理中的一项基本技术。根据匹配和新视点图像生成的需求。特征检测方法需要特征定位的精度较高，能同时检测出角点、边缘等不同特征等。本文研究了基于相位一致的特征检测技术，从频域分析图像灰度的突变位置。讨论了不同方向的多尺度下相位一致值计算，并研究了一种用矩理论对各方向相位一致数据进行综合的方法，可有效的区分和提取边缘和角点特征。现有虚拟视点图像生成中初始匹配点的选取，通常是直接在图像上由用户交互方式进行或由摄像机标定得到。交互方式容易受人为主观操作因素和图像分辨率的影响，使对应匹配点的选取产生误差，并且使视图生成过程需人工干预，不能实现完全的自动化，给实用化带来很大的困难；摄像机的标定需要采集图像摄像机的一些先验知识，限制了虚拟视点图像生成方法的适用范围。本文提出宽基线图像匹配方法，分别是基于点特征的匹配和基于线特征的匹配，将其应用到视图生成中，从而实现了虚拟视点图像的自动生成。根据欲匹配源图像问几何变形的不同，提出了两种点特征邻域的选取和匹配原理方法。当图像之间的尺度差异较小时，例如，在虚拟漫游中摄像机环绕景物运动时采集的序列图像，提出种基于仿射不变量的点特征区域提取和匹配方法，能适应大的视点变化和光照条件的变迁。该方法以图像中颜色的局部极值点为种子点，过种子点作射线，将沿各射线上颜色变化为最大的点连线围成区域，取该区域的椭圆拟合作为特征区域，该特征区域具有仿射不变性。当图像之间尺度相差较悬殊时，可通过多尺度分析，在三维尺度空间选取颜色值为不连续突变的角点作种子点，特征区域是以种子点为圆心的邻域。对已选出的局域特征区域，逐步消除几何交换和光照变换对图像区域的影响，构造特征向量来表征该区域内颜色分布，通过特征向量的比较来确定特征区域的匹配。实验表明基于上述点特征区域的匹配方法具有较强的鲁棒性，可应用于宽基线图像的匹配。基于点特征的匹配适用于纹理信息较丰富的图像，对于纹理信息较少的图像，为获得足够多的匹配点，还需要基于线特征的匹配。相对于基于点特征的室基线图像匹配，线特征在宽基线图像的匹配应用中研究较少，线的匹配提供的图像间信息较少，但我们可以通过匹配直线的端点、交点，由匹配的直线段得到匹配的点。本文提出的线特征匹配方法通过基于相位一致的边缘检测技术，检测出图像边缘，提取组成边缘直线段链，由三条相邻直线段构成待匹配基元。检测组成基元的直线段间相对位置关系和相互连接方式，得到基元的不变量描述，以此作为匹配准则确定基元匹配，各基元的匹配关系构成图像间直线段的相似矩阵，通过相似矩阵的值确定全图像中直线段间的潜在匹配。并根据所有潜在匹配中直线段间的相对位置关系，提出了一种直线段匹配的全局几何约束，剔除错误匹配，得到了较好的直线段匹配效果。该算法可应用于宽基线图像的匹配。大连理工大学博士学位论文由已知图像合成新视点的图像是基于图像的绘制中的一项基本技术，它用具有高度真实感的图像来表示虚拟场景。视图合成工作是在两幅同一目标景物，不同视点的图像之间合成一系列连续的期间过渡图像，其中要求合成视图应该具有三维真实感，如同虚拟摄像机所采集的图像。本文提出一种基于摄像机横向和纵向移动采集的图像合成新视点图像的方法，该方法在合成图像中优先保证轮廓对应准确，从而使合成图像轮廓清晰。对通过摄像机分别作横向和纵向运动采集的四幅图像，本文提出的新视点图像生成方法，可以实现在上述四幅图像视点围成的四边形中任意新视点图像。对于一幅图像来说，图像中形体轮廓线和区域分界线具有特殊的意义。一方面，轮廓边界是重要的视觉感知线索。图像中像素颜色值的变化，在一个区域内往往保持比较稳定的模式，在边界处则会发生急剧的突变。人类视觉的特点则是对颜色和亮度的变化最为敏感。在图像处理中，轮廓相对于其它图像信息也易于识别和提取。另一方面人类正是主要通过物体的轮廓来区别和认识物体的，如果生成图像的轮廓质量高，则生成的图像整体质量必定也高。实际上，质量不高的图像其最明显的外在特征就是边缘轮廓线模糊不清。因此，本文提出一种改进的基于轮廓对应的视图合成方法，首先以组成轮廓的直线段间相对位置和方向得到直线段间的正确对应，再由匹配的直线段和极线几何约束得到匹配的轮廓点，保证了轮廓对应的准确性，使合成图像轮廓清晰。再以轮廓为界限制其它像素的对应，减少错误匹配的几率，从而使生成图像出现“灰影”的概率减少，图像质量较好。对于摄像机纵向运动采集的图像，提出了一种确定远视点图像中无对应区域的处理方法，使得算法对采集图像的摄像机运动没有任何限制。可以有效实现插值。本文咀导管架下水运动参数测量系统的开发为主要的工程应用背景，研究了基于立体视觉和序列图像的非接触式测量方法。导管架是圃结于海底用以铰接和支撑海上工作平台( 海上钻井平台、采油平台等) 工作的大型结构件，它通常是在陆地制造。其安装过程是由专门驳船运载到安装地点，通过滑行下水。为保证安装过程的顺利进行，需对其进行实物模型测定运动，在此基础上进行计算机模拟分析，以便做出可靠的预测，控制导管架的滑行下水运动状态。导管架下水运动状态复杂，结构尺寸大，运动范围广，又是在水面操作，采用常规方法测量十分困难。基于立体序列图像三维重建是近年来计算机视觉研究的热点，它结合立体视觉和运动分析两方面的优点，出现了很多新的研究方法，各种方法的主要区别在于特征点的匹配上。本文将其应用到导管架下水运动的测量中，对实物模型进行测定，在特征点的匹配上提出新的解决方案。实验表明，将立体视觉与运动分析相结合可实现导管架下水运动的非接触式测量，测量精度较高，能够满足测量需要，可实现在线测量。关键词：基于图像的绘制；虚拟现实；新视点图像生成；宽基线图像匹配；仿射不变量直线段匹配：立体视觉i i英文摘要a b s t r a c ti m a g e b a s e dr e n d e r i n g ( i b r lt e c h n i q u ei sa na l t e r n a t i v es t r a t e g yf o ra c h i e v i n gv i r t u a lr e a l i t y ( v r ) ，a n di th a sb e c o m ea ni m p o r t a n tr e s e a r c ha r e ai nc o m p u t e rg r a p h i c si nr e c e n ty e a r s i b ri san e wt e c h n i q u et h a tc o m b i n e sm a n yr e s u k si nc o m p u t e rg r a p h i c s ，c o m p u t e rv i s i o n ，i m a g ep r o c e s s i n ga n dp h o t o g r a m m e t r i c i tr e p l a c e st h et r a d i t i o n a lg e o m e t r i cm o d e l i n gw i t i tt h et e a lw o r l di m a g e s t om a k et h er e n d e r e di m a g er e a la n dn a t u r a la n d 廿l er e n d e r i n gt i m ei n d e p e n d e n to ft h es c e n ec o m p l e x i t y t h ei m a g es y n t h e s i so fn e wv i e w p o i n ta n ds o m er e l a t e dk e yt e c h n o l o g i e si nt h e ra r er e s e a r c h e di nt h i sd i s s e r t a t i o n t h ee x t r a c t i o no ft h ef e a t u r e si st h eb a s i ct e c h n i q u eo fi m a g ep r o c e s s i n g f o rt h en e e do ft h em a t c h i n ga n di m a g es y n t h e s i st i l em e t h o do fe x t r a c t i o nc a nd e t e c tt h ed i f f e r e n tf e a t u r e so fc o m e r sa n de d g e sa n dp r e c i s i o no f t h ec o m e rl o e a t i o ni sr e l a t i v e l yg o o d t h em o d e lo f p h a s ec o n g r u e n c yi ss t u d i e d t h ec l a s s i c a lm o m e n ta n a l y s i si sa p p l i e dt op h a s ec o n g r u e n c yi na l lo r i e n t a t i o n s t h er e s u l t i n gc o m e ra n de d g eo p e r a t o ri sh i g h l yl o c a l i z e da n dh a sr e s p o n s e st h a ta r ei n v a r i a n tt oi m a g ec o n t r a s t i ns o m ei m a g es y n t h e s i st e c h n i q u e s t h ec o r r e s p o n d i n gf e a t u r e si nt h ei r a n g e sa r es e l e c t e dm a n u a l l y a u t o m a t i o no ft h ep o i n tc o r r e s p o n d e n c ei sd i 伍c u l t f i n d i n gc o r r e s p o n d e n c eb e t w e e nt w ow i d e l ys e p a r a t e dv i e w si sa ni m p o r t a n to p e ni s s u ei nc o m p u t e rv i s i o n t h i sd i s s e r t a t i o nr e a l i z e sa u t o m a t i ce x t r a c t i o no ft h ee p i p o l a rg e o m e t r yi nw i d eb a s e l i n ei m a g e sp a i r s a n di n t r o d u c e sr o b u s tm e t h o d sf o ra u t o m a t i c a l l ym a t c h i n gf c a t u r e si ni m a g e sc o r r e s p o n d i n gt ot h es a m ep h y s i c a lf e a t u r eo na no b j e c tc a p t u r e df r o mt w oa r b i t r a r yv i e w p o i n t s t h i sa p p r o a c hc a nb ea p p l i e dt ot h ei m a g es y n t h e s i st or e a l i z ei t sa u t o m a t i s m as u f f i c i e n ta m o u n to fc o r r e s p o n d e n c e sb e t w e e nt h ei m a g e si sa c q u i r e db ym a t c h i n gl o c a li n v a r i a n tr e g i o n s i n v a r i a n tr e g i o n s a r ei m a g ep a t c h e st h a ta u t o m a t i c a l l yd e f o f i r lw i t hc h a n g i n gv i e w p o i n ta st ok e e po nc o v e r i n gi d e n t i c a lp h y s i c a lp a r t so fas c e n e s u c hr e g i o n sa r et h e nd e s c r i b e db yas e r i e so fi n v a r i a n tf e a t u r e s w h i c hm a k e si tr e l a t i v e l ye a s yt om a t c h 也e mb e t w e e nv i e w sa n du n d e rc h a r t g i n gi l l u m i n a t i o n r o b u s t n e s st of a l s em a t c h i n gi so b t a i n e db ya p p l y i n gr a n s a c ag o o dl i n ed r a w i n gc a np r o v i d em u c ht h ei n f o r m a t i o nt h a tm i g h tb ec o n t a i n e di nap h o t o g r a p ho ft h es a m es c e n e a n di nd o i n gs oo n l yr e q u i r e sas m a l lf r a c t i o no f t h ed a t au s e db yp h o t o g r a p ht or e p r e s e n tt h ei n f o r m a t i o n t h em a n m a d ee n v i r o n m e n t sc o n t a i nm a n yl i n e a rs t r u c t u r e s h o u s e s ，f u r n i t u r e ，o u t d o o ra n di n d o o re l i v l r o l m m e n t si ng e n e r a lc o n t a i nai a r g en u m b e ro fp l a n a rs t l r f a c e s t h e s es u r f a c e so f t e ni n t e r s e c te a c ho t h e rt of o r ml i n es e g m e n t s t h i sd i s s e r t a t i o nu s e st h o s el i n es e g m e n t st of i n dc o r r e s p o n d i n gp o i n t sb e t w e e ni m a g e s s t a r t i n gt r o md e t e c t e dl i n es e g m e n t si nt w oo rm o r ei m a g e su s i n gp h a s ec o n g r u e n c y ，t h ep a i r so f l i n es e g m e n t sa r ec h a r a c t e r i z e db yi n d i c e st h a te n c o d et h er e l a t i v ep o s i t i o n sa n do r i e n t a t i o n so ft h o s es e g m e n t s t h ee n c o d i n gi n d i c e sa r ei n v a r i a n tw i t hr e s d e c tt ov i e w p o i n tc h a n g e sa n dt h ec o r r e s p o n d i n gl i n es e g m e n t sb e t w e e nt h ei m a g e sc a nb ef o u n db yt h e m t h ef e a t u r em a t c h i n gi so p t i m i z e df o ri m a g es y n t h e s i sw h e r ew ew i s ht oi g n o r eu n r e l i a b l em a t c h e sa tt h ee x f l e n s eo f r e d u c i n gt h en u m b e ro ff e a t u r em a t c h e s r e s u l t sa r ep r e s e n t e do nr e a l i m a g e s g e n e r a t i n gal a r g en u m b e ro fi m a g e so fa ne n v i r o n m e n tf r o mc l o s e l ys p a c e dv i e w p o i n t si sav e r yu s e f u lc a p a b i l i t y i nt h i sp a p e ran e wm e t h o do fv i e ws y n t h e s i so ft h ec o n t o u rm a t c h i n g 圩o ms e r i a li m a g e st a k e nb yc a m e r am o t i o nb a s e do nc o n t o u ri n f o n n a t i o ni sp r o p o s e d ac h a r a c t e r i s t i co ft h eh u m a nv i s i o ni ss e n s i t i v et ot h ec h a n g eo ft h ec o l o ra n dl l i大连理工大学博士学位论文l u m i n a n c e t h eh u m a nr e c b g n i z e st h eo b j e c t st h r o u g ht h ec o n t o u r si n f o r m a t i o no ft h eo b j e c t s f r o mt h i sr e a s o nan e wm e t h o do fi m a g es y n t h e s i sb a s e do nt h ei n f o r m a t i o no ft h ec o n t o u r sj sp r e s e n t e d t h ei n f o r m a t i o no ft h ec o n t o u r sm a k e si te a s i e rt ob er e c o g n i z e da n dm a t c h e db e t w e e nt w oi m a g e st l l a l lt h eo t h e rp i x e l si nt h ei m a g e 眦sp a 口e rp r o v i d e sau e wc o n t o u rm a t c h i n gm e t h o db e t w e e nt h ei m a g e sf r o mt h ei n f o r m a t i o no ft h er e l a t i v ep o s f f i o n sa n do r i e n t a t i o n so ft h o s el i n e s t h a to b t a i n st h er i g h tr e s u l to fc o u t o u r so fs y n t h e s i si m a g et h r o u g hi n t e r p o l a t i o no fc o r r e c tm a t c h i n gc o n t o u rp i x e l s a tt h es a l l et i m e ，t h ec o r r e s p o n d i n gc o n t o u rp i x e l sc a nl i m i tt h ec o r r e s p o n d e n c e so ft h eo t h e rp i x e l sa n dr e d u c et h ep r o b a b i l i t yo fc o r r e s p o n d i n ge r r o r b yt h i sm e t h o 正ac l e a re d g ei m a g ec 锄b ec r e a t e da n dt h e r e f o r eab e t t e rd e s t i n a t i o nd i g i t a li m a g ec a l lb eo b t a i n e d ai a c k e ti sas u p p o r t i n gs t r u c t u r ef o rd e c kf a c i l i t i e ss t a b i l i z e db yl e gp i l e st h r o u 曲t h es e a b e d f o rl a r g ej a c k e ti n s t a i i a t i o i l s ，al a u n c h i n gm e t h o di so f t e na p p l i e d t h e0 p t i m i z a t i o no fl a u n c h i u gd e s i g ni sn e c e s s a r yt om i n i m i z et h es t r e s st 0j a c k e ta n db a r g e n u s ，t h ee v a l u a t i o no ft h el a u n c ho f 姐o f f s h o r ei a c k e ti sn e e d e d ag e n e r a lp r o c e d u r ef o ra n a l y s i sw i t hv a r i o u sc o n d i t i o n sa n dl a u n c h i n gc r i t e r i ai sd i s c u s s e da n di n v e s t i g a t e db yn u m e r i c a lm o d e l i n g b u t ，n od a t ao fo n t h e * s p o ts u r v e yv a l i d a t ei t d u et ot h ec o m p l e x i t yo ft h eo p e r a t i o na n dt h el a r g eo ft h ei a c k e tw e i g h ta n dd i m e n s i o n s ，t h e r ei sn o tas t r a i g h t f o r w a r dg u i d e l i n eo rt h ec o n v e n t i o n a lm e a s u r e m e n tf o ra n a l y s i so fm o t i o n t h j sd i s s e r t a t i o np r o p o s e st h et e c h n i q u et h a tc o m b i n e ss t e r e ov i s i o na n dm o t i o na n a l y s i st om a k ei tp o s s i b l e i tu s e sm a i n l yt w oc c dc a r u e r a st oa n a l y z et h ej a c k e tl a u n c hm o t i o n a n dt l l es t r u c t u r eo ft h es y s t e r ni ss i m p l e t h eo n l i n em e a s u r e m e n ts h o w st h a tc o m b i n i n gs t e r e ov i s i o na n dm o t i 0 1 3a n a l y s i sc a nr e a l i z et h em e a s u r e m e n to fj a c k e tl a u n c hm o t i o n ，a n d 也em e a s u r e m e n ti sf a k l yp r e c i s e k e yw o r d s ：i m a g e b a s e dr e n d e r i n g ；v i r t u a lr e a l i t y ；i m a g es y n t h e s i so f n e wv i e w p o i n t ；w i d eb a s e l i n ec o r r e s p o n d e n c e ；v i e wi n t e r p o l a t i o n ；a f f m e l yi n v a r i a n t ；l i n es e g m e n t sc o r r e s p o n d e n c e ；s t e r e ov i s i o n 第一章绪论第一章绪论1 1 研究背景及意义随着半导体、计算机和通信等技术飞速发展，数字化信息已经渗透到人类生活密切相关的各个领域。人类正向高度信息化的社会迈进。长期以来，人类一直致力寻求一种图文并茂，逼真自然，并具身临其境之感的和谐人机交互环境，毕竟纯数字化形式的信息不符合人们所习惯的接收的表示方式。正是这一需求，推动了虚拟场境绘制技术的兴起与发展。视觉信息是人类感知外部世界的主要渠道，人们从外部世界获取的信息中8 0 是通过视觉获取的”。而人的视觉系统是非常敏感和严格的，任何不满足物理学和光学定律的运动视景、任何同步不好的视频序列都会给视觉系统带来额外的刺激，严重影晌虚拟场境的真实感。在计算机图形学和计算机视觉领域，对3 d 场景的生成和漫游己进行了多年的研究，一个基本的目标是追求照片级的真实度。虚拟场景绘制涉及计算机图形学、计算机视觉和数字图像处理等领域。概括说来主要有两种绘制虚拟场境的方法：基于模型的绘韶l ( m o d e tb a s e dr e n d e r i n g ，m b r ) ：利用计算机图形学技术，对真实场景进行定义，从而建立三维场景模型，然后利用计算机实现场景模型的绘制、着色、消隐、光照以及投影等处理过程，最终生成对应给定视点和方向的图像。v r m l ( v i r m a lr e a l i t ym o d e l i n gl a n g u a g e ) 虚拟现实建模语言是一个芄型的应用例子，它用语言来描述场景元素，构建三维空闻，模拟现实事件，是一个开放可扩展的工业标准景象描述语言，用来描述i n t e r n e t 中景象或世界。基于图像的绘赘r l ( i m a g eb a s e dr e n d e r i n g ，i b r ) ：主要研究如何采用已知实景图像来直接生成虚拟视点下的对应图像。近年来，由于数字图像采集技术的发展和普及，基于图像的绘制技术有了很大的发展，尤其是对于野外复杂场景的生成和漫游。q u i c k t i m ev r 系统p j 是一个典型的应用例予，它通过对场景3 6 0 。全方位图像的采集、程序的无缝拼接，以及视角变化、热点设定给浏览者展现一个比较真实的三维空间。1 1 1 计算机图形学计算机图形学( c o m p u t e rg r a p h i c s ) 研究的是通过计算机将数据转化为图形，并在专用显示设备上显示的原理、方法和技术的学科。因此对图形在计算机中表示、计算、处理和显示的研究，构成了计算机图形学的主要研究内容。图形通常强调场景的几何表示，由点、线、面、体等几何元素和灰度、色彩、线型、线宽等非几何属性组成。主要分为两类，一类是基于线条信息表示的，如工程图、等高线图、曲面的线框图等，另一类是明暗图( s h a d i n g ) ，也就是通常所说的真实感图形。计算机图形学的一个主要目的就是要利用计算机产生令人赏心悦目的真实感( p h o t o r e a l i s t i c ) 图形。传统的计算机图形学方法有着坚实的数学和物理理论基础。为了生成一幅具有真实感的图像，通常是以三维几何信息为基础，试图通过计算机完全模拟真实世界的物体成像过程：先对场景中的所有物体建立三维几何模型和光照模型，然后指定视点，利用透大连理工大学哺士学位论文视投影原理将三维几何模型变换到二维屏幕空间，再经过图形剪裁，明暗处理，消影算法，最终产生真实的效果。然而，真实世界错综复杂，三维模型的建立非常困难，有的甚至超出了人或计算机的描述能力；同时，绘制过程计算量太大，实现实时地生成真实感的图像非常困难。因此，如何实现实时真实感图像绘制成为图形学的一个主要内容。为了有效的实时地生成可以接受的虚拟场景图像，目前主要采用的两种方法：( 1 ) 物体网格模型的面片简化：就是在定误差精度范围内，删除点、边、面，从而简化场景的复杂程度，加快图形绘制速度；( 2 ) 基于图像的绘制方法：它研究直接从一系列已知的图像中生成新视点图像，省去了建立场景几何模型和光照模型的过程，也不需要进行光线跟踪等费时的计算，在真实感和实时性上有很大的优势。1 1 2 数字图像处理和计算机视觉自上个世纪2 0 年代人类第一次实现在纽约和伦敦之间通过海底电缆传送图片至今，数字图像处理技术已经取得了突飞猛进的发展。在其短短的历史中，它成功的应用于几乎所有与成像有关的领域。数字图像处理( i m a g ep r o c e s s i n g ) 本来是指将一幅图像通过计算机技术变成另一幅经过变换的图像或者抽取图像中的测度的过程【4 j 。现在已经发展到从数字图像编码、压缩、传输、降噪到再现的所有处理过程。计算机视觉( c o m p u t e rv i s i o n )是在图像处理的基础上发展起来的一门交叉学科，从信息处理的层次研究视觉信息的认知过程，研究视觉信息处理的计算理论、表达与计算方法，试图通过对一幅或多幅二维图像的分析，感知三维环境的几何信息。然而由于摄像机内外参数标定以及立体匹配等过程的不鲁棒性，很难自动得到复杂场景的高精度几何信息。同时繁杂的计算过程也难以满足虚拟现实的要求。计算机视觉和计算机图形学在某种意义下是一个互逆的过程。因为计算机视觉研究的是如何从二维图像获得三维模型，感知三维环境中物体的几何信息，包括它的形状、位置、姿态、运动等，而且能对它们进行描述、存储、识别和理解。而计算机图形学研究的则是如何从三维模型得至u - = - 维的图像。这两门学科的融合概括了，从真实场景图像出发，利用计算机视觉的原理，恢复场景的几何信息，再经过计算机图形学的处理，生成绘制出虚拟视点下的图像的全过程。基于图像的生成绘制技术就是从这个思想出发，经过图像的采集、分析变换，按照采集图像中隐含的几何模型联系，直接生成图像的一种综合技术。在对采集图像进行分析综合中，还要运用数字图像处理的成就，它们之间的关系可以用图1 1 来表示。由图l 1 可知，虚拟视点图像生成算法主要分为两类：一类是传统的基于三维模型绘制的方法；另一类是随着i b r 技术的发展而形成的基于图像绘制的方法。表1 1 给出两弛方法的比较。传统的基于模型的方法根据构造的3 d 模型直接绘制近似逼真图像。尽管经过多年的研究，在3 d 建模和绘制方面已经取得了巨大的成就，但是仍然有很多实际需求不能被满足。首先，生成复杂的几何模型需要付出巨大的工作量，并且需要使用很多技巧；其次，为了绘制出较好的光照效果，需要大量耗时的计算并且往往依赖于经验；此外，在复杂景物的情况下，这类方法很难得到高质量的图像。第一章绪论图1 1i b r 与计算机图形学和计算机视觉的关系f i g 1 1t h er e l a t i o nb e t w e e ni b ra n dc o m p u t eg r a p h i c sa n dc o m p u t ev i s i o n由于目前的显示系统( 例如计算机的屏幕) 本质上是2 d 的，基于模型的方法生成的3 d 模型最终仍需投影成2 d 的图像。基于图像绘制的视图合成技术利用了当前显示技术的特点，直接通过对己知的2 d 图像进行处理。生成虚拟视点图像。基于图像的新视图合成技术与传统计算机图形学合成技术的根本区别在于：它不需要显式的几何建模，而通过对获取的源图像进行适当的几何和灰度变换，插补和综合出位于不同视点下的新视图( 目标图像) 。这类方法的最大优点在于；耳标图像给出的是客观真实的场景视图；算法复杂度与场景无关，在实时显示时不需要专业的图形加速设备；借助图形技术，可以获得与照片有同样真实感的源图像与虚拟物体的合成场景。表1 1 基于三维模型绘制和基于图像绘制方法的比较t r 由l e 1 1t h ec o m p a r i s o no f t h e3 d m o d e l b a s e dr e n d e r i n ga n d i m a g e - b a s e d r e n d e r i n g基于三维模型绘制( m b r )基于图像绘制( i b r )使用了三维模型仅仅使用参考图像绘制速度取决于场景的复杂程度绘制速度与复杂度无关需要硬件加速设备仅仅依靠中央处理器合成具有真实感的视图需要昂贵孵软件合成视图的真实感仅仅取决于源图像由于在复杂景物下图像表示优于图形表示的这些特点，基于图像的虚拟场景生成技术己成为近年来虚拟现实技术研究中最为活跃的研究方向之一。它在虚拟现实、电影特技、视频传输、g i s 系统、远程电视会议、旅游、房地产销售、影视特技及娱乐等领域得到了广泛的应用，具有良好的市场应用前景。1 2 基于图像的绘制技术1 - 2 1 1 基于图像的生成绘制技术的发展历史i b r 技术是指利用二维的图像信息来表达、绘制场景，以达到比较好的真实感和实大连理工大学博士学位论文时性。最早使用i b r 技术的是b l i n n 的环境位图( e n v i r o n m e n tm a p s ) p j 平口l i p p m a n 的电影映像系统( m o v i e m a ps y s t e m ) i “。这种技术一经提出，便得到了极大的发展。环境位图记录菜一视点的所有入射光线，它最初的用途是为了更有效地近似物体表面的环境反射，它也完全可以用来快速生成该视点的任意方向的视图，环境位图为后来的一些i b r 技术提供了基础。电影映像系统把几千幅图像存储在可交互的视频光盘上，这些图像可根据视点的交换随机地显示，但不能合成新的图像。纹理映射( t e x t u r em a p p i n g ) 7 1 也是一种早期的i b r 技术，其实质是将图像重映射到3 d 场景的表面上，用纹理来显示复杂模型的表面细节，可见用图像来替代几何模型的思路早已有之，所不同的是图像在几何模型中占有的比例越来越大。在环境映射技术t 5 】中，图像被直接用来显示较远的物体，此时图像已经从代替一个物体的部分发展到了代替一个或多个物体。九十年代提出的全视函数技术龇9 1 、光场技术】、视图插值技术陋1 9 3 和全景图像技术1 2 0 - 2 5 1 已经发展成用图像来代替整个场景。 b r 技术的一个最主要特征就是用图像来代替整个几何模型，这也是其名称的由来。1 2 2 基于图像的生成绘制技术的分类基于图像绘制方法的基本思想是用一系列图像采样来代替场景的部分或全部几何信息来绘制场景。根据方法对几何信息的依赖程度的不同。h e u n g y e u n gs h u m 把i b r 方法分为三类【2 6 1 ：不含几何信息的绘制、含隐式几何信息的绘制( 特征对应) 、含显示几何信息的绘制( 近似或精确的深度、三维坐标等几何信息) ，如图l 一2 所示。这种分类并不是很严格的，有很多方法介于三类之间。因此，多种i b r 方法都包含了图1 - 2 所示的三类方法。几何信息减少一不含几何信息使用隐含几何信息几何信息增加- - - - - - - - r - - 使用具体几何模型光场( l i g h tf i e l d )流明图( l u m i g r a p h ) l d i s纹理映射模型同心拼图( c m )迁移算法( t r a n s f e rm e t h o d s ) 三维图像变换( 3 dw a r p i n g )多同心拼图( m c m )视图变形( v i e w m o r p h i n g )v i e w - d e p e n d e n t g e o m e t r y视图插值( v i e wi n t e r p o l a t i o n )v i e w - d e p e n d e n tt e x t u r e图1 - 2i b r 方法分类f i g i - 2c a t e g o r i e so fi m a g e - b a s e dr e n d e r i n g图1 2 的右端是基于几何模型的i b r 技术，这种绘制的特点是有具体的几何场景，源图像是场景几何模型经过投影映射的结果，虚拟视点图像是源图像经过三维图像变换的结果。基于几何模型的i b r 技术所需要的显示方法和传统图形学相似，差别只在于它的模型建立主要以图像数据作为依据。流程图如图j 3 所示。因此，凡何建模所用几何元素的不同对应不同的i b r 方法。采用几何体( 如立方体、棱柱、锥体等) 来表示场景的i b r 技术，以p a u ld e b e v e c l 2 “所提出的基于几何和图像的混合建模系统( ah y b r i d4第一章绪论g e o m e t r y a n di m a g e - b a s e da p p r o a c h ) 最为著名。现实场景中多个相邻像索的深度和运动特性往往存在一定的连续性，利用这种特性可以把场景看成由一块块的“板图”( s p r i t e )拼成。这种“板图”成为基于分层分面表示的i b r 技术的基本单位。由此b a k e r 等 2 8 1提出了按照深度信息对图像分层的方法：图像被初始化成一些连续深度的面，通过对同一场景不同视点的图像，确定这些面的法向量，进一步求出平面方程，再进一步细化形成的面，得到面上深度残差以恢复一些深度信息，然后将像素映射到定义好的面上形成板图。位于图1 - 2 中间层次i b r 技术的特点是不需要完全的几何信息。它们将源图像看成一系列具有对应关系的像素集合，这种对应关系可以理解为视差或光流，也可看作简单的像素运动方向矢量，利用这些对应关系，通过二维图像变换来生成虚拟视点的图像。流程图如图1 - 3 所示。一般通过关键点匹配和稠密匹配确定图像像素间的对应关系，然后进行插值。图1 3 基于几何场景模型的i b r 技术f i g 1 3r e n d e r i n gw i t he x p l i c i tg e o m e t r y剀j 参数化jf全视函数扛线重采i新图像图1 - 5 基于全视函数的i b r 技术f i g 1 - 5r e n d e r i n gw i t hn og e o m e t r y图1 - 4 基于图像对应关系的i b r 技术f i g 1 - 4r e n d e r i n gw i t hi m p l i c i tg e o m e t r y在图l 一2 的左端，不使用几何信息的i b r 技术的特点是将场景空间看作是错综复杂的光线集合，图像是这些光线集合的一个采样，所以，如果采集到三维光线空间或者其子空间中的足够多的光线，则可以对这些光线进行重新采样，从而绘制虚拟视点的图像。流程图如图1 - 4 所示。这类方法中，空间光线的参数表示方法是核心内容，可由全视函数进行描述( p l e n o p t i cf u n a i o n ) 。a d e l s o 和b e r g e n 30 】在研究早期视觉的时候，提出了全视函数的概念，这是一个多维函数，用以描绘视点在任何地点、任何角度、任何时间所看到的各种波长的光线强度。这个函数的一个或几个维度的变化造成的辐射能量变化就表达了整个空间的辐射能量分布结构。因此，可以用这个函数来描述因为运动、颜色、观察方向的变化而引起的空间辐射能量分布的变化情况。完整的全视函数是一个七维函数：p = p ( e ，p ，五，e ，k ，i ，r ) ，其中：占，伊表示实现方向对应的球面角，大连理工大学博士学位论文五表示光线波长，k