（管理科学与工程专业论文）虚拟环境中图像对象的建模与表现技术研究.pdf

国防科学技术大学研究生院学位论文 摘要 逼真、高效地表现对象是实现虚拟环境系统真实感的关键问题之，在复杂虚拟环境 中，基于几何模型的对象表现常常受到对象建模与绘制复杂性的限制。本文将基于图像的 建模与绘制技术应用到虚拟环境中对象的表现中，以提高虚拟环境的构建和渲染效率，增 强对象表现的真实感。 本文通过研究视图合成的关键技术，建立了基于二视、三视合成的对象视域模型，并 提出了虚拟环境中图像对象的表现方法，研究了增强图像对象真实感的若干关键问题。本 文的主要贡献体现在以下几个方面： ( i ) 提出了视图合成技术的部分关键算法。提出了一种基于图像分块和连通子集约 简的离散特征点探测算法，并分别针对= 视图和三视图，综合多约束条件计算匹配点集， 进行基础矩阵和三焦距张量的估计。在图像校正过程中，分析了校正重采样效应的成因， 建立了重采样效应的评估函数，提出了图像校正不变量的概念和对应的图像校正修正方 法。在校正图像对上，提出了一种基于边界流的图像稿密匹配和视图合成方法。 ( 2 ) 建立了分别以三视合成和二视合成技术为基础的对象视域模型。提出了一种将 环绕对象的球形表面划分为若干区块的采样方法，在上述关键技术研究的基础上，建立起 了以三视合成和二视合成为基础的对象视域模型。它们分别以多球带上样本相机中心连线 的三角形视域面片构成视域凸包，或以同一球带上相机中心构成视域多边形，从而以对象 的有限离散样本获得凸多面体或凸多边形上的任意视点的对象观察。 ( 3 ) 提出了虚拟环境中图像对象的表现方法及影响对象真实感的若干重要问题，并 给出了对应的解决方案。将虚拟环境中影响图像对象表现的因素归纳为地形、对象位置和 视点位置。提出了以视图载体实现对象在虚拟环境中的定位、通过对象视域模型生成对象 视图、并将对象视图作为纹理在视图载体上进行映射实现对象表现的图像对象表现方法。 在对象真实感表现方面，重点讨论了图像对象与地形的匹配、阴影生成、包围盒生成三方 面的问题。对三种地形匹配方法及其适用范围进行了讨论，提出了图像对象与地形匹配的 具体方法；提出了一种任意光照条件下基于曲面纹理映射的图像对象阴影生成方法；实现 了一种由对象样本集和视图载体共同确定对象包围盒的方法。 ( 4 ) 建立了原型系统，对图像对象的建模与表现理论、算法进行了验证和应用。对 视图合成、虚拟环境中的对象嵌入、对象真实感表现等关键技术进行了实验并取得了满意 的结果。建立了基于图像的对象建模与表现原型系统，实现了可重用的视图合成引擎和对 象生成引擎，并在相关项目中得到了应用。 综上所述，本文研究了图像对象视图合成的关键技术，提出了建模方法，实现了对象 在虚拟环境中的真实感表现。这些研究丰富了基于图像的建模与渲染技术体系，同时相关 的关键技术也为立体视觉、三维重建等研究提供了一定的理论和实践基础。 关键字：基于图像的对象对象视域模型视图合成图像校正虚拟环境真实感表现 第1 页 国防科学技术大学研究生院学位论文 a b s t r a c t n l er e a l i s ma n de 强c i e n c yo fo b j e c tr e n d e r i n gi so n eo ft h ek e yp r o b l e m sf o rv i r t u a l e n v i r o n m e n t i nc o m p l e xv i r t u a le n v i r o n m e n t s ，g e o m e t r y - b a s e do b j e c t sr e p r e s e n t a t i o nl sa l w a y s l i m i t e dt ot h er e n d e r i n gc o m p l e x i t y t h i sd i s s e r t a t i o ni m p o r t si m a g e - b a s e dm o d e l i n ga n d r e n d e r i n gt e c h n o l o g y i r i t eo b j e c tr e p r e s e n t a t i o n ，a i m i n gt oi m p r o v et h ec o n s t r u c t i o na n d r e n d e r i n ge f f i c i e n e y , a n dt oe n h a n c et h ev i r t u a le n v i r o n m e n t r e a l i s m i nt h i sd i s s e r t a t i o n ，w ef i r s ts t u d yt h ek e yt e c h n o l o g i e so f v i e ws y n t h e s i s ，a n dp r o p o s et w o o b j e c tv i e w - r e g i o nm o d e l sb a s e d o nb i v i e ws y n t h e s i sa n dt r i - v i e ws y n t h e s i s t h e n ，w es e t1 l p 吐1 e i m a g e - b a s e do b j e c tr e p r e s e n t a t i o nm e t h o di nv i r t u a le n v i r o n m e n t ，a n dg i v es o m ep r o b l e m s d e t a i l a n a l y s i sa n dt h e i rs o l u t i o n s ，w h i c ha r ea s s o c i a t e dw i t ho b j e c tr e a l i s m m 砥g i n a lc o n t r i b u t i o n s o f t h i sd i s s e r t a t i o ni n c l u d et h ef o l l o w i n g ： ( 1 ) b ys t u d yo f v i e ws y n t h e s i st e c h n o l o g i e s ，也i sd i s s e r t a t i o np r o p o s e ss o m ec o r r e s p o n d i n g k e ya r i t h m e t i c w ep r o p o s ead i s p e r s e df e a t u r ep o i n td e t e c t i o n a r i t h m e t i cb a s e do ni m a g e s e g m e n t i o na n dc o n n e c t e ds u b s e tr e d u c t i o n , t h ef e a t u r ep o i n t s a r em a t c h e du n d e rm u l t i p l e c o n s t r a i n t si ne v e r yb i v i e w so rt r i - v i e w sf o rt e n s o re s t i m a t i 0 1 2 i ni m a g e r e c t i f i c a t i o np r o c e s s ，w e g i v ea n a l y s i so fr e c t i f i c a t i o nr e s a m p l i n ga n ds e tu pa ne v a l u a t i o n f u n c t i o n t o r e d u c et h e r e s a m p l i n ge f f e c t s ，w ep r o p o s et h ed e f i n i t i o no fr e c t i f i c a t i o ni n v a r i a n ta n d t h ec o r r e s p o n d i n g c o r r e c t i n gm e t h o d t oi r e p r o v et h eq u a l i t yo fd e n s em a t c ha n dv i e ws y n t h e s i s ，a s c a n l i n e f i e g m e n t i n ga n dm a t c h i n gm e t h o di sd e v e l o p e d ( 2 ) t w oo b j e c tv i e w - r e g i o nm o d e l sb a s e do nb i - v i e ws y n t h e s i sa n dt r i - v i e ws y n t h e s i s8 1 e s e tu p i n 也eo b j e c tv i e w - r e g i o nm o d e l v i e ws p a c ee n c i r c l i n gt h eo b j e c ti sd i v i d e di n t os e v e r a l a r e a sa n ds a m p l e d b a s e do nt h er e s e a r c ho fv i e ws y n t h e s i s ，w es e tu pa l lo b j e c tv i e w - r e g i o n m o d e lb a s e do nb i v i e ws y n t h e s i sa n du i - v i e ws y n t h e s i s w h i c hc o n s t r u c t sav i e wc o n v e xc l o s u r e b yt r i a n g l e so fe v e r yt h r e ea d j a c e n tc a m e r a lc e n t e r sd i s t r i b u t e di nt w os p h e r es t r i po rav i e w c o e t v c xp o l y g o nb yl i n es e g m e n t so fe v e r yt w oa d j a c e n tc a m e r a lc e n t e r si ns a m es p h e r es t r i p t h eo b j e c tv i e w - r e g i o nm o d e le x t e n t st h ev i e w p o i n to b s e r v i n gt h eo b j e c tf r o md i s p e r s e dp o i n tt o c o n t i n u o u sc o n v e xc l o s u r eo rp o l y g o n ( 3 ) b ya n a l y z i n gt e c h n o l o g i e s f o r i m a g e - b a s e do b j e c t sr e p r e s e n t a t i o n i nv i r t u a l e n v i r o n m e n t , t h ed i s s e r t a t i o np r o p o s e ss o m ei m p o r t a n tp r o b l e m sc o n l r i b u t e dt or e a l i s ma n d g i v e st h es o l u t i o n s i nv i r t u a le n v i r o n m e n t ，i m a g e - b a s e do b j e c tr e p r e s e n t a t i o nd e p e n d so nt h e t e r r a i n ，o b j e c tp o s i t i o na n dv i e w p o i n t i nt h i sd i s s e r t a t i o n ，i m a g e - b a s e do b j e c ti sr e p r e s e n t e db y i m p o r t i n gi m p o s t e rf o rl o c a t i o n ，s y n t h e s i z i n gc o r r e c tv i e wb yv i e w - r e g i o nm o d e l f o ro b s e r v a t i o n ， a n dt e x t u r em a p p i n go f i m p o s t e rf o rv i s u a lr e p r e s e n t a t i o no f i m a g e b a s e do b j e c t t h em o s ti m p o r t a n tt h r e ep r o b l e m sc o n t r i b u t e dt or e a l i s mr e a l i s mw ec o n s i d e ra r et e r r a i n m a t c h i n g ，s h a d o wg e n e r a t i o na n db o u n d i n gv o l u m e sd e f i n i t i o n ( f o rc o l l i s i o nd e t e c t i o ne t c ) t h i s d i s s e r t a t i o ng i v e st h o s es o l u t i o n sf o ri m a g e - b a s e do b j e c t s ，e s p e e i a l l y w ed i s c u s st h ed i f f e r e n t t e r r a i nm a t c h i n gm e t h o d sa n dt h e i ra p p r o p r i a t ed o m a i n , p r o p o s eas h a d o wg e n e r a t i n ga r i t h i n e t i c b a s e do nc u r v e ds u r f a c et e x t l l r em a p p i n gi nr a n d o ml i g h t s , a n dg i v eat r yt od e f i n eb o u n d i n g v o l u m e s b yo b j e c ts a m p l e sa n di m p o s t e r ( 4 ) ap r o t o t y p es y s t e mi sd e v e l o p e d ；t h ek e yt e c h n o l o g i e sa r ev e r i f i e d a n da p p l i e di n p r o j e c t s n 圯p r i m a r ya r i t h m e t i cf o rv i e ws y n t h e s i s , o b j e c te m b e d d i n ga n do b j e c t r e a l i s t i c 第3 页 国防科学技术火学研究生院学位论文 r e p r e s e n t a t i o na r ec o d e da n dt h er e s u l t sa r eg i v e ni nt a b l eo rf i g u r e ap r o t o n p cs y s t e mo f i m a g e - b a s e do b j e c tm o d e l i n ga n dr e n d e r i n gi ss e t 叩a n dt h ec o r ef u n c t i o n sa r ep a c k a g e da sv i e w s y n t h e s i se n g i n ea n do b j e c tr e n d e r i n ge n g i n e ，s u c he n g i n e sa l ea p p l i e dt oc o r r e l a t i v ep r o j e c t s s u m m a r i l y , t h i sd i s s e r t a t i o np r o p o s e s t h ef u n d a m e n t a lt h e o r y , m o d e la n dm e t h o do f i m a g e - b a s e do b j e e t , a n di m p l e m e n t st h ei m a g e - b a s e do b j e c tr e n d e r i n gi nv i r t u a te n v i r o n m e n t s u c hr e s e a r c hs y s t e m a t i z e sa n de n r i c h e st h ei i t l a g e - b a s e do b j e c tt h e o r y , + a n dg i v e ss o m es o l u t i o n s f o rs t e r e ov i s i o na n d3 dr e c o n s t r u c t i o n k e y w o r d s ：i m a g e - b a s e do b j e c t s ，0 b j e c tv i e w - r e g i o nm o d e l ，v i e ws y n t h e s i s ，i m a g e r e c t i f i c a t i o n ，v i r t u a le n v i r o n m e n t , r e a h s f i cr e p r e s e n t a t i o n 第4 页 垦堕坠兰堡垄奎耋墼塞圭篁兰篁篓耋 圜l _ l 图1 2 图2 1 图2 2 圈2 3 图2 4 图2 5 凰2 - 6 图2 7 图2 。8 圈2 - 9 图2 1 0 图2 - 1 1 图2 一1 2 图2 1 3 图3 1 图3 - 2 圈3 - 3 圈3 - 4 围3 5 圈3 - 6 圈3 - 7 图3 8 圉3 - 9 图3 1 0 国3 1 1 圈3 1 2 图3 1 3 图3 1 4 图3 1 5 图4 1 图4 2 图4 3 图“ 图乒s 图4 1 6 圄5 1 召5 - 2 图5 3 图5 - 4 图目录 虚拟环境中i b o 建模与表现豹技术框架，1 6 论文结构， 1 7 聚集的特征点区域和被忽略的特征点2 1 离散特征点探测算法流程。2 2 四元煮连通子集2 2 离散特征点探测结果2 4 不同噪声条件下离散特征点探测结果2 4 邻域相对视差约束2 6 室内场景的特征点匹配结果及由匹配点集计算的极线2 8 室外场景的特征点匹配结果及由匹配点集计算的极线2 8 合成场景的特征点匹配结果及由匹配点集计算的极线2 8 对极几何约束2 9 基于点集约简的基础矩阵估计算法流程3 3 包含混音异常匹配关系的参考图像3 5 在一幅参考图像上三种算法基础矩阵估计所得的极线比较： 3 5 投影校正中的剪切畸变，4 4 校正凰慷投影与期望图像的差异4 4 投髟校正的修正流程。4 5 投影区域预测4 6 来进行校正修正的d i n o s u a r 校正翻像4 7 修j e 后的d i n o s u a r 校正图像4 7 未进行校正修正的m c r t o nc o l l e g e 校正图像4 8 修正后的m e r l o nc o l l e g e 校正图像4 8 校正后特征点对的误差4 9 校正后特征点对的误差统计分布图5 0 m e r t o r tc o l l e g e 校正图像的两对扫插线上象素序列的灰度及梯度折线圈51 扫描线分段结果站 基于边界流的搜索矩阵 5 3 m o r t o nc o l l e g e 的新视图合成结果5 5 d i n o s a t l r 部分断视图合成效果5 5 三幅图像上投影点的三线性相关关系5 9 l 图像校正流程示意图6 2 校正三视图的极线关系。6 3 三视图象素段匹配关系 6 5 基于重心坐标的视图插值6 6 基于三视圈的对象视图台成6 6 对象视域模型框架，6 9 对象建模与环境建模的区别一 o i t a l i m ll 6 4 0 ( 1 9 4 5 ) 的对象坐标系定义7 l 视域空间划分7 2 第1 i l 页 一：垦!型耋垫垄奎耋堑塞篁墼耋堡篁塞 ； 图5 5 图5 - 6 图5 - 7 图5 图5 - 9 图6 1 圈6 - 2 图6 3 图6 4 图5 6 固6 7 图6 8 圈6 - 9 固6 - 1 0 图6 1 i 圈6 - 1 2 固6 1 3 圉6 1 4 圈6 1 5 图6 1 6 图6 1 7 图6 1 8 圈6 1 9 留6 - 2 0 图6 _ 2 l 图6 _ 2 2 图6 _ 2 3 图7 1 图7 _ 2 图7 - 3 图7 _ 4 图7 5 图7 6 图7 7 图7 8 固7 - 9 圈7 1 0 图7 1 l 图7 1 2 图7 1 3 i t a l i a n l 6 - 4 0 ( 1 9 4 5 ) 采样结果，7 3 对象的视域凸包7 6 1 b o 视域模型建立及视图合成步骤7 7 虚拟视点的样本检索7 9 对象的视域凸多边形8 0 d i a m o n d s q u a r e 算法 8 3 地形分形计算流程 8 4 基于光线跟踪的地表阴影计算8 6 不同类型的地形生成与绘制实验8 7 视图载体的定位 8 9 虚拟环境中对象的实时表现流程。9 0 载体定位和视图合成结果。9 1 点匹配方法示意图9 2 线匹配方法示意幽9 2 三点面匹配方法示意图9 3 四点面匹配方法示意图9 4 m 0 与地形的匹配9 6 用地表蹰格表示的载体阴影9 8 投影曲面计算流程9 9 快速光线_ | 艮踪的阴影计算及投影范围9 9 对象阴影的曲面纹理映射过程1 0 0 1 1 3 0 明影效果1 0 1 阴影纹理的边界提取1 0 3 i b o 的柔和阴影1 0 3 对象包霭盒的建立1 0 5 虚拟环境中 b o 包围盘的定义1 0 6 虚拟环境中的对象包围盘实例1 0 6 原型系统设计思路1 0 9 原型系统总体结构1 0 9 i b o m 子系统总体结构i1 0 i b o m 子系统主界面1 1 1 在 b o l d 中对两幅图像进行特征点匹配1 1 2 在i b o m 中对两幅图像进行对极几何估计1 1 2 视图合成引擎的功能结构1 1 3 在i b o m 中对已校正的两幅图像进行视图合成1 1 4 i b o r 子系统总体结构1 1 4 i b o r 于系统主界面。1 1 5 髓机地形生成、对象管理模块界面1 1 6 对象生成引擎的功能结构，1 1 7 虚拟战场环境中的i b o 1 1 9 第f v 页 里塑墼兰堡垄查兰望耋竺堕耋堡竺奎 表目录 表2 1 五种算法对于不同噪声定位误差的鲁棒性分析3 4 表2 - 2五种算法对于不同概率误匹配的鲁棒性分析3 4 表2 - 3五种算法对于真实图像数据的鲁棒性分析3 5 袭3 1修正前后的校正评价值4 8 表4 - 1l r t 结构的三视图命名表6 0 表5 - 1对象建模环境建模的区别7 0 表6 - l算法对不同对象和光线条件的效率分析1 0 1 衷7 - i 原型系统功能表1 1 0 独创性声明 本人声明所呈交的学位论文是我本人在导师指导下进行的研究工作及取得 的研究成果尽我所知，除了文中特捌加以标注和致谢的地方外，论文中不包含 其他人已经发表和撰写过的研究成果。也不包含为获得国防科学技术大学或其它 教育机构的学位或证书而使用过的材料与我一同工作的同志对本研究所做的任 何贡献均已在论文中作了明确的说明并表示谢意 学位论文题目：虞挞至擅生匿篮裂牲建搓皇盔理技衄窟 学位论文作者签名：塞丞厦 日期：上，够年，护月，护日 本人完全了解国防科学技术大学有关保留、使用学位论文的规定本人授权 国防科学技术大学可以保留并向国家有关部门或机构迭交论文的复印件和电子 文档，允许论文被查阅和借阅；可以将学位论文的全部或部分内容编入有关数据 库进行捡索，可以采用影印、缩印或扫描等复1 9 手段保存、汇编学位论文 ( 保密学位论文在解密后适用本授权书) 学位论文题目：虐越叠埴生国篮盘盘数建搓皇囊塾技盛班窥 学位论文作者签名：! 室塑垦日期：二嘶年，扩月，日 作者指导教师签名：鬈：逛日期：z 肿中年，刁月，砷 国防科学技术大学研究生院学位论文 第一章绪论 1 1 立题背景 1 1 1 虚拟环境系统对对象建模与表现技术的要求 随着计算机图形学技术的发展，以及城市规划、房地产、旅游、科教、军事等众多领 域对虚拟仿真、展示需求的不断涌现，虚拟环境系统得到了越来越广泛的应用，并呈现出 由单一绘制手段、对单一场景对象进行表现向多种绘制手段综合、对大规模、多对象复杂 场景进行渲染发展的趋势。与此同时，现代信息感知、识别、传输和处理技术的不断提高， 要求在虚拟环境系统中采用更为丰富和直观的手段对大量信息和对象进行建模和表现，为 虚拟环境中信息的统一管理提供条件。 在大规模虚拟环境系统中，虚拟的地形环境一方面重现该区域的自然地形、地貌，更 重要的一方面，为在其中进行规划、对象逼真渲染和多对象行为推演提供了一种环境载体。 在这些应用中，如何高效、逼真地进行对象建模，并实现对象和虚拟环境的真实感融合， 提供充分的视觉感受和情节沉浸感，成为虚拟环境系统的重点。 针对不同的应用目标，虚拟环境系统对对象建模与表现的要求存在着部分差异，在那 些以对象表现为主要内容或者其中包含大量对象的虚拟环境系统而言，对象建模与表现表 现需要满足以下几方面的要求： 采样与建模的简单性。虚拟环境中的对象可达几十、数百个，甚至更多，在外观 上，涉及的对象类型也多种多样，作为建立虚拟环境系统的前期工作，这些对象 的建模应当采用尽可能简便易行的技术路线。 对象表现的真实感。对象表现的真实感不仅关系到整个虚拟环境系统表现的真实 感，对以目标展示或情节推演为重点的虚拟环境系统而言，实现对象真实感的表 现，是虚拟环境系统的核心和目标，对象表现的效果关系到虚拟环境系统的成败。 对象表现的真实感主要体现在虚拟对象外观与现实世界对象的一致性、虚拟对象 与环境的融合的协调性以及对象在虚拟环境中的分辨率等。 场景渲染效率。场景复杂性与硬件设备渲染能力之间的矛盾一直是限制虚拟环境 系统应用的一个瓶颈。近年来，随着应用需求和环境规模的不断扩大，这矛盾 进一步凸现出来。特别是那些以对象为核心或者包含大量对象的虚拟环境，对象 的渲染通常会给场景表现带来沉重的负担，在一些采用精细几何模型的目标展示 虚拟环境系统中，对象的渲染时间甚至比虚拟环境要高出很多倍。而人眼对实时 性有固定的要求，场景的渲染效率成为虚拟环境能否得到充分应用的一个重要影 响因素。 虚拟环境系统在对象表现的这些要求方面能够实现的标准越高，虚拟环境系统的构建 越容易，系统的可行性也越高。但在实践中，这些要求通常难以同时得到满足，甚至是相 第l 页 国防科学技术火学研究生院学位论文 互冲突的，例如对象真实感的提高常常会导致场景渲染效率的低下，这使对象表现技术面 l 临的问题进步复杂化。 1 1 2目前对象建模与表现技术中存在的问题 对象建模与表现可以通过基于几何的建模与绘制( g e o m e t r y - b a s e dm o d e l i n ga n d r e n d e r i n g ，g b m r ) 或者基于图像的建模与绘制( i m a g e b a s e d m o d e l i n ga n dr e n d e r i n g ，i b m r ) 两种技术途径来实现。 g b m r 以空间解析几何为基础，有相对完整的理论框架，且具有以下优点：几何数 据模型所占用的存储空间较小，无冗余信息；可以显示复杂的动态场景。无论动态场景 如何复杂，在任一时刻，几何造型都是唯一的，只要得到该时刻对几何造型的描述，就可 以显示出该时刻的动态场景；具有视场完备性。只要给定了场景的几何描述，则在任一 视点，对场景的观察均可唯一确定。基于以上优点，g b m r 方法得到了广泛的应用。 但是，g b m r 在虚拟场景的构造和绘制上仍面临着这样几个问题： 1 构造几何造型复杂而繁琐，需要大量的人力和手工。在专业人员对各种对象了解 和实地采样时，需要对其几何结构、外观参数等进行详细了解和取样。尽管计算 机辅助设计软件尽可能的简化了这一工作，对复杂场景，特别是不规则自然景物 而言，建立模型仍然是一件艰苦的工作。 2 绘制速度与场景复杂度相关。整个虚拟环境将由数量庞大的多边形和三角形网格 构成，在渲染过程中，需要对每一个的顶点、边线和三角形面片进行逐一处理。 复杂度越高，裁剪、消隐和光照计算所需要处理的几何面片越多，场景绘制的效 率就越低。大规模的场景和精细的模型的结合超出一般用户的设备承载能力，严 重降低渲染速度。目前采用的方法包括简化模型和提高设备渲染能力。简化模型 如动态模型简化、地形l o d 等，但在筒化模型的同时增加了实时计算的耗费，还 没有从根本上解决系统渲染需求和设备渲染能力之间的冲突。 3 难以模拟场景细节和一些特殊的光照效果。虽然几何模型的真实感研究近年来有 了许多重大突破和进展，但是这些真实感的表现通常是以大量非实时的计算为代 价，并且现有的算法仍然无法模拟或者实施模拟一些特殊的光照和大气效果。 i b m r 是和g b m r 相对比发展起来的一种对环境进行建模和渲染的图形学方法。它的 基础是透视投影相机模型和纹理映射技术，这种方法将纹理图像映射到简单的几何面片。 以近似播述景物表面的纹理细节。在不同视点和视线方向上，景物复杂的表面绘制过程转 变为纹理图像重投影和在简单几何面片上纹理映射的过程。 与g b m r 相比，m m r 技术具有以下特点： 将复杂场景以实景采样的方式获取，降低了场景建模的复杂度和工作强度。也可 以采用计算机合成画面，或者将实景与合成图像混会使用来表现场景。 场景绘制独立于场景复杂性，仅与所要生成画面的分辨率有关；算法对计算资源 的要求不高，改善了大规模场景或复杂场景渲染中渲染需求和计算、显示硬件有 限能力间的冲突。 第2 页 国防科学技术大学研究生院学位论文 渲染结果在场景逼真程度上可以达到真实环境的照片效果，提供了更高真实感和 可辨别性。 基于这些优点，近年来，在场景表现和对象表现领域，i b m r 技术引起了计算机图形 学领域的广泛关注，技术体系不断完善，应用范围逐步扩大，在对象表现领域，目前的研 究主要集中在使用稠密采样，通过这些离散的样本作为动态纹理来表现对象【l _ _ j ，基于稠 密采样的对象离散表现方法尚存在以下两方面的问题： 1 存储空间压力。对象的稠密采样势必形成庞大的样本集，这些样本中存在着大量 的冗余信息，这使得样本集合的存储空间大大增加，如文献o3 方法中单个对象的 采样数量达到了数百张之多。 2 对象连续视图的离散化。虚拟环境系统要求对对象实现连续的观察，随着对象稠 密采样的数量的增加，离散表现方法逐步在逼近这一目标，但由于存储空间的限 制，这种方法无法实现真正意义上对象的连续观察。 因此，在虚拟环境开发中，迫切需要建立一种方便快捷、同时能够最大限度的提高对 象表现的效率和真实感的对象建模和表现方法。 1 1 3 论文研究的意义 基于图像的对象( i m a g e - b a s e do b j e c t , t o o ) 是指虚拟环境中利用i b m r 技术构建和表现 的实体。为简单起见，以下简称图像对象或者i b o 。1 b o 基于对对象采样的合理设计，获 得离散的观察样本，通过计算样本间的匹配关系和几何约束，建立i b o 视域模型和视图合 成算法，在虚拟观察过程中，根据虚拟相机的空间位置，抽取出样本集合中的相关样本进 行重采样和视图合成，从而生成观察对象在该视点的观察视图。在虚拟环境中，通过定义 表征对象位置和方向的空间几何结构，将生成的对象观察视图作为纹理进行映射，以获取 对象在三维空间中的表现。 在虚拟环境中引入i b o 的目的是降低虚拟环境构建和场景实时绘制的复杂性，同时提 高对象表现的真实感。与传统的对象表现方法褶比，本文研究具有以下意义和应用前景。 首先，i b o 视域模型提供了一种基于离散图像对单个对象进行连续观察的方法。通过 对象视域模型可以生成视域凸包或视域多边形上任意视点位置的视图，在基于图像方式的 对象表现方面，实现了从离散观察到连续观察的质的转变。在文物、藏品、产品的展示， 网上导游、导购等应用中将能有效的提高观察的沉浸感。 其次，在虚拟环境的对象表现应用中，i b o 简化了对象建模过程，不仅提高了对象表 现的逼真程度，而且降低了渲染复杂度。i b o 将不同视点和视线方向上景物复杂的表面绘 制、消隐过程转变为纹理图像计算及在空间几何结构上的纹理映射过程，大大简化了虚拟 环境系统中大量对象建模的工作量以及场景渲染的难度。i b o 不仅作为虚拟环境中单个对 象的表现途径，还可作为图元来构建更为复杂场景。i b o 在城市规划、建筑小区展示、战 场仿真大规模虚拟环境系统有着广阔的应用前景。 第三，与i b o 真实感相关的对象与地形匹配、对象阴影生成以及对象包围盒生成等问 题的提出和解决，建立了虚拟环境中图形对象与图像对象之间绘制表现的共同机制，为在 第3 页 l 雪防科学技术大学研究生院学位论文 虚拟环境中实现多绘制手段信息的统一管理创造了条件。同时，i b o 视图合成与表现核心 功能的重用性设计，使得在相关项目应用中，增强了战场信息的表现手段，提高战场信息 的管理效率。 此外，本文研究了特征点探测与匹配、对极几何估计、图像校正、稠密匹配和视图合 成等技术，并提出了切实可行的问题解决方法或优化方法。这些成果在计算机图形学、计 算机视觉等研究领域具有重要的意义。 1 2国内外研究现状与发展趋势 利用简单的纹理替代场景中的三维对象( 如树木、建筑) 在游戏开发中较为常见，在 固定观察路径的应用( 如竞速类游戏) 中，由于用户的视线方向被固定在有限范围内，常 采用单幅图像表示些固定目标：在一些自由漫游的应用中，为提高系统渲染速度，也出 现了一些采用两幅纹理十字交叉表示对象的方法。这些用单幅或者两幅纹理表示的对象通 过牺牲部分真实性来换取场景的简化，可以看作是i b o 的前身。m a n u e lo l i v e i r a 最早在1 9 9 9 年提出了 b o 的概念 4 1 ，他通过一组共享投影中心的六幅层次深度图像( l a y e r e dd e p t h i m a g e ，l d i ) 来对对象进行基于图像的建模，在虚拟观察的任意视点位置，通过列优先 ( l i s t - p r i o r i t y ) 算法【5 】进行投影和绘制三维对象。o l i v e i r a 的方法以层次深度图像为基础， 这在设备要求上限制了i b o 的应用范围，本文借鉴o l i v e i r a 的i b o 概念和绘制思想，考察 以普通手持相机获得的对象样本，通过视图合成技术绘制对象，并将该对象嵌入的基于图 形构建的三维虚拟环境中去。 基于手持相机样本的i b o 技术涉及图像特征点探测与匹配、对极几何和三焦距几何估 计、图像校正、稠密匹配与视图合成、对象嵌入等诸多技术，目前，稠密匹配、视图合成、 对象嵌入等研究还存在许多理论和实现方法方面的问题，而特征点探测等研究领域已经有 较为丰富的积累，国内外的研究主要集中在算法的改进和精度的提高上。作为研究的基础 和出发点，我们将本文涉及的主要技术问题归纳为以下几个方面，并对研究现状和发展趋 势进行简单的概括阐述。各技术和本文的关系可参考图l l 。 1 ，2 1 图像变形技术 图像变形( i m a g em o r p h i n g ) 是基于图像的绘制中一项常用的技术。图像变形的目标是 实现两幅图像之间的平滑和可操纵的过渡，而不需考虑图像中描述的对象物理上的合理 性，在动画设计中，通常利用变形技术来产生各关键帧之间的中间图像。图像变形可以在 二维平面实现对三维场景变换的模拟，有效的图像变形技术在视觉感受上可以生成三维世 界中物体不同观察视点之间的平滑过渡。另外，在很多应用中，常常通过图像变形技术对 场景对象进行变形从而实现现实中不存在的情景，目前在国内外影视、动画制作领域广泛 应用了图像变形技术来实现设计创意，获得奇特的效果。 按照图像上象素在变形过程中的自由度，图像变形可分为二维变形和三维变形两种。 最早的二维图像变形是通过淡入淡出的方式实现动画。如今的图像变形更多的是通过定义 第4 页 国防科学技术大学研究生院学位论文 源图像和目标图像的一个变换函数来实现，该变换为源图像上的每一