（计算机应用技术专业论文）基于图像的虚拟场景的研究与实现.pdf

信息t 程大学硕十学仲论文 摘要 基于图像的虚拟现实技术是目前虚拟现实研究领域的一个热点，与基于计算机图形学 的三维几何模型建模的方法实现的虚拟现实系统相比，该技术无需烦琐费时的建模过程， 生成图像的质量及场景的绘制时间与场景的复杂度无关。全景图拼接技术是一种基于图像 绘制生成真实感图形的虚拟现实技术，不需要明确的几何表示就能提供令人信服的效果。 论文针对在模拟维修系统中如何提高模拟场景的真实感，研究了基于图像绘制技术、 图像变形与视图变形技术、图像拼接技术、全景图生成技术。比较了基于几何建模和基于 图像绘制这两种虚拟现实技术，分析了基于图像绘制技术在虚拟场景构造中的特点和优 势。设计了模拟维修系统中的虚拟场景总体模型，建立了虚拟场景中虚拟对象与视点之间 的时空关系模型。该模型为一个网状的可灵活操作的四维虚拟场景模型，这个模型有机地 组合了各种虚拟对象，实验表明可形成一个具有类似真实世界特性并能进行浏览的虚拟场 景。在具体使用场景球面模型实现图像投影、匹配、拼接的过程中，对现有的图像拼接技 术进行了探讨，分析了各类图像拼接算法的优缺点，通过将彩色图像直接变为灰度轮廓图， 过滤掉色差干扰，抽样后粗略匹配和精确匹配来完成两幅图像间的拼合。分别研究了普通 相机和鱼眼镜头拍摄场景的方法，根据已有的研究成果和实际问题的特点，选择了普通相 机拍摄方法进行了球面全景图正反投影，生成全景图像。实现了虚拟场景的生成。 关键字：虚拟场景，基于图像绘制，球面全景图像 第1 页 信息t 稃大学硕十学付论文 a b s t r a c t t h ev i r t u a lr e a l i t yt e c h n o l o g yb a s e do nt h ei m a g ei sah o t s p o ti nt h ev i r t u a lr e a l i t yr e s e a r c h a r e a ，c o m p a r i n gw i t ht h et h r e ed i m e n s i o n a lg e o m e t r ym o d e l i n gm e t h o db a s e d o nt h ec o m p u t e r g r a p h i c sm o d e l ，t h i st e c h n o l o g yd o e sn o tn e e dt r o u b l e s o m ea n dt i m e c o n s u m i n gm o d e l i n g p r o c e s s ，t h ei m a g eq u a l i t ya n d t h es c e n ep l a nt i m eh a sn o t h i n gt od ow i t ht h es c e n ec o m p l e x i t y t h es p l i c i n gt e c h n o l o g yo fp a n o r a m ad r a w i n gi sak i n do fv i r t u a lr e a l i t yt e c h n o l o g yt oc r e a t e t h i r dd i m e n s i o ng r a p hb a s e do nt h ei m a g ep r o t r a c t i n g ，i tc a np r o v i d ep e r s u a s i v ee f f e c ta n dd o e s n o tn e e dc l e a rg e o m e t r ye x p r e s s e d t h i sp a p e rr e s e a r c h e si m a g ep l a nt e c i m o l o g y ， i m a g ea n dv i e wd i s t o r t i o nt e c h n o l o g y ， i m a g es p l i c i n gt e c h n o l o g ya n dt h ep a n o r a m ad r a w i n gp r o d u c t i o nt e c h n o l o g yt oi m p r o v et h i r d d i m e n s i o no ft h es i m u l a t i o ns e g n ei nt h es i m u l a t i o ns e r v i c es y s t e m s ，c o m p a r e st h et w ov i r t u a l r e a l i t yt e c h n o l o g i e sb a s e do nt h eg e o m e t r ym o d e l i n ga n d b a s e do nt h ei m a g ep l a n ，a n da n a l y z e s t h ec h a r a c t e r i s t i ca n dt h es u p e r i o r i t yo f t h ei m a g ep l a nt e c h n o l o g yi nt h ev i r t u a ls c e n es t r u c t u r e t h ep a p e rd e s i g n st h ev i r t u a ls c e n ec o l l e c t i v i t ym o d e lo ft h es i m u l a t i n gs e r v i c es y s t e ma n d e s t a b l i s h e st h es p a c et i m er e l a t i o nm o d e lb e t w e e nt h ev i r t u a lo b j e c ta n dt h ev i e wp o i n to ft h e v i r t u a ls c a l e t h i sm o d e li san e t t e da n da g i l i t yf o u rd i m e n s i o nv i r t u a ls c e n em o d e l ，a n d c o m b i n e sm a n yk i n d so fv i r t u a lo b j e c to r g a n i c a l l y t h r o u g he x p e r i m e n t si ti si n d i c a t e dt h a tt h e m o d e ic a nf o r mo n ev i r t u a ls c e n ew h i c hi ss i m i l a rw i t hr e a lw o r l dc h a r a c t e r i s t i ca n di sa b l et ob e b r o w s e d i nt h ep r o c e s so f t h ei m a g ep r o j e c t i o n ，m a t c ha n ds p l i c i n g ，t h ec u r r e n ti m a g es p l i c i n g t e c h n o l o g yi s s t u d i e d ，t h es h o r t c o m i n ga n de x c e l l e n c e so fe a c hk i n d o fi m a g es p l i c i n g a l g o r i t h ma r ea n a l y z e d t h ep a p e ra d o p t st h ec o l o ri m a g eb e c o m i n gd i r e c t l yt h eg r a d a t i o n o u t l i n ed r a w i n g ， f i l t e r i n gt h ec h r o m a t i ca b e r r a t i o nd i s t u r b a n c ea n da f t e rs a m p l i n gt h es k e t c h y m a t c ha n dp r e c i s em a t c h e st oc o m p l e t ej o i n i n gt w oi m a g e s t h ep a p e rs t u d i e st h em e t h o da b o u t p h o t o g r a p h ys c e n eo ft h eo r d i n a r yc a m e r aa n dt h ef i s he y el e n ss e p a r a t e l y ，a c c o r d i n gt ot h e r e s e a r c hr e s u l t sa n dt h ea c t u a lp r o b l e mc h a r a c t e r i s t i ct h ep a p e rc h o o s e st h ep h o t o g r a p h ym e t h o d o ft h eo r d i n a r yc a m e r at oc a r r yo nt h es p h e r i c a lp a n o r a m ad r a w i n gp r oa n dc o np r o j e c t i o nt o p r o d u c et h ep a n o r a m i ci m a g e f i n a l l yt h ep a p e r r e a l i z e st h ev i r t u a ls c e n ep r o d u c t i o n k e y w o r d s ：v i r t u a ls c e n e ，b a s e do nt h ei m a g ep l a n ，s p h e r i c a lp a n o r a m ad r a w i n g 第1 i 页 论文原创性声明和使用授权 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及 取得的研究成果。尽我所知，除了本文中特别加以标注和致谢中所罗列 的内容外，论文中不包含其它人已经发表或撰写过的研究成果；也不包 含为获得信息工程大学或其它教育机构的学位或证书而使用过的材料。 与我一同工作的同志对本研究所做的任何贡献均已在论文中做了明确 的说明并表示了谢意。 本人完全了解信息工程大学电子技术学院有关保留和使用学位论 文的规定，即：学院有权保留论文的复印件，允许查阅和借阅论文；可 以公布论文的全部或部分内容；可以采用影印，缩印或其它手段保存论 文。涉密论文按保密规定执行。本论文取得的研究成果归学院所有，学 院对该研究成果享有处置权。 泰人签名：0 嘎基日期：泖6 i z 6 导师签名：越磊 日期纱，n ， 一t 信息工稗大学硕十学伊论文 第1 章绪论 虚拟现实技术1 1 1 2 1 ( 简称v r ，v i r t u a lr e a l i t y ) 是2 0 世纪末才兴起的一门崭新的综合 性信息技术。它融合了数字图像处理、计算机图形学、多媒体技术、传感器技术等多个学 科的相关知识，它利用计算机生成一种模拟环境，并通过多种专用设备使用户“投入”到 该环境中，其目的是能让用户使用人的自然技能对虚拟世界中的物体进行考察或操作，同 时提供视、听、摸等直观而又自然的实时感知。 1 1 研究背景 本人参与了总参军训和兵种部虚拟现实实验室项目的建设工作，在此期间本人对 虚拟场景中全景图成像进行了进一步研究。 虚拟现实已远远超越了早期“训练模拟器”的范畴，也已不仅仅是用作改进现有信息 系统中的人机交互方式的手段，它实时的三维空间表现能力、自然的人机交互式操作环境 以及给人带来身临其境的感受，将从根本上改变人与计算机之间枯燥、生硬和被动的现状， 它的兴起，已影响到信息系统中信息的表现形态、信息的组织与管理方法，甚至改变着信 息系统的设计原则，为人机交互界面的发展开创了新的研究领域；为智能工程的应用提供 了新的界面工具；为各类工程的大规模的数据可视化提供了新的描述方法；为教育提供了 新的手段和方法；虚拟现实技术在军事上的应用是最广泛的领域之一，采用虚拟现实 系统不仅提高了作战能力和指挥效能，而且大大减少了军费开支，节省了大量人力、 物力。近些年来基于实景的虚拟场景也更多的被我军应用于军事训练和战场仿真等方面。 如虚拟战场、单兵模拟训练、近战战术训练、诸军兵种联合战略战术演习等。在武 器设计研制的过程中，采用虚拟现实技术可提供先期演示、检验设计方案，从而保 证总体的质量和效能。虚拟现实只有渗透到整个信息系统中去，才能发挥出其应有的作 用，才能得到更健康更快速的发展，才能为我们创建和体验虚拟世界提供有力的支持，从 而大大推进计算机应用技术的发展。 虚拟场景是全景图的集合，随着计算机技术的高速发展、i n t e r n e t 的应用、电 子商务的日益普及、楼盘的展示、虚拟旅游等的不断发展，人们已不仅局限于用文 字和图形来展示，而是对其交互性和真实性有了更高的需求。全景图是基于图像绘 第l 页 信息t 程大学硕士学何论文 制生成真实感的虚拟现实技术，应用i ；i 景十分广泛。全景图制作时系统的功能、效 果及其研究方法在很大程度上取决于所采用的仪器设备，利用高档设备对全景图像 的研究结果在功能效果上往往会超过利用一般设备的研究结果，采用不同设备时研 究方法也迥然不同，但从价格、性能、易操作性和便于推广应用等各方面来考虑， 利用一般设备进行研究反而有较大的意义。另外，使用一般设备进行深一步的研究 时，就要求我们在理论和技术上进行更大的创新。 1 2 研究现状 与所有新技术、新事物的产生一样，虚拟现实的产生也不是一蹴而就的，也不是某个 人或团体空想出来的，而是客观需求与技术积累共同作用的结晶，是人类挑战自然、突破 自我的社会和科学发展之路上的所有里程碑之一。 近几年来，国外已有越来越多的科研单位和公司进入了虚拟现实研究领域。科研单位 主要有美国的北卡罗来纳大学计算机系、密歇根大学虚拟现实实验室、华盛顿大学人机交 互实验室、佐治亚理工大学g v u 中心、瑞士的苏黎士理工大学计算机图形实验室、英国 的h u l l 大学可视化课题组等。商业公司主要有a p p l e 、m i c r o s o f t 等计算机公司。 在国内，研究虚拟现实的科研单位主要有浙江大学，北京航天航空大学，国防科技大 学和中科院软件所等单位。目前已取得研究成果的有：浙江大学的c a d & c g 国家重点实验 室开发的桌面型虚拟建筑环境实时漫游系统；北京航天航空大学研制的用于军用的虚拟现 实系统d v e n e t ；国防科技大学多媒体研究中心的i i v s 的虚拟实景空间模型，中科院计算所 实现了全景图固定视点室内漫游系统。 近年来，基于图像的虚拟现实系裂3 】的应用也非常的广泛。i n t e m e t 的发展也为基于图 像的虚拟场景提供了广阔的应用前景，基于图像的虚拟现实系统，在计算机视觉方面，通 过图像的深度信息抽取 4 1 ，可以恢复场景的三维信息，进而建立三维模型。这个系统允许 用户在虚拟场景中的一点作水平环视以及一定范围内的俯视和仰视，同时允许在环视的过 程中动态地改变焦距。这样的图像相当于人站在原地环顾四周时看到的情形，人处在这种 图像的环绕中，则能够产生强烈的沉浸感。可应用于网站建设、多媒体光盘制作、电子商 务、房地产展示、虚拟旅游、地理信息系统、宾馆酒店、虚拟展览等领域。 综上所述，基于图像的虚拟现实技术具有广泛应用前景，因此引起了广大研究人员极 大的兴趣。国内外许多公司和科研单位在基于图像绘制技术的虚拟现实系统作专门的研 究，并制作了一些简单的示例系统。但是，总的束说基于图像绘制技术的虚拟现实系统还 第2 页 信息t 稃大学硕七学位论文 处于研究的初始阶段，这些系统虽然取得了一些成果，但是在技术方面还不够完善，有待 进一步的研究开发。 1 3 研究内容 虚拟场景与i n t e r n e t 网络一样，同样适用于军事开发的需要，虚拟场景是“实时”嗍 的，这是与动画制作软件的最大区别。这种“实时性”导致了在虚拟场景中的人机“可交 互性”。基于全景图像的虚拟现实系统中，虚拟场景是利用采集的离散图像或连续的视频 作为基础数据，经过处理形成全景图像。全景图包括柱面全景、立方体全景、球面全景， 球面和立方体均可反映任意方向场景。由于项目需要，本文的研究目标就确定为基于基本 器材生成完整的全方位的球面全景。 本文是以全景图作为场景表示，研究工作是以基于图像的全景图算法为核心展开的， 研究内容主要包括： 1 、介绍了基于图像的绘制的关键技术一i b r 技术，以及图像的绘制方法。比较了基于 几何建模和基于图像的绘制这两种虚拟现实技术，分析了基于图像绘制技术在场景构造中 的优点。 2 、分析了场景的组织结构，给出了层次关系和总体模型。 3 、对基于图像的绘制方法进行了详细的考察和分析，给出完整叙述。分析和比较了 图像变形和视图变形的基本理论，指出各自适用范围。 4 、对现有的图像拼接技术进行了研究，分析了各类图像拼接算法的优缺点，并实现 了一种将彩色图像直接变为灰度轮廓图，过滤掉色差干扰，通过抽样来粗略匹配和精确匹 配来实现两幅图像间的拼接。 5 、研究了全景图的生成技术，其中重点分析了球面全景图的构造过程，球面全景图 正反投影算法。利用v c 语言实现了全景图环视浏览应用程序。 本论文的组织结构如下：第1 章对课题的产生背景和研究意义做了简单的介绍，描述 了目前国内外的研究情况，并且简要的说明了在课题进展过程中所进行的工作和论文的组 织结构；第2 章介绍了基于图像的虚拟场景的概念、基于图像的绘制技术、图像拼接技术， 并对基于图像的绘制方法进行了分析；第3 章对全景图的各种模型的表示和构成进行了描 述，给出了层次关系和总体模型；第4 章阐述了全景图拼接算法中球面投影变化，图像的 匹配算法和图像的平滑处理三个重要算法的原理和思想以及实现；第5 章对本课题所做 的工作做了总结，并对下一步工作进行了展望。 第3 页 信息t 稃大学硕十学侍论文 第2 章基于图像的虚拟现实技术 2 1 基于图像的虚拟场景 虚拟场景的建立是虚拟现实技术的核心内容，它是将环境中的各种信息反馈给用户， 使用户产生“看起来像真的，听起来像真的”全方位的感受。而这些反馈中视觉反馈又是 最重要的，即所谓的“一目了然”。如何构造逼真的虚拟场景是虚拟现实技术需要解决的 一个重要问题。 1 、虚拟场景 基于图像的虚拟场景也称虚拟实景空间。图3 1 是两种虚拟空间构造方法。 用户交互 3 d 几何模型 模型绘制着色、 消隐光照和投景 虚拟场景 用户交互 实景图象 j 图象组织 变形转换 i 虚拟场景 基于图形基于图像 图3 1 两种虚拟场景构造方法 定义1 虚拟实景空间 虚拟实景空间是指利用照相机采集的离散图像或摄像机采集的连续视频作为基础资 料，经过图像处理生成全景图像并对其进行空间关联，建立起的具有空间操纵能力的虚拟 环境。 定义2 全景图像 视点位置固定环视一周所观察到的所有帧经过处理后所构成的图。 2 、空间 在空间上的组织，以视点和对视点进行空间关联的空间链为基础，定义如下： 定义1 视点 第4 页 信息t 稗大学硕十学付论文 视点就是前面所说的观察点，即照相机或摄像机的拍摄点。在虚拟实景空间中，视点 是基本的信息组织单位，由一个到多个全景空间所表现。 定义2 空间链 空间链是对超媒体模型的链结构的扩展，反映了虚拟实景空间中的时间、空间关系。 它不仅管理着各个视点空间之间的时空关系信息和移动实景单元，还和视点一起组成了虚 拟实景空间的基本框架。而且，空间链具有方向性和长度，因此它精确定义了视点空间之 间的时空关系和空间距离，并管理着移动实景单元。 另外，在漫游虚拟实景空间时，为了对空间中的虚拟对象进行操纵，必须选中的物体 对象。很显然，空间图像上的某块区域充当了桥梁的作用，选中它就激活了热区链，触发 了由空间信息到对象信息的转移。这块区域就是热区，其定义和热区链的定义如下： 定义3 热区 热区是全景图像上的一块矩形区域，选中它可以激活相应的热区链，触发信息的转移， 得到空间中的物体对象信息。 定义4 热区链 热区链是连接热区与虚拟对象的纽带，其链源是热区，链宿就是虚拟对象。 空间反映了实景图像之间的相互关系，这种关系体现在两个方面：一是将反映空间各 个局部的实景图像组织起来，构成一个具有时间和空间关系的虚拟空间；二是这种虚拟空 间具有可操纵性，它提供了三维空间的操纵手段。 在虚拟实景空间中，依次显示的图像不仅反映了整个虚拟空间的各个局部情况，而且 还传递了时间和空间的信息，因此出现的图像不是孤立的。这也是虚拟实景空间与传统图 像处理技术的不同之处。 空间的三维操纵是指通过对实景图像进行有效组织，模拟人在现实世界中的各种漫游 动作，如环视、俯视和仰视，实现虚拟实景空间的自由漫游。这种空间操纵是通过与实景 图像的实时交互实现的。 3 、虚拟 虚拟性反映了计算机生成的空间与现实世界之间的关系，这种关系表现在它既可以是 实，即生成的场景是对现实世界的再现：又可以是虚，生成的空间不同于现实世界。自由 虚拟实景空间既可以反映场景的真实性，又可以通过空间的组织，实现虚实结合。 4 、交互 交互性是指用户能够自由地操纵虚拟场景。虚拟场景是以图像为基础构造的，场景操 第5 页 信息t 稃大学硕十学付论文 纵的自由度十分有限。而虚拟场景有更大的自由度，能够满足在虚拟场景中自由漫游的需 要。 2 2 基于图像的虚拟场景生成的关键技术 虚拟场景包括静态场景和动态场景，常见的静态场景有山、水、房屋等静物，动态场 景有运动的汽车、人等。虚拟场景的建模是整个虚拟现实系统建立的基础，建模方法可以 分为两大类，一是基于计算机图形的方法，另一种是基于图像的方法。 2 2 1i b r 技术 i b r ( i m a g e b a s er e n d e r i n g ) 技术”1 是基于图像绘制技术。是由一些预先生成的图像 来生成不同视点的场景画面，是一个新兴的研究领域，它将改变人们对计算机图形学的传 统认识。传统图形绘制的每一帧场景画面都只描述了一个给定视点沿一特定视线方向观察 场景的结果。为摆脱单帧画面视域的局限性，可在一给定视点处拍摄或计算得到沿所有方 向的图像，并将它们拼接成一张全景图像。多种应用于真实场景的i b r 技术，如果以图像 数据建模、传统图形几何学它们所占的比例以及数据的表达方式作为i b r 技术的分类标准， 它将分为三个部分：几何表示、全光线函数表示和图像表示。 1 、几何表示方式的i b r 技术 采用几何表示方式的i b r 技术它所需的显示方法和传统图形学相似，以完全的几何信 息为基础。与传统图形学相比，其差别在于它主要以图像数据为依据建模，i b r 数据被组 织成传统计算机图形学当中的元素，如点、面、几何体等，并采用传统计算机图形学的纹 理映射等技术的理论和实现方法。几何表示方式因借助传统计算机图形学的理论，使用较 方便，但也有着与传统图形学类似的困难，如建模和显示真实度等等。 根据基于几何表示方式所用几何元素的不同，可把基于几何表示方式的i b r 技术分为 以下几类：基于几何体表示、基于层或者面表示、基于几何点表示。根据场景的性质、视 点和距离从远至近，依次可采用下面这几种表示方式：背景图、分层的场景、层次深度图 像，最近距离的场景。 基于几何的虚拟场景是由各种几何形体构成的，场景的漫游是一个不断实时绘制几何 体的过程。基于几何的建模方法很早被提出来，是发展得很完善的一种建模方法。该方法 第6 页 信息丁稃大学硕十学付论文 具有绘制精度高、易于交互、模型描述完善等优点。但是，几何建模方法主要具有以下三 个问题：第一，建模过程非常费时。几何建模是利用图形学的方法，首先建立场景的三维 几何模型，然后处理几何体的表面材料、光照、纹理等，这是一个非常烦琐的过程。第二， 场景的复杂度和真实感难于兼顾。为了得到更多的数学计算，从而影响了实时绘制。第三， 获取现实物体的表面模型也是十分困难的。 2 、全光线函数表示方式的i b r 技术 基于全光线函数表示的i b r 技术，其基本思路是把摄取的图像看成是一个场景中光线 集合的样本，显示时，通过抽取这个集合中属于当前场景的光线来组成新场景。全光线函 数【8 】根据维数( d i m e n s i o n ) 和所允许观察空间的自由度不同，可以分为从2 7 维不等的几 种全光线函数。 从全光线函数的观点出发，重要的不是图像代表什么几何体，而是代表怎样的光线， 基本上可不利用传统图形几何学来建模。拍摄是采集光线的过程，显示是根据新的视点， 从已采集到的光线集合中去抽取【9 】所对应光线的过程。 3 、图像表示方式的i b r 技术 图像表示方式部分依赖传统图形几何学来建模。主要图像表示方式有图像插值( i m a g e i n t e r p o l a t i o n ) 【1 0 1 、 嬲( i m a g em o r p h i n g ) 1 1 1 。它把原始数据图像看成是像素之间相互 有对应关系的图像，以一系列已知像素间对应关系的图像为基础的。 图像插值是通过二维图像变换【l 刁( 2 d w a r p i n g ) 得到在两幅图像中间位置视点上的新视 图。插值技术的一个关键问题是如何确定相邻两幅图像间的像素点的对应关系。对于相互 之间建立了对应关系的两幅图像，随着视点的移动，像素点在对应点之间存在移动关系。 为了加速新图像的生成速度，像素点移动时，相邻像素常常是一起移动的，因此可将相邻 像素点组织成像素块，进行成块移动，这样可提高绘制的速度。 图像变形广泛地用于生成两幅图像之问的过渡图像。一般分两个步骤：首先是通过手 工指定或者其它方法，建立开始图像和结束图像之间的一些点，或者线条之间的对应关系 ( 稀疏对应) ，然后通过计算生成图像上每一个点的映射( 稠密对应) 进行插值。这种映射分别 从开始图像和结束图像出发，向对方进行映射和插值演变。中间图像由这两个方向的图像 混合而成。 在图像表示方式里，像素间对应关系的获得及对应关系的正确与否，都会对应用范围 和显示质量产生影响。另一缺陷是由于只对原有图像进行插值和变形，当中间插值图像和 原始数据图像差距比较大时，容易因像素在新视图上所占面积的扩大和缩小出现空洞和重 第7 页 信息t 拌大学硕十学位论文 叠( o v e r l a y ) 现象。但它具有模型简单，存储方式和显示方法都比较容易等优点，不仅适合 于一些简单的i b r 应用，而且在很多场合中被作为一种重要的辅助i b r 技术使用。 综上所述，现代图像技术的发展已经使得我们具有可以直接利用特别拍摄的视频或图 像构造出具有三维效果的复杂场景的能力，它用全景图的集合来构成虚拟场景，在虚拟场 景中漫游相当于选择不同的全景图。全景图可以用计算机生成，也可以用全景照相机拍摄， 或用普通照相机拍摄后进行拼接。基于图像的绘制技术的核心问题在于如何对获取的图像 进行处理，以得到任意视点、任意角度的图像信息，从而产生一个基于照片的虚拟环境。 和传统的几何绘制方法相比，具有以下优点： ( 1 ) 计算量适中。i b r 方法计算量相对较小，不需要特殊的图形设备，能用于工作站 和个人计算机。 ( 2 ) i b r 和场景的复杂度无关，只和图像分辨率有关，不需要进行贴图处理，可用于 复杂的虚拟场景。 ( 3 ) 满意的绘制质量。虚拟场景可以直接从真实环境获取，因此可以获得更加丰富 的图像信息，同时又不会增加计算量。 i b r 技术已经逐渐走向实用，但是还面临着很多的问题f 1 3 j ，主要有： ( 1 ) 表示模式：如何找到一种简单有效且适合计算机表示的模式，能精确完整地对 场景进行编码。 ( 2 ) 捕获方法：用手持相机还是数控摄像机、图像采样的数量是多少、采样模式及 样本均匀性等都会影响问题求解的难度和精度。 ( 3 ) 走样和空洞：如何解决因采样引起的走样和空洞的问题。 ( 4 ) 信息压缩：基于图像的方法不可避免地面临着大量图像的压缩问题，怎样利用 数据间的连贯性，找到合理的压缩机制。 ( 5 ) 完全漫游：如何实现基于表示模式的完全实时漫游。包括模拟相机旋转、对象 旋转、相机移动及缩放等相机运动方式。 目前，利用图像的方法解决虚拟场景的绘制问题有很多优点，所以基于图像的虚拟现 实系统成为了一个新热点，世界上很多国家的学者在研究和探索这一新方法，并且取得了 一批很有意义的研究结果。这些问题在课题的研究过程中都进行了讨论。 第8 页 信息t 稃大学硕十学位论文 2 2 2 图像拼接技术 全景图拼接工作是一项复杂的工作。把需拼接的图像经过变换成为同一视点的图像， 接着把序列图像依次进行匹配以生成环视3 6 0 度的全景图。最后，为了改善全景图的视觉 效果，我们必须进行平滑处理，即采用某种平滑方法消除图像重叠区域的缝隙。图像和视 图变形技术、图像匹配技术和图像平滑处理技术是实现全景图拼接的关键技术。 1 、图像和视图变形技术 图像变形“”( i m a g em o r p h i n g ) 和视图变形“”( v i e wm o r p h i n g ) 都是产生图像之间插补 变换的基于图像的绘制技术，他t f n 用从两个不同视点取得的同一物体的图像，通过变换 获得插补图像，可以达到很好的真实感和实时性。 常用的图像变形方式可总结为三类：基于特征点的、基于特征线段和基于网格的： ( 1 ) 基于特征点的变形，是一种前向映射( f o r w a r dm a p p i n g ) 技术，源图像的每一 个点被映射到目的图像的合适位置，指定几个控制点( c o n t r o lp o i n t s ) ，这些控制点将 准确的映射到输出图像上。 ( 2 ) 基于特征线段的方法是使用一系列线段来有效的描述图像的特征，两个图像上 的一对线段决定了变形的规则。也是通过计算点到特征线的距离来决定它的偏移量。利用 特征线可以比较方便的表达特征。 ( 3 ) 基于网格的技术是先把图像网格化，通过控制网格的交点来实现整体的映射变 化，可以把它看成是局部的基于控制点的方法。根据网格点的对应关系，用样条插值来计 算网格的变形过程。基于网格的方法快速、直观，但在描述特征时有缺陷。因为图像中的 特征可能是任意的结构，所以常常需要可控制的网格。 视图变形技术是建立在图像变形技术的基础上的，是以图像变形作为中间步骤的，该 技术在具有变换视点功能的同时，也可以用来在不同三维物体的视图之间进行插值，产生 三维物体渐变的效果。 2 、图像匹配技术 图像匹配技术是全景图拼接的关键技术，在实时应用的时候不仅要求匹配精确而且必 须足够的快。原理是：相邻两幅图像边界必须存在重叠区域，该重叠区域代表相同的景物 内容。第一幅图像选取区域a ，根据2 0 4 0 的重叠原理，在第二幅图中，加上误差 范围，即可得到区域b 。但是区域a 必须包括足够多的物体特征，否则容易导致算法失败。 如何在第一幅图像中选取可作为模板的区域a 并找到与之相匹配的区域，这就是图像匹配 第9 页 信息t 稃大学硕十学何论文 技术需要完成的任务。 在图像匹配技术中，匹配的依据是图像之间的相似性，根据相似性判断标准的不同， 图像匹配的方法大致可以分为三类：基于轮廓特征、基于频域变换和基于模板匹配的穷尽 搜索。 ( 1 ) 基于轮廓特征的方法要求待匹配的图像中可以提取出明显的轮廓特征，但是并 不要求待匹配的图像来自于同样的图像源，所以轮廓匹配的方法多数被用于纯匹配应用 中。近来国内也有人将同样的思想用于c t 图像的匹配方面。然而基于轮廓特征的方法同 样也存在易受噪声干扰影响的缺点，其计算量随着图像中包含轮廓数量的增多而快速增 长。在物理地形图片或医学显微图像的拼接领域，基于轮廓特征的方法是最可取的方法。 ( 2 ) 基于频域变换法，它是基于二维傅立叶变换的性质。最早是由k u g l i n 和h i n e s 在1 9 7 5 年提出的，具有场景无关性，并且证明在二维平移的情形下，拼接精度可以达到1 个像素，多用于航空照片和卫星遥感图像的匹配等领域。该方法对拼接的图像进行快速傅 立叶变换，利用频域中的相位信息来实现图像拼接，计算量只与图像尺寸的大小有关，而 与图像之间的平移量的大小无关，且能有效地克服光照的变化和镜头产生的几何畸变所带 来的影响。基于频域变换的方法有准确率和自动化程度高等优点，但是也有计算量大和受 噪声干扰影响大的缺点，而且不能处理旋转情况。 ( 3 ) 模板匹配拼接是最容易实现的方法，而且与所拼接的图像内容无关，所以尽管 其计算量大、准确率低，但是目前仍被广泛采用。通常采用的方法是基于两幅图像重叠部 分所对应r g b 或c m y 颜色系统中灰度级的相似性，自动寻找图像的匹配位置。实际上可 以归结为如下的模式识别问题：设相邻两张重叠照片中前一张照片为矩形区域a ，后一张 照片为矩形区域b ，已知a 中包含一个区域a l ，b 中包含一个区域b 1 ，a 1 与b 1 是相同 的模块，求b 中b 1 相对于a 中a 1 的位置。常用的算法有以下几种： 基于块的匹配。取第一幅图像处于重叠部分的一块作为模板，在第二幅图像中搜索 具有相同( 或最相似) 值的块，从而确定重叠范围。只要块取得足够大，这种算法的精度 就较高，但计算量过大。 比值匹配。在第一幅图像的重叠区域中，相邻的两列上取出部分像素，用它们的比 值作为模板，在另一幅图像中搜索最佳匹配。该算法计算量较前一种算法有所减少，但仍 较大，并且在计算比值时需大量的除法，精度也有所降低。 基于网格的快速匹配。在基于块的匹配基础上，为了减小运算量，在搜索过程中， 首先进行粗略匹配，每次水平或垂直移动一个步长，计算对应像素点r g b 值( 或灰度值) 第l o 页 信息t 稃大学硕十学衍论文 的差的平方和，记录最小值的网格位置。其次，以此位置为中心进行精确匹配。每次步长 减半，搜索当前最小值，循环这个过程，直到步长为0 ，最后确定出最佳匹配位置。该算 法虽然在运算速度上较前两种方法有所改善，但是在粗略匹配过程中，移动的步长较大， 很有可能将第一幅图像上所取的网格划分开，这样将造成匹配中无法取出与第一幅图像网 格完全匹配的最佳网格，很难达到精确匹配。 3 、图像平滑处理技术 图像拼接的最后一个步骤就是将两幅图像无缝的拼接在一起，我们必须使用某种平滑 处理去除图像拼接的边界痕迹和图像模糊现象。这种现象主要是由于图像间不是精确的平 移和采集到的图像有边缘失真现象引起的。s z e l i s k i 提出了一种图像平滑算法：将图像重叠 区域中像素点的灰度值i m a g e 3 由两幅图像中对应像素点的灰度值i m a g e l 和i m a g e 2 的加 权平均得n - i m a g e 3 = d l * i m a g e l + d 2 * i m a g e 2 ，其中d 1 、d 2 是渐变因子，其取值范围限制 在( o ，1 ) 之间，满足d l + d 2 = l 的关系，在重叠区域中，按照从第一幅图像到第二幅图像 的方向，d l 由l 渐变至0 ，d 2 由0 渐变至1 。 经此算法处理过的图像消除了图像中的边界痕迹，使拼接图像看起来比较自然。但是 仍然有模糊现象，所以在平滑连接过程中必须寻找一个恰当的平滑方法，使得最终的拼接 图像没有明显的拼接缝隙和模糊现象。 2 3 基于图像的绘制方法分析 从8 0 年代开始，计算机图形学研究的核心就是真实感图形的生成问题。过去一直认 为是标准的且被广泛接受的方法是基于几何绘制的实现方法，这种方法导致的直接问题 是：建模的开销和绘制的开销都非常大。由于现实世界中的事物是形态各异，千变万化的， 因此在生成虚拟场景时，传统的基于几何绘制技术的方法无论是在理论上还是在实际上都 无法满足虚拟场景绘制的要求，严重限制了虚拟现实技术的应用发展。 虚拟场景绘制技术的性能体现在两个方面，一是动态特性【1 6 1 ，二是交互延迟特性【m 。 动态特性是指虚拟现实系统能跟踪漫游者的位置，实时产生相应的图形图像，交互延迟特 性是指交互响应时间应小于或等于o 1 秒。为了保证场景的质量和真实感程度，需要的资 料量和计算量非常巨大，这意味着要附加更昂贵的硬件设备。由此可见，虚拟场景的绘制 技术是虚拟现实系统的关键问题。 第l l 页 信息t 稃大学硕十学付论文 2 3 1 基于立体视觉的视图合成方法 基于立体视觉的视图合成“”方法是利用立体视觉技术由已知的参考图像中合成相对 于新视点的视图。其关键问题是找出每对已知图像之间的对应关系，即解决立体匹配问题。 由对应关系可导出偏差映射，并能进一步估计出场景中可见点的深度信息。利用深度信息 可以对已有的图像进行“变形”来合成新视点的图像。也就是说，通过对应关系实现了基 于图像的场景绘制工作。这种方法将场景视图及其对应关系组成一个图结构，顶点表示不 同物理位置的场景视图，边表示邻接视图间的对应关系。基于立体视觉的图像合成方法主 要有以下优点： 1 、新视图可以由两幅邻近的参考图像及它们的对应关系合成，整体的几何模型不是 必需的。 2 、图像变换过程要比传统的图像绘制过程快得多，而且其计算时间与场景的复杂度 无关。 3 、只需知道邻接相机之间的相对轮廓信息，而不需要对相机进行精确的标定。 这种方法也存在着立体视觉中固有的缺陷： 1 、由于场景有可能部分或全部地被遮挡，只能掌握场景有限的信息，导致在参考图 像中不可见而在新视图中应该可见的区域出现空洞，如何填补这些空洞是一个难以解决的 问题。 2 、由于只能产生有限的深度分辨率( 深度信息不连续) ，会使图像匹配过程出现误 差。 2 3 2 基于视图插值的方法 基于立体视觉的视图合成方法能由参考图像生成任意视点的新视图。与其不同，基于 视图插值“”的方法对新视点的位置要加以限制，新视点必须位于两幅参考图像的视点所决 定的直线上，这样，新视图就可以有参考图像的线性插值1 产生。当然，如果有很多幅参 考图像，也可以通过一系列的插值获得一定范围内任意视点的图像，与基于立体视觉的视 图合成方法相同，基于视图插值的方法同样要建立参考图像间的对应关系，因而仍然面临 由于遮挡和深度不连续所带来的问题。另外，许多基于视图插值的方法在一般情况下不能 精确地重构，即不能产生正确的透视投影结果，而只能生成近似的中间视图。只有当基线 平行于图像平面时才会产生正确的透视投影视图。 第1 2 页 信息t 稗大学硕十学何论文 2 3 3 基于全视函数的方法 全视函数【2 1 1 是由a d e l s o n 和b e r g e n 命名的。简单地讲，它描述了从空间任意点所看到 的全部信息。用计算机图形学术语，它描述了给定场景中所有可能的环境映照集合。基于 全视函数的i b r 方法试图捕获空间任意区域内的完全光流。这种方法从一些有向的离散样 本中重构连续的全视函数，然后通过在新的视点位置重新取样该函数来绘制新的视图。这 种方法的最大优点在于： 1 、可以不需要立体对应关系，从而避免了立体视觉所面临的问题。 2 、由于只考虑视点信息，因此不必对反射属性作假设。 3 、表示模式简单有效，既便于控制和计算，又能够均匀取样。这种方法的缺点是它 们只解决了没有遮挡的、光照固定的、静态对象的表示及绘制问题，并没有解决完全的虚 拟环境漫游问题。 2 3 4 基于分层表示的方法 还有一种方法与图像拼合正好相反，叫做分层表示。它针对视频系列将3 d 场景分成 运动独立的、由仿射运动模型描述的不同层次。每一层都产生2 d 图像流和2 d 变换流，并 最终组合到显示屏幕上。很明显分层表示对于实时计算机图形绘制非常重要，表现在：分 层绘制不仅将快速移动的前景对象与变化较慢的背景层次区分开来，而且还可将不同的光 照效果区分开来，从而更好地利用帧间连贯性。 1 、分层绘制使绘制资源的分配更优化，使资源集中分配给比较重要的层次。 2 、分层绘制能自然地把某些二维元素，如覆盖视频、离线绘制脚本或手工动画元素 集成到三维场景中。 2 3 5 基于图像拼接的方法 将同一场景的多张有重叠的图像组合成一幅较大图像的处理叫做拼合 2 2 1 。图像拼合技 术典型地被用于全景图的生成、图像稳定、增大图像分辨率、图像压缩及视频扩展等方面。 在组合源图像之前，一项重要任务是图像整合，它是把源图像中相互重叠的部分对齐所做 的变换。一般地，整合两幅图像的难度取决于需要估计的参数数目。两幅图像有相同视点 的情况较容易处理，因为依赖于同一透视变换，因此需要估计的参数最多只有8 个。然而 对于两幅图像有不同视点的情形就要难得多，因为除了估计决定相对相机轮廓的8 个参数 第1 3 页 信息t 稃大学硕十学何论文 外，还必须估计每个像素的深度。为解决这个问题，要么施加额外的约束，要么利用更多 源图像来增加输入变量，以求获得独立于视点的场景深度表示。一旦参数被估计出来，新 的视图就能被合成，而且还可利用多个视图构造三维校正的拼合图像。事实上，图像拼合 技术的真正意义并不在于把它作为一种独立的i b r 方法，而是在于它往往是其他i b r 方法 中所要碰到的一个技术问题。 综上所述，结合实际情况，在文中主要采用了基于图像拼合的方法，在后面章节中相 关技术研究及实现是围绕这种方法展开的。 第1 4 页 信息t 稃大学硕十学付论文 第3 章基于图像的虚拟场景的设计 为了使用户能够真正沉浸于一个计算机生成的虚拟环境中，必须使生成的环境足够逼 真和自然。视觉感知的质量在用户对环境的主观感知中占有最重要的地位。所以，一个虚 拟环境的好坏主要取决于场景生成系统的好坏。 3 1 1 虚拟场景的构成 3 1 虚拟场景的组织结构 在虚拟场景中，用户能够自由地漫游，全方位地观察场景，操纵场景中的虚拟对象， 并且还可以聆听场景中的声音，就好像是真实场景的再现。 但实际上构造这种虚拟