（计算机应用技术专业论文）基于图像的高精度三维模型网络展示技术及其应用.pdf

摘要 随着三维获取设备以及个人计算机性能的飞速发展，通过互联网浏览高精度 三维模型成为了可能，而这不论对于各个领域专家的研究或者普通用户的参观都 具有较大意义。本文通过基于图像传输的高精度三维展示技术为这种的需求提供 了实现的途径。它可以使普通用户利用远端服务器的高性能可视化系统完成个人 计算机所无法胜任的渲染的工作以及实现对远端虚拟场景的浏览。但是该技术框 架在目前网络环境中仍然具有一定局限性，我们将对针对其中的关键环节的优化 算法进行深入研究。 本文首先对国内外网络三维展示的应用现状和技术研究进行了大量的分析， 对主流的技术进行了分类：w 曲3 d 、远程可视化、基于i b r 的全景图技术。 本文在传统的本地渲染结构和远端渲染结构的对比的基础上，提出了基于远 端渲染结构的改进研究方案： 1 ) 通过基于i b r 的图像压缩算法有效降低网络传输图像数据量。 2 ) 通过动态调整网络传输数据量实现对客户端的个性化服务。 3 ) 通过对系统多级缓存的设立优化系统展示，降低服务器端响应交互请求 时间。 4 ) 通过本地远端混合渲染和用户交互行为预测技术使得在不改变原有数据 量的前提下减少网络传输的频率，从而提高用户交互的实时性。 第四章以上面提及的关键技术研究为基础完成了网络高精度数字化文物展 示平台的设计与开发，并将其应用到了浙江省科技厅重点项目“遗址文物数字化 关键技术研究及其应用”以及国家十五科技攻关计划项目“古文化遗存的数字化 工程示范研究”中。 关键字：网络三维展示实时性远程可视化混合渲染 a b s t r a c t r e c e n ta d v a 工i c e si i lt h r e 昏d i m e n s i o n a ls c a n n e re q u i p r n e n t ，也ep e r 内r m a n c eo f p c a n dt h en e t w o r km a k eb r o w s i n g 吐1 e h j g h - r e s o l u t i o nm r e e - d i m e n s i o n a l m o d e l s p o s s j b 】e t o e x p e n s a 1 1 dc 蝴o nu s e r s t h en l e s i s p r e s e n t s t h e i f i l a g e _ b a s e d h i 曲一r e s o l u t i o nr e p r e s e m “o nt c c h n i q u eo fm r e ed i m e n s i o n a lm o d e lw h i c hi s 硅玲 a p p l i c a b l em e t l l o df o r 也ed e m a n d t h i st c c h n i q u em a k eu s e rp o s s i b l et ou t i l k et h c l l i 咖p e r f o m l a n c e 、，i s u a l i z a t i o ns y s t e mo ns e r v e rw i l i c hc a nc o m p l e t em er e n d e r i n g a n de x p l o r a t i o no ft h er e m o t ev i 咖a ls c e n e h o w e v e r 血et e c 硒q u ei t s e l fh a ss o m e d r a w b a ( 漱si nt h en e 钾，o r ke n v i r o i m l c n t 锄dw e 、i l la p p l ys o m e0 p t i i i l i z a t i o nt om e k e ys t e p st od e c r e a s et 1 1 ed e la y f i r s tm e a p p l i c a t i o n a n dt e d l n i c a ls t a _ t l l so fd o m e s t i ca n d f o r e i 盟 t h r e e - d i m e i l s i o n a lv i s u a l i z a t i o na r e 锄_ a l y z e d t l l et h e s i sd i v i d et 1 1 em a i nt e c h n o l o g i e s i n t 0t h r e ec a t e g o d e s ，吼r e b3 d ，肥m o t ev i s u a l i 盈t i o n ，m r _ b a s e dp a n o r a m a s b yt h ec o m p a r i s o o ft r a d i t i o n a ll o c a lr e n d c r i n gs 拄u c t u r ea n dr e m o t er e n d e i i n g s t n l c t i l r e ，廿l et h e s i sp o i n t so mt l l ee x i s t i n gp r o b l e m s 趾dp r e s e n t ss o l u t i o n st ot 1 1 ek e y s t e p s 1 d e c e a s em ed a t as i z et ob e 缸a n s 矗m dt h r o u 曲i b r - b a s e di m a g e c o m p r e s s i o na l g o r i t l l m 2 r e a l i z cm ei n d i v i d u a l i z a t i o no fc l i e n t st h r o u g hd y n 锄i ca d j u 蛐gd a t as i z e t 0 - b e 昀n s f b r r e d 3 d e c r e a s et l l er c a c 血l gt i m ef 研i n t e m c t i v er e q u e s tm r o u g h 枷l t i c a c h es y s t c m 4 d e c r e a s em ec m c eo fr e r r l m ev i s u a l i z a t i o nm r o u g hc o m b i i 悖dl o c a la n d r e m o t er e n d e 血培，f o r e c a s to f t h ec l i e n tr e q u e s t n ef o n l lp a no f 也et h e s i sc o m p l e t et h ed e s 啦a n dr e a l i z et h er e a l s y s t e m ， n e t w o r k c dh i g h r e s o h l d o nr 印r e s e n t a t i o np l a t f o 蛳o fd i g i t i z e dr e l i c ，o nt h eb a s i so f t l l o s et e c l l l l i q u e sm e n t j o n e da b o v e a n dt 1 1 ep l 甜o m li sa l s oa p p l i e di i lt l ep r o j e c to f 恤 r e s e 盯c ho f k e yt e c l l i l i q u e so f r e l i cr e s e r v a t i o nf o r 岫s h a 甜c h a e o l o g i c a ls i t e 锄d 也ep r o j e c to f t h e r e s e a f c ha n da p p l i c a t i o no f k e yt e c h n i q u e so f r e l i cd 磷t i z a t i o n k e yw o r d s ：n e t 、v o r k e dt h r e e - d i m e n s i o n a lr e p r e s e n t a _ c i o n ，r e a l 廿m e ，r e m o t ev i s u a l j z a t i o n ，q o s i i 基于图像的高精度三维模型网络展示技术及其应用浙江大学硕士学位论文 第一章绪论 1 1 网络时代的高精度虚拟展示 能够通过桌面上普通的个人电脑浏览到大漠中的敦煌莫高窟、已经禁止开 放的珍贵文物原貌或者甚至是早已湮灭的楼兰古城，这些原本似乎遥不可及的 想法如今借助虚拟现实技术已经成为了可能，而随着图形卡和显示设备等硬件 的飞速发展，这一切又进一步走进了千家万户。 虚拟现实技术在广义上包含了内容的获取和展示两方面，而其中展示方面 的技术包含了本文讨论的主题，也就是虚拟展示。虚拟展示是一门综合技术， 它以计算机技术为主，综合利用计算机三维图形技术、模拟技术、传感技术、 人机界面技术、显示技术、伺服技术等，来生成一个逼真的三维视觉甚至是触 觉以及嗅觉等感官世界。 通过虚拟空间c y b e r s p a c e 、虚拟大学、虚拟博物馆等这些最近常常听到的 例子可以看到，虚拟展示技术距离我们的生活已经越来越近了。这里可以给它 下了一个简单的定义：虚拟展示就是使用电脑这一工具，在人为制造的空间里 感受到的现实。虚拟展示的应用范围非常广泛，从单纯的电子游戏，到使用光 纤技术的数据球或者h m d ，以及使用在飞行器上的高级装置。 图1s k ”e c h 公司的虚拟城市效果 目前互联网技术的高速发展以及普及已经使得通过网络参与虚拟展示成为 了可能。具体说来基于网络的虚拟展示就是在互联网的基础上，把各种信息变 为虚拟展示的所有技术，在以已经普及的以文字、图像以及动画为主的互联网 基于图像的高精度三维模型网络展示技术及其应用 浙江大学硕士学位论文 环境中，引入三维技术，从而提供三维立体信息。以前，那些高性能的图形图 像处理装置，以及其他多种装备，都只使用在军事、医疗等特定领域里，而以 个人为主的虚拟展示随着互联网的发展，正转向以普通人为主的大众领域。 比如，在制造的虚拟购物空间中，人们可以像真正逛商场一样细致的观察 产品的细节，而更为便捷的是借助网络和个人电脑，人们还可以同时去浏览产 品其它相关的信息。 尽管现在虚拟展示已经给了人们许多惊喜，我们仍然要看到它仍然有力所 不能及的地方。让我们从与虚拟展示紧密相关的另一方面技术数字化获取 技术入手，随着针对器物场景的高精度数字化获取设备的出现，生成并需要进 行展示的模型数据量正在飞速发展，以著名的数字化米开朗基罗计划【1 】为例。 斯坦福电脑设计实验室为米开朗基罗的雕塑建立一个权威的三维资料中心，项 目组借助大型激光扫描仪和3 0 位工作人员的努力，获得了包括大卫雕象( 1 o 毫米精度，包含5 6 ，0 0 0 ，0 0 0 个三角面片) 在内的一系列米开朗基罗的作品。 图2 数字化米开朗基罗计划中的丈卫像模型 这样规模的三维模型即使在本地浏览也需要采用较好的图形工作站，而对 于通过网络的虚拟展示来说几乎是不可能的，这基于两方面考虑：首先，如此 大数据量的模型通过网络传输需要占用很高的带宽和用户大量的时间；其次， 对于大多数普通的桌面计算机，渲染展示这种规模的高精度模型不仅效果不佳， 而且非常吃力。 基于图像的高精度三维模型网络展示技术及其应用浙江大学硕士学位论文 不仅如此，在诸如气象、地理等信息系统中，海量的数据对于处理用的服 务器都提出了很高的要求，而对于普通的互联网用户，浏览这些数据产生的可 视化效果是不可行的。 在上述背景下我们可以看出，互联网技术和图形图像技术的进步带给人们 对于高精度欣赏的需求。然而目前互联网的低带宽和高延迟等多种因素仍然制 约着高精度三维模型的网上展示，而这在另一方面也降低了很多数字化获取工 作的意义。 1 2 论文的主要工作与目标 针对前一节所分析的目前对于网络虚拟展示的挑战，本文希望重新分析目 前的网络高精度展示技术，并将一些最新的网络以及图形图像技术理念融入目 前的网络高精度展示技术中，从而提供种在保证较好的交互实时性的前提下 的基于网络的高精度三维模型展示技术。 作者查阅了相关文献，总结了高精度模型展示研究的发展和应用现状，对 较为主流的w 曲3 d 技术、远程可视化技术、基于i b r 的全景图技术进行了总 结。还对高精度模型展示研究相关的数据压缩、智能化交互、展示优化技术迸 行了分析。在查阅文献的基础上，首先对传统网络高精度模型展示的技术框架 进行了优化和改进，并通过针对技术中的各个环节的瓶颈问题采用针对性技术 予以解决。 同时，本论文的研究还结合浙江省科技厅重点项目“遗址文物数字化关键 技术研究及其应用”以及国家十五科技攻关计划项目“古文化遗存的数字化工 程示范研究”进行。最终针对单件文物模型设计、完成了网络高精度的展示平 台，并将其应用到了两个项目中去。 基于图像的高精度三维模型网络展示技术及其应用 浙江大学硕士学位论文 第二章网络三维展示应用现状及综述 2 1 国内外网络三维展示应用及发展现状 自从虚拟现实之父s u t h e d a n d 于1 9 6 5 年在一篇名为终极的显示 2 的论 文中首次提出虚拟现实系统的基本思想以来，已经过去了整整4 0 年了，虚拟现 实技术得到了极大的发展，同时也衍生出了众多分支。而在1 9 8 7 年m c c o n m c k 等人提出科学计算可视化( s u a l i z a t i o n 协s c i e 越位c o m p u 皿曲这一概念【3 】以 后，人们越来越关注到虚拟现实伴随网络产生的一个重要子技术：基于网络的 模型展示。发展至今，国内外众多研究者针对这个方向提出、设计并完成了一 些较为成功的实例系统。 s g i z s e r v e r 4 】 5 】是s g i 公司发布的一个独创的可视区域网络( n s u a l a r e an e t 、v o 出n g ) 产品。通过可视区域网络，每个工程师在桌面就可使用s g i o n y x 视系统具有的处理大规模计算和可视化任务的能力，并借此对复杂问题和 创造性的解决方案有深入的理解。具体地说，它使得用户端应用程序可以通过 一种透明的方式访问远端的服务器来渲染输出图像从而充分利用了s g l0 n ” 系统的强大性能。 a g a v e 系统 6 】的目的是增强a c c e s sg r i d 系统( a c c e s sg r i d 是一种以开放 网格服务体系结构为基础的，结合视频会议技术、网络技术和网格技术，建立 起来的群组可视化交流环境) 【7 】来支持网络协同用户来共享诸如科学、工程等 三维数据，同时辅以二维的a c c e s sg r i d 内容。a w e 系统是通过低成本的被 动式立体图像投影系统和伴随的联网p c 实现的。观众可以借助不昂贵的三维 电影眼镜来观看沉浸式的展示，如果需要的话附加的三维跟踪系统和定点仪器 可以被集成进来用于支持三维交互。a g a v e 系统可以作为一块独立的显示屏幕 部署在a c c e s sg r i d 系统显示屏幕的一边从而用户可以同时观看标准的二维内 容和三维内容。 基于图像的高精度三维模型网络展示技术及其应用 浙江大学硕士学位论文 图3 a g a v e 系统演示 q t v r ( q l l i c k t h ev r ) 是美国苹果公司的专业全景技术，它的显示插件 是：o u i c k t i m e ，它是一个通用的视频音频播放器，支持多达2 0 0 多种文件格式。 利用q t v r 技术可创建逼真的虚拟环境，该环境是独立的平台。这种新技 术正在开始普遍应用在w e b 上和单独的应用程序中。q u i c k t i m ev r 可为无法 采用其他虚拟现实技术的影片添加一种真实效果。虽然诸如v r m l ( v i n l l a l r e “姆m d ( u pl a n g u a g e s ) 之类的技术可以实时渲染三维图像，但由于系统资 源的问题，限制了图像能够显示的信息总量，诸如纹理和照明等，因此v i l 对象包含的细节少，看上去很粗糙。q t v r 是从实际照片创建的，或者用高端 3 d 程序创建，这样的程序能够创建具有照片效果的图像；还可以把几个 ( 称为一个节点影片) 组合起来放入一个影片中并创建热区，允许用户从一个 场景跳转到另一个场景。 q u i c k t i m e v r 可以三种形式出现：p a i l o r 锄耶( 全景) 、o b j e c t ( 对象) 、s c e n e s ( 场景) 。所有这三种形式都可以让用户控制，并允许用户在任何时刻调整视图。 基于图像的高精度三维模型网络展示技术及其应用 浙江大学硕士学位论文 图4q u i c l 雨m ev r 的全景图效果 e n g c l 等人基于o p e ni n v e n t o r 、c o s m 0 3 d 开发了一个提供远程控制功能的 可视化软件框架系统 8 】。在该系统中，可视化服务器向所有的基于j a v a 开发的 客户端分发包含图像数据的可视化会话。而可视化的参数( 也即图像渲染参数) 由客户端通过发送c o r b a ( c o m m o no b j e c tr e q u e s tb r o k e ra r c l l i t e c n 】r e ) 请求 到服务器端。这个框架系统提供了对于可视化服务的透明访问并且允许共享资 源。另外，这个框架系统也提出了对于协同工作和远程教育的可能性。同时， 值得一提的是t g s 的0 p e ni n v e n t o r 工具包是目前世界上最广泛使用的对象导 向绘图软件开发接口( a p d ，其对于网络高精度展示的主要意义在于它提供的远 程渲染功能模块( r e m o 把r e n d e m g ) 允许引用其开发的系统同时在客户端和服 务器端运行，只需要在本地和远端计算机之问传输一些经过优化压缩的数据就 可以实现可视化，而占用较少的内存、处理以及图形图像硬件资源。 基于图像的高精度三维模型网络展示技术及其应用 浙江大学硕士学位论文 图5e n g e l 等人开发的框架系统界面 2 2 网络三维展示相关技术研究 作为直接面向普通用户的技术，用户接入网络带宽和客户端计算机的运算 能力的双重限制是网络三维模型展示面对的主要问题。目前网络三维模型展示 的主要技术也都是针对这两个问题采用各种解决方案： 针对三维模型制定特殊的传输协议以及配套的三维模型文件解析方案。这 种方案也就是目前较为流行的w 曲3 d 技术范畴，其中的具体技术建立协议的出 发点各有不同。 根据科学可视化技术( 面对医学、气象、地质等大数据量的专业领域的专 家级超高精度三维展示技术) 演化出来的可以针对普通用户的远程可视化技术。 借助i b r ( i m a g cb 船c dr e n d e 血g ) 技术从本质上改变三维模型的存储格式 ( 采用静态图像数据替代三维图像数据) 从而大大降低了网络传输数据量以及 对于展示客户端计算机性能的要求。 2 2 1w b ”d 技术 2 2 1 1v r m u 3 d v 州l ( v i 咖a 1r e a l 畸m o d e l i n gl a n g u a g e ) 最初出现在1 9 9 4 年的瑞士日内瓦 基于图像的高精度三维模型网络展示技术及其应用浙江大学硕士学位论文 的w 3 会议上。v 则l 9 7 9 是由国际标准化组织( i s o ) 在1 9 9 7 年1 2 月作为国 际标准正式发布。v r m l 规范包括用文本信息描述三维场景，在i n t e m e t 网上 传输，在本地计算机上由v 刚l 的浏览器解释生成三维场景。正是基于v r m l 的这种工作机制，才使其可能在网络应用中有很快的发展。v r m l 有如下特征： 统分结合模式：v 州l 的访问方式基于c s 模式，其中服务器提供v r m l 文 件，客户通过网络下载希望访问的文件，并通过本地平台的浏览器( e w e r ) 对该文件描述的v r 世界进行访问。由于浏览器是本地平台提供的，从而实现了 v r 的平台无关性。 基于a s c 码的低带宽可行性：v 蹦l 像h r m l 一样，用a s c i i 文本格式 来描述世界和链接，保证在各种平台上通用，同时也降低了数据量，从而在低 带宽的网络上也可以实现。 实时3 d 着色引擎：传统的v r 中使用的实时3 d 若色引擎在v r m l 中得到 了更好的体现。这一特性把v r 的建模与实时访问更明确的隔离开来，也是v r 不同于三维建模和动画的地方。后者预先着色，因而不能提供交互性。v r m l 提供了6 + 1 个自由度，即三个方向的移动和旋转，以及和其他3 d 空闽的超链 接。 可扩充性：v 蹦l 作为一种标准，不可能满足所有应用的需要。v r m l 可 以根据需要定义自己的对象及其属性，并通过j a v a 语言等方式使浏览器可以解 释这种对象及其行为。 基于图像的高精度三维模型网络展示技术及其应用 浙江大学硕士学位论文 圈6 使用l i g h t s p e 等三维软件制作的单纹理v r m l 场景 x 3 d ( e x c e n s i b l e3 d ) 【9 】是一个软件标准，定义了如何在多媒体中整合基 于网络传播的交互三维内容。x 3 d 将可以在不同的硬件设备中使用，并可用于 不同的应用领域中。比如工程设计、科学可视化、多媒体再现、娱乐、教育、 网页、共享虚拟世界等方面。x 3 d 也致力于建立一个3 d 图形与多媒体的统一 的交换格式。d 是v r m l 的继承。x 3 d 相对v r 乱改进，提供了以下的新 特性；更先进的应用程序界面，新添的数据编码格式，严格的一致性，组件化 结构。 e w p o i n te x p 嘶e n c et e c l 】1 1 0 l o g y ( 简称v e t ) 【1 0 】的前身是m e t a s t r e 帅技术。 m e t a s 扛e a n l3 d 文件格式是由i n t c l 公司及m e t a c r e a t i o n s 公司联合发布的新兴的 网上3 d 开放文件标准( 基于i n t e l 构架) 。基于此标准，我们在网上可以非常方 便的创建、发布及浏览可以放缩的3 d 图形，由于其小文件量及流传输的特点， 基于图像的高精度三维模型网络展示技术及其应用浙江大学硕士学位论文 该标准一经发布就深受好评。 m e t a s t r e a m 格式( m t s 2 0 ) 的物体是具有可伸缩性( s c a i e a b l e ) 。这意味着 m e t a s t r e a i n3 d 格式的物体可以自动的调节精度及其它相关参数以获得最佳表 现。游戏开发者只需开发一次高解析度的模型就可以满足游戏中不同层次精度 的需要以减少开发时间。w 曲开发者则可以通过这项技术让用户端自行设定3 d 模型的精度及光滑程度以给予用户最大的自由度，亦可通过这种调节减少下载 时间。用户可以非常方便的根据自己机器的处理速度以及网络接入的速度来对 m e t a s t r e a m 物体设定不同的精度以获得最佳感受。同时m e t a s 廿e 枷格式还具有 流传输特性( s n e 锄i n g ) ，用户可以在三维数据下载的过程中看到一个由低精度 的粗糙模型逐步转化为完整的高精度模型的过程。m e t a s 格式的文件非常 紧凑，它比其它任何一种已存在的i n t e m e t3 d 技术压缩比都更高，其极小的文 件量使得在网上浏览m e t a g t r e 撇3 d 物体颇为快捷。 v e t ( 也即m t s 3 o ) 继承m e t a s t r e a i i l 以上特点，并实现了许多新的功能和 突破。在结构上它分为两个部分：一个是储存三维数据和贴图数据的m t s 文件， 一个是对场景参数和交互进行描述的基于m ，的m 衄文件。它具有一个纯软 件的高质量实时渲染引擎，渲染效果接近真实而不需要任何的硬件加速设备。 v e t 可以和用户发生交互操作，通过鼠标或浏览器事件引发一段动画或是一个 状态的改变，从而动态地演示一个交互过程。 v e t 除了展示三维对象外还犹如一个能容纳各种技术的包容器。它可以把 全景图像作为场景的背景。n a s h 动画也可以被作为贴图使用。 基于图像的高精度三维模型网络展示技术及其应用浙江大学硕士学位论文 圈7v i e w p o i n t 模型展示 c t l l t 3 d 在表观和交互方式上和v i e w p o i n t 出奇地相似，也是e 、v p o i n t 最大 的竞争对手。和e w p o i n t 相比，c l l l t 3 d 的内核是基于j a 、，a ，它甚至可以嵌入 j 怂後类，利用j a 、後来增强交互性能和扩展性，但是对于v i 粥甲o i n t ，他的x m l 构架能够和浏览器与数据库达到方便通信。c u l t 3 d 的开发环境比唧o i n t 人 性化和条理化，开发效率也要高得多。 2 2 1 3 w i i d 。h n g e n t w i l d l 锄g e n t 技术实际上提供了一个强大的程序开发环境，它能让开发者在 程序和网页中充分发挥m i c r o s o f 的d i r e c t ) ( t m 库的威力。使用该技术配合脚 本语言或者其他程序语言，能够创造出动态、眩目的3 d 效果( 可以包含二维平 面图形，声音以及三维模型1 。 w i l d t 趾g e n t 不仅仅简单地将d i r e c t ) ( 的功能进行封装或者重新包装。它提 供了简化而且强大的程序开发环境，使开发者能够快速上手。而且该技术能和 m i c m s o f i 以及n e t s c 印e 浏览器完美兼容。 w i l d t 觚g c n t 事实上是为网络而生的。只要下载一个3 0 0 k 大小的控件， w i l d t h g e m 就能使用数据流技术，让用户在一个场景完全下载之前与该场景进 行交互。 基于图像的高精度三维模型网络展示技术及其应用 浙江大学硕士学位论文 w i l d g e n t 的应用范围可以从简单的网站广告( 能实现真正交互并且与g i f 动画相比占用更少的带宽) 到网络3 d 游戏。w i l d g e n t 充分发挥现在一般低端 电脑上具备的硬件支持的3 d 图像引擎的强大功能来最大限度地减轻c p u 运算 的负担。通过它，开发者已经能够使用v b s c r i p t 或j a v a s c 却t 等脚本语言来创 造出平滑、动感、交互的三维世界。 2 2 2 远程可视化( i k m o t e s 岫l 切i 舶n ) 远程可视化技术实际上是从科学可视化技术中发展出来，并逐渐被应用到 除专业科学研究领域之外的更广泛范围内。最初的远程可视化技术被应用于在 网络上显示科学数据集( 比如医学、气象、地质等领域的数据) 的三维表示并 允许科学家进行交互控制。远程可视化作为科学可视化技术的一个重要分支， 在计算机的发展过程中扮演着越来越重要的角色。而在因特网环境中，面对普 通用户对于各种类型的三维数据的浏览需求，更为广义的远程可视化技术就出 现了。 发展至今，远程可视化技术的实现主要有三种途径： 服务器端渲染系统将三维数据交给远端的服务器来完成渲染工作，利用服 务器传回的图像来实现展示。 本地渲染系统将完整的三维模型数据下载到本地，然后由本地的客户端层 序来完成渲染展示的工作。 混合模式服务器端和客户端协同完成渲染和展示的工作，从而在降低占用 的网络带宽的基础上保证交互实时性。 基于图像的高精度三维模型网络展示技术及其应用 浙江大学硕士学位论文 图8 负高能量蛋白质( n e g h i p ) 效果展示 2 2 3 基于皿r 的全景图技术 基于i b r 的全景图技术，也就是通过对专业相机捕捉获取对象的图像信息。 使用软件进行图片拼合，并用专门的播放器进行播放，即将平面照及计算机图 变为3 6 0 度全景图用于虚拟现实浏览，把二维的平面图模拟成真实的三维空间， 呈现给观赏者。并且该技术还提供各种操纵图像的功能，包括放大、缩小、各 个方向移动观看场景等。 目前全景国有f l a s h 、j a v a 、a c d v e x 、q u i c k t m e 、s h o c k w a v e 格式等多种， 其中以j a v a 和q u i c k t i m e 的格式为常用格式。通常全景图可以以三种形式呈现： p a o n m a s ( 全景) p 柚。姗a s 会从各种不同的角度显示一幅场景。大多 数全景图是使用3 6 0 度的广角创建的，使观看者有一种正在该场景中心位置的 感觉。通过在想要观看的方向拖动鼠标，可以观看一幅全景图。当把鼠标移动 到窗口的不同象限时，光标会指示正在该场景中移动的方向。 o b j e c t ( 对象) 使用0 b j e c t 能够观看一个三维的对象。通过在对象上单击 鼠标，并且在想要观看的方向上进行拖动，就可以旋转一个对象。 s c e n 姻( 场景) s c c n e s 通常是一个集合，其中包括p a n o r 锄a s 、o b i e c t 以 及组合到影片中的其他媒体，这些单独的组件中的每一个都称为n o d e ( 节点) ， s c e n e s 包含了热区( 将n o d e 链接在一起的区域) 。当鼠标指针在其中一个热区 上通过时，则会变成一个手型指针，表明在此处可以执行操作。 基于图像的高精度三维模型网络展示技术及其应用 浙江大学硕士学位论文 2 3 小结 图90 b j e c t ( 左图) 和p a n o 旧m a s ( 右图) 形式下的全景图效果 本章主要论述了基于网络的高精度三维展示技术的发展和应用现状，其中 重点介绍了一些典型性系统以及针对高精度三维展示的目前流行的多种技术， 这包括：w 曲3 d 技术( v r m 【x 3 d 、e w p o i n 们l l l t 3 d 、w i l d 胁g e n t 等) 、远 程可视化技术( r e m o t ev i s u a l i z a t i o n ) 和基于i b r 的全景图技术。并且分别对 这些技术的特点和效果进行了分析。 从中可以看出，基于网络的高精度三维展示技术在面临不同背景的需求( 比 如房产、旅游、气象、医学等) 时采用技术解决问题的关键有所不同，这往往 取决于其对于图像精度、仿真性、响应时间、操作便捷性等方面不同的要求。 基于图像的高精度三维模型网络展示技术及其应用浙江大学硕士学位论文 第三章基于图像的网络三维展示关键技 术研究 针对浙江省科技厅重点项目“遗址文物数字化关键技术研究及其应用”以 及国家十五科技攻关计划项目“古文化遗存的数字化工程示范研究”，我们对高 精度三维模型网络化展示技术进行了深入研究。同时我们结合借助高精度三维 扫描仪获取的良渚文化和金沙遗址的系列文物三维模型进行了网络展示的实施 和测试并取得了较为满意的结果。 高精度模型网络化展示的关键问题是如何在高精度展示的前提下同时保证 用户交互控制的实时性。本章的讨论将围绕这点展开。针对网络高精度展示主 要有两种结构：本地渲染和远端渲染。本地渲染也就是传统意义上的做法，即 下载模型并在客户端完成渲染展示工作，而远端渲染则是由服务器端完成模型 渲染任务然后将渲染结果的静态图像传输到客户端进行展示。我们认为后者虽 然具有一些局限性，但是通过针对性的优化工作，可以保证更好的实时性和高 精度的平衡。而前面所提到的混合模式实际上可以看作是在远端渲染结构的基 础进行优化而产生的一种改进结构。 我们根据该结构的各个关键环节的瓶颈应用相应的技术来加强展示实时 性。而制约实时性的主要因素包括：服务器渲染图像的时间、图像压缩编解码 时间、数据传输时间。 3 1 基于图像传输的技术框架 前面提到的大多数网络三维展示技术( 比如v 刚l 3 d 、e w p o i n 们u l t 3 d 、 w i l d ，i 锄g e n t 等) 都采用了传统的本地渲染结构来实现模型网络化展示，其本质 就是通过h t t p 或者其他通用协议从服务器下载三维模型到本地，然后由安装 在用户计算机上的特殊的三维浏览器来完成渲染展示的工作。而另一种被 戳c c a r d ob e r n a r d i n i 称为s p l i t - b r o w s e r 【1 2 的基于图像的远端渲染结构则类似于 基于图像的高精度三维模型网络展示技术及其应用 浙江大学硕士学位论文 将第一种结构中的客户端的三维浏览器分割成为渲染和展示两部分，将原本对 客户端计算机硬件要求极高并且对展示、交互速度影响较大的渲染功能部分放 到了服务器端，而仅仅是将必须的交互与展示功能部分保留在了客户端，而后 者不论是对硬件要求还是运行速度对于客户计算机来说都是一个较为合适的轻 量级客户端。在下图中，我们以一个典型的v r m l 渲染结构作为对比实例。我 们可以发现，通过网络传输的数据从前者的三维模型变成了静态渲染结构图像 数据和交互控制数据。 图1 0 传统网络展示结构( 上图) 与基于图像的远端渲染( s p i l - b r o w s e r ) 结构( 下图) 的比 较 对比上述两种网络三维展示技术框架，我们可以发现基于图像的远端渲染 结构具有以下特点： 基于图像的高精度三维模型网络展示技术及其应用 浙江大学硕士学位论文 较短的响应时间传统网络展示结构完成初始化需要首先从服务器下载三 维模型文件，尽管可以采用各种技术对其进行压缩，但是高精度三维模型的文 件大小对于目前因特网的带宽来说仍然非常巨大( 一个普通精度的1 0 0 ，0 0 0 个 三角面片的m l 文件大约是1 0 m b 大小，通过1 m b p s 接入速度的宽带连接 需要l 一2 分钟才能完全传完，而这还是理想情况下的估计) 。其结果就是用户需 要等待相当长的时间才能看到展示的第一帧。而基于图像的远端渲染结构中通 过网络传输的是三维模型渲染生成的静态图像，其文件大小通常是2 0 2 0 0 k b ， 因此用户能够在很短的时间内看到渲染结果。 对客户端硬件较低的要求尽管目前三维图形芯片发展迅速，但是对于普通 用户，本地渲染可能拥有几十万个三角面片的高精度三维模型并且保证较快的 帧率是比较困难的。而基于图像的远端渲染结构将对于c p u 、内存以及图形芯 片依赖性很强的渲染工作放到了服务器执行，从而充分利用服务器的强大处理 能力。 版权保护特性高精度三维模型通常需要采用昂贵的三维获取仪器以及大 量的人力来完成三维扫描和模型后期处理，其本身具有相当大的价值。同时在 诸如考古等领域，高精度的三维数据不适合被流传，因此版权保护问题是难以 回避的。在传统展示结构中，由于三维模型被下载到客户本地，虽然可以采用 数字水印加密等手段，但是存放在用户计算机的数据终究具有非常大的被窃取 危险。而在基于图像的远端渲染结构中，传输到客户端的仅仅是静态图像数据 而不是三维模型本身，其危险性大大降低。 无需特殊的客户端在传统展示结构中，各个不同的技术标准采用了不同的 三维模型文件标准，因此在本地进行文件解析和渲染时，用户计算机需要安装 有对应的客户端软件来支持三维模型的本地渲染和展示( 比如p a r a l l e l g r a 曲i c s 公司的c o r t o n a 浏览器) 。而在基于图像的远端渲染结构中，由于客户端的功能 仅仅是图形用户界面( 包括静态图像显示和用户交互) ，系统客户端可以通过诸 如j a v a a p p l e t 和a 商v e x 等技术以彤s ( 浏览器服务器端) 形式出现，而无需 单独安装特殊的客户端三维展示浏览器程序。 便于推广和移植由于在基于图像的远端渲染结构中，客户端对硬件和网络 带宽的要求都比较低，因此技术可以被移植并应用到更为广泛的方面，比如未 基于图像的高精度三维模型网络展示技术及其应用浙江大学硕士学位论文 来将占主导地位的手持设备同样可以通过简单的移植访问到高精度三维模型展 不。 尽管该结构相对于传统的本地渲染结构具有较多优势，但是面对实际需求 仍然有所不足。首先，从用户发送请求到查看到渲染的结果之间仍然有一定的 时延，虽然网络传输的时延已经被降低，但是整体时延仍然不可忽略。其次。 不同于传统结构的一次性传输( 虽然初始传输三维模型耗费较多时间，但一旦 下载完毕之后基本不需要网络传输) ，基于图像的远端渲染每一次交互都需要相 应的网络数据交换，如何有效地降低单次网络传输的时延或者减少数据交换次 数同样是研究的重点。在下图中，我们将该结构的操作根据时间顺序分解开来， 可以看到整个系统响应的过程由图像交互数据网络传输、服务器端响应交互请 求( 搜索数据库、读取相应的三维模型文件) 、服务器端渲染、服务器端读取图 像、服务器端图像编码、客户端图像解码、客户端展示图像组成。其中，读取 i 訇像的工作是通过直接读取三维渲染引擎的渲染结果b i t l l l a p 内存数据，因此其 占用的时间可以忽略不计。而在考虑网络带宽带来的时延时，同样可以忽略数 据量非常小的交互数据的网络传输过程。客户端图像展示工作非常简单，其消 耗的时间同样可以忽觉不计。而图像编解码的时间在相同硬件情况下主要取决 于编解码算法的性能，其内容相当丰富，在本文中并不展开叙述。另外，我们 可以发现在不考虑模型传输以及用户计算机处理能力具备一定水平的前提下， 本地生成展示图像相比较远端渲染结构，其时延本身以及稳定性都更为优秀， l 习此在客户端计算量不大的前提下，充分避免通过网络传输图像来展示也是提 高系统实时性的方案。下面我们就针对剩余的环节的实时性优化以及减少网络 传输频率技术进行讨论。 基于图像的高精度三维模型网络展示技术及其应用 浙江大学硕士学位论文 一时延叫 图1 1 用户完成交互到用户看到展示图像中间的时延组成：交互请求传送、响应请求、渲染图 像、读取图像、图像压缩编码、图像数据传送、图像解码、图像展示 3 2 实时性优化技术研究与应用 这一节将针对图像数据网络传输、服务器端晌应交互请求( 搜索数据库、 读取相应的三维模型文件) 、服务器端渲染几个关键的处理环节的主要瓶颈问题 以及减少网络传输频率进行相应的研究以降低其时延，从而提高整体的基于图 像传输技术框架的实时性。 3 2 1 低时延的图像传输技术 如前所述，在考虑网络传输的问题时，我们可以忽略数据量很小的交互数 据，而主要考虑图像数据的传输。降低其传输时延的最为直接有效的方法是降 低需要传输图像数据的大小，在考虑常用数据压缩算法的基础上，我们还需要 考虑到三维展示中图像是作为三维模型不同角度显示信息这一特征。 通过前一帧图像和z - b u r ( 深度) 信息获得下面一帧图像是一个为人熟知 的可视化技术，也就是我们通常说的基于图像的渲染技术( i b r ) 1 3 。这种方 法相对于重复对完整的三维模型尤其是复杂大型的三维模型进行渲染来说更为 高效。其优势主要体现在能够有效减少每一帧传输的图像数据量，由于客户端 能够根据i b r 技术结合用户的交互动作生成预测的下一帧图像，服务器端仅仅 需要传输相对于这个预测帧的校正数据即可( 也就是预测帧和实际帧的差值) 。 基于图像的高精度三维模型网络展示技术及其应用浙江大学硕士学位论文 图1 2 前一帧图像和预测图像的关系 i b r 技术可以和上面提及的常用图像压缩方案结合起来，通过下面的公式 在已经渲染好的图像帧的基础上预测下一个图像帧。首先把用户虚拟视点位置 巧对应的图像数据称为厶0 ) ，x e q l = o ，】 o ，q 】。在巧的参照系统中厶( z ) 中 象素点并= 【石，y 】r 的三维坐标是x = x ，y ，z y ) r ，其中z ( x ，y ) 是盖点的z - b u 妇衙 ( 深度) 信息。而在用户新的虚拟视点位置坞对应的参照系统中，z 的位置 如下： z = 口：y ，z o ：y 霄= 丁( ) = 丁( x ，弘z 0 ，力)( 1 ) 在式子1 中，丁是一个通过齐次坐标中的矩阵墨获得的三维投影变换。我 们用厶0 ，x q 2 2 o ，畈】。【o ，1 来表示对应于的渲染图像，用岛o ，来表 示对应于k 从厶( x ) 和z ( 工) 通过i b r 方法获得的图像。忽略公式1 中的z 轴坐 标可以得到： j = f ( x ) ， x q 1( 2 ) 考虑2q 2 n ( q 1 ) 和l 2 q 2 一，厶和厶之间的关系可以写成： 三：( 工) = j 厶( r 一1 ( z ) ) 、 io 拦 确定新的i b r 图像三：0 的过程可以归结如下： 2 0 基于图像的高精度三维模型网络展示技术及其应用浙江大学硕士学位论文 对于每一个( x ，鸟，都可以确定一个z 7 = 肛，弘z ，力】 确定对应的齐次坐标瑶2 【x ，只z o ，y ) ，” 和矩阵气( 【1 4 】) 相乘并且计算出墨2i 五 确定j = 丘呒，砭，哌，乏哌】= 旺：y ，z ( 工。，y ，】 如果( x ：y q 2 ，则三：( x ，y ) 。厶( x ，y ) 这里非常关键的一点是并没有定义三：( 卫) l 。在中，0 ) 为了方便起 见设为o 。 i b r 的概念使得它可以被应用到不同的压缩策略中用于远程可视化的预测。 因为在预测误差相对小的情况下这种预测方案是有优势的，