（计算机软件与理论专业论文）网格环境下基于科学工作流的可视化研究与实现.pdf

山东大学硕士学位论文 摘要 科学计算可视化是指运用计算机图形学或者一般图形学的原理和方法，将科 学与工程计算产生的大规模数据转化为图形、图像，以直观的、可被人理解的形 式表示出来。它在科学计算、国防建设和国民经济中有着非常重要的应用，作为 一种计算和数据密集型的应用，需要很高的硬件配置、大量的计算资源和存储资 源。同时，随着科学技术的发展，i n t e m e t 迅速蔓延到世界各地，成为人们信息 沟通和工作协同的有效工具。其中，i n t e m e t 连接的成千上万的计算资源、存储 资源、信息管理资源等各种数字化设备共同构成了生产、传播和使用知识的重要 载体。而网格作为一种新兴的计算基础设备，将这些物理上互联的众多资源汇聚 在一起，实现了资源共享、协同工作和联合计算的功能，并为广大用户提供了科 学、工程、金融、军事等各种综合性服务。在i n t e m e t 发展的同时，科学计算可 视化也取得了长足的进步。为了满足科学家对于科学计算可视化在速度性能上的 要求，科学计算可视化向着分布式科学计算可视化的方向不断发展，深度广度都 有所加强。而网格计算技术作为一种前瞻的面向广域网的计算方式，使得科学计 算可视化在更广范围内利用资源成为了可能，因此在网格环境下进行科学计算可 视化已经成为了一个新兴的研究方向。 在1 9 9 0 年随着h a b e r 等人对科学计算可视化模型的提出，将科学计算可视 化以管道p i p e l i n e 的方式进行了建模，为科学计算可视化的发展起到了举足轻重 的作用。近几年，科学工作流作为一个新兴的名词出现，是区别与普通业务工作 流的。科学工作流根据定义一组定义好的规则，使程序自动执行来达到整体目标， 同时文档、信息和任务在参与者之间互相传送和执行。科学工作流的主要目的是 为科学家做实验提供方便，描述计算试验的设计过程。而目前科学计算可视化的 实验要求越来越高，很多试验要求反复重用、修改和共享，因此在科学工作流这 一问题求解环境中进行科学计算可视化是很有必要也是将来科学计算可视化的 发展方向。而本文的主要研究内容有： 本文提出了一个在网格环境下基于科学工作流的科学计算可视化的三层体 山东大学硕士学位论文 系结构，该体系结构由物理层、逻辑层和概念层组成，每层负责一组支撑功能。 物理层提供了系统的基础功能，提供了基本的、动态的、统一的可视化服务功能， 完成科学计算可视化；逻辑层绑定软件资源，分析、解释科学计算可视化流程， 并对科学计算可视化任务进行管理；概念层是系统的视图层，负责描述科学计算 可视化任务，是用户与系统的任务交互平台。该体系结构分层简洁，层次之间耦 合性少，各层具备较高的独立性和可扩展性。另外，文中还对系统做了性能测试 并对测试结果进行了相应地分析总结，并对未来的研究指明了方向。 论文的工作较系统地实现了在网格环境下基于科学工作流进行科学计算可 视化的目标，支持资源异构、资源共享、任务管理，实现了一个基本具备网格特 征的基于科学工作流的科学计算可视化系统，具有良好的跨平台性和可扩展性， 同时也为进一步的协同可视化创造了条件。 关键词：网格计算：科学计算可视化：科学工作流：w e b 服务 i i 山东大学硕士学位论文 a b s t r a c t v i s u a l i z a t i o ni ns c i e n t i f i cc o m p u t i n gi sc o n c e m e da b o u tg e n e r a t i n gv i r t u a l g r a p h i c s o ri m a g e sf r o ml a r g e - s c a l ed a t ap r o d u c e db ys c i e n t i f i ca n de n g i n e e r c o m p u t i n g ，u s i n gc o m p u t i n gg r a p h i c sm e t h o d sa n dt h e o r i e s i th a sb e c o m ea n i n d i s p e n s a b l et o o li ns c i e n t i f i cc o m p u t i n g ，n a t i o n a ld e f e n s ea n di n d u s t r yw h i c hi s i n h e r e n t l ys oc o m p u t ea n dd a t ai n t e n s i v et h a ti tu s u a l l yn e e d sh i g h e n dh a r d w a r e ， m a s s i v ec o m p u t i n gr e s o u r c e sa n ds t o r a g er e s o u r c e s m e a n w h i l e ，、) v i t ht h e d e v e l o p m e n to fs c i e n t i f i ct e c h n o l o g y , i n t e m e th a sb e c o m et h et r e n do ft h ew o r l d , w h i c hi st h ee f f e c t i v et o o lt ot r a n s l a t em e s s a g e sa n dc o o p e r a t ea m o n gp e o p l e s t h e i n t e m e tc o n n e c t st h o u s a n d so fc o m p u t i n gr e s o u r c e s ，s t o r a g er e s o u r c e s ，i n f o r m a t i o n r e s o u r c e sa n de t c ，w h i c hi st h ei m p o r t a n tm e d i af o rp r o d u c t i o n ，t r a n s m i t t a la n dt h eu s e o fk n o w l e d g e a n d ，g r i d ，a san e wc o m p u t i n gi n f r a s t r u c t u r e ，h a sc o v e r e da l lt h e s e r e s o u r c e sg e o g r a p h i c a l l y c o n n e c t e da n dh a si m p l e m e n t e dt h ef u n c t i o no fr e s o u r c e s h a r i n g c o o p e r a t i o na n dc o m b i n e dc o m p u t i n g i th a sp r o v i d e dl o t so fu s e r sw i t l la l l k i n d so fs e r v i c e si ns c i e n c e ，e n g i n e e r , f i n a n c e ，m i l i t a r y ，e r e t h es c i e n t i f i cc o m p u t i n g h a sm a d eg r e a tp r o g r e s s 、i mt h ed e v e l o p m e n to fi n t e r a c t t os a t i s f yt h es c i e n t i s t s r a p i d i t yn e e do ft h es c i e n t i f i cc o m p u t i n g ，t h es u b je c t st r e n di st h ed i s m b u t e d s c i e n t i f i cc o m p u t i n g ，n o to n l yt h ed e p t hb u ta l s ow i d t h a sar e s u l t ，t h eg r i d , a sa l l e n a b l i n gt e c h n o l o g yt oi n t e m e t 、析d ed i s m b u t e dc o m p u t i n g ，e n a b l e sv i s u a l i z a t i o nt o u t i l i z er e s o u r c e so v e ra n dp r o v i d es e r v i c e st oaw i d e re x t e n to fi n t e m e ta n df a v o r sa n e wr e s e a r c hd i r e c t i o n ，g r i d - e n a b l ev i s u a l i z a t i o n i n19 9 0 s ，h a b e ra n do t h e rp e o p l ec r e a t e dt h em o d e lf o rs c i e n t i f i cc o m p u t i n g ， m o d e l e di ta s p i p e l i n e sc o n n e c t e dt o g e t h e r , w h i c hi sv e r yi m p o r t a n tf o rt h e d e v e l o p m e n to ft h es c i e n t i f i cc o m p u t i n g r e c e n ty e a r s ，s c i e n t i f i cw o r k f l o w , a sa b u r g e o nn o u n ，i sd i f f e r e n tf r o mb u s i n e s sp r o c e s sw o r k f l o w s c i e n t i f i cw o r k f l o w m a k e sp r o c e d u r ee x e c u t ea u t o m a t i c a l l yt oa c h i e v et h eg o a la c c o r d i n gt h er u l e s ，a n d 山东大学硕士学位论文 t h ef i l e s ， m e s s a g e sa n dt a s k s c a nb et r a n s f o r m e da n de x e c u t e db e t w e e nt h e p a r t i c i p a n t s t h eg o a lo ft h es c i e n t i f i c w o r k f l o wi st os u p p o r tc o n v e n i e n c ef o r s c i e n t i s t st od e s c r i b et h ed e s i g no fe x p e r i m e n t s r i g h tn o w , t h er e q u i r e m e n t so f s c i e n t i f i cc o m p u t i n ge x p e r i m e n t sa r em o r ea n dm o r e ，w h i c ha r ea l w a y sr e u s e d , m o d i f i e da n ds h a r e d ，s ot h es c i e n t i f i cw o r k f l o w , a sap r o b l e ms o l v i n ge n v i r o n m e n t ，i s ag o o dt o o lf o rs c i e n t i f i cc o m p u t i n ga n dat r e n df o rs c i e n t i f i cc o m p u t i n g t h ec o n t e n t s o ft h et h e s i sa r e ； a ne x t e n s i b l et h r e e - l a y e rs y s t e ma r c h i t e c t u r ef o rs c i e n t i f i cc o m p u t i n gb a s e do n s c i e n t i f i cc o m p u t i n go nt h eg r i di sp r o p o s e d ，w h i c hc o n t a i n sp h y s i c a ll a y e r , l o g i c a l l a y e ra n dc o n c e p t u a ll a y e r e v e r yl a y e rs u p p o r t si n d e p e n d e n c ef u n c t i o n s p h y s i c a l l a y e rs u p p o r tt h ef o u n d a t i o n a lf u n c t i o n s ，w h i c ha r eb a s e m e n ta n dd y n a m i c a lu n i f o r m v i s u a l i z a t i o ns e r v i c et o c o m p l e t es c i e n t i f i cc o m p u t i n g t h el o g i c a ll a y e rb i n d s s o f t w a r er e s o u r c e s ，p a r s e sa n de x p l a i n st h es c i e n t i f i cv i s u a l i z a t i o nc o m p u t i n gf l o w , a n dm a n a g e st h es c i e n t i f i cv i s u a l i z a t i o nt a s k s c o n c e p t u a ll a y e ri st h ev i e wl a y e ro f t h es y s t e m ，s u p p o r t i n gd e s c r i b i n gt h es c i e n t i f i cv i s u a l i z a t i o nt a s k sa n di n t e r a c t i n g w i t ht h es y s t e mu s e r s l o wc o u p l i n ga n dh i g he x t e n s i b i l i t ya r ea c h i e v e dw i t ht h i s t h r e e - l a y e ra r c h i t e c t u r e o t h e r w i s e ，t h i st h e s i sd o e st h ep e r f o r m a n c et e s t ，s u m m a r i z e s t h er e s u l to ft h er e s u l t so ft h et e s ta n dp o i n t st h ef u t u r ew o r k s t h et h e s i sr e a l i z e sm o s to ft h eo b j e c t so fv i s u a l i z a t i o nb a s e do ns c i e n t i f i c w o r k f l o wo nt h eg d dc o m p u t i n g ，s u p p o r t i n gr e s o u r c eh e t e r o g e n e i t y , r e s o u r c es h a r i n g ， a n dt a s km a n a g e m e n t t h es y s t e mi sp l a t f o r m c r o s sa n de x t e n s i b l e ，w h i c hi sg o o df o r f u t u r ew o r k so nt h i sr e s e a r c hs u b je c t k e y w o r d s ：g r i dc o m p u t i n g ；s c j e n t i f i cv i s u a ii z a t i 0 1 1 ：s o i e n t i f i 0 w o r k f i o w ：w e bs e r v i c e i v 原创性声明和关于论文使用授权的说明 原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独 立进行研究所取得的成果。除文中已经注明引用的内容外，本论文不 包含任何其他个人或集体已经发表或撰写过的科研成果。对本文的研 究做出重要贡献的个人和集体，均已在文中以明确方式标明。本声明 的法律责任由本人承担。 论文作者签名：盔当量叁e t 期：论文作者签名：二墨塑受墼 期： 关于学位论文使用授权的声明 本人完全了解山东大学有关保留、使用学位论文的规定，同意学 校保留或向国家有关部门或机构送交论文的复印件和电子版，允许论 文被查阅和借阅；本人授权山东大学可以将本学位论文的全部或部分 内容编入有关数据库进行检索，可以采用影印、缩印或其他复制手段 保存论文和汇编本学位论文。 ( 保密论文在解密后应遵守此规定) 论文作者签名：邀导师签名：址日 期： 塑里21 丝矽 山东大学硕士学位论文 1 1 引言 第一章绪论 科学计算可视化( 简称可视化，英文是v i s u a l i z a t i o ni ns c i e n t i f i cc o m p u t i n g ， 简称v i s c ) 是计算机图形学的一个重要研究方向，是图形学研究领域的重要组 成部分。 v i s u a l i z a t i o n 一词，来自英文的v i s u a l ，原意是视觉的、形象的，中文译成 “图示化”更加贴切。事实上，能将任何抽象的事物、过程编程图形图像的表示 都可以称为可视化。而作为科学术语，“可视化 一词正式出现于1 9 8 7 年2 月美 国国家科学基金会( n a t i o n a ls c i e n c ef o u n d a t i o n ，简称n s f ) 召开的一个专题研 讨会，研讨会后发表的正式报告给出了科学计算可视化的定义、覆盖的领域以及 近期和长期的研究方向。这一会议的召开意味着“科学计算可视化 作为一个学 科在国际范围已经成熟。 科学计算可视化( s c i e n t i f i cv i s u a l i z a t i o n ) 兴起于1 9 8 0 年代末，意指运用计 算机图形学技术和图形处理技术，将通过科学计算或者数据采集获得的数据( 如 有限元分析、医学数据等) 转换为图像的过程【1 】【2 。可视化就是为了将观察或 者采集得到的数据生成图像以达到使科学家更好地理解数据的目的 3 】【4 】。可视 化是许多科学计算过程和国民经济引用不可或缺的处理步骤，在医学、分子化学 和生物学、计算流体动力学、大气物理、地球物理、航空航天等科学研究、国防、 和国民经济领域有着重要应用。如果离开了可视化技术，很多数据将由于无法被 理解而变得毫无意义。因此可视化技术也对人类的认识世界有着不可磨灭的影响 和作用。 而随着科学计算可视化技术的发展，对于可视化的性能要求越来越高，数据 量越来越大使得在单一的大型机上执行可视化计算已经越来越不满足科学家的 需要，于是科学计算可视化朝着分布式并行式可视化的方向发展。早期的并行 分布式可视化的计算平台主要为高端并行机，随着计算机网络的发展，骨干网和 山东大学硕士学位论文 局域网带宽的不断提高，计算机硬件性能、存储容量、和网络带宽都出现了突飞 猛进的发展，分布式可视化的理想平台逐渐从高端机和工作站拓展到集群和普通 的互联网计算机，其中p c 集群由于其高性价比受到了青睐。在科学计算可视化 分布式范围的深度广度的不断拓展，计算规模、数据量不断扩大的背景条件下， 可以预见，随着互联网的进一步普及和网络带宽的进一步扩大提高，科学计算和 网络应用更加趋向与分布化，其获取资源和提供服务的范围将拓展到整个互联 网。而网格计算【5 】就是在这种大环境大背景兴起的。g r i d 一词来自电力网，其 用意是将计算资源与电力资源进行类比。网格计算由1 9 8 0 年代末的超级计算问 题衍生而来，其目的就是用来利用分布在网络上的计算和存储资源，通过对他们 的动态组合为解决超级计算问题提供支持。网格计算是一种思想，一种技术，也 是一类中间件，是以一种有效的方式来将分布于不同地理位置，或属于不同自治 组织的异构资源，通过互联网连接起来，为外界提供大规模的、无限扩展的计算 能力。作为一种仍在不断完善和发展的技术，广义上可以认为网格是面向互联网 的分布式计算技术和中间件。与传统的分布式科学计算存在的分布范围小、异构 适应性差、缺乏互操作等缺点相比，网格计算提供了一种面向互联网，跨越各种 异构平台，整合各种资源的统一计算模式。 工作流技术 6 】【7 】由于能够使过程自动化和系统工作，提高工作效率，因此 在企业的经营过程重组、电子政务、系统科学研究等领域受到了广泛的重视。工 作流是一类能够完全或者部分自动执行的经营过程，他根据一系列过程规则、文 档、信息或者任务能够在不同的执行者之间进行传递与执行。在科学家大量使用 工作流的过程中发现普通的业务工作流越来越不满足科学家的需要，由此，随着 科学家对于科学研究以及工作流的需求产生了科学工作流这一概念。科学家使用 科学工作流来尝试各种模拟实验，当然也包括了科学计算可视化试验。由于科学 计算可视化自身的特性使得科学工作流在某些方面得做出调整，因此可以预见科 学工作流与科学计算可视化的结合在不久的将来会成为一种新兴的研究方向。 科学计算与可视化紧密相连，一方面因为科学计算的结果需要通过可视化转 变为直观的直觉信号，另一方面数据的可视化计算本身也是科学计算的一种，也 需要巨大的计算量。正因为如此，在网格计算发展的过程中始终都将可视化与虚 2 山东大学硕士学位论文 拟环境作为一种重要的应用。科学计算可视化与科学工作流也紧密相连，一方面 h a b e r 及u p s o n 8 等人建立科学计算可视化模型的时候已经将之流程化，以 p i p e l i n e 的方式连接，是一种科学计算的工作流，另一方面科学计算工作流是需 要大量计算的，以数据为驱动控制的流程模式，这种模式正适合运行科学计算可 视化。因此科学计算可视化是需要网格计算的、是需要科学工作流的。伴随着三 者技术的日益发展，三者的结合应用将会越来越多，也可以预见三者交叉会慢慢 的成为一种新兴研究领域。 1 2 国内外研究现状 在网格环境下进行科学计算可视化在国内外都有很多的研究尝试，是一项重 要的科研专题。有些尝试是将网格计算与科学计算可视化相结合，有些是在网格 计算平台上创建科学工作流的问题求解环境，这个求解环境也适合于运行科学计 算可视化，这就可以体现出可视化的重要性。可视化是科学计算的重要后续步骤， 是用户理解科学计算结果不可或缺的手段。因此不论在网格计算的研究中还是在 科学工作流的研究当中，可视化一直占据着一席之地。为此，i e e ec o m p u t e r g r a p h i c s & i t sa p p l i c a t i o n s 在2 0 0 3 年3 月推出了一期网格专辑【9 】。目前网格计算 与科学计算可视化结合的研究数量不是很多，侧重点也相对分散，有些是为现有 可视化软件添加网格计算功能支持，有些为网格计算平台添加通用可视化计算服 务，而有些侧重于大规模数据集的传输。下面简单介绍国外内的研究状况和进展， 以及各个系统的特点。 美国c m u 的a e s c h l i m a n n 等人在1 9 9 9 年设计的面向网格的分布式可视化框 架d v i o 是较早设计网格概念的可视化项目，这是早期的研究。它面向大规模 数据集的可视化，其中的关键概念是活动帧( a c t i v ef r a m e ) ，活动帧敬爱那个数 据和处理该数据的程序相关联，任务划分则以活动帧为单位。除了可进行任务划 分和动态利用计算节点之外，该框架并不具备更多的网格特征。实际上该框架中 的可视化是非交互式的。 美国爱荷华大学的b o y dk n o s p 等提出了给予王哥的体绘制框架【l l 】，他们 山东大学硕士学位论文 使用g l o b u s 1 2 的资源管理、信息服务和数据传输工具构建并行体绘制框架，体 绘制的任务分配使用基于图像空间分割算法。k n o s p 的体绘制框架设计是针对特 定的体绘制任务，没有显示的网格支持层，体绘制程序也无法跨越异构平台，而 且起并行算法只支持图像空间并行。 美国高级计算基础设备合作组织( n p a c i ，h t t p ：w w w n p a c i e d u ) 是美国网 格计算研究的主导力量，其开发的t e r a g r i d 可以支持t 字节甚至p 字节级的数据。 他们目前正在协调其所属成员如德克萨斯大学奥斯汀分销的计算可视化中心、高 级计算中心、圣地亚哥超计算机中心等单位联合开发适用于超计算机的可视化工 具和可视化服务。 欧洲c r o s s g r i d 项目开发了一个网格可视化中间件g r i dv i s u a l i z a t i o n k e m e l 1 3 】。它的目标是提供通用的可视化服务，但是其设计重点是将仿真程序 和可视化连接起来并支持多种显示设备( 如投影仪阵列，c a v e 系统等) 。 英国利兹大学和n a g 公司等合作伙伴共同进行了g z 项目【1 4 】，这是英国 e s c i e n c e 计划的支持项目，它的主要目标是为n a g 公司的可视化软件i r i s e x p l o r e r 添加网格功能支持，实现可视化与仿真的联合、计算驾驭、多用户协同 等功能。在g z 项目中引进了s k m l 1 5 l 语言，是非常重要的组成部分，并将项 目架构分成三层体系结构，分别是概念层、逻辑层、物理层。这样的思维对于本 课题的完成起着至关重要的作用，本系统在开发过程中借鉴了大量的思维。 当然国外在此领域的研究不只这些，上述只是举出几个典型的案例课题。在 这一领域国内的相关研究也正在进行【1 6 】【1 7 】，还有一些处于起步阶段，还有一 些是方案设计，系统性的工作相对缺乏。浙江大学在2 0 0 4 年开发完成了基于网 格的可视化系统g v i s 的初级原型系统【1 8 】，为远程并行可视化提供了面向网格 的用户透明的资源和任务管理，实现了较大体数据的交互式远程并行可视化，具 有良好的交互性、跨平台性和可扩展性。 1 3 主要研究内容 面向网格的可视化，指的是利用网格计算平台的功能，为科学计算可视化提 4 山东大学硕士学位论文 供基础性支撑。网格计算随着全球计算机网络的继续快速进步，网格计算获得了 越来越广泛的应用。目前网格计算还主要应用于科学计算领域，在网格环境下的 可视化的研究大部分都处于起步阶段。大部分已发表的研究工作尚处于初步工作 甚至仅仅是系统设计，已经进行的工作往往也只着眼局部功能与网格的结合，工 作的系统性较为缺乏，随着网格技术的不断发展，这方面的研究必然会得到扩展 和深化。 网格支持大范围的分布式科学计算可视化应用，它对于可视化应用的意义体 现在，首先，随着科学计算和医学等应用的发展，可视化所处理的数据规模不断 增大，需要的数据存储量和计算量不断增大，网格技术能够通过动态的资源组织 满足大范围可视化应用的计算和数据存储需求，网格技术可以为科学计算可视化 提供资源的聚集和管理【1 8 】；其次，使用网格技术可以向更广的范围提供可视化， 提供可视化应用的可访问性；第三，网格支持多地域、多用户的可视化任务及用 户间的协同可视化 1 9 2 0 】：第四，网格技术可以支持科学计算与可视化的更紧 密集成，为二者的结合提供了更好的平台。 本文在上述工作的基础之上，逐步建立了一个稳定的、可扩展的、自适应的 提供可视化服务的网格平台，也就是本课题完成的主要工作。在对网格以及可视 化领域已有工作深入研究的基础之上，结合可视化发展的趋势和需求，并在提出 本文研究内容的基础之上设计并开发了可视化网格系统g v s p ( g r i dv i s u a l i z a t i o n s e r v i c ep l a t f o r m ) ，实现了在网格环境下可动态部署可视化服务来提供远程可视 化。网格，可视化以及科学工作流这三个科学领域看似相聚甚远，但是由于科学 计算的数据规模和计算规模的不断扩大而与其他两个领域紧密连接。其中可视化 是较为成熟的研究领域，而其他两个研究领域作为新兴技术，尚处于探索和完善 当中，还有很多不尽如人意和不成熟的地方，或者很多理论意义很好却难于实现。 在这种大环境之下，本文认为首当其冲的是将三者结合起来并能够提供可视化服 务，通过科学工作流为科学计算可视化提供任务管理等功能。本文利用网格中间 件建立网格环境的基础之上开发简易的科学工作流管理可视化任务，提供了在 g v s p 平台上进行远程可视化的目的。论文的主要内容有： 提出了一个面向网格的可视化三层体系解雇。该体系结构由g v s p 物理层， 山东大学硕士学位论文 逻辑层和概念层组成，每层负责提供一组相对独立的基础性功能支撑。g v s p 物 理层是具体进行科学计算可视化的网格资源，这些网格资源与具体的可视化环境 绑定，提供具体的可视化实现。g v s p 逻辑层能够绑定软件资源，解析可视化任 务并进行相应的任务运行管理、监控；并负责监控服务资源、注册可视化服务等。 g v s p 概念层定义了抽象的可视化处理任务，不依赖于物理层和逻辑层。 由于可视化任务所需要的任务管理具有特定的特征，为了进行更好的管理以 及可视化p i p e l i n e 自身的特性，本文利用科学工作流来为科学计算可视化提供问 题求解环境，这科学工作流组件部署在网格环境中，使得科学计算可视化通过 科学工作流这一媒介在网格环境中运行可视化任务。通过科学工作流组件对可视 化任务进行管理，调度，数据管理等。 针对现有的可视化系统大部分运行于同构系统之上，无法利用异构网格资源 的不足，系统平台实现时大部分都是利用了j a v a 语言。通过j a v a 语言的使用消 除了可视化应用的平台异构性，降低了系统的复杂度和开发工作量。面向对象设 计方法的使用使得系统具有良好的可扩展性。 目前网格门户大多采用基于w e b 的设计方式，这适用于以科学计算为主要 应用的批处理人物，但是很明显无法满足可视化应用的交互需求。这对这一问题， g v s p 系统的门户使用了j a v a a p p l e t 小应用程序来实现，简化了系统实现，并较 好地克服了基于w e b 的网格门户在交互式应用的缺点，同时也具备良好的跨平 台性。 1 4 论文结构 本文针对在网格环境中的可视化进行了探索性的研究，并对在网格环境中进 行可视化这一研究领域的已有工作进行了综述，全面并讲解了g v s p 系统体系结 构的设计原理和功能机制的实现细节，以下是本文的组织结构。 正文分8 章，各章的主要内容安排如下： 第一章介绍了在网格环境中可视化研究领域的背景知识，网格，可视化，科 学工作流的基本概念，以及目前在这方面研究的主要现状，最后介绍了这方面的 6 山东大学硕士学位论文 主要研究内容，本文的研究内容以及论文结构。 第二章介绍了系统开发用到的主要研究领域概念，包括有网格计算技术、科 学计算可视化技术、科学工作流技术以及w e bs e r v i c e 技术。 第三章提出了一个在网格环境下利用科学工作流作为问题求解环境来进行 科学计算可视化任务的三层体系结构，该体系结构由g v s p 物理层、g v s p 逻辑 层和g v s p 概念层组成。各层负责处理不同的问题，三层功能界定明确，层之间 具有较高的独立性和低耦合性，整个系统具有良好的通用性。 第四章讲解了g v s p 概念层的可视化任务描述语言v s w m l ( v i s u a l i z a t i o n s c i e n t i f i cw o r k f l o wm a r k u pl a n g u a g e ) 和lg v s p 逻辑层的执行引擎。v s w m l 是 用来描述可视化科学工作流的语言，表述可视化任务的工作流程，是执行引擎执 行的依据和基础。执行引擎是为可视化任务建立问题求解环境，负责解析可视化 任务，使分布式可视化任务分配到具体的网格资源上执行。 第六章详细讲解了g v s p 物理层的可视化服务动态部署，该物理层具体将可 视化环境与网格资源绑定提供具体的可视化服务，具体绑定的可视化环境有 v t k 2 2 ，m m 5 1 2 3 1 等。服务动态部署使得系统具有了很好的动态绑定性特点。 第六章讲解了g v s p 系统的其他主要系统实现，包括了v s w m l 语言的可 视化流程编辑器、服务注册中心以及服务代码中心。可视化流程编辑器可以通过 简单的拖拽方式生成v s w m l 语言的工具，部署在g v s p 门户中，在g v s pf - j 户可以监控可视化任务的执行状态，g v s p 门户还可以描述任务的管理等：服务 注册中心是为了注册可视化服务而建立的数据库，目的是为了表明哪些网格资源 具有可视化的能力；服务代码中心是为了u v s 服务部署可视化服务的方便而建 立的数据中心。 第七章也是本文的最后一章，对论文的工作进行了回顾，并对未来的工作进 行了展望，指出了可能的研究方向和g v s p 系统的下一步工作。 山东大学硕士学位论文 第二章相关技术研究 网格概念的提出和网格技术的蓬勃发展为资源需求不断提高的可视化研究 提供了新的思路，同时科学工作流在这几年的不断进步发展也为可视化创造了良 好的问题求解环境和平台。而将三者结合起来进行研究的话，有必要了解网格计 算技术，可视化技术以及科学工作流这三方面的背景。可视化的研究背景可以追 溯到1 9 7 0 年代末，实质性进展从1 9 8 0 年代末开始，到1 9 9 0 年代中后期趋于成 熟。而网格计算的思想也可以追溯到1 9 8 0 年代，科学工作流在2 l 世纪由于科学 家做科学实验的需要而逐渐兴起。本章将分别介绍网格计算、科学计算可视化、 科学工作流的相关研究背景。 2 1 网格计算 计算机的发明极大地推动了社会的发展和人类的解放进程，但是伴随着不断 增长的应用需求，人们总是试图获得更多的计算和存储等能力。长期以来，特别 是在计算机网络诞生前，制造更快的计算机一直是人们获得更高计算能力的主要 途径，这通常是通过使用更好的制造技术和设计更好的计算机体系结构得到的， 在1 9 9 0 年代以前，大型机、巨型机一直是超级计算能力的象征。 在计算机网络尚未诞生之时，为了使用超级计算机，人们常常需要提前数月 预约，然后从很远的地方赶来运行他们的程序，这在现在几乎不可想象，但是却 是那时唯一可行的方法。1 9 6 0 年代末诞生的计算机网络为解决这个问题带来了 曙光。当i n t e m e t 的前身a p a r n e t 的第一个节点在加利福尼亚大学洛杉矶分校 安装时，互联网的创始人之一l e o n a r dk l e i n r o c k 就预言未来的计算机设施可能会 像电力或者电话设施一样普及 2 4 】。现在这个设想已经部分实现，网线就如同自 来水管和电线那样源源不断地向千万台计算机输送着数据，这为计算机资源的远 程使用提供了可能。早期的计算机网络一般采用客户机朋艮务器( c l i e n t s e r v e r ) 模 式，多个客户共享一个s e r v e r 的服务。这样在低档的哑终端、工作站和个人机上 8 山东大学硕士学位论文 只要通过某种形式的连线与这些机器相连( 例如通过串口或者网线) 也可以使用 大型机和巨型机的计算能力。 开始于1 9 7 0 年代的分布式计算理论研究为后来的分布式应用奠定了基础。 从1 9 7 0 年代到1 9 8 0 年代，随着u n i x 操作系统的发展，各种各样的u n i x 相关的 分布式应用应运而生，由于具有设计超前，这些分布式应用中的很多系统，如 n f s ( s u n 公司的网络文件系统) ，x w i n d 0 粥等成为u n i x 平台下的标准应用。 分布式计算的研究并不局限于c l i e n t s e r v e r 模式，例如w i s c o n s i n m a d i s o n 大学从1 9 8 6 年开始研究的c o n d o r 2 5 】。c o n d o r 试图利用网络上空闲计算资源执 行批处理任务，它提供了作业管理、资源匹配、运行环境模拟等功能，同时具有 很高的容错性，可以话说c o n d o r 是网格计算理念的先驱。 随着计算机硬件和网络的飞速发展，目前的p c 比2 0 年前的c r a y 超级计算 机还要快几十倍。网络发展的速度更是惊人，19 8 6 年建立的n s f n e t 主干网连 接了美国5 个n s f 超级计算中心，带宽是5 6 k b s ，而当前i n t e m e t 主干网的带 宽则达到千兆，甚至更多。目前的计算机己不再是稀缺或者昂贵的资源，网络更 是无处不在，这极大的方便了资源的共享和聚集，为人们解决各个领域内的大规 模问题提供了合适的环境。在这样的背景下，9 0 年代初期和中期出现了一批具 有网格思想和网格雏形的项目，如f a f n e r 2 6 ，i - w a y 2 7 ，s e t i h o m e 2 8 ， d i s t r i b u t e d n e t 2 9 等，他们的目标就是通过连接众多超级计算中心或者聚集互 联网上大量闲置的计算资源来解决一些计算量巨大的科学和工程问题。早期的网 格项目取得了巨大的成功，具有重大的意义，并为后来的许多网格项目奠定了基 础，但是他们还不能算是真正意义上的网格。进入了9 0 年大中后期，由于学术 科研和商业应用领域的需求不断增长，许多新的网格和分布式计算方面的核心技 术出现并迅速发展，如d c o m ，j 1 n i ，j a v ar m i 等，这些核心技术为实现大规 模的资源共享和多个组织之间的协同工作提供了便利。人们利用这些技术构建了 不少的集成系统应用于科学研究和商业领域，并向用户提供服务，如c a c t u s 3 0 ， d a t a g r i d 3 1 ，u n i c o r e 3 2 等，网格概念在这一时期逐渐形成。在网格发展的 初期，网格的研究基本上还局限在科学界，本世界以来，凭着网格研究前期的成 功经验，人们感受到了网格技术带来的新的体验，看到了网格蕴藏的巨大价值， 9 山东大学硕士学位论文 许多科研和商业甚至是政府机构都投入了巨大的资金进行网格的研究，一时涌现 了大批量的网格项目，网格研究进入了飞速发展的阶段。此时也出现了影响很大 的全球组织一全球网格论坛g g f ( g l o b a lg r i df o r u m ) 3 3 】，学术界和工业界结成 联盟，致力于更广泛领域内的推广和应用。 网格这一思想最早于2 0 世纪9 0 年代中期提出，用来表述一种适用于高端 科学和工程的分布式计算体系结构。人们在早期对于网格的定义偏向于它的计算 能力，认为网格是一个集成的计算环境，能够吸纳各种计算资源，并将它们转化 程一种随处可得的、可靠的、标准的计算能力。随着网格的发展，网格不断被赋 予新的耐寒，网格的概念也在不断的发生着变化。美国g l o b u s 3 4 项目的领导人 i a nf o s t e r 曾这样描述网格：“网格是构筑在互联网上的一组新兴技术，它将高速 互联网、高性能计算机、大型数据库、传感器、远程设备等融为一体，为科技人 员和普通老百姓提供更多的资源、功能和交互性” 3 5 。但是人们对网格的认识 上存在着很多分歧，有人认为网格就是下一代i n t e m e t ；也有人认为网格就是方 便资源管理，有效支持广域分布、多领域的科学和工程问题解决的中间件系统； 还有人认为网格是构造分布式科学计算的一体化的集成环境，这一环境包括计 算、数据管理、科学仪器、以及人类的协作等。目前，网格仍然没有一个普遍认 可的定义。网格概念存在着分歧并且不停的发生变化，一方面因为人们从不同的 角度来理解网格，另一方面说明网格还处于一个发展阶段。随着网格应用领域的 不断延伸，网格的内涵会越来越丰富。 网格是借鉴于电力网概念提出来的，其目标就是希望人们使用网格的计算能 力就像现在使用电力一样方便。网格可以突破计算能力大小的限制和资源地理位 置的限制，打破传统的共享和协作方面的限制，使用户能够方便的访问远程的、 分布的物理资源。网格作为一种新兴的基础设施，和其他系统相比，有以下几个 重要的特点： 1 ) 分布与共享 分布式是网格的一个重要特点。网格的分布性主要是指网格资源是分布的， 组成网格计算能力不同的计算机、各种类型的数据库以及其他各种设备与资源， 分布于地理位置各不相同的多个地方，而不是集中在一起。分布的网格设计的资 l o 山东大学硕士学位论文 源一般类型复杂、规模庞大、跨越的地理位置较广。网格资源虽然是分布的，但 却是可以