（计算数学专业论文）并行应用程序的远程实时跟踪科学计算可视化技术研究.pdf

并行麻片j 程序的远程实时跟踪科学汁算可视化技术研究 并行应用程序的远程实时跟踪科学计算可视化技术研究 摘要 跟踪驾驭技术是目前科学计算可视化中重要的研究领域之一二井行应用程序的远程实时 跟踪可视化技术通过实现对升行应用程序的实时监控，空时地显示计算过程的中间结果，根 据当前计算状态刘计算过程进行实时交互控制。该技术有助十科研人员更进步地了解和控 制升行数值模拟的训算过程。 本文探讨面向并行应用稃序的远程实玎寸跟踪技术并研制个原型系统r v s ( r e m o t e v i s u a l i z a t i o n s y 虬e m ) 。该系统远程实时涛问运行在分布存储并行机上的并行程序中的变量， 将计算的中间结果实时地显示在窖户端图形j 一作站上，从而实现程序的远程实时跟踪。实验 结果表明，该解执方案是宴现并行程序的远程实时* 踪可视化的一种有效透衽。 第一章，概述科学计算可视化技术及其应用背景，强调实时跟踪技术埘实际科研1 作所 起的重要作用。列芈目前一些流行的可视化系统，分析其适用的范同和特点，总结其不足， 最终提出分布式环境下的并行程序实时跟踪系统r v s 的模型。 第二章，介绍分布式刈视化系统的体系结构、任务j i ；分及底层通信，提出r v s 系统的 科学可视化环境。r v s 系统的毋终设计目标是保证刊算程序干扰晟小的日口提下实现远程空 时跟踪叫祝化。系统是基于c i s 模型的面向网络的分布式叫视化系统，采用超级计算机与工 作站网络连接模式，超级计算机完成数值模拟计算过程，c s 间传送原始计算数据，工作站 系统承担所有可视化任务。 第三章，介绍r v s 系统软什实现即构成整个系统的应用支持模块、刈视化处理模块 及数据传输模块的软件实现。详细说明数据探针、数据源、通信器及i ! 兜射器四个关键的数据 结构，以及如何使用相应的a p i ( 应用稗序接i ；1 ) 实现各个模坎。 第四章主要阐述了远程分布式数据访问技术详细说明系统发训中采用的多种存储类 型变量的收集、分布类型数据的忙置索引以及异步方式下的同步访问机制等关键技术。 第 章，以l a r e d i 并行数值模拟程序为应用背景，介绍计算程序的改造过程，调用相 眦的a p i 实现网格、电子滞度、离子温度和光子濡度数据源的定义；设计客户端2 d - d v s ( 通用图形可视化系统) ，添加远程监控功能，实现网格、电子温度、离子温度和光子温度 的跟踪。 第六章，r v s 系统的性能评测，包括数据渊和数据探针的创建时间分析、远程访叫固 定规模数据的时间分析、远程防问不同规模数据的时间分析。分析字序转换问题对r v s 系 统延迟的影响。 晟后，在第七章中总结本论文的工作，并提出进一步研究的方向。 戈键词：并行处理，可视化，在线监控 第i i 页 并行应用程序的远程实时跟踪科学计算町视化技术研究 t h er e s e a r c h o nt h ev i s u a l i z a t i o ni ns c i e n t i 兀c c o m p u t i n g o f r e m o t e r e a l t i m e t r a c i n g v i s u a l i z a t i o n f o r t h ep a r a l l e l a p p l i c a t i o np r o g r a m a b s t r a c t t r a c i n ga n ds t e e r i n gt e c h n o l o g i e si s o n eo fi n o r ei m p o r t a n tr e s e a r c hf i e l d so fc u r r e n t v i s u a l i z a t i o ni ns c i e n t i f i cc o m p u t a t i o n t h er e m o t er e a l - t i m ev i s u a l i z a t i o nt e c h n o l o g yf u rp a r a l l e l p r o g r a m sp r o v i d e ss u p p o r tf o ro n - l i n eg r a p h i c a ld i s p l a yo fal a r g ea m o u n to fd a t ap r o d u c e db y n u m e r i c a ls i m u l a t i o n ，a n di ta l l o w sp r o g r a m st ob es t e e r e dd u r i n gt h e i re x e c u t i o n i tc a nh e l pe n d u s e r so b s e r v ea n dc o n t r o lt h ec o m p u t i n gp r o c e s se f f e c t i v e l y i nt h i sp a p e r , w ed i s c u s st h er e m o t er e a l - t i m et r a c i n gv i s u a l i z a t i o nt e c h n o l o g yf o rp a r a l l e l p r o g r a m s a n di n t r o d u c ea ne f f i c i e n tr e m o t ev i s u a l i z a t i o ns y s t e m ( r v s ) w i m 1 i m em o d j f i c a t i o n o f t h ep a r a l l e la p p l i c a t i o n ，n s e r sw i l lb e a b l et os e l e c td y n a m i c a l l yd a t ap r o d u c e db yac o m p u t i n g p r o g r a mf u rv i s u a l i z a t i o n o na g r a p h i c sw o r k s t a t i o n a st h ep r o g r a me x e c u t e so nar e m o t e h i 曲- p e r f o r m a n c ep a r a l l e lc o m p u t e r e x a m p l es o l u t i o n sf r o mt h i ss o l v e ra r ep r e s e n t e dt os h o w t h a tt h er v sa l s oo f f e r sa e n v i r o n m e n tf u re f f e c t i v er e m o t er e a l t i m et r a c i n gv i s u a l i z a t i o nf o r t h e p a r a l l e lp r o g r a m i n c h a p t e r1 ，w ei n t r o d u c et h ec o n c e p t i o no fs c i e n t i f i cc o m p u t i n gv i s u a l i z a t i o n ，i t s b a c k g r o u n d sa n da p p l i c a t i o nd o m a i n s ，a n dt h ek e yr o l e i t p l a y sh i s c i e n t i f i cr e s e a r c h e s m e a n w h i l e ，w es u m m a r i z es o m ep o p u l a rv i s u a l i z a t i o ns y s t e m ，i n c l u d i n gt h e i rs h o r t c o m i n g s i n t h ee n d ，w ep r o p o s et h em o d e lo f r e m o t ev i s u a l i z a t i o ns y s t e mo r i e n t e dp a r a l l e lp r o g r a mi nt h e d i s t r i b u t e dv i s u a l i z a f t o ne n v i r o n m e n t i nc h a p t e r2 w ei n t r o d u c es y s t e m sa r c h i t e c t u r es t r u c t u r e ，s e r v e rv e r s u sc l i e n tf u n c t i o n a l i t y a n dc l i e n t s e r v e re o m m u n i c a f t o n ，a n dp r o p o s es c i e n t i f i cc o m p u t i n gv i s u a l i z a t i o ne n v i r o n m e n to f r v sr v s sd e s i g ng o a lj st oi m p l e m e n tr e m o t er e a l t i m et r a c i n gv i s u a lj z a t i o nb a s e d0 nm i n i m u m o f p r o g r a mp e r t u r b a t i o i lr v si san e t w o r k - o r i e n t e dd i s t r i b u t e dv i s u a l i z a t i o ns y s t e r ni n c l i e n t s e r v e rm o d ei nw h i c ht h ed a t aa n dt h ei m a g ea r ea td i f i e r e n tc o m p u t e r sa tp o s s i b l y d i f f e r e n tl o c a t i o n sc o n n e c t e db yan e t w o r kt h ep r o g r a me x e c u t e so nar e m o t eh i g h - p e r f o r m a n c e p a r a l l e lc o m p u t e r , a n dt h ec l i e n ta c t sa sf u l lv i s u a l i z a t i o n i n c h a p t e r3 ，w ei n h o d u c e t h ed e s i g na n di m p l e m e n t a t i o no fr v s ，i n c l u d i n gs o f t w a r e i m p l e m e n t a t i o no fa p p l i c a t i o n s u p p o r t e dm o d u l e ，v i s u a l i z a t i o np r o c e s s i n g m o d u l ea n dd a t a t r a n s m i s s i o nm o d u l ew ei l l u m i n a t ed a t as t r u c t u r eo f f i e l do b j e c t ，m e m o r yo b j e c t ，c o m m u n i c a t i o n o b j e c ta n dp u b l i s h e ro b j e c ta f t e rt h a tm e a n w h i l e ，w ea l s oe x p l a i nh e r eh o wt o c a l la p it o i m p l e m e n t a t i o n 第i i i 页 堕燮蔓曼塑垄塑耋! 坚壁型兰生墨旦塑些丝查! 塑 i nc h a p t e r4 - w ee x p a t i a t et h ei m p l e m e n t a t i o n 山e o f i e so ft h er e m o t ea c c e s $ t e c b n i q m e sf o r d i s t r i b u t e dd a t a ，a n dd e s c r i b es o l r l ei m p o r t a n t t e a l - t t h q u e si n c l u d i n gs h a r ed a t ac o l l e c t i n gi np a r m l c l 。“”i r o n m e u t - t h ep o s i t i o ni n d i c e so fd i s t r i b u t e dv a r i a b l e sa n ds c h e d u l i n gs y n c h r o n i z e dm e m o r y i nc h a p t e r5 ，t h es a m p l ea p p l i c a t i o nh i g h l i g h t e di nt h i s p a p e ri sl a r e d i ，ap a r a l l e lp r o g r a m w ei m p l e a n e mm e m o r yo b j e c t sc o n s t r u c t i o no fg r i d ，e l e c t r o nt e m p e r a t u r e ，i o nt e m p e r a t u r ea n d p h u t o nt e m p e r a t u r eb yc a l l i n ga p p r o p r i a t ea p i s b ya d d i n gr e m o t eo n l i n et r a c i n gf u n c t i o ni n t o g e n e r a lg r a p h i c sv i s u a l i z a t i o n s y s t e m ，v c er e a l i z er e m o t ev i s u a l i z a t i o no fg r i d e 1 e c l r o n t e m p e r a t u r e ，i o nt e m p e r a t u r ea n dp h o t o nt e m p e r a t u r e i n c h a p t e r5 d e s c r i b es y s t e me v a l u a t i o n ni n c l u d e st h et i m ea n a l y s i so fc r e a t i n g m e m o r yo b j e c ta n df i e l do b j c c t ，t h et i m ea n n l y s i so l r e m o t ea c c e s sf i x e ds c a l ed a t a a n dt h et i m e a n a l y s i so f r e m o t ea c c e s su n - f i x e ds c a l ed a t am e a n w h i l e ，w ed i s c u s sm o n i t o r i n gl a t e n c yd u et o c o n v e r s i o no f b y t e - o r d e r i n g a te n do ft h ed i s s e a t a t i o n , t h ea u t h o rd r a w sac o n c l u s i o na n dp u t sf o r w a r ds o m ek e y p r o b l e m sa n dd e v e l o p i n gt r e n d sf o rf u t u r ew o r k s k e yw o r d s ：p a r a l l e lp r o c e s s i n g ，v i s u a l i z a t i o n ，o n q i n em o n i t o r i n g 第i v 页 茎! ! 堡坐堡生塑垂堡壅! ! 塑堕型兰生蔓旦塑些茎查里塑 图表目录 图2 1 交互式数据可视化处理流程的组成 5 图2 - 2 分布式可视化一览图 一 6 图2 3 分布式可视化结构示意图7 图2 - 4 超级计算环境中科学町视化的多任务处理 8 图2 - 5s o c k e t 通信启动过程示意图 1 0 图2 - 6 远程实时跟踪可视化系统的体系结构图1 1 图2 7 远程实时目r 踪可视化系统的模块圄1 2 图2 - 8 数据传输模块的工作模式示意崔，其中一表示程序运行轨迹 1 3 陶2 - 9 实时跟踪l a r e d i 程序的r v s 系统的功能模块设计 1 4 图3 1r v s 系统结构不意图1 5 陶3 2 可视化硬件环境的4 种模式 1 6 围3 - 3 远程跟踪可视化系统示意图 1 6 同3 _ 4r v s 系统【| _ 四个对象的层次关系1 7 图3 - 5 数据探针对象的表示方法，1 9 匿3 - 6i ! ! i 太对象的创建过程 2 1 图3 7 四大对象的复制过程2 3 匿3 8 分布环境f 的工作原理图2 4 表3 - 9 数据传输模块的1 6 种通信请求 2 5 匿4 1d a t ac o n t r o l 的结构示意图 2 7 图4 2 多种存储类型数据的收集2 8 图4 3 使用起始索引来收集一维数组 2 8 图4 - 4 一维分布式类型数组的位置索引表示力法 2 9 目4 5 使用数据源对象封装数据探针对象3 0 罔4 6 环状网络请求示意图3 0 图4 71 6 位整数的小端字节序和大端字节序 3 2 表4 8 多种操作系统的主机字节序列表” 幽4 - 9 数据传输中的字序转换过程 3 3 图5 1 计算程序改造结构示意图 3 6 幽5 - 2 客户端用户界面的设计及实现 4 0 图5 - 3 显示物理量随时间变化的情况41 图5 _ 4 对同一数据场在相同时刻的结果数据采用不同可视化处理方法得到的匿形 4 2 匿5 - 5 某时刻电子温度的不同实时显示方式 4 2 图5 - 6 模拟过程中不同迭代时间的网格图 一 4 3 雕6 一】远程| 方问吲定规模数据的时问 4 4 图6 2 远程访问不同规模数据源的时间 4 5 罔6 - 3 远程访问数据源时客户端运行状态示意图 4 6 图6 - 4 客户端数据收集及字序转换的时间统计图4 6 第v 1 1 页 独创性声明 y8 u 3 3 皇z 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的 研究成果。据我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其 他人已经发表或撰写过的研究成果，也不包含为获得中国工程物理研究院或其他 教育机构的学位或证书使用过的材料。与我一同工作的同志对本研究所做的任何 贡献均已在论文中作了明确的晚明并表示谢意。 学位论文作者签名：槲 签字“期：。f 年月f 同 学位论文版权使用授权书 本学位论文作者完全了解并接受中幽工程物理研究皖研究生部有关保存、使 用学位论文的规定，允许论文被查阅、借阅和送交国家有关部门或机构，同时授 权中国工程物理研究院研究生部可以将学位论文全部或部分内容编入有关数据 库进行检索，可以影印、缩印或扫描等复制于段保存、汇编学位论文。 学位论文作者签名 妣妹 导师签名 黝 签字f 1 期：3 0 0 f 年6 月ff 1签字l 期：如o r 年6 afi 1 茎! ! 壁旦壁壁塑重堡茎堕! ! 堕型堂茎竺要塑些垫查笪窒 第一章引言 1 1 背景 随着计算机技术的日益成熟，数值模拟已成为除实验方法、理论方法之外的第三种解决 科学问题的方法。由于计算机性能的迅猛提高、超级计算机的出现、计算方法的改进以及计 算机网络的发展，并行数值模拟程序的规模和模拟精度都有一定程度的扩大和提高，直接导 致海量数据的出现。如果仅靠查看纸带来分析这些海量数据，是很难甚至根本不可能发现其 内在规律的。因此，要全面高效地分析这些数据，必须依赖于科学计算可视化技术。 科学计算可视化( v i s c ，v i s u a l i z a t i o nms c i e n t i f i cc o m p u t i n g ) 是指运用计算机图形学和 图象处理技术，将科学计算过程中产生的数据及计算结果转换为图形或图象在屏幕上显示出 来，并进行交互处理的理论、方法和技术【lj ，是以计算机图形学为基础发展而成的- - f 7 新兴 的应用学科。它能直观、形象地反映它们的模拟和计算过程，并通过交互控制为科研人员提 供一种发现不可见信息的方法，丰富了科学发现的过程，使人们的研究方式起了根本的变化 吼 数值模拟与科学计算可视化技术的合理使用在高技术研究方面发挥了不可替代的作用。 高技术研究中的实际试验需要花费大量的人力、物力，且受到很多客观条件的制约。冈此， 经济、有效的试验是通过数值模拟方式在计算机上模拟进行的。而少量的、必要的实际试验 仅仅是为校正数值模拟的参数和验证数值模拟的结果。如在高能激光大气传输理论的高技术 课题研究中，由于大气获得能量加热并破坏其热平衡时会对激光传输产生影响，因此激光穿 越大气的物理过程变得十分复杂。如果完全采用实际试验来进行研究，那么投入的人力、物 力是不可想象的。而采用数值模拟和科学计算可视化技术，研究者可以在计算机屏幕上完整 地观察该物理现象变化的全过程。 基于并行与分布式环境的高性能计算越来越依赖于可视化技术。为使高性能计算与可视 化在并行与分布式环境中达到高效集成，以解决诸如“巨人挑战”之类的大规模科学计算和 海量数据处理应用，研究和开发并行与分布式可视化技术，具有十分重要的意义，并已成为 可视化领域的一个主要发展方向。 12 实时跟踪 科学计算町视化包括后处理( p o s t - p r o c e s s i n g ) 、跟踪( t r a c i n g ) 和驾驭( s t e e r i n g ) 三 种处理方式。 后处理是把计算与计算结果的刊视化分成两个阶段，在脱机状态下对计算数据或测量数 据实现可视化。可视化过程和计算过程没有任何交互关系，不要求实时地用图形、图象显示 数据。跟踪处理要求实时地显示计算过程的中间结果，以便使研究人员能了解当前的计算情 况，在发现错误或认为已无必要继续往下计算时，可停止当前的计算并开始一个新的计算。 驾驭处理属于高层次的可视化技术，不仅能对数据进行实时处理及显示，并且可以根据当前 计算状态对计算过程进行实时交互控制，可以通过交互方式修改原始数据、边界条什或其他 参数，如增加或减少网格点、修改某些网格中的参数等，并使计算继续进行下去。 目前跟踪驾驭技术是科学计算可视化技术研究的一大热门研究方向。实现对并行应用程 序的实时跟踪，有助于科研人员及时获得科学计算内在的本质关系，及时发现非正常现象与 错误等等，为科研人员提供了前所未有的机会来理解与洞察计算中所发生的一切，因而丰富 了科学发现的途径，使科研人员获得意料之外的启发与见解，从而提高科研工作的水平与效 第1 页 并行应用程序的远程实时跟踪科学计算可视化技术研究 率，缩短获得研究成果的周期。 在实际的科学研究中，实现并行程序的实时跟踪具有很多方面的重要意义：“可视化” 成为发现和理解大规模数值模拟过程中各种现象的有力工具；“联机处理”方式可以大大减 少海量数据的文件输出，实现异地多用户的“协作t 作”；“实时跟踪”可以在人与数据、人 与人之间实现图象通信，代替枯燥、抽象的文字通信或数据通信，通过图像或动画等不司的 表示形式描述计算过程中的某一时刻的状态或连续变化的效果；“跟踪驾驭”可以对计算过 程实现引导和控制，通过交互手段改变计算的条件并观察其影响。 总之，在实际科研工作中，面向并行程序的实时跟踪技术越来越成为科研人员实现全面、 深入认识模拟程序的实际物理过程的强有力的研究武器。 1 3 相关研究 科学计算可视化一直以来大都应用在尖端科技领域，其数据来源主要是超级计算机、气 象卫星资料、医学图像等。由于其数据量极其庞大，所以成熟的可视化系统都是在超级计算 机或工作站上开发的，一般分为专用可视化系统和通用可视化系统。 专用可视化系统是一类为满足某一应用领域的特定需要而设计开发的可视化软仲系统， 如流体分析、油藏分析、分子建模程序和医学照影等。它接收固定数据格式的文件为输入， 具有固定的可视化功能，并提供较强的人机界面以接受用户对控制参数的变更。该类系统的 缺点是不具有通用性，适用面小。该类软件的例子很多，如w a r e f r o n t 公司的d a t a v i s u a l i z e r 、 v i s u a ln u m e r i c e s 公司的p v - w a v e 、i b m 公司的d a t ae x p l o r e r 和u a li m a g e s 公司的v o x e l v i e w 等。一些专用可视化工具，在一定的专业范围内起到了很好的作用，如美国n a s a a m e s 宇航研究中心开发的p l o t 3 d 、s u r f 和g a s 系列软件，专门机型计算空气动力学的可视 化后处理。国内也开发了三维数据场可视化实用系统，如基于虚拟显示的计算机辅助立体定 向神经外科手术系统”“、人体断面解剖图像三维重构系统、三维气象动态图像系统及石汕 勘探数据可视化工具等等。 通用可视化系统最早的例子是a v s ( a d v a n c e dv i s u a ls y s t e m ) 公司研制的a v s ( a p p l i c a t i o nv i s u a l i z t i o ns y s t e m ) 系统。其它的例子有o h i o 大学开发的a p e l l 9 j 和s g i 公司 的e x p l o r e r 。国内浙江大学的c a d & c g 国家重点实验室也开发了一个名为g i v e ( g e n e r a l i n t e r a c t i v ev i s u a l i z a t i o ne n v i r o n m e n t ) 的通用交互式可视化环境。 上述可视化系统大多已经具备远程可视化功能，但是通常采用数据文件的后处理和计算 程序中调用相应图形库函数两种方式。虽然系统基本实现远程可视化，但是它们也存在不足。 不论是采用数据文件后处理，还是在计算程序中调用图形库，传统的可视化处理方式只能按 照特定的可视化流程对特定的数据源实现远程可视化，不能动态观察任意时刻、任意物理量 的计算结果。上述系统大多采用事后处理方式，即计算程序与可视化分开的方式，所以并不 是真正意义上的并行程序的实时跟踪驾驭。 近1 0 年来，在美国、德国、日本等发达国家的著名大学、国家实验室及大公司中，科 学计算可视化的研究工作及实验十分活跃，如可见人体( v i s i b l eh u m a n ) ；美国依利诺大学 芝加哥分校研制的在工作站和超级计算机上运行的胚胎可视化软件；美国国家宇航局a m e s 研究中心研制的分布式虚拟风洞( d i s t r i b u t e d v i r t u a l w i n d t u n n e l ) 及美国国家超级计算机应 用中心( n c s a ，n a t i o n a l c e n t e r o f s u p e r c o m p u t e r a p p l i c a t i o n ) 研制的大气及流体町视化软件 ( p a t h f i n d e r ) 等，其技术水平正在从后处理向实时跟踪和交互控制发展，并且已经将超级 计算机、光纤高速网、高性能图形工作站及虚拟现实四者结合起来，体现出这一领域技术发 展的重要方向。目前实现并行程序实时跟踪驾驭的系统并不多，如v a s e ”、f a l c o n t 3 s j 等， 它们也仅仅实现对应用层数据的捕获、收集及分析，如c p u 的使用效率、内存使用等参数， 估算各个进程负载，通过修改程序参数平衡负载，并没有实现大规模并行程序的计算结果的 第2 页 并行应用程序的远程实时豫踪科学计算可视化技术研究 实时跟踪。 1 4 本文工作 前文提到的可视化系统尽管具备远程可视化功能，但通常采用数据文件的后处理和计算 程序中调用相应图形库函数两种方式。科学计算与可视化的分开导致了传统可视化系统对丁 执行程序的中间结果的跟踪缺乏实时性，对于多个数据源的选择缺乏灵活性。本文的跟踪可 视化研究，着重分析对并行程序进行跟踪时所需解决的关键问题，并就这些问题找出相应的 解决办法，构造出可视化系统的模型和基本环境。 本课题研究的远程跟踪监控系统r v s ( r e m o t ev i s u a l i z a t i o ns y s t e m ) 采用并行和分布式 处理方式，即数值模拟程序在超级计算机上进行，可视化任务则由图形工作站承担，底层数 据传输模块通过派生线程的方式传输计算结果。基于该模型环境下开发的系统适用丁- 大规模 计算的应用单位，利用现有的高性能并行机和高速网络设备，对计算程序中各种类型的数据 实行可视化监控和分析。r v s 系统还提供了对计算程序的简单驾驭功能，如中断和恢复程 序运行、修改计算程序运行参数及计算模型的模型参数等等。这不仅可咀节省机时，而且有 利于错误的及时发现和改进，从而提高计算的精度。 本课题研究的难点在于并行环境下如何实现各个计算进程中变量的远程访问。对于并行 程序本身，现代操作系统提供基本的系统调用函数，允许位于同一台处理机或不同处理机的 多个进程之间相互操作( 如通信、同步和聚合) 交流信息。作为远程跟踪系统，客户端进程 与远程多个计算进程同样需要通信、同步和聚合的操作，因此r v s 系统提供远程访问功能 的a p i 调用，实现c s 之间的消息通信、进程同步和数据聚合。本文具体工作集中在如下 几个方面： 1 数据探针和数据源 r v s 系统实时跟踪的对象是并行程序中一组变量或数组。系统定义了数据探针和数据 源两个数据结构，实现远程数据访问。 数据探针是描述并行程序中基本类型变量( 如整形、实型、字符型变量等) 的数据结构， 其中除了包含变量标识符、变量的数据类型( 如整形、布尔、双精、浮点、字串) 、存储空 间首地址、变量个数、变量维数、位置索引等基本成员表列，还包含了描述并行程序中分布 式方式存储变量的附加成员表列，如变量的存储方式( 公共类型、规约类型、分布类型) 、 规约类型( 最大、最小、求和) 。数据探针是实现分布式环境下各种存储类型变量的远程访 问的重要的数据结构。 数据源是封装了一个或多个数据探针，对外表现为个数据整体，保证远程访问一个或 多个数据探针的完整性和一致性。数据源中除了包含了一个或多个数据探针链表，还有停止 点的成员表列。通过在各个计算进程中设置“停止点”，从而实现异步方式下的同步访问， 保证分布式环境下数据源收集的完整性和一致性。例如，计算程序中网格结点的空间坐标x 、 y 、z 三个数组分别用x 、y 、z 数据探针表示，该三个探针封装为“网格数据源”。在r v s 系统中所有对于空间坐标的访问就对应于“网格数据源”的访问。 2 r v s 系统体系结构 为了实现远程监控的实时性和灵活性，本文提出了个优化的并行分布环境模型及系统 体系结构，采用c s 新的工作模式，研制开发了远程跟踪可视化系统r v s ( r e m o t e v i s u a l i z a t i o n s v s t e m ) 。该系统远程实时访问运行在分布存储并行机上的并行程序中的变量， 将计算的中间结果实时地显示在客户端图形工作站上，从而实现程序的远程实时跟踪。整个 系统由服务器端的应用支持模块、客户端的町视化处理模型及客服之间的数据传输模块组 成。由可视化客户端向各个计算结点发送对数据源的请求，同时激活在计算程序和远程客户 端两端底层的数据传输模块，建立客服数据连接通道，实现当前时刻的计算结果的传输； 第3 页 并行应用程序的远程实时跟踪科学计算可视化技术研究 远程工作站上的2 d d v s ( 通用图形可视化系统) 完成对数据源可视化处理及多种图形方式 的显示。 3 关键技术 在数据并行程序设计中，变量或数组多数是分布存储和异步更新的。数据源的访问实质 上是对计算程序中变量在各个计算结点上内存空间的直接访问。如何保证分布环境下数据源 收集的完整性和一致性就成为该系统实现的关键，而远程分布数据访问技术的设计就成为整 个r v s 系统实现的核心部分。r v s 系统借鉴了美国a r g o n n e 实验室研制开发的a m s 2 5 1 软件 包的基本工作原理，实现了远程客户端对分布存储数据的直接访问。本文重点阐述了远程分 布数据访问技术的实现原理，详细说明系统设计中采用的线程的互斥机制、多种存储类型变 量的收集、分布类型数据的位置索引、异步方式下的同步访问机制、等待室设计和字序问题 等关键技术。 4 实际应用 以拉氏i c f 激光间接驱动内爆数值模拟程序l a r e d i 为背景，结合本单位数值模拟的具 体情况，研究实时监控、驾驭可视化所涉及的数据结构、控制结构和方法，调用r v sa p i 对l a r e d i 的数值模拟程序进行改造，灵活定义网格数据源、电子温度数据源、离子温度数 据源和光子温度数据源，从而实现电子、离子、光子温度的实时跟踪。通过l a r e d i 程序实 时跟踪效果正确性的验证，证明了r v s 系统设计的合理性和准确性。 远程分布式数据访问技术的研究为实现大规模数值模拟程序的跟踪、驾驭可视化提供指 导和技术基础。 1 5 论文安排 第一章，概述科学计算可视化技术概念及其应用背景，强调实时跟踪技术对实际科研1 ：_ = 作所起的重要作用。列举目前一些流行的可视化系统，分析其适用的范围和特点，总结其不 足，最终提出分布式环境下的并行程序实时跟踪系统r v s 的模型。 第二章，介绍分布式可视化系统的体系结构、任务划分及底层通信，提出r v s 系统的 科学可视化环境。r v s 系统的最终设计目标是保证计算程序干扰最小的前提下实现远程实 时跟踪可视化。系统是基于c s 模型的面向网络的分布式可视化系统，采用超级计算机与工 作站网络连接模式，超级计算机完成数值模拟计算过程，c s 问传送原始计算数据，t 作站 系统承当所有可视化任务。 第三章，介绍r v s 系统软件实现，即构成整个系统的应用支持模块、可视化处理模块 及数据传输模块的软件实现。详细说明数据探针、数据源、通信器及映射器四个关键的数据 结构，以及如何使用相应的a p i ( 应用程序接口) 实现各个模块。 第四章，如何保证分布式环境下数据源收集的完整性和一致性是r v s 系统实现的关键， 因此远程分布式数据访问技术的设计就成为了整个系统实现的核心。本章中主要阐述了远程 分布式数据访问技术的实现原理，详细说明系统设计中采用的多种存储类型变量的收集、分 布类型数据的位置索引以及异步方式下的同步访问机制等关键技术。 第五章，以二维拉氏i c f 激光间接驱动内爆l a r e d i 并行数值模拟程序为应用背景，介 绍计算程序的改造过程使用相应的a p i 实现网格、电子温度、离子温度和光子温度数据 源的定义：设计客户端2 d d v s ( 通用图形口j 视化系统) ，添加远程监控功能，实现网格、 电子温度、离子温度和光子温度的跟踪。 第六章，r v s 系统的性能评测，包括数据源和数据探针的创建时间分析、远程访问固 定规模数据的时间分析、远程访问不同规模数据的时间分析。分析字序转换问题对r v s 系 统延迟的影响。 最后，在第七章中总结本论文的工作，并提出进一步研究的方向。 第4 页 并行应用程序的远程宴时跟踪科学计算可视化技术研究 第二章并行分布式远程跟踪可视化系统r v s 体系结构 本章介绍r v s 系统的基础环境一并行分布式科学可视化环境 2 1 可视化工作过程 数据町视化的目的是把数据转换成直观表达该数据信息的图象，因此可视化处理涉及数 据的表示与转换( 处理、加工) 两个方面：数据的表示既包括用于描述数据的内部数据结构， 也包括用于显示数据的图形原语：数据的转换是指数据从其原始形式转变成图形原语，并最 终生成计算机图象。可以把数据的可视化处理看作是一个对数据不断进行加工的流程，并人 体可划分下列诸阶段，( 见图2 1 ) ： 图2 - 1 交互式数据可视化处理流程的组成 数据场建立 数据可视化处理流程从数据场的建立开始，通常采用读入文件来建立，文件中包含了为 建立一个数据场对象所需的全部信息。如果是面向网络的可视化系统，则可视化流程町通过 从端 _ | 读入远程信息而建立数据场对象。再一种可能是直接在可视化处理流程的开始阶段增 加数值计算部分，经计算生成建立数据场对象所需的信息。 数据场处理 数据场处理是可视化处理流程的核心部分，它把一个或多个输入数据场转换为后续处理 所需的另一个或几个数据场，按照处理数据场的方法可分为： _抽取：生成数据场是输入数据场按照某种条件的一个子集，最简单的如从均匀数据 场或直线数据场中间隔选取结点构成另一个同类型的数据场，但两者的几何和拓扑 信息都是不同的： _转换：输入和输出数据场的几何与拓扑信息都保持不变，仅属性数据发生变化，如 根据结点的速度向量求其变化梯度值或把标量值转换为纹理坐标值等； 一 导山：按照某种可视化算法从输入数据场中导出另一个数据场，新数据场与原数据 场的类型往往不同，即使类型一致，它们的几何、拓扑和属性数据也不同。如从一 个均匀数据场按照m a r c h i n gc u b e s 算法导出一个多边形数据场。 第5 页 并行应用程序的远程实时跟踪科学计算可视化技术研究 数据映射 町视化处理的第三阶段是把一个多边形数据场转换为_ 口j 由图形软件包绘出的几何元 ( 点、线、面等) ，并为每个几何元设定适当的特性值。这一部分是可视化处理与图形系统 的接口。 图形绘制 将上一个阶段生成的几何图元显示在屏幕窗口的指定视医中。可以利用现有的图形处理 库软件来实现这一步，如采用o p e n g l 图形库。 交互操作 作为数据分析丁具，可视化处理必须尽可能地为用户提供方便适用的交互手段：如在数 据处理阶段，用户能联机决定数据场的属性变换要求、子集抽取条件和采用何种导出算法； 在数据映射阶段，能联机决定采用什么几何元素表示数据场；在图形绘制阶段，能对画面进 行诸多联机操作，如光源、视点位置和特性的变更、光照方式选择、画面的缩放与漫游、局 部图形的递归放大、颜色和纹理编辑、多窗口多图幅比较、图形的复制与粘贴、多图幅重叠 与透明控制能力，加注能力( 包括中文加注) 、纹理使用选择及动态显示选择等功能。 22 分布式可视化 2 21 介绍 a 可视化 c 并行可视化 d 协作可视化 b 多数据源可视化 e 面向阿络的可视化 图2 - 2 分布式可视化一览图 所谓“可视化”，从最为简单功能方面可以定义为：利用一台计算机提供一个用户一个 数据场的图象信息。分布式可视化”作为常见的定义为：使用一台或多台计算机给一个或 多个用户提供一个数据场的图象信息。目前存在的分布式可视化系统，按照系统的主要特征 第6 页 并行应用程序的远程实时跟踪科学计算可视化技术研究 可以划分为如下几个分类，如图2 - 2 所示，其中c p u 代表计算机。a 为传统意义的可视化， 只局限于单机，该模式的可视化不能胜任海量数据的处理；b 为多数据源可视化，通常是多 个数据场在一个显示器上的显示；c 为并行可视化，其中可视化计算非常繁琐，通常采用多 c p u 处理以减少可视化的时间；d 为协作式可视化适用于多用户对同一个数据场进行跟踪驾 驭；e 为面向网络的可视化实现用户对远程服务器上的数据场的可视化。本文主要介绍的是 面向网络的分布式可视化系统。 2 2 2 系统结构 面向网络的可视化是本文研究重点。面向网络的可视化系统主要特征是数据的处理和图 形的显示是由网络上不同的机器各自完成。根据机器实现的功能可分为，包含数据源生成和 s e r v e r 端可视化引擎( s e r v e r - s i d e v i s u a l i z a t i o ne n g i n e ，s v e ) 模块的机器称为“服务器”；包 含c l i e n t 端可视化引擎( c l i e n t s i d ev i s u a l i z a t i o ne n g i n e ，c v e ) 和图象显示模块的机器称为 “客户端”；服务器和客户端由网络连接在一起协同工作。 一建里一一 本 图2 - s 分布式可视化结构示意图 表示数据流 卜表示控制流 分布式可视化系统结构如图2 3 所示，与通用型可视化系统对比，同样包