（计算机科学与技术专业论文）体绘制算法研究与气象可视化系统实现.pdf

国防科学技术大学研究生院学位论文 摘要 i 科学计算可视化作为科学研究的重要辅助工具，能够辅助科学家和科研人员直观洞 察k 量观察和科学计算生成数据的内涵与本质。科学计算可视化的概念是8 0 年代末被 正式提出的，在这十多年里，计算机与计算技术飞速发展，数据观测仪器设备有很大的 进步，生成了大量的科学数据，数据量级增长了百倍至千倍。科学家动辄面对上百兆比 特乃至吉比特的数据集，海量数据给科学研究工作带来更大的困难。挖掘数据中关键信 新的数据管理方案。为了验证我们的方案，针对m m 5 气象模式的数据输出实现了一个 数据管理系统( d m s ) 。 算法研究是可视化的主要研究领域，本文的研究涉及两类体绘制算法：频域体绘制 和错切变形体绘制。本文对频域体绘制算法进行了深入研究，实现了一个频域体绘制算 法；针对频域体绘制算法存在的问题，找到解决的思路，实现了一个投影宏体素算法， 并且提出了一种新的频域体绘制算法的并行思路。 本文提出了两次分类错切变形体绘制算法，该算法充分发掘体数据的一致性，首先 对数据进行第一次分类，对第一次分类的结果进行行程编码，实现了数据的压缩，对压 缩的体数据进行第二次分类绘制；同时依据两次分类的特点，利用八叉树进行加速，实 现了有效的体绘制算法。本文对几类错切变形算法进行了比较，典型数据集的测试证明 两次分类算法比同类错切变形体绘制软件加速算法更加优越，可以节省4 0 7 0 的时间。 可视化在具体应用领域也存在很多问题需要研究，在地球、空间、环境和气象等领 域卜垒球数据的可视化是经常面临的一个l 牙题。由于地球是一个不可展曲面，在平面上 直接表示球面上的向量数据存在着误差。l 笨文对直接表示方法存在的问题进行了讨论， 提出了一种新的基于地图投影的向量可视化方法，并给出了球坐标系下的向量可视化方 法，推导出坐标和向量的变换公式。基于新的坐标和向量变换公式进行了试验对比，证 明新方法能够得到更好的向量显示。 关键词：洲0 数孥管罗，频域芝箩叽错切变鬣竺碜制并妒地瑶2 1 箩， 7 。| v 第1 页 疆 a b s t r a c t 、，j s u a l i z a t i o ni ns c i e n t i f i cc o m p u t i n gi sa ni m p o r t a n ta s s i s t a n tt o o lo f s c i e n t i f i cr e s e a r c h ， i th e l p ss c i e n t i s ta n dp e r s o n n e lo fs c i e n t i f i cr e s e a r c ht oo b s e r v ea n du n d e r s t a n dt h ee s s e n c e a n dm e a n i n go fs c i e n t i f i cd a t a i nt h el a t e r e i g h t i e t h ，t h e n o t i o no fv i s u a l i z a t i o nw a s e s t a b l i s h e d ，d u r i n gt h et e ny e a r s ，t h ec o m p u t e ra n dc o m p u t i n gt e c h n o l o g yd e v e l o p e d a n dt h e o b s e r v a t i o nf a c i l i t ya d v a n c e d ，w eh a v eg o ta b u n d a n td a t a ，a n di t i sh u n d r e d so ft i m e so r t h o u s a n d so ft i m e st h a nt h ep a s ts c i e n t i s t so f t e nh a v et ot r e a td a t am e a s u r e db yh u n d r e d so f m e g a b y t eo rt h o u s a n d so fm e g a b y t e ，a n dh a v ed i f f i c u l t yi nt r e a t i n gs ol a r g eq u a n t i t yo f d a t a v i s u a l i z a t i o nc a nh e l pd i gt h ep i v o t a li n f t ) r m a t i o no fd a t aa n db e c o m em o r ei m p o r t a n ti n s c i e n t i f i cr e s e a r c h s oi sb o o s t e db ya p p l i c a t i o nr e q u i r e m e n t a n i m p o r t a n ta p p l i c a t i o n f i e l do f v i s u a l i z a t i o nj sm e t e o r o l o g yv i s u a l i z a t i o ni nt h ef i e l da l o to fd a t ai sp r o d u c e d ，a n dt h ed a t am u s t b ev i s u a l i z e d ，c o n v e n e dt od e n o t a t i o no f g r a p h i c o r i m a g ei no r d e rt oc o m p l e t em e t e o r o l o g yv i s u a l i z a t i o nd a t am a n a g e m e n ti s ak e yp r o b l e m ， t h i st h e s i s a n a l y s e sp r o b l e m se x i s t i n g i nt h ec u r r e n td a t am a n a g e m e n tf o rv i s u a l i z a t i o n s y s t e mf r o n t - e n d a n dg i v e san e ww a y f o rd a t am a n a g e m e n t i no r d e rt op r o v et h a ti ti sa f e a s i b l ew a yt om a n a g ev i s u a l i z a t i o nd a t 氖w er e a l i z ead a t am a n a g e m e n ts y s t e m ( o m s ) f o r m m 5w e a t h e rm o d e l o u t p u td a t a a l g o r i t h mr e s e a r c hi sm a i np a r to fv i s u a l i z a t i o nr e s e a r c h ，t h et h e s i sr e f e r st ot w ok i n d s o fa l g o r i t h m sf o rv o l u m er e n d e r i n g ：f o u r i e rv o l u m er e n d e r i n ga n ds h e a r - w a r pv o l u m e r e n d e r i n g t h et h e s i si n v e s t i g a t e sf o u r i e rv o l u m er e n d e r i n gp r o f o u n d l ya n di m p l e m e n t sa r e n d e r i n ge n g i n e ，w ef i n ds o m ep r o b l e m s o f f o u r i e rv o l u m er e n d e r i n ga n dp r o p o s eam e t h o d t os o l v et h ep r o b l e m s ，i m p l e m e n ta na l g o r i t h mu s i n gp r o j e c t i o no f m a c r ov o x e l s ，a n dw ea l s o p r o p o s ean e wk i n d & p a r a l l e l f o u r i e rv o l u m e r e n d e r i n ga l g o r i t h m i nt h et h e s i sav o l u m e r e n d e r i n ga l g o r i t h m i sp u tf o r w a r du s i n gs h e a r - w a r pf a c t o r i z a t i o n o ft h ev i e w i n gt r a n s f o r m a t i o na n dt w o p a s sc l a s s i f i c a t i o n ，i tu t i l i z e st h ec o h e r e n c eo fv o l u m e d a t a ，c l a s s i f i e st h ed a t af o rt h ef i r s tp a s sa n de n c o d e st h ev o l u m ed a t au s i n gar u ne n c o d i n g ， t h ee n c o d e dd a t ai sc l a s s i f i e df o rt h es e c o n dp a s sw h e ni ti sr e n d e r e d u s i n gt h ef e a t u r ef o r t w op a s sc l a s s i f i c a t i o n ，i tu s e so c t r e ed a t as t r u c t u r es p e e du pt h er e n d e r i n g ，r e a l i z e sav e r y g o o dv o l u m er e n d e r i n ga l g o r i t h m i ti sc o m p a r e dw i t ht h eo t h e rs a m e k i n du s i n gs h e a r - w a r p f a c t o r i z a t i o no f v i e w i n g t r a n s f o r m a t i o n ，4 0 7 0p e r c e n tm o r eq u i c k l y al o to f p r o b l e m sn e e dt ob es o l v e di np r a c t i c a la p p l i c a t i o nf i e l d s w i t h i nt h ef i e l d so f e a r t h ，s p a c e ，e n v i r o n m e n ta n dm e t e o r o l o g ys c i e n c e ，g l o b a l d a t av i s u a l i z a t i o ni so f t e na p r o b l e mb e c a u s et h ee a r t hi san o n o u t s p r e a ds p h e r e ，p l a n ev e c t o rv i s u a l i z a t i o nw i l li n d u c e s o m ee r r o r sw ea n a l y z ei t s p r o b l e m s ，a n dp r o p o s e av e c t o rd i s p l a ym e t h o db a s e do n c a n o g r a p h ya n di nt h es p h e r ec o o r d i n a t es y s t e m , e v o l v et h ef o r m u l a w em a k ee x p e r i m e n t s a n d p r o v et h ef o r m u l a i sr i g h t ，n e wm e t h o dc a n g e tb e t t e rv e c t o rd i s p l a y k e y w o r d s ：d m s ，d a t am a n a g e m e n t ，f o u r i e rv o l u m er e n d e r i n g ， s h e a r - w a r pv o l u m er e n d e r i n g ，p a r a l l e l ，c a r t o g r a p h y ，v e c t m 第页 国防科学技术大学研究生院学位论文 第一章引言 科学计算可视化1 1 1 ( v i s u a l i z a t i o ni ns c i e n t i f i cc o m p m i n g ) 是运用计算机图形学和图 像处理技术，将科学计算的输出数据和一些其他领域通过观察测试生成的数据转换为图 形和图像，最终在屏幕上显示出来并进行交互处理的理论、方法和技术。科学计算可视 化作为科学研究的重要辅助工具，能够辅助科学家和科研人员直观洞察大量观察和科学 计算生成数据的内涵与本质。科学计算可视化的概念是8 0 年代朱被正式提出的，在这 十多年里，计算机与计算技术飞速发展，数据观测仪器设备有很大的进步，生成了大量 的科学数据【2 1 ，数据量级增长了百倍至千倍，科学家动辄面对上百兆比特乃至吉比特的 数据集。海量数据给科学研究工作带来更大的困难，挖掘数据中的关键信息的过程使数 据的可视化过程更加重要，为可视化的研究提供了强劲的动力，科学计算可视化由幼稚 逐渐走向成熟，算法研究和系统设计实现方面都有很大的发展【3 删p j ，科学计算可视化 正在得到广泛的应用。 1 1 科学计算可视化流程 科学数据的可视化是个复杂的过程，与图形无关的科学数据到最终由象素点表示 的图形，转化步骤见图1 1 1 图1 1 - 1 科学计算可视化流程 大致包括数据的生成、预处理、映射、绘制和显示。随着可视化应用领域的扩展，数据 的来源越来越广，包括数值模拟、遥感测量、仪器测试等。不同数据源的数据存储格式 多种多样，这些数据不能直接输入可视化系统，需要转化为可视化系统可识别的格式。 预处理步骤是对数据进一步处理，增强数据内部特征。数据生成步的数据格式转化和预 处理步的转化一般不涉及任何可视化问题，为了更好的做好这一步的工作，需要可视化 人员和数据生成人员相互合作。经过预处理步后生成的数据可以划分为简单标量数据、 向量数据和张量数据，还可以划分为规则数据和不规则数据。这些数据要转化为图形， 需要映射过程将数据映射为几何图素，例如点、线、面和属性元素，例如梯度、法向量 等。绘制过程是将映射生成的几何图索和属性元素转化为可供显示的图像，使用的是计 算机图形学中的基本技术。映射和绘制过程是可视化过程的核心，即可以使用传统的图 形学技术生成中介图形元素，也存在可视化本身特有的技术体绘带l j ( v o l u m er e n d e r i n g ) 技术。显示是图像生成的最后一步，包括几何变换、图像格式转化等问题a 从可视化应用系统的开发人员的角度来看，我们将这一过程分为三个层次：数据层、 算法层( 核心层) 和应用层，见图1 1 2 。数据层主要处理数据的操纵问题，可以对应 为上述的数据生成和预处理步，数据层是另外两层的基础。算法层，也可称为核心层， 是可视化过程的最主要部分，主要研究工作就在这里，是可视化的核心，目前的研究领 域涉及标量场可视化、向量场可视化与张量场可视化，提出了许多可视化领域特有的算 法，在算法效率和图像生成质量上有很大的进步。十多年里围绕可视化问题发展了很多 第1 页 国防科学技术大学研究生院学位论文 专用和通用的可视化系统，可视化应用人员可以在此基础上解决自己的可视化问题或进 行进一步开发，也有很多相关的研究工作，我们可以将之作为应用层，也是可视化的终 极目标。 应用层 算法层 数据层 图1 1 - 2 可视化层次结构 1 2 数据层研究 可视化应用领域的拓展使可视化工作者面临这样的问题，不同领域的应用拥有不同 格式的输出数据，数据种类之多是令人难以想象的。这既有历史方面的原因，也与不同 应用领域的数据使用特点相关【2 】。我们的研究工作主要集中在气象领域，在这一领域我 们会面对字符格式数据、本地数据格式和打包的二进制格式，还有许多标准科学数据格 式，例如g r i d ( g r i di nb i n a r y ) 数据格式是由世界上最大的两个业务气象中心n c e p 和e c m w f 使用的标准数据格式，由于它们在气象领域的影响，g 对d 得到了广泛的应 用；c d f ( c o m m o nd a t af o r m a t ) 数据格式是由n a s a 发展的数据界面和一系列工具集， 多年的发展使之成为一种标准的科学数据格式；n e t c d f ( n e t w o r kc d f ) 数据格式是由 u c a r 开发的数据格式，它是在c d f 数据格式基础上开发的，但是与c d f 数据格式并 不兼容。不同数据格式是对各种因素综合考虑后设计的，这些因素包括：精巧，简单， 易于通讯传输，可移植性等。比如g r i d 数据格式被两大的气象中心使用主要是由于其 有效的打包和传输，数据可以方便的从一个地点移到另一个地点；n e t c d f 的优势在于 其丰富的描述性数据( m e t a d a t a ) 。 与多样的科学数据格式相比，一般可视化系统只能提供几种标准格式的输入，要解 决可视化问题必须进行格式转化。具体到我们的可视化应用，目标是将m m 5 6 j 气象模 式的输出数据转化为o p e n d x l 7 1 通用可视化系统可识别的格式。 p s u n c a rm m 5 气象系统使用专用的数据格式，版本包括m m 5 v 2 和m m 5 v 3 。 m m 5 v 3 对m m 5 v 2 系统的输出数据格式进行了改进，两者的数据格式输出有很大的不 同。o p e n d x 是由i b m 开发的通用可视化系统，能够输入c d f 、n e t c d f 、h d f 等标准 科学数据格式和专用的d x 数据格式。但是，o p e n d x 是不能直接处理m m 5 系统数据格 式的。为此，我们开发了d m s ( d a t am a n a g e m e n ts y s t e m ) 来完成数据转化工作。在完成 上述目标的过程中，考虑到气象数据的特点，引入了数据库管理系统m y s q l ，目的是 方便数据的使用，同时提供一个气象数据格式转化的通用模型。 1 3 算法层研究 科学计算可视化提出十多年来，除了吸取传统计算机图形学的研究方法和现成算法 外，根据自身问题的特点，提出了许多新的算法，有力的推动了科学计算可视化的发展， 第2 页 国防科学技术大学研究生院学位论文 同时对传统计算机图形学的发展也起了很大的作用。针对传统图形学中构造点、线、面， 生成图形的方法，可视化应用中提出了体图形学【8 o g o l u m eg r a p h i c s ) 的概念，这是不经 过构造中介几何图元直接生成图形的方法，与之对应的传统计算机图形学方法被称为面 图形学。体图形学在可视化的发展过程中，得到了广泛的研究并逐渐走向应用，体绘制 技术【9 l ( v o l u m er e n d e r i n g ) 就是体图形学中最重要的概念。 体绘制技术将三维空间的离散数据直接转换为二维图像而不必生成中间几何图元， 最早提出的体绘制算法是光线投射算法【l 们。光线投射算法能够生成高质量的图像，因此 许多可视化系统采用其作为体绘制部分的实现。但是光线投射算法计算量大( o ( 3 ) ) ， 绘制速度慢，难以满足实际应用的要求，为此提出了很多改进方法，这包括适应性光线 终止【n ( a d a p t i v et e r m i n a t i o n ) 、八叉树( o c t r e e ) 、金字塔【1 2 ( p y r a m i d ) 等。还有许多新的算 法也被提出来，其中有m i p 算法1 1 3 ( m a x i m t m ai n t e n s i t yp r o j e c t i o n ) 、s p l a t t i n g 算法| l 、 频域体绘制算法【i 卯、错切变形体绘制算法【1 6 j ，新的算法的提出为提高图形生成速度与改 进图像质量提供了新的选择。 要满足图形生成的实时与交互性要求，高效快速的算法是最有前途的。在目前提出 的算法里频域体绘制算法( f v r ) 的计算复杂性是最低的，为o ( n 2l o g n ) ，而错切变 形体绘制算法是速度最快的体绘制算法实现，为此我们对这两种算法进行了研究。 频域体绘制算法的缺点在于生成的图像类似一张x 光照片，这是可视化工作者不能 接受的，为此一些工作对算法的光学模型进行了改进，但是生成的图像仍然缺乏立体感， 并且算法的速度优越性大打折扣。所以尽管该算法很久就被提出来，但是应用价值不大， 许多可视化系统都不使用其作为体绘制机提供给用户。为了使之走向实用化，我们吸收 了投影宏体素的思想，实现了宏体索投影的体绘制算法，并且新的算法在并行计算机体 系结构上会有很好的应用前景。 错切变形体绘制算法是另外一种很有前途的体绘制算法，由l a c r o u t e 实现的错切变 形体绘制算法在算法效率和图像质量方面都有很好的优越性。该算法充分利用了体素和 象素的空间一致性，使用八叉树和行程变码的数据结构，大大提高了算法的速度。但是 快速算法的重要前提是要进行预分类，这降低了算法的灵活性，影响了算法的实用性， 为此我们提出了改进方案，先进行一次粗略预分类，然后在算法中在进行细分类，两次 分类带来了一些新的问题，我们将进行仔细讨论。 1 4 应用层研究 数据准备和算法研究的目标是进行可视化应用，我们的应用研究工作主要在气象可 视化领域。气象可视化是科学计算可视化的重要应用领域，目前已经开发出许多可视化 系统支持气象数据的可视化。许多系统专门应用于气象领域，比如v i s 5 d i l 7j 是为专门支 持m m 5 气象模式而开发的，支持空间三维、时间维和多变量数据的可视化，但是v i s 5 d 只能处理m m 5 系统数据，很难在该系统上继续开发新的应用；g r a d s t 媳l ( o r i da n a l y s i s a n dd i s p l a y s y s t e m ) 是专门用来可视化地球科学数据的桌面工具，拥有脚本语言的编程 界面，可以生成复杂的可视化应用，但是它的坐标结构采用经度、纬度、垂直层和时间 四维，限制了其应用领域。与之对应的是通用的可视化系统，这些系统不引入具体应用 领域的概念，而是试图建立一个通用的可视化框架，可视化应用开发人员可以在此基础 上开发应用，这样的系统一般是基于数据流结构的模块式开发环境，譬如a v s 、o p e n d x 、 第3 页 ：星堡型墅垒塑些塑型丝圣一 i r i se x p l o r e r 、k h o r o s 等系统 1 9 1 20 1 ，它们提供了网络( n e t w o r k ) 或者图( m 印) 的概念， 应用程序开发只需要将现成的模块按要求连结成网络或图；通用可视化系统可扩展性 好，开发应用简单，但是不能直接交给最终用户使用，要在系统基础上根据具体应用领 域继续开发。 o p e n d x 是典型的基于数据流的模块式开发环境，支持医学、气象、地球科学、物 理、化学、信息科学领域的可视化应用开发，为此我们对o p e n d x 系统进行了研究，开 发基于o p e n d x 的可视化应用，我们对向量场可视化过程中的地图投影变换问题进行了 研究，给出了地图投影中的向量显示公式，并开发了几种常见投影方法的显示模块。 1 5 论文结构 我们在可视化的数据层、算法层和应用层都开展了一些工作，下面几章将详细介绍 我们的工作，具体说来： 第三章将介绍数据层的工作，主要是d m s 的设计思想与涉及问题。 第四章和第五章是算法层的工作，分别介绍在频域体绘制算法和错切变形体绘制算 法方面的研究。 第六章介绍应用层的工作，给出基于o p e n d x 开发的地图投影向量显示公式和模块。 上面几章包含了本文的主要内容，另外第一章引言部分简单的介绍科学计算可视化 及其研究问题；第二章是一些相关知识，为了后面章节的完整，被单独列为一章；第七 章是三、四章研究中实现的软件与系统的简要介绍；第八章为结束语。 第4 页 垦堕型耋堡查奎兰墼塞生堕兰堡篁塞 第二章相关知识 为了后面章节的完整性，我们在本章简要介绍一些相关的知识，这包括：频域体绘 制理论基础、错切变形分解原理、体绘制光学模型和地图投影基础。 2 1 频域体绘制理论基础 傅里叶变换曙1 1 是频域体绘制算法的理论基础，我们在这里给出其连续形式和离散形 式，并介绍采样理论和傅里叶投影切片定理。傅里叶变换是复数域的变换，应用不是很 方便，实际使用实数域的变换h a r t l e y 变换。 2 1 1 连续傅里叶变换 任何物理过程都可以用时域和频域两种方式描述：在时域我们可以用关于时间f 的 函数 ( ，) 来表示一物理过程，该物理过程对应于频域中关于频率f 的振幅函数( 厂) 。 两种表示之间的关系是： 日( 厂) = 批2 札 f 2 1 、 ( f )= 广h ( f ) e 2 枷a f 简记为：h ( f ) h ( t ) ，这就是傅里叶变换公式。 在( 2 1 ) 中，如果r 以秒为单位，则厂的单位为赫兹。同样如果r 代表距离，以米为单 位，则f 代表每米的周期数。 傅里叶分析中的一个熏要定理是卷积定理：两个函数g 和h 时域卷积的傅里叶变换 等于其各自傅里叶变换g ( ，) 和圩( 厂) 在频域的乘积a 2 1 2 离散采样数据的傅里叶变换 工程计算中使用傅里叶变换的离散形式，这需要对连续函数进行采样。实际使用的 采样函数一般是等间隔的脉冲序列，对于连续函数 ( f ) ，取采样间隔为，得一系列采 样点： h 。= h ( n a )n = ，一2 ，1 012 ， ( 2 2 ) ( 1 、称为采样频率，下面的频率则被称为n y q u i s t 关键频率： 第5 页 国防科学技术大学研究生院学位论文 工；五1 ( 2 3 ) n y q u i s t 关键频率是采样理论中的重要概念，- 5 采样定理紧密相关。采样定理可以表述 为：如果一个函数 ( ，) 频谱宽度小于正，即( 厂) so v 厂辟z ，则函数 ( r ) 完全决定于 h 。： 雄) - a 喜k 鬻 ( 2 4 ) 根据采样定理，如果连续函数 ( f ) 频谱宽度有限，令1 等于其最大频率l 的两倍， 则有： 厶= 云1 = ( 2 5 ) 这样- j - 以完全重建连续函数。如果h ( t ) 带宽无限，则使用采样频率1 a 采样将引入 走样，( a l i a s i n g ) 效果，原因是在一正 正以外的频谱能量被引入该范围内。 选定了正确的采样频率，可以对连续函数 ( f ) 进行离散。假定取定n 个采样点钆 吼s 矗( ) ，；魈，七= 0 , 1 ，2 ，j v 一1( 2 6 ) 则在- z f r a b r 正形投影 等面积投影等距离投影任意投影 图2 4 1 由变形椭圆分类的投影类型 按照投影面划分：可以将投影分为圆锥投影、圆柱投影、方位投影等，见图2 4 2 t 7 、 a 圆锥投影 、 八 赤措 u 寐j 首 b 圆柱投影 c 方位投影 图2 4 2 按投影面分类的投影类型 国防科学技术大学研究生院学位论文 第三章可视化系统前端数据管理系统设计与实现 可视化系统要实际应用，输入数据的管理是关键性的问题。本章对以往的可视化系 统的前端数据管理存在的问题进行了分析，提出了新的数据管理方案。为了验证我们的 方案，针对m m 5 气象模式的数据输出实现了一个数据管理系统( d m s ) 。 3 , 1 引言 科学计算可视化的概念从八十年代末提出到现在已有十多年的发展，这领域的理 论和系统方面都有了很大的进步，许多免费专用的可视化系统可以在互联网上找到，这 包括v i s 5 d 和r i p 3 0 】等专用气象可视化系统；更重要的是许多大型商用公司开发的可视 化系统已趋向成熟完善，其中有a v s ，d a t ae x p l o r e r , i r i se x p l o r e r , k h o r o s 等通用可视化 系统。不管是专用的可视化系统，还是通用的系统，一般都在前端提供自己的数据格式， 这些数据格式的说明往往复杂冗长，实际应用的输出数据往往是可视化系统不能识别的 格式，需要很多工作来转化成为可视化系统能够识别的格式；即使经过格式转化，m e t a 数据信息对于可视化程序员和用户来说仍然是一个黑箱，许多可视化程序员为了进行可 视化编程，要熟悉输出数据系统的许多与可视化工作无关的信息，花费大量时间熟悉数 据格式；许多数据的转化程序往往提供了一些专门用于读取和打印m e t a 数据的辅助程 序，帮助程序员了解数据集中的m e t a 数据信息，这对于可视化程序员有一定的帮助， 但是这些辅助程序的功能往往是十分有限的。 文件方法管理数据带来的不便使人们想到了数据库系统。数据库系统提供了强大的 信息管理功能，为科学计算数据的有效使用提供了方便。但是，由于科学计算数据的输 出往往十分巨大【3 1 1 ，动辄以m b 、t b 计，直接存储在数据库中是不现实的，这会导致 性能上的急剧下降。近来高性能计算领域开始提出并行i o 结合数据库系统进行高效方 便的数据管理的方法 3 2 】，提供了数据库与高性能计算结合的数据管理系统。但是即使在 一个应用领域，不同的数据集也存在其自身的特点，必须结合具体应用建立相应的管理 系统；同时该系统也应当具有广泛性，能够处理同一应用领域不同系统的输出数据。为 此，我们设计了可视化系统前端数据管理系统( d m s ) ，将通用的文件i o 和数据库管 理系统结合，对可视化系统前端数据的管理方法进行了探索。 在本章的第二部分，我们将详细的阐述d m s 系统的设计目标，在第三部分是系统 的实现，第四部分为小结。 3 2 设计目标 在对d m s 设计的过程中，我们考虑了四个主要目标：灵活的m e t a 数据查询检索功 能和高效的数据o 能力；高层a p i 和高层提示符界面；简单有效的数据植入和输出功 能；数据坐标系统的变换和可扩展性。 灵活的m e t a 数据查询捡索功能和高效的数据i o 能力。 要精一t 3 设计m e t a 数据的数据库管理系统，提供相关数据的各种属性的查询功能， 各种属性的相关数据集的统计功能；要充分利用文件l ，o 的高效性，尽量减少引 第1 6 页 国防科学技术大学研冗生院学位论文 入数据库管理所产生的i o 性能下降。上述目标的结合产生的结构框架见图 3 2 一l 。 高层a p i 和高层提示符界面。 要提供高层编程界面，隐藏文件和数据库结合的实现形式，使用户感觉不到数 据库或文件的实现，用户只需使用高层编程接口实现提取和植入数据；要提供 高层提示符界面，使得用户在通过命令行方式与数据库交互时，能够完成数据 的查询统计删除等功能，但是不提供数据直接在命令行的植入。 简单有效的数据植入和输出功能。 要设计简单有效的a p i 以保证数据可以简单有效的植入d m s ，并且通过简单的 查询，可以将数据提取出d m s 。 数据坐标系统的变换和可扩展性。 同一应用领域的不同模型的数据是有不同特点的，但是其共性是主要的，设计 数据库应用必须考虑这一点。我们的系统实现是针对m m 5 进行的，但是系统不 仅能够管理m m 5 模式的数据输出，而且可以扩展到其他模式；即使对于同一模 式的输出，可以通过高度插值和水平投影变换方式变换到其他坐标系统。 图3 2 1d m s 结构框架 3 3 系统实现 依据上述设计目标，我们对m m 5 的数据进行了处理，植入d m s 系统。d m s 采用 m y s q l 关系数据库【3 3 】实现，并且将数据提取出d m s ，转化为o p e n d x 可视化系统识别 的d x 数据格式，整个实现见图3 3 1 。为了理解d m s 的设计，我们使用m m 5 系统对气 象模型及其数据的特点进行介绍，并且以o p e n d x 可视化系统为例对气象数据的可视化 方式和对数据的要求做简单的介绍。然后介绍d m s 系统的关系表格，高级a p i ，提示 符界面，文件组织，应用，m m 5 数据可视化结果。 3 3 1m m 5 系统和o p e n d x 可视化系统 m m 5 系统已发展了三代，为中尺度数值天气预报系统，具有多重网格的嵌套功能， m m 5 系统的输出根据不同的嵌套层次输出到不同的文件，其输出文件为 m m 5d o m a i n 0 、m m 5d o m a i n l ，m m 5d o m a i n x ，其中0 为最高层粗网格的 输出，1 为一重嵌套网格输出。m m 5 每隔定的时间步输出一次预报变量数据，其中 m m 5d o m a i n x 包含了x 层嵌套网格所有时间步的所有变量的输出。m m 5 系统水平层 定义在地图投影后平面上的正方形网格上，直接输出的垂直层部分定义在半s i g m a 层 上，部分定义在s i g m a 层，这些数据可以经过插值转换到任意的海拔高度层、等压层或 第1 7 页 吣 国防科学技术大学研究生院学位论文 等温层，所以m m 5 数据是由水平方向的规则网格和垂直方向上的不规则网格构成的。 q 舀 y ( 坐标变换) 日 图3 3 1 系统实现 o p e n d x 可视化系统的数据格式主要包括三个概念：数据位置，数据连接和数据。 数据位置为离散数据定义的位置，数据连接为各个离散数据点间的连接方式，实际上是 图形显示时的插值方式，数据就是定义在各个位置上的值。数据的可视化过程一般是对 单变量的各个时间步采用各种可视化方法进行动画显示，所以将单个变量相关的各个时 间步数据结合到一个文件保存将是最有利的。为了提供对数据更深层次的洞察，可视化 过程往往提供将数据在不同坐标系统中显示。对于气象系统的输出，例如m m 5 ，数据 是定义在规则的方形网格上的，如果能够联系与气象数据相关的地理数据进行显示，将 会有更好的效果，这需要可视化系统内部实现坐标变换功能。坐标变换功能属于气象系 统独有的需求，在可视化系统内部提供将会使系统过于庞大，可行的方案是事先将数据 进行转换，然后将转换后的数据输入可视化系统，这样可视化部分只需要完成图形学自 身相关的部分。 3 3 2 数据库m e t a 数据表格 d m s 系统使用了四个数据表格，三个用于存储m e t a 数据，一个表格用于存储坐标 系统转化参数表格。三个m e t a 数据表格分别为r u nt a b l e ，a c c e s s _ p a t t e r nt a b l e 和 e x e c u t i o nt a b l e ，如图3 3 2 。当将m m 5 的数据输入d m s 时，r u nt a b l e 和 a c c e s sp a t t e r n中对应的表项依据 数据填写，同时d m s 按照自己的一套命名_ t a b l e m e t a 系统，将数据写入文件中，用数据对应的文件位置信息填写e x e c u t i o nt a b l e 。 坐标系统参数表格c o o rp a r a m 支持坐标系间的变换，不同的投影对应的参数_table 不同，根据投影的不同选择不同的坐标系统表格，结果这一表格式实际上根据投影类型 划分为多个，如图3 3 3 。 3 3 3 d m s 的a p i d m s 的a p l 分为两部分：数据的植入( 前端) 和数据的输出( 后端) 。d m s 的前 端负责将不同的气象模型的数据输入d m s ，这包括d m s l n i t ，d m s l n e r t ，d m s c l o s e 等例程， 这些例程隐藏了d m s 中的数据库和文件i o ，用户只需要给出相应的参数，数据就会被 正确的输入d m s 。为了保证d m s 的通用性，我们提供的例程使用了最小粒度，即对单 个数组进行输入的方法；对于不同的系统模型，用户需要做的是提取相应数据的参数， 与数据一同输入d m s 系统。d m s 的后端负责依据指定的参数输出相应的数据，这包括 d m s c o n n e c t 。d i n s g e t r t m i d ，d m s g e t d a t a ，d m s g e t f l o a t d a t a 等例程，同样也保证了最小粒 度，并且后端的例程保证用户仅需提供最少的参数，d m s 负责得到所有符合条件的数 第 8 页 国防科学技术大学研究生院学位论文 据的r u n i d ，并且按照时间的先后顺序进行排列。由于用户在数据的前端输入时可能输 入重复的数据，这在前端没有提供检验机制，所以在后端必须保证正确提取数据，d m s 系统保证输出为正确唯一的数据。 d a t a b a s e ( m y s q l ) r u n _ t a b l e a c c e s s p a t t e m _ t a b l e fr u n i dd a t a s e t d i m e n s i o nxyzs e r l e s d a t a t y p e u n i t s p r o j v e r t i 1t3999x y sf l o a tkl a m s l g n l a i 1t e r2991x yf l o a tml a mn o l 2t ， 3 9 99x y sf l o a tkl a ms 1 卫m a e x e e u t i o nt a b l e ir u n i d d a t a s e tf i l e0 f & e ts i z ef i l e n a m ef i l e d i r 1t02 9 1 6 lt e r03 2 4 2t 2 9 1 62 9 1 6 c o o r _ p a r a m _ l a b l e 图3 3 2m e t a 数据表格 r u n i dp a r a m lp a r a m 2p a r e m 3p a r a m 4 j f 1 i i 2 1 3 i 图3 3 3 坐标变化参数表格 3 3 4d m s 的p r o m t e r 我们的实现使用了m y s q l 数据库系统，用户和数据库通过提示符界面进行交互是 d m s 系统功能的重要部分，但是由于数据库本身并没有提供同时维护数据库和文件的 高级功能，所以直接使用m y s q l 的提示符界面来维护d m s 会造成数据库和文件间的 不致，为此必须提供一种同时维护数据库和文件的统一界面，并且该界面与原来的 m y s q l 界面相比不能有太大差别，我们称之为d m sp r o m p t e r 。d m sp r o m p t e r 的实现采用了“过滤”的思想，即对般的s q l 语言查询直接传递给m y s q l ，并且将 结果返回给用户。而对于涉及到数据库和文件系统一致性的语句，提取出相关文件更新 的部分，并将文件和数据库同时更新。d m sp r o m p t e r 使用的语句和s q l 语句完全 相同，见图3 3 4 。 3 3 5d m s 系统中文件的组织 每当数据输入d m s 时，d m s 根据数据的特点组织文件名输出，文件名具有自解释 的能力。对于系统中的文件我们采用了一个模型应用输出的单个变量的所有时间步数据 组织到一个文件中的方式。当然数据的组织可以采用每个模型应用的数据组织到一个文 件中的方式，也可以采用每个时间步的单个变量组织到一个文件中的方式。我们没有采 用前者是由于气象模型的数据输出一般都很大，并且随着时间的增加，数据量不断增加， 这样会产生很大的文件，在性能和安全性上都可能产生问题；而后者产生了许多的小文 件，每次读写一个数据均需一次文件的打丌和关闭操作，尽管现在的系统仅运行在使用 传统i o 的类u n i x 操作系统下，但是可想在将来移植到并行i o 的系统上时，文件的 第19 页 国防科学技术大学研究生院学位论文 打 图3 3 - 4d m sp r o m p t e r 3 3 6 d m s 的应用 d m s 仅仅提供一个中介管理功能，要完全理解d m s 的优点必须联系整个数据的使 用过程。首先要将气象模式数据植入d m s 系统，然后d m s 系统才能发挥管理功能， 要对数据进行可视化，还要转化为相应可视化系统识别的数据格式。尽管如