（计算机应用技术专业论文）实时控制系统中实时数据传输的研究与实现.pdf

一m a s t e r s t h e 吣 摘要 随着互联网络硬件、软件的飞速发展，由于实际生活和工作的需要，实时控制 系统越来越受到人们的关注，关于实时控制系统的研究和讨论也越来越热烈。实时 控制系统带给我们分布式的项目合作，使我们能足不出户就能买到我们想要的东 西，让我们坐在家里就能完成学校的各种课程，工程师们不用亲自到工厂就能控制 生产设备的运转。实时控制系统在带给我们的高效率、低成本、方便和快捷的同时， 也给网络技术带来了新的挑战，即实时数据传输，也就是如何实时的在互联网上进 行数据的交换。这是实时控制系统所必须解决的关键技术之一。 数据的实时传输是复杂的，这是由互联网以及实时数据本身的特性所决定的。 在互联网上，一个服务器连接着多个客户端成为复杂的网状结构，服务器和客户端 之问连接的方式各不相同，数据来源各不相同，平台也大相径庭。而数据本身的格 式也是多种多样，特别是像图片、音频、视频等“大型”数据更会造成时延、数据 丢失等传输困难，甚至是整个系统的瘫痪。 本文针对实时控制系统的发展前景，对实时控制系统中实时数据传输技术做了 相应分析。介绍了) ( m l 和h d f 5 以及它们在实时数据传输中的应用。在分析了x m l 和h d f 5 各自的优势后，提出将x m l 和h d f 5 结合起来进行实时数据打包。 这种方法不同于传统数据流的方法，它将实时数据分成轻量数据和重量数据， 轻量数据用x m l 存储，重量数据用h d f 5 存储，并探讨了如何将h d f 5 结构用x m l 包 装起来。本文还提出在r m i 的基础上，建立数据对象优先级，实时数据作为对象， 按照数据优先级表传输。在所设计的f l 方程式赛车实时模拟控制系统中，实时数 据的打包和传输机制的运用，使实时控制过程得到了很好的效果。 关键字：x m l ；h d f 5 ；r m i ；实时控制系统；实时数据传输 a b s t r a c t w i t ht h er a p i dd e v e l o p m e n to fn e t w o r kh a r d w a r ea n ds o f t w a r e ，t h er e a l t i m ec o n t r o l s y s t e mh a sb e e np a i dm o r ea n dm o r ea t t e n t i o nt o ，m o r ea n dm o r er e s e a r c hh a sb e e nd o n e t os a t i s f yt h en e e do fh u m a nl i f e i to f f e r sw a y so fd i s t r i b u t i n gc o l l a b o r a t i v ew o r ka n d m a k e sg e o g r a p h i c a l l yd i s t r i b u t e dt e a m sc o l l a b o r a t eo nap a r t i c u l a ri t e mo v e rt h ei n t e r a c t ； i ta l s oo p e n su pac h a n n e lf o re - b u s i n e s sa n de l e a r n i n g e n g i n e e r sc a nm o n i t o r i n ga n d m a i n t a i n i n gr e m o t ei n d i v i d u a lp l a n t sw i t h o u tw a l k i n gi n t ot h ep l a n t sa n dc h e c k i n gt h e e q u i p m e n t sb yt h e m s e l v e s r e a l - t i m ec o n t r o ls y s t e mb r i n g su sh i 曲e f f i c i e n c ya n dl o w c o s t ，b u ti ta l s oo f f e r san e wc h a l l e n g et on e t w o r kt e c h n o l o 垂e s ，t h a ti sr e a l - t i m ed a t a t r a n s f e r i ti so n eo ft h ek e yt e c h n o l o g i e st h a tr e a l t i m ec o n t r o ls y s t e mm u s tr e s o l v e t h eo p e nn a t u r eo fi n t e r a c ta n dt h er e a l t i m ed a t ai t s e l fm a k e st h er e a l ，t i m ed a t a t r a n s f e rb e i n ge x t r e m e l yd i f f i c u l t as e r v e ri sc o n n e c t e db ys e v e r a lc l i e n t sa r o u n dt h e w o r l di nd i f f e r e n tw a y s d a t ao fv a r i o u sd a t af o r m a t sc o m e sf r o mm u l t i p l es o u r c e sa n d 1 , 1 a t f o r m s s o m el a r g ed a t a ，s u c ha sp i c t u r e , v i d e o ，a u d i oo v e r l o a dt h ei n t e r n e ta n dm i g h t r e s u l ti nu n a c c e p t a b l et i m ed e l a y , d a t al o s sa n de v e nw h o l es y s t e mc o l l a p s e i nt h i st h e s i s ，a f t e ri n t r o d u c i n gr e a l t i m ec o n t r o ls y s t e m ，x l v l l , h d f 5 ，t h er e a l - t i m e d a t aw r a p p i n gm e t h o db a s e do nx m la n dh d f 5i sd e s c r i b e di nd e t a i l a n dt h et r a n s f e r m e c h a n i s mb a s e do nr m ii sa l s ob r o u l g h to u t a n dt h ew r a p p i n gm e t h o da n dt h et r a n s f e r m e c h a n i s ma r ei m p l e m e n t e dw h e nd e s i g n i n gt h ef 1c a rr a c i n gr e a l t i m es i m u l a t i o n c o n t r o ls y s t e m g o o dr e s u l t sa r ec a r r i e do u tf r o mt h es i m u l a t i o n k e y w o r d s ：x m l ；h d f 5 ：r e a l t i m ec o n t r o ls y s t e m = i n t e r n e t ；p r o c e s sc o n t r o l 硕士学伍论文 m a s t e r st h e s i s 第一章绪论 1 1 课题背景及意义 伴随着2 l 世纪的曙光，人类迎来了一个充满希望的新时代。而作为2 0 世纪人 类社会最伟大的发明之一，计算机也迈入了另个充满机遇的阶段一后p c 时代。 随着网络技术和通信技术的突飞猛进，各种网络应用系统也应运丽生。其中，实时 控制系统的发展更是让人瞩目。 网络应用系统的本质就是数据在远程站点和本地站点间的交换。数据在网络上 的交换带来了大量的益处，并且已经开始影响到我们传统的工业控制和制造体系n ，。 它使得异地间的分布式的合作工作变成可能。网络上的销售、买卖，也就是现在被 称为电子商务的运作也越来越方便和安全。我们还有可能在异地对她理位置不同的 各个工厂进行监控和维护。然而，要让这些变成现实，其中一个重要的课题就是如 何能够实时的有效的传输这些数据。就互联网本身的特性而言，一个服务器往往连 接着多个客户端。这些客户端有着不同的来源，传输的数据也是各种不同格式的， 各自的平台也不一样。这就使得用传统方法来传输实时数据异常的艰难。特别的， 像图形图像，视频等等大型数据如果传输不得当，会使得网络超载、延时甚至导致 整个系统的瘫痪。面对这些挑战，需要一种新的实时数据的传输机制来满足日益增 长的需求。 随着网络技术和通信技术的突飞猛进，实时控制系统在其自身发展的过程中， 其各个组成部分、研究子课题也在不断的发展。实时数据传输就是其中关键的一部 分。没有数据的实时传输，实时控制系统也就不能被称为“实时”。要使得数据能 够实时的传输，除了解决网络拥塞等问题外，在数据传输之前就需要对数据进行分 析，根据其不同的特性采用不同的方法。本文所提出的x m l 与h d f 5 相结合的方法 就是根据数据的不同特性，把它们分成轻量数据和重量数据，将轻量数据存储在x m l 中，将大型结构化实时数据如图形图像等作为重量数据存储在h d f 5 中。不同于传 统的数据流的方法，本文提出的方法将实时数据作为数据对象来传输，使得实时数 据得到结构化的存储和处理，简化了实时数据处理和传输的过程。 硕士学位论文 m a s t e r st h e s i s 1 2 国内外研究现状 1 2 1 国外研究现状 1 9 9 9 年，r u i a nl o u 和c h e n k h o n gt h a m 提出了基于s n m p 的实时数据传输的力 法。这种方法能使得嵌入式设备从管理系统中获取实时数据n ，。2 0 0 1 年，s c a d a o n w e b 发起一项建立标准体系结构的活动，该体系结构适用在网络上处理数字型数据、进 行过程控制、监控以及优化”1 。其中的洪水预警系统将在第四章中谈到。2 0 0 2 年， w i d e n e r 提出了用x m l 来包装消息，提供了实时的元数据定义来方便二进制数据传输 的通信机制m 。c l a r k e 建立了一种分布式的交换计算机环境，扩展数据模型和格式 x d m f ( t h ee x t e n s i b l ed a t am o d e la n df o r m a t ) ，使得h d f 和x m l 能为高性能计算机 应用程序服务n - 。x d m f 是一种普遍的数据中心，用于在应用程序间传递数值和数掘 元。2 0 0 3 年，n a m 和s u s s m a n 运用h d f 格式来存储n a s a 远程传感数据，使得大型的结 构化科学图像得到实时的传输“- 。 在业界，2 0 0 0 年r a es y s t e m s 公司开发的a r e a r a e 气体检测仪，可以和基站 进行实时数据和警报传输，从总控制室实时观察测量数据和警报状态。 1 2 2 国内研究现状 2 0 0 2 年4 月，中国数字地震台网的“中国数字地震实时分析系统”作为中国 数字地震实时分析系统与海底地震观测子项目的专题，获准列入中国科技部国际 科技合作重点项目地质过程与灾害发生机理与预测项目之中，并获得经费资助。 该专题的主要研究任务是：构建c d s n 地震数据实时、准实时分析系统的硬件平台： 创建一个具有国际水准的、适合于实时地震学研究的数字地震实时分析处理的基本 软环境：开展实时与非实时地震波形数据的应用研究。目前研究处于第二阶段。 在业界，2 0 0 3 年南京市南瑞信息系统分公司开发的w r d s 一2 6 0 0 电力广域实时数 据交换平台广域实时数据库，推出电力调度数据网交换平台的概念，以平台为中 心，各调度自动化应用借助该传输平台与本地以及远方通信对象完成间接通信。该 公司还开发了南瑞s d t c e n t e r 一2 0 0 0 专用数据传输系统，该系统是安全隔离公用数 据传输平台，采用面向对象的设计和编程，实现可以跨平台、跨操作系统的，不同 数据库系统的、不同数据格式要求的数据交换。2 0 0 4 年，浙大中控研发的w e b f i e l d t x 一3 0 0 xd c s 系统，应用于油田管理，能够对各个石油储运设备数据进行实时采集 和传输。 国内外对于实时控制系统中实时数据传输的研究还不太成熟，其主要原因在于 实时控制系统本身在最近几年才得到越来越多的重视，而其中对于实时数据传输的 专门性研究就更是少之又少。多数学校和公司的研究还浮于表面，未深入到底层开 发，虽然有一些产品的出现，倡其实时数据传输的方法还限于传统模式，效率有待 提高，这些不足正是本课题需要研究的主要方向。 1 3 论文研究内容以及章节安排 本文的目的在于提出一种有效的实时数据处理和传输方法。这种机制将把x m l 和h d f 5 结合在一起。由于各种不同的传输数据根据其本身的特性或者需要被分为 轻量数据( l i g h td a t a ) 和重量数据( h e a v yd a t a ) 。本文利用x m l 和h d f 5 本身 的特性，把它们分别用来存储轻量数据和重量数据。并且在r m i 的支持下，包装好 的轻量数据和重量数据作为j a v a 对象在j a v a 中传输。为了使得数据更有效传输， 本文还为数据建立了优先级，数据的优先级由客户端的需求决定，数据按照其优先 级表来传输。在所设计的f 1 赛车模拟实时控制系统中，实现了本文提出的方法， 实时数据的传输获得了很好的结果。 本文章节安排如下： 第一章介绍论文课题研究的背景和意义，在对国内外研究现状进行分析后， 提出本文的研究内容。 第二章介绍实时控制系统，以及实时数据传输在实时控制系统中的重要性。 第三章介绍x m l 的出现以及与h t m l 相比的优势所在，分析x m l 在实时数 据传输中的作用，以及如何用x m l 来表示实时数据。 第四章介绍h d f 5 的概念以及h d f 5 的优点，研究h d f 5 在实时数据传输中 的作用，以及实时数据该如何用t i d f 5 格式来表示。 第五章本章是论文的重点，首先阐述x m l 和h d f 5 结合的一些应用，然后探 讨了用 - i d f 5 表示的实时数据如何用x m l 来包装。其中，主要是结构映射和数据 映射两个部分如何实现。 第六章这一章介绍的是基于r m i 的实时控制系统中的数据传输机制，其中将 引入数据优先级的方法，数据对敛将按照优先级表进行传输。 第七章本章论述系统的设计与实现。本文设计了一个f 1 赛车横拟控制系统， 其中数据的包装以及传输将用到前面所提出的方法，系统运行结果证明所提出的方 法是合理有效的。 第八章最后一章是对本文的总结以及对未来工作的展望。 硕士学住论文 m a s t e r st h e s i s 第二章实时控制系统中的实时数据传输 实时数据传输是实时控制系统中一个至关重要的课题。没有数据的实时传输， 实时控制系统就完成不了实时控制的任务，也就称不上是实时控制系统。 2 1实时控制系统的介绍 实时控制系统通常是以计算机为中心的过程控制系统，也称为计算机控制系 统。它既用于生产过程中的自动控制，包括自动数据采集、生产过程监测、执行机 构的自动控制等等。也可以用于监测制导性控制，如武器装备的制导、交通控制、 自动驾驶与跟踪等“1 。实时指信号的输入、计算和输出都要在一定的时间范围 内完成，超出了这个时间，就失去了控制的时机，控制也就失去了意义w 。实时的 概念不能脱离具体过程，一个在线的系统不一定是一个实时系统，但一个实对控制 系统必定是在线系统。实时系统中传输的数据是实时数据，而本文主要研究实时控 制系统中的实时数据的传输。 2 1 1计算机实时控制系统的工作原理 在实时控制系统中，由于工业控制机的输入和输出是数字信号，因此需要有a d 转换器和d a 转换器。从本质上看，实时控制系统的工作原理如图1 所示可归 纳为以下三个步骤： 1 ) 实时数据采集：对来自测量变送装置的被控量的瞬时值进行检测和输入。 2 ) 实时控制决策：对采集到的被控量进行分析和处理，并按已定的控制规律， 决定将要采取的控制行为。 3 ) 实时控制输出：根据控制决策，适时地对执行机构发出控制信号，完成控 制任务。 上述过程不断重复，使整个系统按照一定的品质指标进行工作，并对被控量和 设备本身的异常现象及时作出处理。 被 硕士学位论文 m a s t e r st h e s i s d a 转换 圈l 实时控制系统工作原理 2 1 2 计算机实时控制系统的组成 计算机实时控制系统包括硬件部分和软件部分。硬件部分主要包括：主机、接 口电路、输入输出通道、外部设备、操作台。软件部分如图2 所示主要包括： 1 系统软件 2 应用软件，主要包括：控制程序、数据采集及处理程序、巡回检测程序和数据 管理程序等。 1 、控制程序：主要实现对系统的调节和控制，它根据各种控制算法和被控对象的 具体情况来编写，控制程序的主要目标是满足系统的性能指标。 加数据采集及处理程序： 包括： 数据可靠性检查程序用来检查是可靠输入数据还是故障数据； a d 转换及采样程序； 数字滤波程序用来滤除干扰造成的错误数据或不宜使用的数据； 线性化处理程序对检测元件或变送器的非线性特性用软件进行补偿。 3 ) 巡回检测程序：包括： 数据采集程序完成数据的采集和处理； 越限报警程序用于在生产中某些量超过限定值时报警； 事故预告程序根据限定值，检查被控量的变化趋势，若有可能超过限定值， 则发出事故预告信号； 画面显示程序用圉、表在c r t 上形象地反映生产状况。 4 1 数据管理程序 这部分程序用于生产管理，主要包括：统计报表程序；产品销售、生产调度及 库存管理程序；产值利润预测程序等。 硕士学住论文 m a s t e r st h e s i s 厂 操作系统 r 编辑程序 厂i 编泽程序 i系统软件 语言加f 系统 连接、装配程序 l 调试程序 l 诊断系统l 子程序库 i l ， 软件部分 ， lf 控制程序 ， li 数据可靠性检查程序 i数据采集及处理程序 a d 转换及采样程序 ii 数字滤波程序 l，、线性话处理程序 应月；| 软件、， i 数据采集程序 巡同检测程序j越限报警程序 1 事故预告程序 ii 画面显示程序 、数据管理程序 、 图2 计算机实时控制系统软件部分组成 2 2 实时数据传输的重要性 网络应用系统的本质就是数据在远程站点和本地站点阐的交换。数据在网络上 的交换带来了大量的益处，并且已经开始影响到我们传统的工业控制和制造体系。 它使得异地间的分布式的合作工作变成可能。网络上的销售、买卖，也就是现在被 称为电子商务的运作也越来越方便和安全。我们还有可能在异地对地理位置不同的 各个工厂进行监控和维护。然而，要让这些变成现实，其中一个重要的课题就是如 何能够实时的有效的传输这些数据。就互联网本身的特性而言，一个服务器往往连 接着多个客户端。这些客户端有着不同的来源，传输的数据也是各种不同格式的， 各自的平台也不一样。这就使得用传统方法来传输实时数据异常的艰难。特别的， 像图形图像，视频等等大型数据如果传输不得当，会使得网络超载、延时甚至导致 整个系统的瘫痪。 6 实时控制系统中传输的数据往往是异质的。蜘j 果网络应用程序中传输的数据大 量而且异构的话，要把数据打包成一个进行传输是非常困难的。如果考虑把不同结 构的数据根据其特征进行不同的分组的话，传输就会容易的多。根据数据的“量” 以及物理意义，可以把数据分成轻量数据和重量数据。轻量数据主要是小量的科学 数据。重量数据则是较大量的数据。 2 3 本章小结 本章主要介绍了实时控制系统的工作原理以及软硬件的组成。主要探讨了实时 控制系统的关键性技术实时数据的传输的重要性。 硕士学位论文 m a s t e r st h e s i s 第三章x m l 在实时数据传输中的应用 i n t e r n e t 的出现和发展已经给这个世界带来了巨大的冲击。但随着i n t e r n e t 上信息资源的爆炸增长出现了新的问题。例如：有用信息的查找极为困难；i n t e r n e t 的响应速度越来越慢：w e b 信息处理的智能化得不到深入发展等等。针对这些问题， x m l 近几年来迅速崛起，成为实时数据传输的新生力量。 3 1x m l 简介 x m l 是互联网联合组织( w 3 c ) 一，创建的一组规范，以便于软件开发人员和内容创 作者在网页上组织信息，作为一种新兴技术，它的目的不仅在于满足日益增长的网 络应用需求，而且希望借此能够确保在通过网络进行交互合作时，具有良好的互操 作性与可靠性。越来越多的设备，服务和平台都宣称支持) ( m l 技术，x m l 已经被广 泛应用于多种领域，x m l 开发工具发展异常迅速，特别是有很多免费的工具。因此， 用x m l 来进行实时数据传输也变得十分便利。 ) ( m l 又称为可扩展标记语言，事实上它并不是一种真正意义上的标记语言，而 是一种允许用户对自己的标记语言进行定义的源语言。x m l 具有对数据的自描述性 和可扩展性，符合i n t e r n e t 进一步发展的需要。但是应当认识到，x m l 是针对制约 i n t e r n e t 发展的问题应运丽生的，它的大部分优势也只有在i n t e r n e t 这个大环境 中才能发挥、体现出来。而在数据的保存、维护等方面，目前x m l 是无法与专门的 数据库管理系统( d a t a b a s em a n a g e m e n ts y s t e m ，简称d b m s ) 媲美的。 x m l 是标准通用标记语言i t s 0 8 8 7 9 ( s t a n d a r dg e n e r i cm a r k u pl a n g u a g e ，简 称s g m l ) 的一个子集，是s g m l 的一种受限形式，是台乎规范的s g m l 文档“。s g m l 已被证明在许多大型出版应用中非常有用，但是，s g m l 文档过于复杂，以致于w e b 浏览器很难处理。矾l 删除了s g m l 中的虚饰，是一种更流畅、更易理解的元语言， 它既保留了s g m l 的优点，又适合于在w e b 上应用。 设计蕊l 的目的就在于使得在w e b 上能以现有超文本标记语言( h y p e r t e x t m a r k u pl a n g u a g e ，简称h t m l ) 的使用方式提供，接收和处理通用的s g m l 成为可能。 它是一种用来对信息进行自我描述的语言。可以将x m l 理解为一种规则的规则，它 把人们从细节问题中解脱出来，让人们能够集中精力制定规则或协议以表示、处理 8 硕士学位论文 m a s t e r s t h e s i s 他们通常需要交换的信息。目前负责x m l 相关规范维护、发稚的官方组织是w 3 c 。 关于x m l 的详细定义可以参考w 3 c 建议的e x t e n s i b l em a r k u pl a n g u a g e ( x m i 。) 1 0 规范m 。 3 2x m l 的特点 x m l 的特点正好弥补了h t m l 的不足，h t m l ( 加上其扩充的表格、帧、脚本等功 能) 过于简单： 1 ) u r l 地址变化，手工更改链接，维护工作量大。 2 ) 动态内容需要下载的部件太多。而且j a v a 保存的数据搜索引擎无法访问。 3 ) 页面没有类似于数据库的结构，对搜索不利。 4 ) 对双字节文字支持不够。例如中文页面在不同平台格式不齐。 5 ) 可扩展性差。科学家无法用h t m l 书写数学公式、化学方程式以及分子晶体 结构。 x m l 在网络上应用的好处在于它的文件结构，h t m l 里的一个“标签”，在x m l 中就表示一个元素。h t m l 只能在网页中表示格式，并不包含任何实际意义，而x m l 的每个“标签”则有自己的实际涵义。这就是x m l 主要特点所在。表1 是x m l 一个 简单例子。 x m l 是可扩展的。 含在头和结尾标签之间 ( e g h o m e rs i m p s o n ) 。当x m l 被解析的时候，我们可以从文档的 n a m e 这个记录中得到h o m e rs i m p s o n 这个数据。 h t m l 就像一般网络文档，而x m l 则更像数据库中的记录。x m l 有多层次的树状 结构，并且可以在简单的文字编辑器中编辑，这就使得x m l 有足够的能力表达复杂 的数据，也很易读。 硕士学住论文 m a s t e r st h e s i s 3 3 x m l 描述实时数据 x m l 同h t m l 都来自s g m l ，x m l 保尉了s g m l 的可扩展功能，而h t m l 不可扩展， 即x m l 允许定义( 数量不限的) 标记，允许嵌套的信息结构。这种嵌套的信息、结构 正好满足实时数据的结构化要求。x m l 提供了个直接“处理”w e b 数据的通用方 法，而不是只能够“显示”。x m l 着重描述的是w e b 页面的“内容”，并使机器能自 动处理信息。 s g m l 用标记来描述文档资料。包含文档类型定义( d t d ) n “，d t d 中定义了标 记的含义，因而s g m l 的语法是可以扩展的。h t 札只使用s g m l 中很小一部分标记， 例如h t m u3 2 定义了7 0 种标记。h t m l 的标记是固定的，即h t m l 语法是不可扩展 的，不需包含d t d 。直接使用s g “l 作为w e b 语言太庞大，互联网联合组织( w 3 c ) 建 议使用一种精简的s g m l 版本x m l 应运而生了。s g m l 可能永远不会在i n t e r n e t 上被广泛接受，对于高端的出版应用，s g m l 将继续适用l l t m l 仍是在w e b 上快速 出版数据的最简单的方法，大部分短期的数据，如会议议程或广告宣传册，如果数 据会长期使用，并且需要更多的一些结构，w e b 建造者将愿意使用x m l 。 x m l 页面信息是结构化的，因而更具访问性，其检索结果更有针对性、更准确。 每一添加的标记必须记入一个独立的d t d 文件中。当客户浏览时，相关的d t d 文 件一起下载到客户端。当然，已经制订成为标准的( 例如化学标记语言c m l 、数学 标记语言m m l ) 不需要d t d 文件。可以将u r l 地址定义在d t d 文件中。当变化时， 只需改动d t d 文件，维护更方便。 除了d t d 外，x m l 中还包括x s l “”和x l l ”“，x s l 用于将x j l 数据翻译为h t m l 或其他格式的语言。x s l 可以解释数量不限的标记，它使w e b 的版面更丰富多彩， 例如动态的文本、跑马式的文字。此外，x s l 还处理多国文字、双字节的汉字显示、 网格的各种各样的处理等。x l l 是x m l 的链接语言，与h t m l 的链接相似，但功能更 强大。x l l 支持可扩展的链接和多方向的链接。它打破了h t m l 只支持超级文本概念 下最简单的链接限制，能支持独立于地址的域名、双向链路、环路、多个源的集合 链接等。x l l 链接可不受文档制约，完全按用户要求来指定和管理。 此外，x m l 极其有利于异质系统间的信息互通。这个特性将带给实时控制数据 传输革命性的冲击。当今，大到数百万美元的m a i n f r a m e ( 就是所谓的“l e g a c y s y s t e m ”) ，4 , n 掌中的p d a ，系统与系统之间，往往因大相径庭的平台、数据库软 件等等，造成信息流通的困难。在这些异质系统之间做信息交流，往往需要特殊的 软件，才能跨越彼此的门槛。有了x m l 之后，异质系统之间可以很方便的通过x m l 硕士举住论文 m a s t e r st h e s i s 来做交流媒介“。 x m l 格式简单易读，对于各种类型的资料，无论文字档或是二元档，都能标注。 要做信息交流的各大小系统上只需装有x m l 解析器，便能解读别台机器上所传来的 信息。x m l 解析器取得容易，有很多优秀的软件供人免费下载。而因为大多数解析 器用j a v a 写成，更使得有j a v a 虚拟机支援的平台，大到i b m 的a s 4 0 0 、a s 3 9 0 m a i n f r a m e 级电脑，小到p a l mp i l o t 掌中型记事本( 还有这两个极端之间几乎所有 的平台) ，都立即成为支援x m l 的平台。异质系统之间，不再需要担心看不懂对方 的资料格式。某个系统内部的变更，并不会殃及与它交流往来的其他系统，因为x m l 提供了一层理想的缓冲。x m l 这项有利于资料交换和传递的特性，将使得它在实时 控制数据的传输中发挥极其重要的作用。 实时控制系统有时候要传输大量的数据，而仅在一个文档或者一次传输中，x m l 就能携带或者交换这些大量的数据。x m l 文档有着树状的结构，使得解析器很容易 就能获得所需要的数据。严格的格式使得x m l 文档中记录的插入和删除都很方便。 这些特点正好是携带实时数据所需要的。 在第二章中，已经提到把实时控制数据分成轻量数据和重量数据两种。我们用 x m l 来描述和绑定轻量数据。一个x m l 文档是由多层元素组成的，并且可以进行递 归。在x m l 文档中，元素是信息的逻辑单位。一个实时控制数据是2 元的，由取样 时间和变量值组成。对实时控制数据的描述是由x m l 的元素来实现的。每个数裾对 应一个元素。每个元素由两部分组成，数据值和取样时间。两个标签间的信息相应 的指示的是数据的内容和取样时间。图3 是用x m l 表示实时控制数据的结构图。 m 元j 蠹 变量 采样时同 x i l 语义 _ _ _ _ _ _ _ _ _ _ _ _ _ p 图3 x m l 数据结构 数据售的部分 采样时阕帕部分 硕士学住论文 m a s t e r st h e s i s j a v a 可以对用x m l 包装过的实时数据进行处理。通常有三种常用的方法：1 a v a 文档对象模型( 、i d o m ) m ，文档对象模型( d o m ) “，x m l 的简单a p ( s a x ) 1 。树 状的d o m j d o m 模型更适合存储和处理x m l 文档。其原因在于数据的多层次属性很 难在单个x m l 元素中进行组织，而s a x 正好较难处理多个x m l 元素之问散布的数据 结构。在d o m j d o m 方法下产生的类是轻量的，并且数据绑定程序内存使用少，运 行效率高。 3 4 本章小结 本章首先介绍了x m l 出现和发展。接着各个不同的方面介绍了x m l 的特点以及 优势。基于x m l 的优势，进一步分析其在实时数据传输中的优势，介绍了如何用x m l 表示实时控制数据的方法。 1 2 第四章h d f 5 在实时数据传输中的应用 在大型监控、预测以及控制系统中，如洪水预警系统，有大量的结构化的科学 数据要进行实时的传输。这些数据包括数文字、数字、图形图像、视频音频等。对 这些数据进行结构化的存储和处理将大大提高系统的工作效率。美国家超级计算机 应用中心n c s a ( t h en a t i o n a lc e n t e rf o rs u p e r c o m p u t i n ga p p l i c a t i o n s ) m 1 1 9 9 8 年提出了h d f 这种格式，用来存储和处理大型结构化科学数据。h d f 5 是它的最新产 品。 4 1h d f 5 技术介绍 h d f 5 是一种自描述的科学数据文件格式以及国家超级计算机应用中心( n c s a ) 用来储存和服务于异构科学数据的动态链接库，。h d f 5 提供了普遍的高适应性的数 据模型。它还有着“便携”的文件格式，就是说一种系统上的文件可在任一其他系 统上识别。h d f 5 提供了大型的复杂的数据集，还有它的库能在任何用于科学研究的 计算机系统中运行，包括大型并行系统。图4 是一个简单的h d f 5 文件的例子。 用h d f 格式存储的文件包涵描述文件细节的数据元以及多元信息例如文件偏移 量、数组大小、数组元素的类型等。h d f 文件中的数据是多层次结构的，包含2 个重 要的结构：组和数据集。一个组结构包含更多的组或者数据集。一个h d f 文件包含 一个文件头，其中包括至少一个数据描述符组和数据元素m ，。一个数据描述符组包 括一些数据描述符。数据描述符和数据元素都来自一个数据对象，这是h d f 中存储 数据的基本结构。 运用这样两种基本对象，能创建和存储几乎所有类型的科学数据结构，例如图 像，矢量数组以及结构化和非结构化的网格。皿f 数据模型和其他格式的数据模型 是兼容的，它还提供应用于机械模拟的不规则网格这样复杂的结构。而且，h d f 不 限制存储在h d f 中的对象的大小和数量，也能管理数据位于不同存储器的结构。 顾士学位论文 m a s t e r st h e s i s 图4 简单h d f 5 文件样式 4 1 1h d f 5 数据模型和文件结构 h d f 5 有着简单但却强大的数据模型。数据模型包括两个基本的对象类型：数据 集和组。数据集是简单或复杂的h d f 5 数据类型的多维数组。h d f 5 的简单数据类型类 似与c 和f o r t r a n 的整型，浮点和字符型。h d f 5 的复杂数据类型和c 以及f o r t r a n 的结 构，记录类型类似，并且能够嵌套。 图5 是h d f 5 文件结构的示例。每一个h d f 5 对象都有相应的元数据，以简单属性 的形势储存在文件中。这个文件包含两个组，“a ”和“b ，。组b 是组a 的成员。组 a 和组b 都是根“”的成员，根“”就好象是文件的入口。而根“”本身又是组b 的成员。数据集b 是组a 和组b 的成员。数据集a 和b 共享相同的数据类型b ，数据类型 b 存储在组b 里面。数据集a 的属性指向另一个数据集c ，数据集c 可能作为a 的元数据。 硕士学住论文 m a s t e r st h e s i s 4 1 2h d f 5 的优点 图5 简单h d f 5 结构 h d f 5 具有以下的优点： 1 ) h d f 5 是存储科学数据的普遍文件格式 h d f 5 能存储两种重要的对象：数据集和组。数据集是多维的数据元素组。组是 组织h d f 5 文件对象的一种结构。运用这两种基本的对象，就能创建和存储几乎所 有的科学数据，例如图像，矢量数组，结构化和非结构化的网格。而且可以根据自 己的需要对这两种对象进行组织。 2 ) 有效的存储和i o h d f 5 是为了管理高精密度的科学以及工程数据而设计的。因此，h d f 5 的库和 格式就很注重存储和u o 的有效性。例如，h d f 5 格式能提供各种各样形式的数据， 像是压缩的等等。在并行系统的支持下，h d f 5 库也能有效的读取和写入数据。 3 ) 免费和开放 n c s a 提供了一套免费开放源代码的软件，包括i t d f 5t o 库等。h d f 5 的用户 群也开发了许多免费的软件。 4 ) 标准化 由丁数据存储在h d f 5 中有各种各样不同的形式，所以必须有套标准来规定 如何组织这些数据。这样就能使数据的共享更方便，同时也有利于服务于这些数据 的工具的开发和共享。n c s a 的h d f 小组已经在和用户们一起朝着标准化的疗向在努 力。 5 ) 庞大的用户群 h d f 5 的用户包括科学和工程的各个领域，甚至是一些非技术性的行业。h d f 5 中存储的数据被用在各种领域的应用程序中a 4 2h d f 5 在实时数据传输中的应用 我们知道，实时控制系统中所要传输的往往就是大型的结构化的科学或者工程 的数据，比如说s c a d a o n w e b 的洪水预警系统( t h es c a d a o n w e b f l o o dw a r n i n g s y s t e m ) 。 洪水预警系统的应用： 1 ) 提供了早期警告和警报系统； 2 ) 能及时提供信息，避免灾祸的发生； 3 ) 能提供数据给专家进行长期的研究； 4 ) 预测算法能从多种不同来源得到数据； 5 ) 为仿真工具提供开放的界面。 如图6 所示，洪水预警系统的数据来自气象台，河流流动传感器以及其他数 据提供者。其中包括大量的实时数据，文字的，图形的r 甚至是音频和视频。比如 说气象台每隔1 0 秒发送一次气象信息，包括各种气象指数，气象图等。这些数据 既复杂又庞大，需要h d f 5 来进行结构化的组织 硕士学位论文 m a s t e r l st h e s i s r 传感器 、 塑丝垡j 争 图6s c a d a o n w e b 洪水预警系统 s c a d a o n w e b 是欧盟的信息组织i s t ( t h ei n f o r m a t i o ns o c i e t yt e c h n o l o g i e s ) “3 发起的一个计划，目的在于为过程监视和控制系统建立一个标准的平台。洪水预警 系统是它其中一个计划要实现的系统，还有分布的水利、风力、电力发电站的控制 系统等等，它们的共同特点就是需要传输大量结构化的科学数据，也正是h d f 5 的特 长。为储存大型的结构化的科学或者工程的数据而生的h d f 5 ，由其本身的特性决定 了它在实时控制系统中的重要地位。 4 3h d f 5 描述实时数据 前面我们已经提过轻量数据和重量数据的划分。重量数据可以通过i i d f 的数据 集和组来储存。对于结构化和非结构化的数据集，h d f 定义了大量数据格式例如数 据组，它适用于存储庞犬的数据集或者重量数据。h d f 能容纳庞大的或者包含很多 对象的文件，它也能使用各种数据压缩器，数据扩展器以及各种加强数据访问、管 理和存储的效率的方法。h d f 中的一个数据集，例如一个多维数组，有附加的描述 其特征的逻辑数据元，比如说是数组的列数、元素的个数等等。一个组由多个数据 硕士举住论文 m a s t e r s t h e s l s 集组成。h d f 的组和链接能进行储存数掘问的与或操作。多个相关的数据集由链接 机制联系在一起组成集合，不同的组之间能共享对象。h d f 数据集的数据类型很中 富，能定义像串、数组、对象指针、自定义整型数、自定义浮点数以及类似c 结构 的复杂数据类型。图7 所示h d f 数据集中实时数据是个由采样时间、变量位置、变 量值组成的三维数据。 4 4 本章小结 图7h d f 数据存储结构 本章介绍了h d f 5 的基本概念，h d f 5 的一些基础知识以及它与较前h d f 产品相 比有哪些改进。分析过h d f 5 的优点后，进一步指出它在实时控制数据存储和传输 中的优势。最后，本章介绍了如何用h d f 5 表示实时控制数据。 硕士学住论文 m a s t e r st h e s l s 第五章x m l 与h d f 5 的结合 第三章和第四章分别谈到了x m l 和h d f 5 在实时数据传输中的作用，根据其各 自的特点，x m l 和h d f 5 在实时数据传输中各有所长。x m l 有着简单的多层次文档结 构，而且极其有利于异质系统间的信息互通；而h d f 5 本身是为大型结构化科学数 据而设计的，有利于图形图像等大型数据的存储和处理。本文提出把x m l 和h d f 5 结合起来，对实时数据进行包装。本文把实时数据分成轻量数据和重量数据。轻量 数据存储在x m l 中，重量数据存储在h d f 5 中。这也是本章所要重点介绍的。 5 1x m l 与h d f 5 结合的应用范围 本文考虑x m l 与h d f 5 结合有这样一些可能的应用范围： 1 ) 在浏览器中浏览h d f 5 文件的结构和内容。 用x m l 描述的h d f 5 文件在标准的浏览器中应当可读。一些标准的浏览器将能 够直接显示x m l ，很多服务器也将能把x m l 转换成h t m l 。可以通过构造样式表来控 制h d f 5 的文件信息。x m l 这项用途至少不借助于任何特殊软件，就能了解h d f 5 文 件的内容。 2 ) ) 【m l 作为目录记录 作为目录记录是x m l 的一项应用。例如在n a s a 啪分布式现役数据库中心 ( d a a c ) ，h d f s 文件的内容是用x m l 记录形式来描述的，这些文件存储在数据库中 或者服务于搜索请求。x m l 将在客户端或者代理之间传递，而原来的h d f 5 文件不需 要被移动。客户端将运用这些记录去定位和获得它们想要的数据集。在这项应用中， ) ( m l 是和h d f 5 文件剥离使用的，所以任何指向文件的指针都必须有完整的u r l s 和其 他信息，以便于定位到具体的数据集。总的来说，这些记录的目