（计算机应用技术专业论文）发电企业实时数据库管理系统的研究与实现.pdf

华北电力大学硕士学位论文 摘要 实时数据库管理系统是指对数据存储 传输 读取有严格的时间限制的数据库管理 系统 与关系型数据库管理系统的区别在于实时数据库管理系统的正确性不但依赖于逻 辑结果 而且还依赖于逻辑处理的时间 近年来随着电力企业对信息化需求的提高 实 时数据库管理系统已经成为电力企业自 动化系统中必不可缺少的重要部分 实时数据库管理系统在发电企业中的主要应用是对生产控制系统产生的数据进行 实时的优化 压缩和保存 实时数据作为企业的重要数据资源为企业决策提供支持 并 对提高企业管理水平和生产效率 保证发电安全稳定运行 增强企业的竞争能力以及提 高企业的综合效益具有重要意义 关键词 实时数据管理 数据压缩 分布式数据管理 abs tract r e a l t i m e d a t a b a s e ma n a g e m e n t s y s t e m r t d ms i s a k i n d o f d a t a b a s e m a n a g e m e n t s y s t e m w h i c h h a d s t r i c t c o n s t r a i n t s o n d e l a y o f t h e d a t a s t o r a g e t r a n s m i t t i n g a n d r e a d i n g t h e d i f f e r e n t d i f f e r e n c e b e t w e e n o f r t d ms a n d r e l a t i o n d a t a b a s e m a n a g e me n t s y s t e m r d ms i s t h a t t h e v a l i d i t y o f r t d ms r e l i a b i l i t y w a s n o t o n l y d e p e n d i n g o n t h e l o g i c r e s u l t s b u t a l s o d e p e n d o n t h e d e l a y o f t h e l o g i c p r o c e s s i n g r e c e n t l y b e c a u s e o f t h e h i g h r e q u i r e m e n t s o n t h e i n f o r ma t i o n t e c h n o l o g y o f t h e e l e c t r i c p o w e r e n t e r p r i s e s r t d ms h a s b e c o m e o n e o f t h e m o s t i m p o r t a n t p a r t s o f t h e p o w e r e n t e r p r i s e a u t o m a t i o n s y s t e m t h e m o s t i m p o r t a n t a p p l i c a t i o n o f r t d ms i n e l e c t r i c p o w e r e n t e r p r i s e s i s t h a t i t c a n d o t h e r e a l t i m e o p t i m i z a t i o n c o m p r e s s i o n a n d r e s e r v a t i o n o n t h e d a t a w h i c h a r e p r o d u c e d b y t h e p c s p r o d u c t c o n t r o l s y s t e m o r d c s d i s t r i b u t e d c o n t r o l s y s t e m b e i n g t h e m o s t i m p o r t a n t d a t a r e s o u r c e r e a l t i m e d a t a n o t o n l y p r o v i d e t h e e n t e r p r i s e s d e c i s i o n s u p p o r t s b u t a l s o o n m a n y o t h e r a s p e c t s s u c h a s m a n a g e m e n t e n h a n c e me n t s p r o d u c t i o n e f f i c i e n c y s e c u r i t y a n d s t a b i l i z a t i o n o n e l e c t r i c i t y g e n e r a t i n g c o m p e t i t i o n a b i l i t y a n d t h e i n t e g r a t i o n b e n e f i t s z b o u c h a o a p p l i e d c o m p u t e r t e c h n o l o g y d i r e c t e d b y p r o f wu k e h e k e y wo r d s r e a l t i m e d a t a m a n a g e m e n t d a t a c o m p r e s s i o n d i s t r i b u t e d d a t a b a s e ma n a g e me n t 华北电力大学硕士学位论文 摘要 实时数据库管理系统是指对数据存储 传输 读取有严格的时间限制的数据库管理 系统 与关系型数据库管理系统的区别在于实时数据库管理系统的正确性不但依赖于逻 辑结果 而且还依赖于逻辑处理的时间 近年来随着电力企业对信息化需求的提高 实 时数据库管理系统已经成为电力企业自 动化系统中必不可缺少的重要部分 实时数据库管理系统在发电企业中的主要应用是对生产控制系统产生的数据进行 实时的优化 压缩和保存 实时数据作为企业的重要数据资源为企业决策提供支持 并 对提高企业管理水平和生产效率 保证发电安全稳定运行 增强企业的竞争能力以及提 高企业的综合效益具有重要意义 关键词 实时数据管理 数据压缩 分布式数据管理 abs tract r e a l t i m e d a t a b a s e ma n a g e m e n t s y s t e m r t d ms i s a k i n d o f d a t a b a s e m a n a g e m e n t s y s t e m w h i c h h a d s t r i c t c o n s t r a i n t s o n d e l a y o f t h e d a t a s t o r a g e t r a n s m i t t i n g a n d r e a d i n g t h e d i f f e r e n t d i f f e r e n c e b e t w e e n o f r t d ms a n d r e l a t i o n d a t a b a s e m a n a g e me n t s y s t e m r d ms i s t h a t t h e v a l i d i t y o f r t d ms r e l i a b i l i t y w a s n o t o n l y d e p e n d i n g o n t h e l o g i c r e s u l t s b u t a l s o d e p e n d o n t h e d e l a y o f t h e l o g i c p r o c e s s i n g r e c e n t l y b e c a u s e o f t h e h i g h r e q u i r e m e n t s o n t h e i n f o r ma t i o n t e c h n o l o g y o f t h e e l e c t r i c p o w e r e n t e r p r i s e s r t d ms h a s b e c o m e o n e o f t h e m o s t i m p o r t a n t p a r t s o f t h e p o w e r e n t e r p r i s e a u t o m a t i o n s y s t e m t h e m o s t i m p o r t a n t a p p l i c a t i o n o f r t d ms i n e l e c t r i c p o w e r e n t e r p r i s e s i s t h a t i t c a n d o t h e r e a l t i m e o p t i m i z a t i o n c o m p r e s s i o n a n d r e s e r v a t i o n o n t h e d a t a w h i c h a r e p r o d u c e d b y t h e p c s p r o d u c t c o n t r o l s y s t e m o r d c s d i s t r i b u t e d c o n t r o l s y s t e m b e i n g t h e m o s t i m p o r t a n t d a t a r e s o u r c e r e a l t i m e d a t a n o t o n l y p r o v i d e t h e e n t e r p r i s e s d e c i s i o n s u p p o r t s b u t a l s o o n m a n y o t h e r a s p e c t s s u c h a s m a n a g e m e n t e n h a n c e me n t s p r o d u c t i o n e f f i c i e n c y s e c u r i t y a n d s t a b i l i z a t i o n o n e l e c t r i c i t y g e n e r a t i n g c o m p e t i t i o n a b i l i t y a n d t h e i n t e g r a t i o n b e n e f i t s z b o u c h a o a p p l i e d c o m p u t e r t e c h n o l o g y d i r e c t e d b y p r o f wu k e h e k e y wo r d s r e a l t i m e d a t a m a n a g e m e n t d a t a c o m p r e s s i o n d i s t r i b u t e d d a t a b a s e ma n a g e me n t 鱼旨 o口 尸明 本人郑重声明 此处所提交的硕士学位论文 发电企业实时数据库管理系统的研究 与 实 现 是 本 人在 华北电 丸 大学 攻 读 硕士 学 位期间 在导 师 指导 下进 行的 研究 工 作 和 取得的研究成果 据本人所知 除了文中特别加以标注和致谢之处外 论文中不包含其 他人已 经发表或撰写过的研究成果 也不包含为获得华北电力大学或其他教育机构的学 位或证书而使用过的材料 与我一 同工作的同志对本研究所做的任何贡献均已在论文中 作了明确的说明并表示了谢意 学位论文作者签名 处日期 z ra s 3 0 关于学位论文使用授权的说明 木人完全了解华北电力大学有关保留 使用学位论文的规定 即 学校有权保管 并向 有关部门送交学位论文的原件与复印件 学校可以 采用影印 缩印或其它复制手 段复制并保存学位论文 学校可允许学位论文被查阅或借阅 学校可以学术交流为 目 的 复制赠送和交换学位论文 同 意学校可以 用不同方式在不同媒体上发表 传播学 位论文的全部或部分内容 涉密的学位论文在解密后遵守此规定 m v 签 名 艇导师签名 和 日期 7 0 0 5 3 1 日期 孙习 子 华北电力大学硕士学位论文 第一章引言 实时数据库管理系统对我国发电 企业的实际价值 随着我国发电企业的不断发展和信息化程度的进步提高 相关的数据和信息 越来越多 目前国内能源紧张的形式对发电企业的安全生产和效率提出越来越高的 要求 面对复杂的生产管理任务 从企业的安全性及生产效率等方面考虑 公司领 导和各生产管理部门及直属单位在指挥生产和管理中 需要及时了解所辖设备的基 本信息 运行状况 缺陷情况 检修和试验情况以及负荷状况等电力系统的全面 实时的信息 以便对发电机组的经济运行 状态评估和发展规划等做出正确的决策 发电企业的各种信息相互间具有很大的相关性 其中核心就是发电设备的实时 数据 为了向企业管理者提供决策支持 就必须对发电企业众多发电设备的实时数 据进行存储 分析 挖掘 为保证信息存储和传输的及时 方便和完整 有必要开 发一个具有实时数据存储 发电设备实时工作状况显示和相关生产管理系统等功 能 并且具有高实用性的 实时数据管理与综合数据挖掘系统 此外 企业领导 和生产管理人员在生产指挥中需要更多更详细的生产实时信息 有些信息可以从实 时数据中直接获得 有些信息则不能 需要对现有的数据进行数据挖掘和信息处理 才能获得 及时全面的信息支持是保证生产的正确决策的重要条件 针对发电企业生产指挥和管理的需要 开发 发电企业实时数据库管理系统 为领导决策提供帮助 发电企业实时数据库管理系统 对提高企业管理水平 提高生产效率 保证 电网安全稳定运行 增强企业的竞争能力以及提高企业的综合效益具有重要意义 1 2实时数据库管理系统的历史背景和发展趋势 中国加入w t o 之后 发电企业面临着更广 一 阔的市场机遇 同时也需面对更严峻 的市场竞争 发电企业要生存 就必须快速适应市场变化 利用信息技术和控制技 术 提高信急 化水平 实现数字化管理 进而增强综合竞争能力 是许多发电企业 当前面临的重要课题 上世纪4 0 年代 电力系统出现了数据收集与监控系统 s c a d a o s c a d a 将电网 上各厂站数据集中显示到电力系统的模拟盘上 这样使整个电力系统的运行准状态 一目了然 s c a d a还可以将开关的变化和数值越限及时报告给调度员 这大大增强 了对电力系统的感知能力 是电力系统的一次重大技术进步 华北电力大学硕士学位论文 第一章引言 实时数据库管理系统对我国发电 企业的实际价值 随着我国发电企业的不断发展和信息化程度的进步提高 相关的数据和信息 越来越多 目前国内能源紧张的形式对发电企业的安全生产和效率提出越来越高的 要求 面对复杂的生产管理任务 从企业的安全性及生产效率等方面考虑 公司领 导和各生产管理部门及直属单位在指挥生产和管理中 需要及时了解所辖设备的基 本信息 运行状况 缺陷情况 检修和试验情况以及负荷状况等电力系统的全面 实时的信息 以便对发电机组的经济运行 状态评估和发展规划等做出正确的决策 发电企业的各种信息相互间具有很大的相关性 其中核心就是发电设备的实时 数据 为了向企业管理者提供决策支持 就必须对发电企业众多发电设备的实时数 据进行存储 分析 挖掘 为保证信息存储和传输的及时 方便和完整 有必要开 发一个具有实时数据存储 发电设备实时工作状况显示和相关生产管理系统等功 能 并且具有高实用性的 实时数据管理与综合数据挖掘系统 此外 企业领导 和生产管理人员在生产指挥中需要更多更详细的生产实时信息 有些信息可以从实 时数据中直接获得 有些信息则不能 需要对现有的数据进行数据挖掘和信息处理 才能获得 及时全面的信息支持是保证生产的正确决策的重要条件 针对发电企业生产指挥和管理的需要 开发 发电企业实时数据库管理系统 为领导决策提供帮助 发电企业实时数据库管理系统 对提高企业管理水平 提高生产效率 保证 电网安全稳定运行 增强企业的竞争能力以及提高企业的综合效益具有重要意义 1 2实时数据库管理系统的历史背景和发展趋势 中国加入w t o 之后 发电企业面临着更广 一 阔的市场机遇 同时也需面对更严峻 的市场竞争 发电企业要生存 就必须快速适应市场变化 利用信息技术和控制技 术 提高信急 化水平 实现数字化管理 进而增强综合竞争能力 是许多发电企业 当前面临的重要课题 上世纪4 0 年代 电力系统出现了数据收集与监控系统 s c a d a o s c a d a 将电网 上各厂站数据集中显示到电力系统的模拟盘上 这样使整个电力系统的运行准状态 一目了然 s c a d a还可以将开关的变化和数值越限及时报告给调度员 这大大增强 了对电力系统的感知能力 是电力系统的一次重大技术进步 华北电力大学硕十学位论文 上世纪 5 0 年代 电力系统出现了自动发电控制系统 a g o o a g c包括负荷频率 控制 l e o 和经济调度控制 e d c 增强了对电力系统的控制能力 是电力系统 又一重大技术进步 上世纪6 0 一一7 0 年代 电力系统的控制技术经历了由模拟到数字的重大转变 电力系统的网站运行状态数据全部由远程终端 r t u 经通讯通道传送到调度中心 调度中心实现计算机调度控制和管理 整个电网的运行状态的数据采集 自动发电 控制 网络分析等全都由计算机完成 巨 世纪7 0 年代末至今 电力系统出现了能量管理系统 e m s e m s 包括数据采 集 能量管理和网络分析三大功能 这使电力生产由单纯的自动化控制过程向管控 一体化方向发展 尤其是进入上世纪8 0 年代以后 企业管理信息系统 m 丁 s 的兴 起以及电网的复杂度增加 使得管控一体化的需求越来越迫切 另外 由于技术发展等方面的原因 企业过程控制网络上分布着不同厂商的不 同种类的监控系统 这些系统都是面向装置或设备的 每个系统只能采集或管理相 应装置 设备在运行过程中产生的部分实时数据 就企业整体而言 缺乏一个统一 完整的企业级实时数据管理平台 以支持多装置 设备协调优化控制和生产管理实 时决策优化 由于生产过程产生的数据有效期短且数据量大 传统的集散控制系统 d c s d i s t r i b u t e d c o n t r o l s y s t e m 和关系数据库技术并不能完全解决问题 因 为d c s 数据存储能力有限 而且企业中异构的d c s 间无法进行有效的数据共享 而 关系数据库的数据处理速度低 关系数据模型无法对生产过程中的数据进行高效的 处理 存储与检索 因此有必要将实时数据处理技术与数据库技术结合 开发实时 数据库系统 为企业信息化提供统一而完整的实时数据库服务平台 使企业的经营 管理决策层可以对生产过程进行实时动态监控与分析 随时掌握运行状况 及时发 现问题并进行处理 从而降低生产成本 提高产品质量 实时数据库的作用表现在很多方面 首先 实时数据库可用于生产过程中数据 的自动采集 存储和监视 其中大型实时数据库可在线存储每个工艺过程点的多年 数据 它提供了清晰 精确的操作画面 用户既可以浏览当前的生产情况 也方便 回顾过去的生产情况 其次 实时数据库为最终用户提供了快捷 高效的企业信息 由于企业实时数据存放在统一 的数据库中 企业中的任何人在任何地方都可看到相 同的信息并进行分析 而且客户端应用程序可使用户很容易实施企业级管理 例如 i 艺改进 质量控制 故障预防和维护等 实时数据库集成 d m s e m s e r p 设备 维护管理 m i s 模拟与优化等应用程序 在业务管理和实时生产之间可以起到桥 梁作用 最终为企业实现数字化管理 目前国内外广泛使用的实时数据库种类繁多 主流产品包括以下几种 1 美国o s i 公司的 p i p l a n t i n f o r m a t i o n s y s t e m p 工 采用了旋转门压缩专利技术和独到的二次过滤技术 使进入到p 工 数据库的 华北电力大学硕士学位论文 数据可以经过了最有效的压缩 大量节省了硬盘空间 据计算 侮秒 1 万点的数据 存储一年 仅需要 4 g的空间 即一 块普通硬盘也可存贮五到十年的数据 p i 是效 率最高 使用最简单而且最广泛的实时数据库 因其杰出的性能 p 1 已多次提高其 自身价格 而且在其文档中公开了各种算法 比如上文提到的旋转门压缩和二次过 滤等算法 2 美国 h o n e y w e l l 公司的 p h d p r o c e s s h i s t o r y d a t a b a s e h o n e y w e l l占据了d c s 大部分份额 因此 p h d的使用也比较广泛 由于p h d 在 其内部使用了o r a c l e 关系数据库 因此购买p h d 就必须先购买o r a c l e 因此 p h d的 价格是这几种数据库中最低的 3 美国a s p e n t e c h 公司的 i p 2 1 i n f o p l u s 2 1 i p 2 1 基本上还未进入中国市场 主是要由于以下几点因素 安装烦琐 没有实现真正的自动安装 需要专业人员进行安装 安装中途如果出现错 误不立即报告 需要经过四个小时的安装完毕之后才被告之安装失败 而且也 仅仅只能知道安装失败 不知道具体在哪一步出现安装错误 管理维护软件非常复杂 运行效率低下 而且占用系统资源非常严重 韵中科院软件所的a g i l o r 分布式实时数据库 中科院软件所的 a g i l o r分布式实时数据库目 前主要应用在化工领域 在电力 企业中的应用还比较少 第二章 实时数据库与数据压缩 2 实时数据库的特征 实时数据库就是数据和事务都有显式定时限制的数据库 系统的正确性不仅依 赖于事务的逻辑结果 而且与产生该逻辑结果的时间有关 2 1 1实时数据库的时间特性 实时数据库系统在以下两个方面与时间相关 1 数据与时间的相关性 按照与数据相关的时间的性质不同 数据与时间的相关性又可分为以下两类 1 数据本身就是时间 华北电力大学硕士学位论文 数据可以经过了最有效的压缩 大量节省了硬盘空间 据计算 侮秒 1 万点的数据 存储一年 仅需要 4 g的空间 即一 块普通硬盘也可存贮五到十年的数据 p i 是效 率最高 使用最简单而且最广泛的实时数据库 因其杰出的性能 p 1 已多次提高其 自身价格 而且在其文档中公开了各种算法 比如上文提到的旋转门压缩和二次过 滤等算法 2 美国 h o n e y w e l l 公司的 p h d p r o c e s s h i s t o r y d a t a b a s e h o n e y w e l l占据了d c s 大部分份额 因此 p h d的使用也比较广泛 由于p h d 在 其内部使用了o r a c l e 关系数据库 因此购买p h d 就必须先购买o r a c l e 因此 p h d的 价格是这几种数据库中最低的 3 美国a s p e n t e c h 公司的 i p 2 1 i n f o p l u s 2 1 i p 2 1 基本上还未进入中国市场 主是要由于以下几点因素 安装烦琐 没有实现真正的自动安装 需要专业人员进行安装 安装中途如果出现错 误不立即报告 需要经过四个小时的安装完毕之后才被告之安装失败 而且也 仅仅只能知道安装失败 不知道具体在哪一步出现安装错误 管理维护软件非常复杂 运行效率低下 而且占用系统资源非常严重 韵中科院软件所的a g i l o r 分布式实时数据库 中科院软件所的 a g i l o r分布式实时数据库目 前主要应用在化工领域 在电力 企业中的应用还比较少 第二章 实时数据库与数据压缩 2 实时数据库的特征 实时数据库就是数据和事务都有显式定时限制的数据库 系统的正确性不仅依 赖于事务的逻辑结果 而且与产生该逻辑结果的时间有关 2 1 1实时数据库的时间特性 实时数据库系统在以下两个方面与时间相关 1 数据与时间的相关性 按照与数据相关的时间的性质不同 数据与时间的相关性又可分为以下两类 1 数据本身就是时间 华北电力大学硕士学位论文 数据可以经过了最有效的压缩 大量节省了硬盘空间 据计算 侮秒 1 万点的数据 存储一年 仅需要 4 g的空间 即一 块普通硬盘也可存贮五到十年的数据 p i 是效 率最高 使用最简单而且最广泛的实时数据库 因其杰出的性能 p 1 已多次提高其 自身价格 而且在其文档中公开了各种算法 比如上文提到的旋转门压缩和二次过 滤等算法 2 美国 h o n e y w e l l 公司的 p h d p r o c e s s h i s t o r y d a t a b a s e h o n e y w e l l占据了d c s 大部分份额 因此 p h d的使用也比较广泛 由于p h d 在 其内部使用了o r a c l e 关系数据库 因此购买p h d 就必须先购买o r a c l e 因此 p h d的 价格是这几种数据库中最低的 3 美国a s p e n t e c h 公司的 i p 2 1 i n f o p l u s 2 1 i p 2 1 基本上还未进入中国市场 主是要由于以下几点因素 安装烦琐 没有实现真正的自动安装 需要专业人员进行安装 安装中途如果出现错 误不立即报告 需要经过四个小时的安装完毕之后才被告之安装失败 而且也 仅仅只能知道安装失败 不知道具体在哪一步出现安装错误 管理维护软件非常复杂 运行效率低下 而且占用系统资源非常严重 韵中科院软件所的a g i l o r 分布式实时数据库 中科院软件所的 a g i l o r分布式实时数据库目 前主要应用在化工领域 在电力 企业中的应用还比较少 第二章 实时数据库与数据压缩 2 实时数据库的特征 实时数据库就是数据和事务都有显式定时限制的数据库 系统的正确性不仅依 赖于事务的逻辑结果 而且与产生该逻辑结果的时间有关 2 1 1实时数据库的时间特性 实时数据库系统在以下两个方面与时间相关 1 数据与时间的相关性 按照与数据相关的时间的性质不同 数据与时间的相关性又可分为以下两类 1 数据本身就是时间 华北电力大学硕士学位论文 数据从 时间域 中取值 如 日期 等 称为 用户定义的时 iii 这些数据的 这种时间属性对系统来说是透明的 即系统不需要知道数据是否具有时间属性 系统对这种数据的处理也与其它数据无异 2 数据的数值随时间变化 数据库中的数据是对其所服务的 现实世界 中对象状态的描述 对象状态发 生变化则会引起数据库中相应数据值的变化 而数据值变化的时间既可以是现 实对象状态的实际时间 称为 真实 或 事件 时间 现实对象状态变化的事件 所发生的时间 也可以是将现实对象变化的状态记录到数据库时 数据库中相 应数据值变化的时间 称为 事务时间 任何对数据库的操作都必须通过一个 事务进行 实时数据的导出数据也是实时数据 与之相关联的时间必然是事务 时间 2 实时事务的定时限制 典型的就是实时事务的 截止时间 对于实时数据库 产生结果所花费的时间 与结果本身一样重要 一般只允许事务存取 当前有效 的数据 事务必须维护数据 库中数据的 事件一致性 而且 外部环境 现实世界 的反应时间要求也给事务 以定时限制 所以 实时数据库系统要提供维护数据有效性和事务及时性的设施 2 1 2 实时数据库的特征 如上所述 实时数据库管理系统的特征主要表现在数据和事务的定时限制上 下面分别介绍 1 r t d b 的数据特征 在 r t d b中 数据随外部环境状态的变化而快速变化 数值只在一定的时间内 有效 过时则数据没有任何意义 所以系统除了维护数据库内部状态 数值 的正 确性和相容性外 同时还必须保持内部状态与外部环境实际状态的一致性 以及数 据用来决策或推导新数据时在时间上的相互一致性 r t d b 中的 一 个 数据 对象d 由 三 个 分 量组 成 d 心 魂 分别 为d 的 当 前 值 采 样时 间 和 外部 有 效期 外 部 对 象 实际 状 态 变 化的 时间 间隔 其中 有效 期即自 d w 算起d有效的时间长度 对于 r t d b中的每一个d 有内 部一致性 外部一致性和 相互致性等特征 内 部一 致性即d 满足预先定义的 数据库内 部状态的完 整性和一致 性限 制 也就 是传统意义下的数据正确性 外部一 致性可以 解释成 设t 为当 前 或检测时间 当 且仅当 t d d z 时 则 称d 是 外 部 一 致 的 即d 和 对 应 的 外 部 现 实 对 象 的 状 态 是 一 致 的 华北电力大学硕士学位论文 数据从 时间域 中取值 如 日期 等 称为 用户定义的时 iii 这些数据的 这种时间属性对系统来说是透明的 即系统不需要知道数据是否具有时间属性 系统对这种数据的处理也与其它数据无异 2 数据的数值随时间变化 数据库中的数据是对其所服务的 现实世界 中对象状态的描述 对象状态发 生变化则会引起数据库中相应数据值的变化 而数据值变化的时间既可以是现 实对象状态的实际时间 称为 真实 或 事件 时间 现实对象状态变化的事件 所发生的时间 也可以是将现实对象变化的状态记录到数据库时 数据库中相 应数据值变化的时间 称为 事务时间 任何对数据库的操作都必须通过一个 事务进行 实时数据的导出数据也是实时数据 与之相关联的时间必然是事务 时间 2 实时事务的定时限制 典型的就是实时事务的 截止时间 对于实时数据库 产生结果所花费的时间 与结果本身一样重要 一般只允许事务存取 当前有效 的数据 事务必须维护数据 库中数据的 事件一致性 而且 外部环境 现实世界 的反应时间要求也给事务 以定时限制 所以 实时数据库系统要提供维护数据有效性和事务及时性的设施 2 1 2 实时数据库的特征 如上所述 实时数据库管理系统的特征主要表现在数据和事务的定时限制上 下面分别介绍 1 r t d b 的数据特征 在 r t d b中 数据随外部环境状态的变化而快速变化 数值只在一定的时间内 有效 过时则数据没有任何意义 所以系统除了维护数据库内部状态 数值 的正 确性和相容性外 同时还必须保持内部状态与外部环境实际状态的一致性 以及数 据用来决策或推导新数据时在时间上的相互一致性 r t d b 中的 一 个 数据 对象d 由 三 个 分 量组 成 d 心 魂 分别 为d 的 当 前 值 采 样时 间 和 外部 有 效期 外 部 对 象 实际 状 态 变 化的 时间 间隔 其中 有效 期即自 d w 算起d有效的时间长度 对于 r t d b中的每一个d 有内 部一致性 外部一致性和 相互致性等特征 内 部一 致性即d 满足预先定义的 数据库内 部状态的完 整性和一致 性限 制 也就 是传统意义下的数据正确性 外部一 致性可以 解释成 设t 为当 前 或检测时间 当 且仅当 t d d z 时 则 称d 是 外 部 一 致 的 即d 和 对 应 的 外 部 现 实 对 象 的 状 态 是 一 致 的 华北电力大学硕士学位论文 外部一致性是关于时间的 故统称时间一致性 既是内部 一 致又是时间一致的 数据才是正确的 2 实时数据库管理系统的事务特征 定时可以是绝对 相对或周期的 r t d b的定时性一方面山数据的时间一致性引 起 此时它往往取周期定时或定期性限制的形式 例如 每5 秒取样一次 7 0 0 启动机器人 等 定时性的另一根源是对现实世界施加于系统的反应时间的要求 这时它的典型取值是施加于非周期性事务的截止时间限制 如 若温度达到1 0 0 0 度 则在 5 秒内加冷却剂到反应堆 等 定时性包含两方面的含义 一是定时限制 即事务的执行有显式的时限 如指 定的开始时间 截止时间等 它要求 r t d b 必须有时间处理机制 二是定时正确性 即事务能按指定的时间要求正确执行 它需要权衡定时限制与数据一致性等多方面 的因素 提供合适的调度与并发控制算法 2 2 2 2 1 实时数据的压缩算法 数据压缩的必要性 s i s 技术条件送审稿 国家标准对实施 历史数据库的存储要求为 每台单独 的数据库服务器必须支持 2 万个测点 并能保存 3 年的历史数据 根据这个标准推 算出的数据存储空间将是非常巨大的 如果不进行压缩而将数据直接保存 则无疑 是对硬件资源的极大浪费 所以数据压缩在实时数据库系统中是必要性是显而易见 的 2 2 2数据压缩的历史背景 信息论之父 c e s h a n n o n第一次用数学语言 阐明了概率与 信息冗余度的关 系 s h a n n o n 在 1 9 4 8年发表的论文 通信的数学理论 a m a t h e m a t i c a l t h e o r y o f c o m m u n i c a t i o n 中指出 任何信息都存在冗余 冗余大小与信息中每个符号 数 字 字母或单词 的出现概率即不确定性有关 s h a n n o n借鉴了热力学的概念 把 信息中排除了冗余后的平均信息量称为 信息墒 信息嫡奠定了所有数据压缩算 法的理论基础 从本质上讲 数据压缩的目的就是要消除信息中的冗余 而信息嫡 及相关的定理恰恰用数学手段精确地描述了信息冗余程度 利用信息嫡公式 人们 可以计算出信息编码的极限 即在一定的概率模型下 无损压缩的编码长度不可能 小于信息嫡公式给出的结果 华北电力大学硕士学位论文 外部一致性是关于时间的 故统称时间一致性 既是内部 一 致又是时间一致的 数据才是正确的 2 实时数据库管理系统的事务特征 定时可以是绝对 相对或周期的 r t d b的定时性一方面山数据的时间一致性引 起 此时它往往取周期定时或定期性限制的形式 例如 每5 秒取样一次 7 0 0 启动机器人 等 定时性的另一根源是对现实世界施加于系统的反应时间的要求 这时它的典型取值是施加于非周期性事务的截止时间限制 如 若温度达到1 0 0 0 度 则在 5 秒内加冷却剂到反应堆 等 定时性包含两方面的含义 一是定时限制 即事务的执行有显式的时限 如指 定的开始时间 截止时间等 它要求 r t d b 必须有时间处理机制 二是定时正确性 即事务能按指定的时间要求正确执行 它需要权衡定时限制与数据一致性等多方面 的因素 提供合适的调度与并发控制算法 2 2 2 2 1 实时数据的压缩算法 数据压缩的必要性 s i s 技术条件送审稿 国家标准对实施 历史数据库的存储要求为 每台单独 的数据库服务器必须支持 2 万个测点 并能保存 3 年的历史数据 根据这个标准推 算出的数据存储空间将是非常巨大的 如果不进行压缩而将数据直接保存 则无疑 是对硬件资源的极大浪费 所以数据压缩在实时数据库系统中是必要性是显而易见 的 2 2 2数据压缩的历史背景 信息论之父 c e s h a n n o n第一次用数学语言 阐明了概率与 信息冗余度的关 系 s h a n n o n 在 1 9 4 8年发表的论文 通信的数学理论 a m a t h e m a t i c a l t h e o r y o f c o m m u n i c a t i o n 中指出 任何信息都存在冗余 冗余大小与信息中每个符号 数 字 字母或单词 的出现概率即不确定性有关 s h a n n o n借鉴了热力学的概念 把 信息中排除了冗余后的平均信息量称为 信息墒 信息嫡奠定了所有数据压缩算 法的理论基础 从本质上讲 数据压缩的目的就是要消除信息中的冗余 而信息嫡 及相关的定理恰恰用数学手段精确地描述了信息冗余程度 利用信息嫡公式 人们 可以计算出信息编码的极限 即在一定的概率模型下 无损压缩的编码长度不可能 小于信息嫡公式给出的结果 华北电力大学硕士学位论文 外部一致性是关于时间的 故统称时间一致性 既是内部 一 致又是时间一致的 数据才是正确的 2 实时数据库管理系统的事务特征 定时可以是绝对 相对或周期的 r t d b的定时性一方面山数据的时间一致性引 起 此时它往往取周期定时或定期性限制的形式 例如 每5 秒取样一次 7 0 0 启动机器人 等 定时性的另一根源是对现实世界施加于系统的反应时间的要求 这时它的典型取值是施加于非周期性事务的截止时间限制 如 若温度达到1 0 0 0 度 则在 5 秒内加冷却剂到反应堆 等 定时性包含两方面的含义 一是定时限制 即事务的执行有显式的时限 如指 定的开始时间 截止时间等 它要求 r t d b 必须有时间处理机制 二是定时正确性 即事务能按指定的时间要求正确执行 它需要权衡定时限制与数据一致性等多方面 的因素 提供合适的调度与并发控制算法 2 2 2 2 1 实时数据的压缩算法 数据压缩的必要性 s i s 技术条件送审稿 国家标准对实施 历史数据库的存储要求为 每台单独 的数据库服务器必须支持 2 万个测点 并能保存 3 年的历史数据 根据这个标准推 算出的数据存储空间将是非常巨大的 如果不进行压缩而将数据直接保存 则无疑 是对硬件资源的极大浪费 所以数据压缩在实时数据库系统中是必要性是显而易见 的 2 2 2数据压缩的历史背景 信息论之父 c e s h a n n o n第一次用数学语言 阐明了概率与 信息冗余度的关 系 s h a n n o n 在 1 9 4 8年发表的论文 通信的数学理论 a m a t h e m a t i c a l t h e o r y o f c o m m u n i c a t i o n 中指出 任何信息都存在冗余 冗余大小与信息中每个符号 数 字 字母或单词 的出现概率即不确定性有关 s h a n n o n借鉴了热力学的概念 把 信息中排除了冗余后的平均信息量称为 信息墒 信息嫡奠定了所有数据压缩算 法的理论基础 从本质上讲 数据压缩的目的就是要消除信息中的冗余 而信息嫡 及相关的定理恰恰用数学手段精确地描述了信息冗余程度 利用信息嫡公式 人们 可以计算出信息编码的极限 即在一定的概率模型下 无损压缩的编码长度不可能 小于信息嫡公式给出的结果 华北电力大学硕士学位论文 既然大多数信息的表达都存在着一定的冗余度 那么通过采用一定的模型和编 码方法 可以降低这种冗余度 贝尔实验室的 c l a u d e s h a n n o n和 m t t的 r m f a n 几乎同时提出了最早的对符号进行有效编码从而实现数据压缩的 s h a n n o n f a n o编码方法 d a h u f f m a n于 1 9 5 2年第一次发表了他的论文 最小冗余度代码的构造方 法 a m e t h o d f o r t h e c o n s t r u c t i o n o f m i n i m u m r e d u n d a n c v c o d e 功从此 数据压缩开始在商业程序中实现并被应用在许多技术领域 u n i x系统 卜 一个不太 为现代人熟知的压缩程序 c o m p a c t就是 h u f f m a n 0阶自 适应编码的具体实现 8 0 年代初 h u f f m a n编码又在 c p m和 d o s系统中实现 其代表程序叫 s q 在数据 压缩领域 h u f f m a n的这一论文事实上开创了数据压缩技术一个值得回忆的时代 6 0年代 7 0年代乃至 8 0年代的早期 数据压缩领域几乎一 直被 h u f f m a n编码 及其分支所垄断 z i v和 l e m p e 于 1 9 7 7年发表题为 顺序数据压缩的一个通用算法 a u n i v e r s a l a l g o r i t h m f o r s e q u e n t i a l d a t a c o m p r e s s i o n 的论文 论文中描述 的算法被后人称为 l z 7 7算法 1 9 7 8年 二人又发表了该论文的续篇 通过可变 比 率编码的 独立序列的 压缩 c o m p r e s s i o n o f i n d i v i d u a l s e q u e n c e s v i a v a r i a b l e r a t e c o d i n g 描述了后来被命名为 l z 7 8的压缩算法 1 9 8 4年 t a w e l c h 发表了名为 高性能数据压缩技术 a t e c h n i q u e f o r h i g h p e r f o r m a n c e d a t a c o m p 二二i o n 的论文 描述了他在 s p e r r y研究中心 该研究中心后来并入了 u n i s y s公司 的研究成果 这是 l z 7 8算法的一个变种 也就是后来非常有名的 l z w算法 1 9 9 0年后 t c b e l l等人又陆续提出了许多 l z系列算法的变体 或改进版本 2 2 3实时数据库所采用的压缩算法 纵观国内外比较常见的几种实时数据库管理系统 常见的数据压缩算法主要有 两种 一种以e n d a 数据库为代表 采用h u f f m a 压缩算法 另一种以p 1 实时数据 库为代表 采用旋转门压缩算法 签于旋转门算法比h u f f m a n 算法具有更高的压缩 比 本系统采用旋转门算法 下文将对旋转门压缩算法进行详细说明 2 3旋转门压缩算法 2 3 数据采样过滤 来自发电设备数据源所采集的数据先要经过接口 程序进行例外测试 只有当数 华北电力大学硕士学位论文 既然大多数信息的表达都存在着一定的冗余度 那么通过采用一定的模型和编 码方法 可以降低这种冗余度 贝尔实验室的 c l a u d e s h a n n o n和 m t t的 r m f a n 几乎同时提出了最早的对符号进行有效编码从而实现数据压缩的 s h a n n o n f a n o编码方法 d a h u f f m a n于 1 9 5 2年第一次发表了他的论文 最小冗余度代码的构造方 法 a m e t h o d f o r t h e c o n s t r u c t i o n o f m i n i m u m