（控制理论与控制工程专业论文）生产过程数据仓库etl模块的研究与开发.pdf

声明尸明 本人郑重声明：此处所提交的硕士学位论文生产过程数据仓库e t l 模 块的研究与开发，是本人在华北电力大学攻读硕士学位期间，在导师指导 下进行的研究工作和取得的研究成果。据本人所知，除了文中特别加以标注 和致谢之处外，论文中不包含其他人已经发表或撰写过的研究成果，也不包 含为获得华北电力大学或其他教育机构的学位或证书而使用过的材料。与我 一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并 表示了谢意。 学位论文作者签名：鞋卜日 期：工尘l 关于学位论文使用授权的说明 本人完全了解华北电力大学有关保留、使用学位论文的规定，即：学 校有权保管、并向有关部门送交学位论文的原件与复印件；学校可以采用 影印、缩印或其它复制手段复制并保存学位论文；学校可允许学位论文被 查阅或借阅；学校可以学术交流为目的，复制赠送和交换学位论文；同意 学校可以用不同方式在不同媒体上发表、传播学位论文的全部或部分内容。 ( 涉密的学位论文在解密后遵守此规定) 作者签名：导师签名： 华北电力人学硕士学位论文 摘要 实时历史数据库为电力企业建立了海量的生产过程数据资源平台，挖掘和应用 蕴含在这些数据中的丰富信息和规律具有重要的研究意义和应用价值。采用数据仓 库技术组织这些数据，进行数据挖掘是最有效的分析方法。而在数据仓库建立过程 中，数据的抽取、转换和加载( e t l ) 模块是重要的基础，在整个数据仓库建设过程 中占据约8 0 的工作量。目前，支持数据仓库的大型关系型数据库均有相应的e t l 模块，但它们还不支持对实时历史数据库中的数据的处理；另外，生产过程数据有 着自身特点，处理方法不同于对普通数据的处理方法。因此研究基于生产过程的 e t l 模块的开发是非常有必要的。 本文首先介绍了数据仓库的概念和特点，以及e t l 模块的主要功能。接着针对 基于生产过程数据的特点，研究并给出了生产过程历史数据的清洗、转换、抽取的 关键算法。在此基础上，设计并开发了面向实时历史数据库的e t l 应用功能软件 模块。最后，将本文开发的e t l 模块应用于某6 0 0 m w 燃煤机组的运行工况分析数 据仓库的建立中，并展示出部分结果。 关键词：实时历史数据库，s i s 系统，数据仓库，e t l 模块 a b s t r a c t t h er e a l - t i m e h i s t o r i c a ld a t a b a s eh a sb u i l tp l e n t i f u lp r o d u c t i o np r o c e s sd a t ar e s o u r c e s p l a t f o r mf o r t h ee l e c t r i cp o w e re n t e r p r i s e ，a n di th a si m p o r t a n tr e s e a r c hs i g n i f i c a n c ea n d a p p l i c a t i o nv a l u em i n i n ga n d t h ea p p l y i n gt h ei n f o r m a t i o ne m b e d d e di nt h e s ed a t a i ti st h e m o s te f f e c t i v em e t h o dm i n i n ga n do r g a n i z i n gd a t a ，a d o p t i n gt e c h n o l o g yo fd a t aw a r e h o u s e h o w e v e r , i nt h ep r o c e s so fe s t a b l i s h i n gt h ed a t aw a r e h o u s e ，e x t r a c t i o n ，t r a n s f o r m a t i o na n d l o a d i n g ( e t l ) i st h em o m e n t o u sf o u n d a t i o n ，a c c o u n t i n gf o ra b o u t8 0 o f t h ew o r k l o a do f b u i l d i n gt h ed a t aw a r e h o u s e a tp r e s e n t ，m o s tl a r g e - s c a l er e l a t i o n a ld a t a b a s e ss u p p o r t i n gd a t a w a r e h o u s eh a v ec o r r e s p o n d i n ge t lm o d u l e s ，b u tt h e yd o n ts u p p o r tp r o c e s s i n gt h ed a t ao f r e a l - t i m e & h i s t o r i c a ld m a b a s e b e s i d e s ，t h ep r o d u c t i o np r o c e s sd a t ah a si t so w n c h a r a c t e r i s t i c s ，t h ep r o c e s s i n gm e t h o do fw h i c hi sc o m p l e t e l yd i f f e r e n tf r o mt h eo n eo f o r d i n a r yd a t a s o ，i ti si m p e r a t i v et od e v e l o pt h ee t l m o d u l e sb a s e do nt h ep r o d u c t i o n p r o c e s s i 华北电力人学硕+ 学位论文 t h i sa r t i c l e ，f i r s t l y , i n t r o d u c e dt h ec o n c e p t sa n dc h a r a c t e r i s t i c so fd a t aw a r e h o u s e ，a n d t h em a i nf u n c t i o n so fe t lm o d u l e s t h e n ，f o rt h ec h a r a c t e r i s t i c so fd a t ab a s e do np r o d u c t i o n p r o c e s s ，t h i sa r t i c l er e s e a r c h e da n dp r o v i d e ds o m ek e ya l g o r i t h m sf o rt h eh i s t o r i c a ld a t a s c l e a n i n g ，c o n v e r s i o n ，a n de x t r a c t i o n b a s e do nt h a t ，e t la p p l i c a t i o n f u n c t i o ns o f t w a r e m o d u l ew a sd e s i g n e da n dd e v e l o p e df o rr e a l - t i m e & h i s t o r i c a ld a t a b a s e f i n a l l y , t h ee t l m o d u l ed e v e l o p e di nt h i sp a p e rw a sa p p l i e di nb u i l d i n gt h ed a t aw a r e h o u s eo fa n a l y s i so f o p e r a t i o nc o n d i t i o nf o ra6 0 0 m w c o a l - f i r e du n i t ，a n ds o m er e s u l t sw a sa l s ol i s t e d l in a ( c o n t r o lt h e o r ya n dc o n t r o le n g i n e e r i n g ) d i r e c t e db yp r o f h u a n gx i a o b i n k e yw o r d s ：r e a l - t i m e h i s t o r i c a ld a t a b a s e ，s i ss y s t e m ，d a t aw a r e h o u s e ，e t l m o d u l e 硕士学位论文 录 中文摘要 英文摘要 第一章绪论1 1 1 课题的背景及意义1 1 2 数据仓库及e t l 技术概述2 1 3 国内外研究现状。3 1 3 1e t l 的发展阶段3 1 3 2e t l 产品。4 1 4 论文的主要内容5 第二章实时历史数据库与数据仓库6 2 1 实时历史数据库6 2 1 1 实时历史数据库在s i s 中的应用6 2 1 2 实时历史数据库的基本特点8 2 1 3 实时历史数据库的数据接口9 2 2 基于实时历史数据库的数据仓库1 l 2 2 1 生产过程数据仓库的概念1 1 2 2 2 生产过程数据仓库的系统结构13 2 2 3e t l 技术及其在数据仓库中的作用1 4 2 3 数据仓库的结构1 4 2 4 数据仓库的建立步骤16 2 5 小结l8 第三章生产过程数据仓库e t l 技术研究1 9 3 1 生产过程数据仓库中e t l 的任务1 9 3 1 1e t l 的系统架构模型1 9 3 1 2 数据抽取2 0 3 1 3 数据清洗2 0 3 1 4 数据转换21 3 1 5 数据加载2 2 3 2 实时历史数据库的数据清洗算法2 2 3 2 1 数据清洗的目的2 2 i i i 华北电力大学硕+ 学位论文 3 2 2 数据清洗的方法2 3 3 2 3 清洗算法的测试2 4 3 3 生产过程数据稳态数据的抽取2 5 3 3 1 生产过程数据稳态的概念2 5 3 3 2 常规的稳态的判断方法2 6 3 3 3 改进的稳态判断方法2 6 3 3 4 稳态判断结果2 8 3 3 5 稳态数据段的抽取算法( 多参数稳定的判断) 2 9 3 4 数据转换与中间计算3 0 3 4 1 数据转换的内容30 3 4 2 中间计算3 0 3 5 数据离散化3 2 3 5 1 数据离散化方法3 2 3 5 2 数据离散化实例3 2 3 6 ，j 、结3 8 第四章e t l 模块的软件设计3 9 4 1 生产过程数据仓库e t l 模块设计目标3 9 4 2e t l 开发工具介绍一3 9 4 3 生产过程数据仓库e t l 的软件模块设计一4 1 4 3 1 数据处理整体界面设计4 1 4 3 2 通用数据接口模块4 2 4 3 3 数据抽取模块4 3 4 3 4 数据清洗模块4 6 4 3 5 数据加载模块4 6 4 4d 、结4 7 第五章e t l 模块在工况数据仓库中的应用4 8 5 1 工况数据仓库维表的设计4 8 5 2 工况数据仓库结构设计。4 9 5 3 参数数据的抽取5 l 5 3 1 单参数数据的抽取5 l 5 3 2 中间计算5 2 5 4 数据的清洗5 3 5 5 数据转换5 6 5 6 数据加载5 9 5 7 小结6 0 华北电力大学硕士学位论文 第六章小结6 l 6 。l 工作总结6l 6 2 工作展望6l 参考文献6 3 致 射6 7 在学期间发表的学术论文和参加科研情况6 8 v 华北电力大学硕士学位论文 1 1 课题的背景及意义 第一章绪论 近年来，随着电站信息化进程的迅速发展，形成了以d c s ( 分散控制系 统) 、s i s ( 厂级监控信息系统) 、m i s ( 管理信息系统) 为核心的过程控制、信 息监控及管理系统。s i s 已经为发电企业建立了一个海量的生产过程数据资 源。面对蕴含丰富信息的海量生产过程数据我们应该怎么办? 回答是：挖掘、 分析、应用。如何对生产过程数据的进行深度应用已成为当前发电企业关心 的、待解决的问题，同时也是s i s 发展过程中还没有很好解决的问题。 s i s 系统中广泛采用实时历史数据库，它通过各种标准的服务或接口汇 集全厂生产过程实时数据，将它们以其基本的形式长期保存下来( 控制系统 采集的时间间隔，精度等) ，并且根据不同的授权用户提供各种形式的数据 调用和访问，为其他运行优化软件的应用提供统一的数据平台支撑。实时 历史数据库的主要解决了海量过程数据的高效压缩存储和使用的问题，具有 重要的作用【卜3 1 。然而，实时历史数据库只是忠实地记录了过程参数的变化 情况，每个数据均是按照时标顺序保存下来，其本身没有数据的分析和加工 功能，数据的组织方式也是十分简单的，不能直接支持各种深入的分析和决 鐾 束。 实时历史数据库为电力企业建立了海量的生产过程数据资源平台，挖掘 和应用蕴含在这些数据中的丰富信息和规律具有重要的研究意义和应用价 值。不断发展的电力行业聚集了越来越多的数据，这些数据不仅数量庞大， 而且瞬息万变，因此为了能够更好地监控系统运行，监控人员需要获取运行 的实时数据。而电厂机组的d c s 、输入煤量、除灰、去渣等控制信息都实时、 快速、自动地采集到实时历史数据库中，要达到快速、准确地做出判断，采 取相应的决策措施，必须要及时查阅实时数据库中的实时数据。同时实时历 史数据库中还包含有各种在线参数变化趋势图，支持多种数据分析，还有丰 富的历史数据资源，这些对于挖掘运行规律，制定长期的决策分析策略有着 必不可少的数据支持作用。因此现在大部分的电厂企业都开始投入了对数据 仓库的研究，通过数据仓库技术对数据进行组织，并在此基础上进行数据挖 掘【4 , 1 1 】。数据仓库技术作为一种高效的决策支持手段，是进一步实现数据挖 掘的核心技术。但是在建立数据仓库应用的同时，也遇到越来越多的数据质 量问题，低劣的数据不仅对企业决策没有益处，造成资源的最大浪费，而且 还可能会给企业带来负面影响，甚至是与生产规律背道而驰。因此在建立数 华北电力大学硕士学位论文 据仓库的过程中，首先要对源数据进行数据处理，保证数据仓库中的数据有 效性和准确性。数据的抽取、转换和加载( e t l ) e 是基于这种要求的数据处 理过程，在数据仓库建立过程中处于重要的基础地位，几乎占据了整个数据 仓库建设过程中8 0 的工作量【5 , 1 0 j 。 目前支持数据仓库的大型关系型数据库都有相应的e t l 模块。如s q l s e r v e r 数据转换服务( d t s ) i 具可以方便地实现数据导入处理，o r a c l e 的 o r a c l ew a r e h o u s eb u i l d e r ，m i c r o s o f t 的d a t at r a n s f o r m a t i o ns e r v i c e ，i b m 的 d a t aw a r e h o u s ec e n t e r 等【6 墙】。但是这些e t l 模块都不支持对实时历史数据 库的数据的导入、分析处理，无法对其建立数据接口。其次，当前的数据仓 库主要应用行业主要集中到零售业、银行业、电信行业，面向的是销售型数 据，而生产过程数据有着自己独特的特性，在处理方法上有着不同的设计方 法，需要针对生产过程设定专门的处理方法。本文则是面向实时历史数据库， 研究生产过程数据的e t l 模块的设计开发。 1 2 数据仓库及e t l 技术概述 数据仓库( d a t aw a r e h o u s e 简称d w ) 是随着数据的大量增加，在信息处理 技术的基础上发展起来的必然产物。它建立的目的就是为了要建立一种体系 化的数据存储环境，将分析决策所需的大量数据从传统的操作环境中分离出 来，使分散、不一致的操作数据转换为集成、统一的信息，即将存放在不同 数据源中、分散的数据集中到一个更集成的数据库中，解决多数据源的决策 支持查询问题，进而提出多种数据管理方案。数据仓库技术是数据库技术发 展的高级阶段，它的主要特点是面向主题、集成的、相对稳定的、反映历史 变化。这些特点就保证了数据仓库可提供一个用以支持数据挖掘的、集中化 的、高品质的数据来源，从而保证了数据的平稳、统一和有效。与传统的数 据库相比较，数据仓库的数据具备如下的特征：( 1 ) 容量更大，内容更丰富； ( 2 ) 由于采用维度模型的建模方式，可大大提高决策分析的效率；( 3 ) 数据提取 分析工具更加强大，能充分的支持数据挖掘和o l a p , 这些分析手段的应用 可很大程度上提高信息系统智能化水平。因此，以实时历史数据库中保存的 大量过程数据为基础建立各种决策主题的数据仓库，在这些数据仓库基础上 进行生产过程数据的分析和挖掘，是对数据深入应用的重要而有效的途径【9 1 。 e t l ( e x t r a c t t r a n s f o r m a t i o n l o a d i n g ) 技术是数据仓库、数据挖掘等技术 的基石，在整个数据仓库建设过程中8 0 的工作量都集中在e t l 的设计和实 现上。e t l 具体包括数据抽取、转换、清洗、装载几个过程。用户首先从各 种原始的业务系统数据源中抽取出所需的数据，然后经过对数据的清洗处 2 华北电力大学硕士学位论文 理，将那些错误的、重复记录的、拼写有误的数据清除掉，并且针对不同的 情况，对抽取过程中丢失的数据进行适当地填充或删除操作，得到有效、干 净的数据。接着按照预先设定好的转换原则对数据进行统一化，最后将转换 好的数据按计划增量或全部加载到目标数据库中。其中数据的清洗过程尤为 重要，因为它关系着整个数据的质量问题，如果数据的质量达不到指定的要 求，将直接导致数据仓库技术得不到理想的结果，挖掘得到的决策信息错误。 在利用实时历史数据库中数据建立数据仓库时，必须对数据进行预处理 后进行集成，这个过程需要经历数据提取、清洗、融合等步骤，这就是商业 智能b i 中数据仓库e t l ( 抽取、转换、加载) 模块所要解决的问题。然而， 目前b i 中的e t l 模块均是针对关系型数据库设计的，没有专门针对实时 历史数据库的专门软件系统或产品。另外s i s 实时历史数据平台的数据是生 产过程数据，这些数据具有海量、高维、强藕合性、不确定性、不完备性、 不一致性、多时标性( 部分不同变量采用不同的采样周期) 和数据类型多样性、 多模态性等特点。由于生产过程数据的本身的特点，必须对生产过程数据进 行特殊的处理才能满足建立以它们为基础的数据仓库，这需要针对实时历史 数据库的e t l 模块具备与传统b i 中e t l 模块不同的特殊功能和需求。 1 3 国内外研究现状 1 3 1e t l 的发展阶段 随着数据仓库技术的应用越来越广泛，数据的迁移工作也成为了一个挚 热的研究重点。所谓的数据迁移，即是指将历史数据进行清洗、转换处理， 并装载( e t l ) 到一个新系统中的过程。e t l 发展主要经历了以下三个阶段 0 2 ，1 3 ，1 4 1 ： 起始发展阶段，主要集中在七十年代中期，以多数的数据库系统为主要 研究对象。起始研究的是逻辑上集中但是物理上分散的系统结构，由于其难 于集成和管理，而后演变成了后来的联邦式数据库系统概念，系统的集成和 重新配置功能得到了很好的改善，但是数据库之间的通信仍受到了一定的限 制。后来l i t w i n 等人又打破了统一的全局模式，提出了多库语言数据集成的 方法。 在九十年代中期，随着计算机网络的普及和万维网的出现，传统的数据 集成技术己无法适应人们获取更多数据的需求，非数据库中的数据集成又成 为了一种新的发展需要。“通用异构数据源集成”概念应此需求而提出，它可 以实现数据源的“即插即用”，因此具有一定的可扩展性。 第三阶段，实时e t l 的发展趋势。由于当前许多生产企业都在积极投入 到了数据仓库的研 时数据仓库的发展 究。这将是一个新 但是它已经成为了 1 3 2e t l 产品 国内数据仓库 中在金融、销售、 专门针对e t l 的研究更少。 国外对数据仓库相关技术的研究则比较全面和成熟，特别是对e t l 过程 的研究。各大数据库厂商都纷纷在各自的数据库产品中加入了e t l 工具【1 0 1 。 如m i c r o s o f t 在19 9 9 年将d a t at r a n s f o r m a t i o ns e r v i c e s 和s q ls e r v e r 捆绑在 一起；随后，i b m 还针对复杂的e t l ，研发了a s c e n t i a ld a t a s t a g e ：o r a c l e 也在9 i 中集成了自己的e t l 工具一o r a c l ew a r e h o u s eb u i l d e r 。另外一些专注 于数据集成产品的生产厂商也研发了自己的产品，如i n f o r m a t i c 公司的p o w e r c e n t e r ，c a 公司的t r a n s f o r n l e r ，t e r r a d a t a 公司的e t la u t o m a t i o n 等。其中 比较有代表性的几个产品是i b m 的v i s u a lw a r e h o u s e ，o r a c l e 9 i 的o r a c l e w a r e h o u s eb u i l d e r ，m i c r o s o f t 的d t s 。 v i s u a lw a r e h o u s e 是i b m 数据仓库解决方案的重要组成部分。它可以访 问各种关系型数据库和非关系型数据，并且还提供了基于s q l 的简单转换和 基于u d p ( u s e rd e f i n e dp r o g r a m ) 的复杂转换。v i s u a lw a r e h o u s e 除了支持现 有的基于s q l 的目标装载外，还提供用于文件传输和装载过程管理的程序。 当客户有特殊需求时，还可以通过编程接口实现。 o r a c l ew a r e h o u s eb u i l d e r 是一个综合的工具，可以完成导入数据源定义、 设计并创建目标数据库模式、定义和创建源和目标之间的数据迁移、管理和 更新源定义和目标模式等任务。o r a c l e 9 i 中新增了很多功能，它不再是转换 后再装载或装载后再转换，而是提供了转换过程中同时载入的e t l 新处理模 式。o r a c l e 9 i 还支持流水线方式和并行方式，不需借助中间临时表而实现一 系列复杂的转换，避免了转换步骤中数据流的中断【1 5 】。 d t s 能够从广泛的数据源中抽取数据，可以支持以下几种数据源： o l e d b 数据源、o d b c 数据源、文本文件，d t s 还可以创建转换对象，方 便集成到第三方的产品中。其次另外一个d t s 包还可以定义一个或多个数据 转换步骤，每一步都能够完成一个不同类型的操作，因此能够完整的描述所 有的转换工作。另外d t s 还提供了d t s 导入导出向导和d t s 设计器，用来 简化数据的转换工作【7 , 1 5 】。 4 华北电力大学硕士学位论文 虽然这些产品在某些领域方面已经得到了很广泛的应用，但是它们通常 价格比较昂贵，一些小企业很难投入到实际的生产当中。其次这些e t l 工具 面向的大多是关系型数据库，对于使用实时历史数据库的生产企业而言，其 应用性有着很大的限制。对于实际的数据处理而言，生产过程数据有着自身 的一些特点，其处理方法完全不同于销售数据，因此开发面向实时历史数据 库的数据抽取、转换工具将是一种趋势，也将是一个研究热点。 1 4 论文的主要内容 本文以实时历史数据库作为主要数据源，研究在利用实时历史数据建 立数据仓库的过程的e t l 技术和方法，并开发相应的e t l 功能软件模块。 论文的主要内容如下： ( 1 ) 阐述实时历史数据库的特点，以及基于实时历史数据库建立数据 仓库的基本方法、数据仓库的主题及结构的设计问题。 ( 2 ) 研究在基于实时历史数据库的过程数据建立数据仓库的过程中处 理数据的清洗、抽取、转换和加载的相关算法，重点针对实时历史数据中数 据库。 ( 3 ) 采用v i s u a lc j i 编程语言设计并开发了面向实时历史数据库的e t l 软件工具。 ( 4 ) 以建立某6 0 0 m w 燃煤机组的工况分析数据仓库为例，给出了本文 开发的e t l 模块在建立该数据仓库中的应用实例。 5 华北电力大学硕士学位论文 第二章实时历史数据库与数据仓库 2 1 实时历史数据库 随着电力企业竞争的日益激烈，降低成本，提高生产效率已经是刻不容 缓的事情。为了达到这个目的，电力企业必须把生产中的各个环节有效地综 合到一起，实现信息的集成，这样才能保证企业在以后的经营中能够保持柔 性，提高企业的竞争力。在这种要求下，s i s 系统被大规模应用。实时数据 库作为一个新的研究分支，s i s 系统的关键支撑技术，在实际的生产过程中 尤其是在s i s 系统中得到了广泛的应用。 2 1 1 实时历史数据库在s i s 中的应用 s i s 系统( s u p e r v i s o r yi n f o r m a t i o ns y s t e m ，厂级实时监控信息系统) 是国 家电力公司、电力规划总院针对电力公司的体制改革，实施“厂网分开、竞价 上网”及电力市场未来发展方向提出的一种规划，是管理信息系统 ( m a n a g e m e n ti n f o r m a t i o ns y s t e m ，m i s ) 或者企业资源计划系统( e n t e r p r i s e r e s o u r c ep l a n n i n g ，e r p ) 和分散控制系统( d i s t r i b u t i o nc o n t r o ls y s t e m ，d c s ) 的桥梁，包含有现场设备的实时参数和状态信息，在全厂范围内最大范围实 现信息共享，便于及时监控、分析、判断运行情况，生产趋势、报表等又提 供了实际的数据支持，保证生产能够最大限度发挥机组性能，提高整个电厂 的经济效益。 s i s 系统主要有五大功能：生产过程实时监控和统计、性能计算和经济 性分析、设备寿命监测和状态检修、设备状态故障分析以及厂级负荷优化分 配【1 6 , 1 7 】。这五大功能构成了s i s 的基本功能框架，它们的完成又必须借助于 实时数据库提供的厂级实时数据平台，对基于该平台的实时数据进行各种优 化、分析和计算。实时数据库系统( r e a l t i m e d a t a b a s e m a n a g e m e n t s y s t e m ，r t d b m s ) 结合了数据库与实时系统两者的功能特性，既支持大量 数据共享，维护数据的一致性、完整性，又支持数据和事务的时间限制，因 而在实时控制和管理控制上表现出巨大的应用前景。整个s i s 的架构如下： 6 图2 1s i s 架构结构 首先从d c s 、p l c 以及其它现场设备采集到的数据或操作人员手工录入 的数据通过压缩处理保存到r t d b 实时数据库中，即s i s 的核心部分。然后 再对其中的数据进行监控、分析。最后将综合信息传递到m i s 管理信息系统 中。其中s i s 的五种功能主要内容如下。 ( 1 ) 实时监控统计。电厂中的数据库平台以多种形式展示了机组的运行参 数以及设备的运行状态，为管理人员提供了直观的实时动态信息，并且重要 的数据还可以生成各种生产、经济指标等报表，为决策人员提供了参考。 ( 2 ) 性能计算分析。根据电厂运行特点，建立一定的数学模型，在线计算 各项性能指标参数值。并且分析主要的可控参数的实时状态值与目标值的差 别以及引起差别的原因，从而为找到最佳的人为控制调节奠定基础。通过比 较寻找机组出现最小煤耗的运行模式，可以给决策人员提供某些参考指导， 为实现节能减耗走出重要的一步。 ( 3 ) 设备状态检测。针对各种设备的运行状态参数，结合历史数据，考察 现场环境，然后根据潜伏性故障的在线监测和离线测量等技术，对设备的运 行状态进行检测评估，提高设备的可靠性和安全性，减少设备的检修次数， 缩短设备的维护时间，最终达到延长设备使用寿命的目的。 ( 4 ) 设备故障分析。结合上面检测到的设备状态参数，并结合以前的经验 知识和历史数据，对设备的故障进行判断分析，确定其性质、程度和原因， 预测其发展的后果，尽快找到故障的排除方案，使设备恢复到正常状态。 ( 5 ) 负荷优化分配。在性能检测和经济性分析功能的基础上，优化负荷分 华北电力大学硕士学位论文 配能够充分体现优化机组的供电煤耗。通过合理调配各台机组负荷，大大降 低全厂供电煤耗。负荷优化分配的具体方法是考虑机组运行的状态和各种边 界约束条件，计算电厂内部单元机组的最佳负荷分配曲线，指导电厂运行人 员优化调度负荷，以获得全厂最大经济效益，保证电厂每台机组安全稳定运 行。 实时历史数据库占据了s i s 系统的核心位置，构成s i s 系统的数据资 源整合平台，存放着关系电力部门最有价值的信息资源一实时数据和历史数 据【1 8 , 1 9 j ，有且仅有实时历史数据库才能完成此项重要的任务。 首先，火电厂拥有多种生产环节，生产过程复杂交错，生产数据的采 集任务非常艰巨，通常会达到几万乃至几十万，而采集间隔却是以“秒”甚至 以“毫秒”为单位，一般的数据库是无法办到的，实时历史数据库因为有着高 速的数据采集和数据处理能力，可以保证每秒钟万点以上的数据采集。 其次，实时历史数据库拥有很高的数据压缩和存储能力，可以将生产 过程中产生的大量数据进行压缩，保存长达3 1 0 年的在线数据，解决了s i s 中大量数据存储的问题。同时其解压速度和数据检索能力也很高，使得对于 查询实时数据和历史数据的效率得到了很大的提高。 实时历史数据库还提供了生产数据的运行趋势图，可以直接从图中查 看运行过程，参数之间的数据关系，简单、直观。并且在组态画面中还可以 查看到设备的运行情况，监控系统的异常和报警信息，这些有助于分析生产 过程的变化规律、生产故障的判断和分析、生产过程的优化。 2 1 2 实时历史数据库的基本特点 目前对实时历史数据库的研究已经具有一定的规模，其产品应用于国 内外。其中国外的产品有美国o s is o f t w a r e 软件公司开发的p i ( p l a n t i n f o r m a t i o ns y s t e m ) ， i n t e l l u t i o n 公司的i h i s t o r a i n ，i n s t e p 公司的e d n a ， h o n e y w e l l 公司的p h d ( p r o c e s sh i s t o r yd a t a b a s e ) ，a s p e nt e e l l 公司的i p 2 1 ， 英国w o n d e r w a r e 公司的i n d u s t r i a ls q ls e r v e r 和国内的o p e n p l a n t 、s u p e r l n f o 、 v e s t o r e 等。这些产品虽然来自不同的厂家，但是它们有着共同的特点【1 , 1 8 , 2 0 】。 ( 1 ) 实时性。实时数据库服务器与电厂主干网相连，一般为千兆以太 网来满足接口机与数据库服务器及客户端三者间大量实时数据传输的要求。 甚至将接口机和数据库服务器置于同一个虚拟的网络中，保证网络通信的效 率和安全，提高现场数据传输的实时性。 ( 2 ) 开放性。由于实时数据库的下层接口数据来源较广，必须能与多 种复杂的控制系统相连接，所以实时数据库接口设计一定要具有开放性，保 证其能够通过各种相关接口实现与其它控制系统或数据源的连接，统一采集 8 华北电力大学硕士学位论文 和管理数据，满足全厂各部门的需要。 ( 3 ) 数据的优化存储。由于生产数据的采集点较多，且更新速度很快， 要求实时数据库必须能够实时采集数据并能够动态压缩数据，长期保存，还 要方便使用历史数据用于管理分析。总之实时数据库一定要容量大、可靠性 高、响应速度快，同时还要有很高的解压速度和快速的数据检索能力。 ( 4 ) 延伸性。s i s 系统应用的目的之一就是能够综合分析管理信息系统， 指导和优化厂级管理，这就要求实时数据库具有二次开发能力，能够开发出 适合企业实际应用的客户软件，如趋势分析、数据整合统计等，能够对生产 信息做出分析判断，为管理信息系统提供决策依据。 ( 5 ) 用户界面友好性。实时数据库中都包含有友好的用户界面设计， 可以显示出电厂各生产系统的实时信息，工艺流程图、趋势图和各种统计信 息。并且还可以通过e x c e l 表格等方式将运行数据直接输出，方便运行人员 和管理人员的查看，为他们更好的掌握参数运行规律提供了参考。 2 1 3 实时历史数据库的数据接口 实时历史数据库中要通过数据采集接口获取底层控制系统数据，用户要 获取实时数据或历史数据查看运行状态，应用实时数据库中自带的组态软件 分析曲线的变化趋势等等，这些活动都需要建立与实时历史数据库进行连 接，而这个过程中数据接口的设定则是一个非常关键的问题。 实时历史数据库提供的主要访问接口有o d b c o d b c ) 、o l e d b 、a p i 等，下面详细介绍这几种接口方法是如何实现与数据库的连接 1 ，2 0 ，2 1 】。 o d b c ( o p e nd a t a b a s ec o n n e c t i v i t y ，开放式数据库连接) 是一种用来在相 关或不相关的数据库管理系统存取数据的标准应用程序接口 2 2 - 2 4 , 2 9 】。o d b c 的体系结构由应用程序、o d b c 接口、驱动程序管理器、驱动程序和数据源 组成。如下图： 应用程序一 0 d b c 接口j 驱动程序管理器j 驱动程序j 驱动程序j驱动程序一 数据源一数据源一数据源j 图2 2o d b c 接口体系结构 9 华北电力大学硕士学位论文 其中应用程序通过o d b c 接口访问不同数据源中的数据，负责执行并调 用o d b c 接口来提交s q l 语句并接收s q l 的执行结果；驱动程序管理器则 根据应用程序调用驱动程序，并将它们传送到驱动程序；而每个驱动程序都 是一个动态链接库，可以实现o d b c 函数调用与数据源交互，把结果返回给 应用程序；数据源包括用户要访问的数据及相关的操作系统、d b m s 及用于 访问d b m s 的网络平台。现在几乎所有的关系数据库都提供了可用于o d b c 的驱动程序，所以o d b c 技术广泛地应用于关系数据库中。 j d b c 是为j a v a 语言的程序员能够方便地对数据库进行操作而提供的与 数据库进行交互的j a v a 数据库连接，它实现了对特定数据库的接口，这样任 何j a v a 的应用程序都可以访问任何一个关系型数据库了。j d b c 有两层结构： j d b ca p i 和j d b cd r i v e r ，其中j d b ca p i 提供应用程序到j d b cd r i v e r m a n a g e r 的通信，j d b cd r i v e r 提供j d b cd r i v e rm a n a g e r 到数据库驱动程序 的通信。j d b c 与o d b c 有着相似之处，有时j d b c 的实现还借助于o d b c ， 这时就需要用j d b c o d b c 桥作驱动程序【2 5 , 2 6 】。实现方案如下： i 执行程序一 上 l j d b o a p i j 上 l j d b cd 由= m a n a g e r + 上 i j d b c - o d bc b r i d g e v 土 i o d b c d 哟洲 i l 数据库p 图2 3j d b c 接口架构 c o m 作为w i n d o w s 平台应用程序组件化的标准，目前己得到了广泛的 应用。而o l e d b 接口正是m i c r o s o f t 基于c o m 的数据库接口的一个应用。 o l e d b 接口则不仅支持对关系型数据库的访问，而且还可以支持其他非关 系型数据的访问。它是由c o n s u m e r 和p r o v i d e r 两部分组成，c o n s u m e r 代表了 数据访问应用程序，而p r o v i d e r 是包含了一系列接口的c o m 组件的集合， 可以通过标准的c o m 对象来处理c o n s u m e r 的访问情况，并将结果以表格形 l o 华北电力大学硕士学位论文 式返回给c o n s u m e r 。 实时历史数据库中包含有大量动态链接库( d l l ) ，里面存放着大量的 动态链接库函数，客户通过编写程序与这些a p i 动态函数建立接口连接，实 现与实时数据库的数据连接，完成数据的读写等任务【2 7 ，2 8 ，2 9 1 。在编写程序的 过程中，首先要引入动态链接库，将要调用的接口函数引入到调用空间，其 次按照接口函数的格式要求，定义规定的变量，用以接受数据的输出，保证 不会出现数据格式不符的情况。最后将所获取到的或要传入的数据读取出来 9 进去。 o d b c j d b c 建立在标准的s q l 的基础上，为不同的数据库产品之间的 访问和通信提供了一个统一的应用程序编程接口，有着很强的灵活性和实用 性，偏向于与关系型数据库建立接口连接。o l e d b 则