（控制理论与控制工程专业论文）大型钢铁企业能源系统olap的研究及实施.pdf

大型钢铁企业能源系统0 l a p 的研究及实施 摘要 厂 f 本文的工作是基于宝钢能源经济运行系统的课题在宝钢能 源中心信息管理系统的长时数据库的基础上，通过数据仓库技术实现 决策管理层的进一步分析决策的工作。 随着数据库技术的日益成熟和普及，越来越多的钢铁企业建立了 自己的能源信息管理系统，并逐渐积累了大量的历史数据。钢铁企业 在面对竞争、能源价格和环保的压力下，要求建立能源数据仓库，提 高对能源系统的分析和决策水平。然而，传统的面向应用进行能源数 、 据的组织却无法支持日益增长的事务分析处理的需要。) 本文研究内容就是如何在从一个基于联机事务处理和数据库的 能源中心信息管理系统中抽象出面向主题的数据仓库，从而通过对原 有能源系统数据库存储信息的处理、综合，将分析型的处理及其数据 与操作性处理及其数据相分离，提高能源中心的能源信息分析和决策 的效率和有效性。这也将是大型钢铁企业能源系统信息化管理新的发 展方向。 在宝钢能源经济运行系统中，通过对能源信息的研究分析，得出 能源信息具有多维性的结论。接着，作者将r o l a p 的多维建模理论 r 应用到能源数据仓库建模中。f 在此基础上，作者提出利用信息包图建 l 立能源数据仓库的概念模型；利用星型模型和星型模式建立能源数据 仓库的逻辑模型；最后建立基于o r a c l e 8 i 能源系统数据仓库的物理模 型。这一整体建模方案的提出实现了数据仓库技术与能源信息分析的 结合，从而为大型钢铁企业进行能源系统分析决策提供了坚实的基 础。在建立数据仓库之后，作者对能源系统的o l a p 技术进行研究， 提出了一种能源系统o l a p 的体系结构，并给出实现能源系统o l a p 的关键技术。 由于能源系统数据仓库数据量非常庞大，对性能要求很高，它的 实现对数据库管理系统要求以及开发者对具体数据库管理系统理解 的要求都很高。作者利用o r a c i e 8 i 提供的关于数据仓库的各种新技 一一_ 一 术，开发出一个便于管理高效率的能源系统数据仓库。 该课题实现将数据仓库技术引入大型钢铁能源系统的管理中，对 于大型钢铁企业，利用其日益增加能源系统信息宝藏，提高对能源系 统的管理水平，达到节能增效，增加企业竞争力作了有益的研究。此 外，作者在如何利用国际上最新的数据库技术来实现高效便于管理能 源数据仓库，做了一些有意义的尝试。j 【关键字】 数据仓犀，o l t p ( 联机事务处理) ，o l a p ( f 3 机分析处理) ，数据建 。 模，钢铁企业，能源中心，主题，o r a c l e 鲁 t h er e s e a r c ha n dr e a ii z a t i o l 3o fo l a pi n l a r g es c a i e s t e eia n dir o n e n t e r p r is e s e n e r g ys y s t e m a b s t r a c t t h i sa r t i c l ei sf o c u s e do nt h e p r o j e c t ，n a m e db a os t e e l e n e r g y e c o n o m i c a lr u n n i n gs y s t e m ，w h i c hi sb a s e do nt h el o n g - t e r md a t a b a s e o fb a os t e e le n e r g yc e n t e r m i s ，u s i n gt h et e c h n i q u eo f d a t a w a r e h o u s e ， h e l p i n g t h e m a n a g e m e n td e p a r t m e n tt o r e a l i z ef u r t h e r a n a l y z i n g a n d d e c i s i o n m a k i n g w o r k w i t ht h e d e v e l o p m e n ta n dp o p u l a r i z a t i o no fd a t a b a s et e c h n o l o g y , m o r ea n dm o r es t e e la n di r o ne n t e r p r i s e s e n e r g yc e n t e r ss e tu pt h e i ro w n m i s e s ，a n dm u c h h i s t o r i c a ld a t ah a v eb e e na c c u m u l a t e d g r a d u a l l y i nt h e f a c eo fc o m p e t i t i o n ，t h e r i s i n g o fe n e r g y p r i c e a n d s t r e n g t h e n i n g o f e n v i r o n m e n tp r o t e c t i o n ，s t e e la n di r o ne n t e r p r i s e sd e s i r et ob u i l de n e r g y s y s t e m d a t aw a r e h o u s et o i m p r o v e t h el e v e lo f a n a l y z i n g a n d d e c i s i o n m a k i n g t r a d i t i o n a la p p l i c a t i o n o b j e c t e dd a t ao r g a n i z a t i o nc a nc o r r e s p o n dt o 。the d a t a b a s em o d e lw i t ht h er e a l t r a n s a c t i o n ，t h e r e f o r e ，h a v i n g b e t t e r o p e r a t i o n ，b e i n ge a s yt or e p l a c ec o m p u t e rw i t hh a n d w o r kt o d e a lw i t h e n e r g yc e n t e r s t r a n s a c t i o n b u tt h em o s td i s a d v a n t a g eo f t r a d i t i o n a ld a t a o r g a n i z a t i o ni su n a b l e t om e e tt h en e e do f d e v e l o p i n ga n a l y s i s t h i st h e s i si sf o c u s e do nh o wt or e a l i z eas u b j e c t o r i e n t e dd a t a w a r e h o u s eo no l t pf r o ma e n e r g yc e n t e r s m i s ，a n d t o i m p r o v e e f f i c i e n c y a n d v a l i d i t y o f e n e r g ys y s t e m i n f o r m a t i o n t h r o u g h t h e p r o c e s s i n ga n di n t e g r a t i n gt h eo l de n e r g ys y s t e mi n f o r m a t i o n ，s e p a r a t i n g a n a l y t i c a lp r o c e s s i o n sa n do p e r a t i v eo n e s i ti sa l s ot h ed i r e c t i o no f d e v e l o p i n gt h ee n e r g ys y s t e mm a n a g e m e n to fl a r g e s c a l es t e e la n di r o n e n t e r p r i s e s r o l a pm u l t i d i m e n s i o n a lm o d e l i n gm e t h o di s a d o p t e df o rb e t t e r d e c i s i o n - m a k i n gs u p p o r t i n g t h i st h e s i sa l s od e s c r i b e st h et o t a ls o l u t i o n f r o mt h ec o n c e p t u a lm o d e l ，l o g i c a lm o d e lt op h y s i c a lm o d e l t h e e n e r g y s y s t e m d a t aw a r e h o u s ew h o s ev o l u m ei s v e r yl a r g er e q u i r e sh i g h e r p e r f o r m a n c e ，s oi t si m p l e m e n t a t i o nr e q u i r e sh i g h e rq u a l i t yo f d b m sa n d r e q u i r e st h ed e v e l o p e r sh a v i n gm o r ek n o w l e d g eo f d b m s i nt h i st h e s i s ， 每 ii m p l e m e n tad a t aw a r e h o u s eb a s e do no r a c l e8 i t h i s p r o j e c tp r o m o t e sl a r g e s c a l e s t e e la n di r o n e n t e r p r i s e s t o m a n a g e t h e i re n e r g ys y s t e ma n dr e s e r v ee n e r g yb yu s i n gt h e i rh i s t o r i c a l e n e r g ys y s t e mi n f o r m a t i o n i na d d i t i o n ，ig i v ea ne x a m p l e o f u s i n g t h eu p t od a t ed a t a b a s et e c h n o l o g yt ob u i l dm o r eu s a b l ed a t aw a r e h o u s e 【k e yw o r d s 】 d a t a w a r e h o u s e ，o l t p ( o n l i n e t r a n s a c t i o n p r o c e s s i n g ) ，o l a p ( o n l i n ea n a l y t i c a lp r o c e s s i n g ) ，d a t am o d e l i n g ，s t e e l a n di r o ne n t e r p r i s e ，s u b j e c t ，o r a c l e 露j 膏定互詹挚 硕士学位论文 第一章绪论 当今世界，人们每天都面临着海量的信息，在日益激烈的挑战和更多的机遇 面前，要取得成功就必须以更低的成本、更迅捷的速度做出及时准确的决策。同 样，一个组织或企业要想有活力，并取得丰厚的效益，也必须让他们的决策者能 够及时准确地获得决策性信息，从而能按照他们的逻辑思维，更加得心应手地做 出决策。数据仓库技术的出现，正是顺应了这一时代的要求。 1 1 数据仓库( d a t aw a r e h o u s e ) 1 1 1 数据仓库产生的原因 简单地说，是出于计算机技术应用需求的推动。当年数据库技术大发展的过 程是伴随着o l t p ( o n l i n et r a n s a c t i o np r o c e s s i n g ) 联机事务处理应用需求的推 动。数据库技术，特别是基于e f c o d d 提出的关系理论的数据库技术，将数据 集分成甚少冗余的实体( e n t i t y ) ，然后又将它们按一定的关系( r e l a t i o n s h i p ) 编织 成一有机的整体，较完美地满足o l t p 的应用需求。每个事务处理最好只须涉及 一个实体，事务处理对于实体的添加( a d d ) 或更新( u p d a t e ) 也只涉及数据媒体 的最小可能空间( 如记录级锁技术) ，其它实体的相关更新通过关系保持致性 和完整性。这个切合当时o l t p 应用实际需求的理论和技术，成功推动了关系数 据库产品风靡全世界。 像计算机技术的迅速发展一样，激烈竞争的市场也激发了各行各业对计算机 应用的更多的需求。计算机用户早已不满足于计算机能帮助他们迅速地处理具体 业务，他们需要从大量的业务数据中探索业务活动的规律性，市场的运作趋势， 并从中得到参与市场竞争所必需的决策。由此，产生了对d s s ( d e c i s i o ns u p p o r t s y s t e m ) 决策支持系统的需求。支持决策就要进行数据、信息的分析，这就 产生了o l a p ( o n l i n e a n a l y t i c a lp r o c e s s i n g ) 联机数据分析处理的需求。决 策支持所依据的数据从哪里来，当然是来自成功运行者的业务处理数据库中的数 据。所以最早的决策支持所进行的数据处理就是直接使用数据库中的数据。 当o l a p 只使用很少的关系数据表时，这一操作是可行的。这种操作往往 是针对局部性问题的决策支持数据分析。但面对市场的决策往往足涉及整个企业 4 露j 戈互震警 硕士学位论文 范畴的数据和信息，这就要求同时启动大量的数据表，并将众多表中的数据按一 定的舰律拟合起来，形成恰好针对所支持决策问题的数据内容。这样一个过程司。 能非常复杂，且耗费大量资源。如果企业的数据分布在若干个系统中，并采用不 同的d b m s 、不同的模型和不同的编码方式时，这样的数据整合过程几乎难以完 成。 除此之外，在一个数据库表中的每一条记录也并不是某项决策都需要的，这 要按决策支持的需要编制专用的数据筛选程序。再者，联机事务处理系统中的数 据有一个特性：即每一条记录部由产生，反复的变更、修改，直至数据记录不再 变化的过程，称之为“数据到位”。由此可见，直接使用联机事务处理系统中的 数据进行决策支持数据的分析处理是会产生许多麻烦的，甚至是不可能实现的。 这不是说关系数据库不好，而是老产品遇到新任务。e 。r 模型的数据结构能完美 地执行联机事务处理但不适应较大规模的决策支持数据分析，尤其不适应企业 绒决策支持数据分析处理的需要。为了适应这一要求。数据仓库技术应运而生。 1 12 0 l t p 与0 l a p 区别 数据仓库所支持的o l a p ( 联机分析处理) 与传统的m i s 系统所支持的 o l t p ( 联机事务处理) 有很大的差别：o l t p 用于描述支持事务操作的环境，其本 身就是事务型的，要求刈当前的数掘进行访问：o l a p 用于描述支持事务决策的 环境，它支持分析奄询，而且是提供某组织在特定时刻的状态的数据。两者的具 体差别见表1 10 l t p 与0 l , a p 的比较。 o u po l a p 按预先定义女f 的任务编写程序对原来没育提出过的任务或奇治j 作出 执行确定的计茸机作业，川丁支响应这些问题可能还要进行探索、分 功能 持日常操作。析对其复杂的结沦要能充分地展现， 用于决策支持。 特酋。 运行火域的、相对较小范围的业可能提出的问题并不多，但是涉及的范 1务处理。 围卸诈常广泛。 当前的、细 r 地、离散的、原好f历i 上的、综台的、集成的、导出的、不 数锯特征 的、可更新的。可更新的。 面向j 节川按e r 天系构建数面向主题按多维天系构建数苗多而且 d b 改汁蛙较多，但义比较简单的数据复杂的数据太可以宵适当的儿余。 挺，形成共少冗余。 d b 人小 1 0 0 m b g b 。1 0 0 g b t b ， 圻o q 揲作一股总足向其中添入数据，町渎利州已白的数删采刚多种扫描疗法， 露鞲j c 叠震挚 硕士学位论文 写。提供出新的信息。 _ _ i 二作单元短的、简单的事务。复杂奄洵。 事务输出量一般很少。可能非常复杂。 用户 数量庞大的操作人员、一般公务数量较小的业务决策者和管理人员。 员。 响应时间要求非常高。合理。 停机时间可能意味着失去生意。可能意味着延迟决策。 表卜lo l t p 与o l a p 的比较 1 1 3 数据仓库的定义 数据仓库的经典概念最早是由w hi r a n o n 于1 9 9 2 在它所著的“b u i l d i n g t h e d a t a w a r e h o u s e ”一书中提出的。在该书中 1 - 1 f f l o n 把数据仓库描述为个面向主题 的( s u b j e c t o r i e n t e d ) 、集成的( i n t e 瞽a t e d ) 、非易失心o n - v i l a t i l e ) 的数据集合，它 是用于决策支持管理，其中每个数据单位都与时间相关的。 1 14 数据仓库的技术特征 f 1 ) 数据仓库是面向主题的 数据仓库中面向主题与传统数据库面向应用是相对应。主题是一个在较高层 次将数据归类的标准，每一个主题对应个宏观的分析领域。在关系数据库基础 上建立的各个应用系统，由于功能单一和过于规范，只能回答专门的、片断的问 题。数据的组织方式( 数据结构、索引、编码和访问方式等) 只对单一应用是最 优的。数据仓库需要为决策提供综合信息，这类信息的组织应当以企业中的业务 工作的主题内容为主线，因为只有这样的组织方式才能提供信息的全方位可用 性。 ( 2 ) 数据仓库是集成的 来自外部的信息源的信息不会原封不动的进入数据仓库，而必须要进行必要 的变换和集成以增强其可用性，这是建立数据仓库的关键步骤。在创建数据仓库 时，信息集成的工作包括格式转换、根据选择逻辑消除数据冲突、运算、总结、 综合、统计、加时间属性和设置缺省值等工作。首先要统一原始数据中的矛盾之 处，还要将原始数据结构实现从面向应用到面向主题的大转变。 ( 3 ) 数据仓库是非易失的 数据仓库的非易失性是指数据仓库反映的是历史的数据，而不是日常事务处 理产生的数据，数据经加工和集成后是很少或根本不修改的。事实上，任何信息 6 露蜡定互震肇 硕士学位论文 都带有相应的时间标记，但在文件系统或传统的数据库系统中，时间维的表达和 处理或者是没有显式化或者很不自然。在数据仓库中，数据一旦装入其中，基本 不会发生变化，称为历史信息，这是由信息的时间性决定的。这就使得信息具有 非易失性。 ( 4 ) 数据仓库是不同时间的数据集合。 它要求数据仓库中数据保存时限能满足进行决策分析的需要，而且数据仓库 中的数据都标明该数据的历史时期。 对数据仓库最大的误解可能是把它当作一个可以现成的可以直接买来使用 的产品。事实上，数据仓库和数据库不同，它不是现成的软件或者硬件产品。比 较确切地说，数据仓库是一种解决方案，是对原始的操作数据进行各种处理并转 换成有用信息的处理过程，用户可以通过分析这些信息从而做出策略性的决策。 可以睨，数据仓库是以传统的数据库技术作为存储数据和管理资源的基本手段， 以统计分析技术作为分析数据和提取信息的有效方法，以人工智能作为挖掘知识 和发现规律的科学途径。 1 1 5 成功数据仓库应具备的功能。 设计合理的数据仓库应该能被许多技术工具所访问，当前成功建立的数据仓 库绝大部分都是这样的。这一点很重要，一旦数据仓库建立起来，它应该支持如 下功能： ( 1 ) 导出数据至数据集市。 ( 2 ) 报表生成工具。 ( 3 ) o l a p 和数据分析工具。 ( 4 ) 数据挖掘工具。 ( 5 ) 定制代码的执行信息系统( e i s ) 工具。 ( 6 ) 地理信息系统( g i s ) 工具。 ( 7 ) 许多其它查询技术。 要注意的是必需的系统灵活性是正确的设计方向，但将精力集中于任何某一 种特定查询技术都会使工程开发偏离这个方向。 7 箩j 蔚定量震挚硕士学位论文 一。_ - _ _ 一 1 1 6 实现数据仓库的关键技术 在数据仓库的整个实现过程中，有以下几个关键技术： ( 1 ) 数据仓库的建模技术：即如何选取源数据，并合理的组织和存储数据仓 库中的数据，以支持用户决策的需求： ( 2 ) 源数据的提取技术：从不同源系统中提取数据涉及到异构数据库之间的 数据转换问题，同时由于这是一项持续而长期的工作，必须设计一种高 效的提取算法来更新数据仓库中的数据： ( 3 ) o l a p 系统的设计：涉及数据仓库的前端用户访问工具，按照用户的决 策需求显示数据仓库的数据； ( 4 ) 据挖掘算法的设计及其实现：参照一定的数学模型，在数据仓库存储的 数据中寻找匹配模式的决策支持过程。 1 2 大型钢铁企业能源中心信息管理系统 1 2 1 能源系统 能源是大型钢铁企业的心脏和动脉。大型钢铁企业生产所需的能源介质一般 有电力、水、重油、各种煤气、蒸汽、氧、氮等十几种。这些能源介质管网遍布 全厂，线路可长达数百公里。 大型钢铁企业的能源系统，一般由电力分系统、动力分系统和给排水分系统 组成。其中动力系统又包括重油子系统、煤气子系统、蒸汽子系统和氧氮氩子系 统。这些分系统既是相互独立又是相互影响的，构成整个钢铁企业的能源系统。 能源系统和整个大型钢铁企业的生产系统是个整体，它和炼铁、炼钢、轧钢 等工艺系统是相互联系、相互依赖、相互制约、相互作用的具有整体功能和综合 行为的统一体。为了取得钢铁生产的最大经济效益，必须取得各个系统的协调统 一，很难想象能源系统失调，不能正常供应电、水、煤气等能源介质时，而生产 系统还能稳定、高产运转的。因此可以说能源系统与生产系统协同、有序的配合 是整个钢铁系统最重要的管理任务之一。 1 2 2 能源中心 大型现代化钢铁企业如能连续生产，可以说在很大程度上得依靠水、电、气、 重油等能源的供应，为了实现这一目的，因此设置了能源中心。 露埔定叠震挚 硕士学位论文 现代化的能源中心采用了电子计算机控制技术、遥测、遥控装置等先进设备。 通过能源中心集中统管理，进行对钢铁企业各生产所需的一次能源和二次能源 及余热利用等调度控制，可使煤气、电力、蒸汽等诸能源相互转换、互为补充， 达到降低消耗，节约能源之效果。 能源中心，可大大降低钢铁厂副产煤气的放散率，钢铁厂焦炉、高炉、转炉 产生的副产煤气是宝贵的二次能源，合理使用这些煤气对降低钢铁生产的能耗起 到了重要的作用。 能源中心既是全厂的能源管理中心，也是现场无人能源设备的操作中心，它 管理电力、重油、高炉煤气、养气、氮气、蒸汽及工业用水、过滤水、软水、纯 水等多种能源。下图卜l 是一个典型的能源中心管理范围图。对这些能源的生产、 使用管理是能源中心的主要任务。 供佩lj 发电) j 高炉jj 高炉jjc 肿) j 转炉jj 低压 鑫j 【厂i1 嚣i 毅ll 藿2l1 嚣1i 锅炉 各 主 间 制氯车间 煤气i 殳各 重油醴备 水处理厂 循环水厂 卜一兰竺兰二 f 寸百万 环境监视盘电力监视盘f 动力监视盘f 用水监视盘 环境操作台i 电力操作台l 动力操作台1 用水操作台 指令i 电话 广，带无线电的巡逻车 f 自动通报装置7 图1 1 能源中m 涉及范围 9 争、1，川习叫可_二【 庶 鬯j 屠震童震势 硕士学位论文 1 2 3 能源管理信息系统 能源中心信息管理系统的核心是能源信息，由于系统的工艺对象覆盖整个钢 铁企业的各种大型能源设备，如变电所、水泵站、煤气加压站、煤气混合站、重 油站、蒸汽管网等，采集的过程信息点可达上万个，且分布在钢铁厂数十平方公 里的土地上。作为信息管理系统，信息的采集、数据的海量存储、二次加工等都 是富有挑战性的问题，是一个典型的计算机集成信息系统。 f 1 1 系统结构 网络结构：网络系统一般由个主干网和若干个现场总线网两级构 成。主干网采用t c p i p 协议。现场总线网( h 1 ) 将所有p l c 联入网， 并通过服务器接入主干网。 系统软件结构：能源中心信息管理系统，是在一个工控软件平台上 进行开发的。典型的是采用西门子的p i c s ( p r o c e s s i n f o r m a t i o n c o n t r o ls y s t e m l 。p i c s 基于u n i x 操作系统，采用面向对象编程 ( o b j e c to r i e n t e dp r o g r a m m i n g ) 技术，并可通过网络实现分布式操 作。 数据库系统：能源管理过程与一般制造过程很不相同，对能源信息 的采集、处理、存储一般分为三级：过程数据镜象( p r o c e s si m a g e ) ， 短时归档( x i s a m ) ，以及数据库( o r a c l e ) 。 ( 2 ) 系统功能 目前大型钢铁企业能源中心信息系统具有的主要功能有： 数据采集、处理和归档：实现对各个采集点信号的采集，进行适当 的处理，并根据需要把数据存储在数据库中。 能源系统管理、分析和优化：用简单的数学方法实现包括电力需求 预测、排污量预测、煤气柜位和煤气分配预测、蒸汽管网的优化运 行分析。 管理报表：根据事务处理的需要产生能源系统的常规报表和各分系 统的日、旬、月报、峰谷电量报表等。 o 震童詹警 硕士学位论文 1 3 大型钢铁企业能源中心信息管理系统引入数据仓库的必要陛 1 3 1 节能的重要陛 钢铁工业是费能型工业，其消耗量占有我国总能耗的1 0 左右，占工业部门 能耗量的15 2 5 。当前，我国在加速现代化经济建设的步伐的进程中，能源 生产增长速度还难以适应于对能源的需求，尤其在社会主义市场经济的条件下， 能源价格的调整仍将呈上升趋势，这对于能源费用占企业生产总成本2 0 3 0 的 钢铁企业将是新的挑战，同时能耗水平与环境保护亦有着直接的影响。因此，节 约能源、降低能耗、提高效益是钢铁工业的长期战略任务。 随着社会的进步和钢铁企业竞争的加剧，也大大促进了大型钢铁企业对加强 能源管理，降低能耗的紧迫感。具体在以下几个方面： ( 1 ) 环境保护方面。社会的进步，人们环保意识的增强，对钢铁企业的环 保提出了更高的要求。对钢铁企业来说，高能耗往往意味着高污染。 如果对其能源系统加强科学管理，降低能耗，不但可以改善环境，而 且可以降低环保方面的费用。 ( 2 ) 钢铁企业的竞争。大型钢铁企业不单面对国内企业的竞争，随着我国 即将进入w t o ，还面对国外大企业的强大的竞争压力。能源成本在 钢铁生产的成本中占有很大的比重，也是可控的关键部分。加强能源 的管理，提高能源的利用率，可以有效地降低成本，提高企业的竞争 力。 1 32 数据仓库极高的投资回报率 i d c 公司，一年多以前根据从近6 0 家建立了数据仓库的公司中收集过来的 信息，发布了一篇研究报告。报告中指出，在3 年时间内，数据仓库可以产生 4 0 1 的平均投资回报率。 由于这样的投资回报率，越来越多的钢铁企业对其能源信息系统采用数据仓 库战略和发展能源系统数据仓库。事实上，在我们所经历过的许多趋势中，经济 收益是主要推动力。由于有这样的投资回报，在大型钢铁企业能源中心信息管理 系统中建立数据仓库也是必然的趋势。 罄j 膏毫互戈警 硕士学位论文 1 3 3 能源中心信息管理系统存在的问题。 能源中心信息管理系统较好地将数据库模式和能源中心的现实业务活动对 应起来，从而具有很好的操作性，便于能源中心原有的各项业务从手工处理的方 式向计算机处理方式的转变。然而，随着计算机应用的深入，管理决策要求等的 提高，它越来越无法满足日益增长的事务分析处理的需要。具体在以下三个方面： ( 1 ) 定制报表困难。目前的信息管理系统是面向事务处理，它的结构本来 不是支持定制报表的，更不用说根据用户的要求自动生成报表。 ( 2 ) 对现行数据分析困难。目前的信息系统只支持局部、个别因素，短时 的简单分析。而对于全局、多因素和长时间的分析就显得无能为力。 ( 3 ) 利用存储的历史数据资源非常困难。能源中心信息管理系统作为能源 数据管理的主要手段，记录了能源系统大量的运行的信息。目前的信 息系统却无法对历史数据进行分析，造成企业能源信息的极大浪费。 1 3 4 引入数据仓库在技术上必要- 眭。 能源中心采用数据库系统作为能源数据管理手段，主要用于日常能源管理事 务。现行能源中心的管理是直接建立在这种事务处理环境上的，数据库技术一直 力图使自己胜任事务处理、批处理到分析处理的各种信息处理业务。尽管数据库 在能源数据处理方面获得了巨大成功，但它对管理、分析决策处理的支持不能令 人满意，尤其是当以操作处理为主的联机事务处理( o l t p ) 应用于以联机分析 ( o l a p ) 为主的d s s 应用共存于同一个数据库系统中时，这两种类型的处理发 生了明显的冲突。人们逐渐认识到事务处理和分析处理具有极不相同的特性，直 接使用事务处理环境支持d s s 是行不通的。 具体来说，事务处理环境不适宜d s s 应用的原因概括起来主要有以下五条： ( 1 ) 事务处理和分析处理的性能特性不同 在事务处理环境中，用户的行为特点是数据的存取操作频率高而每次操作处 理的时间短，因此，系统可以允许多个用户按分时方式使用系统资源，同时保持 较短的响应时间，o l t p 是这种环境下的典型应用。 在分析处理上不境中，用户的行为模式与此完全不同，某个d s s 应用可连续 运行几个小时从而消耗大量的系统资源，将具有如此不同处理性能的两种应用 放在同一个环境中运行显然是不适当的。 露j 震互詹譬 硕士学位论文 ( 2 ) 数据集成问题 分析处理需要集成的数据，全面而正确的数据是有效的分析和决策的首要前 提，相关数据收集得越完整，得到的结果就越可靠。因此能源系统的分析决策系 统不仅需要能源中心采集的数据，还要企业内部各部门的相关数据，以及周围环 境、外部、竞争对手等处的相关数据。 事务处理的目的在于使生产处理自动化，一般只需要与能源系统有关的当前 数据，而对整个企业范围内的集成应用考虑得很少。目前整个企业内的数据是分 散而非集成的，造成这种分散的原因有多种，主要有事务处理应用分散、“蜘蛛 网问题”、数据不一致问题、外部数据和非结构化数据。 上述问题是事务处理环境所固有的，尽管每个单独的应用可能是高效的，能 产生丰富的细节数据，但这些数据却不能成为一个统一的整体。对于需要集成数 据的d s s 应用来说，必须重新在应用程序中对这些纷杂的数据进行集成。然而， 数据集成是一项十分繁杂的工作，都交给应用程序完成会大大增加编程人员的负 担，并且，每做次分析，都要进行一次这样的集成，将会导致极低的处理效率。 钢铁企业能源的决策分析对数据集成的迫切需要是数据仓库技术应用到能源系 统决策分析系统中的最重要动因之一。 事务处理应用的分散 当前钢铁企业内部各项事务处理应用间实际上几乎都是独立的，之所以出现 这种现象有多种原因。有的原因是设计方面的，例如，原有系统设计人员为了减 少系统开发费用和加快开发进度，总是采用简单而“有效”的设计方案，这种“有 效”仅指对解决当前面临的问题有效，而不能保证对以后新出现的问题继续有效； 有的原因是经济方面，当经费有限时，企业总是考虑先对关键的业务活动建立应 用系统，然后再逐步建立其它业务的信息处理系统。 由于这种事务处理应用分散存在，d s s 应用需要对分散在多个事务处理应用 中的相关数据进行集成，以向分析人员提供统一的数据视图。 “蜘蛛网”问题 d s s 应用中为了避免与其它用户的冲突和简化用户的数据视图，一种称作 “抽取程序”的方法目前被广泛应用。用户利用抽取程序从文件或数据库中查找 有用的数据然后这些数据被提取出来放入其它文件或数据库中供用户使用。这 些经抽取得到的新文件或数据库又被某些用户再进行抽取。这种不加控制的连续 1 3 癣蜻| t 叠震挚 硕士学位论文 抽取最终导致系统内的数据间形成了错综复杂的网状结构，人们形象地称之为 “蜘蛛网问题”。像钢铁企业能源中心，它的能源数据的规模是巨大的，它的“蜘 蛛网”问题就尤为严重。 虽然企业内部网上的任意两个节点的数据可能归根结底是从一个原始库中 抽取出来的，但其数据没有统一的时间，抽取算法不同，抽取级别不同，并且可 能参考不同的外部数据。因而对统一问题的分析，不同节点却会产生不同甚至截 然相反的结果，这当然使决策者无从下手。 数据不致问题 前述的应用分散和“蜘蛛网”等多个问题，导致了多个应用间的不一致，这 些数据不一致的形式是多种多样的，有同一字段在不同应用中具有不同的数据类 型、同一字段在不同应用中具有不同的名字、同一字段有不同的单位、不同字段 有同一含义等。 为了将这些不一致的数据集成起来，必须对它们进行转换后才能提供分析时 使用。数据的不一致是多种多样的，对每种情况都必须专门处理。因此，这是一 项很繁重的工作。 外部数据和非结构化数据 在分析中经常用到外部数据，这部分数据不是由事务处理系统产生的，而是 来自于其它外部数据源，例如，权威性刊物发布的统计数据，著名的研究机构的 研究结果报告，专利文献等。这些数据通常都是非结构化数据，在事务处理系统 中，由于没有对外部数据进行统一管理，用到这些数据的d s s 必须自行集成。 错误数据 能源中心的各个能源数据是自动采集的。由于多方面的原因，如采集系统的 故障、生产装置的故障、还有人为操作的故障会产生大量的缺失数据、错误数据、 多余数据。这些数据对决策分析会带来负面的，甚至是致命的影响。所以在数据 集成时，要进行补充、清理、净化。 ( 3 ) 数据动态集成问题 由于每次分析都进行数据集成的开销太大，一些应用仅在开始对所需数据进 行了集成，以后就一直以这部分集成的数据作为分析的基础，不再与数据源发生 联系，我们称这种方式的集成为静态集成。静态集成的最大缺点在于，如果在数 据集成后数据源中发生了改变，这些变化将不能反映给决策者，导致决策者使用 “彰。；：，：。 蘸漱激l 虢。i 譬 癣j 毫互友挚 硕士学位论文 的是过时的数据。对于决策者来说，虽然并不是要求随时准确的探知系统内的任 何数据变化，但也不希望他所分析的是几个月以前的情况，因此，继承数据必须 以一定的周期( 例如2 4 小时) 进行刷新，我们称其为动态集成。显然，事务处 理系统不具备动态集成的能力。 ( 4 ) 历史数据问题 事务处理一般只需要当前的数据，在数据库中般也只存储短期数据。且不 同数据的保存期限也不样，像钢铁企业能源中心即使有一些历史数据被保存下 来了，也被束之高阁，未得到充分利用。当对于能源分析决策而言，历史数据是 相当重要的，许多分析方法必须以大量的历史数据为依据，与历史数据作比较， 因此只有在对历史数据分析的基础上得到的结果才是有用的。 通过以上所述可见，d s s 对数据在空间和时间上的广度都有了更高的要求， 而现行的能源中心的信息管理系统，是面向事务的处理环境，也是很难满足要求 的。 ( 5 ) 数据的综合问题 在事务处理系统中积累了大量的细节数据，般而言，d s s 并不对这些细节 数据进行分析，这主要有两个原因：一是细节数据数量太大，会严重影响分析的 效率；二是太多的细节数据不利于分析人员将注意力集中在有用的信息上来。因 此，在分析前往往需要对细节数据进行不同程度地综合。而事务处理系统不具备 这种综合能力，根据规范化理论，这种综合还往往因为它是种数据冗余而加以 限制。 以上这些问题表明，在事务性环境中直接构建分析性应用是一种失败的尝 试。数据仓库本质上是对这些存在问题的回答，但是数据仓库的主要驱动力是并 不是过去的缺点，而是社会的进步，生产规模的扩大，研究侧重点的改变。同时， 也是企业竞争的加剧，迫切需要利用已得到的数据进行决策支持，以降低成本、 提高效益和竞争力。建立在事务处理环境上的分析系统无法达到分析和捕获分析 事物级的数据这一要求。要提高分析决策的效率和有效性，必须把分析性数据从 事务处理环境中提取出来，按照d s s 处理的需要进行重新组织，建立单独的分 析处理环境，数据仓库正是为了构建这种新的分析处理环境丽出现的一种数据存 储和组织技术。 “。，i 籀疆薹麟崩、缘 棼j 膏毫互盖警 硕士学位论文 1 4 本文的研究路线及主要工作 本文作者试图运用数据仓库的理论和方法，针对大型钢铁企业利用能源中，t l , 的数据库进行决策分析存在的困难，以及钢铁企业能源信息的特殊性，建立一个 基于计算机网络和数据仓库的高效、可靠、事务处理与事务分析分离的能源经济 运行系统。本文作者作为宝钢能源经济运行系统这个项目的主要成员，参加 了系统的总体设计，并负责宝钢能源系统数据仓库的分析、建模和实现的工作。 在从事该项目的设计过程中，我们从大型钢铁企业利用能源中一t l , 数据库进行决策 分析存在的问题，通过对钢铁企业能源管理的学习和对数据仓库的深入理解，成 功地将数据仓库理论和技术应用到宝钢的能源系统中。提高了宝钢对其能源数据 的分析和能源运行的决策，并为宝钢能源系统利用其存储的数据进行数据挖掘提 供基础。宝钢是我国最先进的大型钢铁企业，能源经济运行系统数据仓库的建立 也是为我国大型钢铁企业建立能源决策支持数据仓库提供范例。有利于我国整个 钢铁行业能源管理水平的提高，提高竞争力。本人的主要工作有： ( 1 ) 研究并总结数据仓库的基本理论和开发方法。 ( 2 ) 设计了能源系统数据仓库系统的一种体系结构，在第二章给出。 ( 3 ) 在分析能源数据多维特性的基础上，给出了如何建立能源系统数据仓 库的信息包图、星型模型、星型模式和物理模型的一套总体结决方案。 本文还以电力系统为例利用该方案来实现数据仓库的建模的整个过 程。 ( 4 ) 研究了能源系统的o l a p 技术，提出了一种能源系统o l a p 的体系结 构，并给出实现能源系统o l a p 的关键技术。 ( 5 ) 在充分研究o r a c l e 8 i ，尤其是它提供最新数据仓库的相关技术的基础 上，给出了能源数据仓库在o r a c l e 8 i 上的物理实现。这是如何利用外 国最新的数据库技术来实现高效且便于管理能源数据仓库的一次有 意义的尝试。 说明：由于陔项目与宝钢有相关的知识产权协议，为了遵守协议，很遗憾本文对 部分数据进行了保密处理。 6 ，k 密j 膏走互父警 硕士学位论文 第二章数据仓库理论基础和开发方法的研究 数据仓库理论，是一种与传统数据库理论截然不同的理论。本章研究了数据 仓库理论基础，总结了数据仓库的开发方法。在此基础上，给出了一个能源系统 数据仓库完整的体系结构。 2 1 环境设计 2 1 1 数据仓库对数据库技术的新要求 数据仓库的核心是数据仓库引擎数据库管理系统( d b m s ) 。数据仓库向 数据库技术提出了一些新要求： ( 1 )处理能力。由于数据仓库比o l t p 系统具有更高的性能要求，所以它 要求数据仓库引擎具有并行处理和装载能力，实际上这也是与传统 o l t p 系统r d b m s 本质的区别之所在。 ( 2 )最大可扩展性。数据仓库的容量和性能会随着数据量的增加、并发 用户的增多、数据存取模式的变化和数据更新频率的增加而指数倍 增加，这要求数据仓库引擎应具有很强的可扩展能力。 ( 3 )复杂查询的性能。能对复杂的查询进行优化，能将一个查询分解成 多个子查询，交给不同处理器去工作，以满足复杂查询的性能要求。 ( 4 )易于管理。系统应具有自动移植和重新配置的能力，便于数据仓库 的空间管理，便于数据仓库的系统调整。 ( 5 )高效大容量的备份和恢复性能。数据仓库的建立使d b m s 面对大容 量的决策支持仓储。这就要求d b m s 提供更快速、更高效率、更大 容量的备份和恢复性能。 ( 6 )决策用户界面的支持。传统的o l t p 是面向应用的，而数据仓库是面 向决策的，因此对数据库管理系统提出了对高层次决策的最终用户 界面支持的需求。 ( 7 )良好的t p c d 基准测试值。t p c d 基准测试是t p c ( t r a n s a c t i o n p r o c e s s i n gp e r f o r m a n c ec o u n c i l ) 委员会专门用来测试决策支持系统数 据仓库综合性能的一个标准。它从整体查询性能、吞吐量、性能价 簿j 支互詹警 硕士学位论文 格比等方面来衡量数据仓库的综合指标。 2 1 2 数据仓库对服务器的要求 相应数据仓库引擎的需求，对数据仓库的服务器也提出了很高的要求。作为 数据仓库的主机系统应当用高性能的c p u 、良好的i o 接口和大容量的联机硬 盘，来提供高速的数据导入、快速查询和分析使用。同时也应配备一部分海量外 存设备，光盘阵列和磁带机等，做数据转储使用。另外，数据仓库已逐渐走向并 行化，所以数据仓库服务器最好是具有多个处理器的s m p ( 对称多处理器1 或m p p ( 大规模并行处理器) 的服务器。 21 3 系统开发平台 大型钢铁企业能源中心信息管理系统的计算机操作系统一般采用u n i x ，后 台的数据库一般采用o r a c l e 数据库。在设计我们的数