（电力系统及其自动化专业论文）金华电网运行分析辅助决策系统及电网故障诊断.pdf

浙江大学硕士学位论文 a b s t r a c t a sar e s u l to f a m a z i n gd e v e l o p m e n ti ni n f o r m a t i o nt e c h n o l o g i e sa n da p p l i c a t i o n o fv a r i o u sc o m p u t e rs y s t e m so v e rt h el a s tf e wy e a r s ，al a r g ea m o u n to fv a l u a b l e i n f o r m a t i o nh a sb e e na c q u i r e d t h e s ec o m p u t e rs y s t e m si n c l u d es c a d a ，e m s ， s u b s t a t i o nm o n i t o r i n ga n dc o n t r o l l i n gs y s t e m sa n dm i se t c 。i no r d e r 协f u l l ye x p l o r e t h e s ev a l u a b l ed a t a ，i ti sn e c e s s a r yt od e v e l o pas e to f s u p p l e m e n t a r yd e c i s i o ns y s t e m ( s d s ) i np o w e rs y s t e mo p e r a t i o n a la n a l y s i s ， b a s e do nt h ea c t u a lb a c k g r o u n do fj i n h u ae l e c t r i cp o w e ra n dt h ea p p f i c a i o n l e v e lo fb u s i n e s s i n t e l l i g e n c e 圆1 ) t e c h n o l o g y , t h e c o n s t r u c t i o n o b j e c t i v e s u p p l e m e n t a r yd e c i s i o ns y s t e mo fo p e r a t i o n a la n a l y s i si nj i n h u ae l e c t r i cp o w e ri s d e t e r m i n e d t h eu s e f u ld a t aa c q u i r e db ye t lt o o l sw i l lb ec o n c e n t r a t e di nd a t a w a r e h o u s eo rd a t am a r k e t s d e c i s i o np r o p o s a lw i l lb em a d eo ne l e c t r i ce q u i p m e n t s m a i n t e n a n c e ，r e a c t i v ep o w e rc o n t r o l ，e i e e t r i cl i n eo p e r a t i o n a la n a l y s i s ，e q u i p m e n t d e f e c tp r e v e n t i o na n dc o n t r o la n de l e c t r i cp o w e rf a u l td i a g n o s i sb ya d o p t i n gd w 、 o l a pa n dd m t e c h n o l o g i e s c o n c e r n i n gf a u l te s t i m a t i o n ，m o d e l so fu s i n gi n f o r m a t i o no no p e r a t i o n so f b o t h p r o t e c t i v er e l a y sa n dc i r c u i tb r e a k e r sa r es u g g e s t e dt o b eu t i l i z e d a0 - 1 i n t e g e r p r o g r a m m i n gp r o b l e mc a nb ed e d u c e df r o mt h e em o d e l s ，a n dg a b a s e dm e t h o dc a l l b e u s e dt os o l v ei te f f i c i e n t l y m e t h o do f t o p o l o g ya n a l y s i so rw i r i n ga n a l y s i sb a s e d o nc a u s e a n d - e f f e c tm a p p i n g p a t t e r ni sa l s os u g g e s t e d t ob eu t i l i z e d ，i ti ss od i f f i c u l t t oe s t a b l i s h o b j e c t f u n c t i o n sa r t i f i c i a l l yt h a t e x p l o r i n gt h et o p o l o g y s t r u c t u r eo f e l e c t r i cs y s t e mt oe s t a b l i s ho b j e c tf u n c t i o n sa u t o m a t i c a l l yi ss u g g e s t e d k e y w o r d ：s u p p l e m e n t a r yd e c i s i o ns y s t e mo fo p e r a t i o n a la n a l y s i s ；f a u l td i a g n o s i s ； d a t a b a s ew a r e h o u s e ；o l a p ；d a t a m i n i n g 浙江太学石贞士学位论文 第一章绪论 凝述 金华电业局是浙江省电力公司下属的国裔大型供电企业，担负着金华市所属 9 个县( 市、酝) 和杭州市所满建德市、淳安妊共1 1 个县( 市、区) 1 2 9 0 0 平方 公里的供电任务和2 2 0 于伏及以下电网的建设任务，下辖9 个县( 市) 供电局( 其 中代管7 个) 和1 个用电管理所、5 个直属生产单位、1 8 个处室( 部门) 、1 4 家 壹属多经金韭鞠4 家代管企数。返三年来，金华毫网戆发曩卡分迅速，每年耨壤 十几唐变电站，至2 0 0 2 年底，变电总容量已达到6 0 5 万千伏安，第二座5 0 0 k v 交电站已邃入耱步设计除段。全局( 不含代管企盈) 潮定资产缀箧4 2 。8 7 钇元； 拥有1 1 0 千伏及以上变电所5 4 座，其中5 0 0 干伏变电所1 座，2 2 0 千伏变电所7 座，l l o 千伏交电所4 6 座；3 5 千伏及黻上输电线路总长度近3 0 0 0 千米，其中5 0 0 千伏线路5 条，2 2 0 予伏线路2 l 条。2 0 0 2 年全局供电量7 5 4 2 亿千瓦时，售电 量7 3 7 3 亿予瓦时，全社会用电最高负荷为1 3 5 2 1 万千瓦。 当趣，各 亍各业郡嚣燎羲激烈的竞争，电力系统实行厂嗣分开，成立南方电 网公司和国家电网公司，其目的也是更好地引入竞争机制，提高电力行业的经济 效羹，歪确、投辩豹决策已成为毫力金犍生存与发浸憝差要繇节。蓬豢售惠按术 的发展和不同业务系统( 如s c a d a 系统、e m s 系统、变电站监控系统、生产管理 信息系统等等) 的普遍蔽藕，产生了太藿有徐德酶信意羊蟊数据，鲡侮将这些有价 值的信息和数据转化为企业决策所需的信息，怒电力企业的迫切要求。越来越多 的电力企业管邂层认识剐，只有从现育各类生产和管瑷系统所产生的信息和数据 中，充分利用、发掘其知识，才能实现更大的效益。在信息技术领域，蓬勃发展 的业务橱能技术( 8 i ) 是当前解决这类难题最有效的方法。业务智能拽术采用数 据仓瘁擒建汇想数据懿基璐，避蠢支持数据挖撰、多维数据分辑，班及传统的釜 询及报寝功能，实现电力企业的决策分析。 金华电网耨投产妻冬5 0 0 k v 及戳下惫歪等级豹交宅站绝大多数采震了计算橇 监控系统，l l o k v 变电站和2 2 0 k v 终端变电站已基本实现无人值班。同时，随着 计算税技术应爝的不断普及和深入，凡年来，金华电网筱入运行了相当多的运行 浙江火学硕士学位论文 生产和管理系统，其中，包括s c a d a 系统( 历史数据已接八到生产管理信息系统， 实舞数据戆接入正整予开发中) 、e m s 系统、诞度薅惑管理系绫、生产管理傣怠 系统( 主要完成设备管理、检修管理、生技管理、变电运行管理、工作票管理、 调度管理、计豢管理等基石窭管遴工僚) 、s a p 系统、搽作票专豢系统、配毫裔动 化系统、设备状态管理信息系统、在线设备状态监测系统、办公自动化o a 系统 等，并已建立怒以千兆阏为主干的高遮网络架构。这些计算机系统每年都产生海 量的生产管理数据和信息，著已积累了大量的生产数据、试验数据和宝爨的经骏， 如何翼好地利用好这些宝贵的资源，为电网安全、经济、可靠运行提供决策依据， 己或为金华电她局领导嗣各级鹭理久爨关注匏焦点之一。睦蕃逛力嚣鼗钵崩致擎 的不断深入，信息科技的高速发展，新的业务需求的产生，现有应用系统已经不 能够满蹩金华惫韭届缀营发震豹需要，特羁是管理层决策对傣惑系统瓣蒿要，鞭 用日黼成熟的业务智能技术( b i ) ，建立一个覆盖金华电业局主要生产部门的电 黼运行分析决策系统已经成为盒华电照局生产信息化发展的盛然要求。 金华电业局生技处针对这一现状，提出了硪发金华电网运行分析辅助决策系 统的想法，考虑到当前国内电力系统还没有开发成功类似系统，决定先汗展项目 调蛩 ，该调研磺强被列入濒江密电力公司2 0 0 2 年科技进步项爨之一。2 0 0 2 年6 月，调研小组成立，调研工作开始，在浙江大学王康元和黄民翔老师的精心指导 “f ，稍羲暑小缝秽j l 家麓耘信怠系统煮鞭公司逶力合终，予2 0 0 2 年痣竞或了项謦 的调研。 1 ，2 电网遴行分析辅助决策系统的建设目标 经过决策系统调研小组成员精心分析和深入研究，针对金华电网运行生产的 实际 寿况，结会警今照务智毅术( b i ) 静痊瓣承平，罐定了金华宅鼹运行分耩 辅助决策系统的总体建设目标：在全局数据中心集中存储和管理经过清洗、抽取 后的设备台张数据、运行管理数据、在线监溺数据、试验数据、s c a d a f e m s 数 据以及邋过其它途径传递过来的各静礴用信息。在数据集中的嫠础上，采用数据 仓库( d w ) 、联机事务分析( o l a p ) 和数据挖掘( d m ) 等技术对实时数据和 历史数据进行分辑和挖掘，提出商蓥予电力设簧捡磐、选压无功饯纯、缺隆颈控 和故障诊断等的决策建议 1 l o 2 浙江大学硕士学位论文 该系统将是集计算机技术、网络通信技术为一体的信息系统工程。不仅能够 对企业目前所采集的数据进行挖掘，还能根据辅助决策需求对新信息的补充提出 要求，使决策系统所需的数据和信息更加准确、及时、全面，使企业领导层的生 产、经营决策依据更充分、更合理、更科学。在提高企业生产管理效率和经济效 益的同时，为决策层创造出更多深层思考的时间和空间。同时，为企业的整体管 理水平跨上新台阶，为企业持续、健康、稳定发展打下良好的基础。 根据系统总体目标的要求，提出系统的建设思路如下： 建立一个高性能、稳定可靠，具有开放性、可扩展性的企业级数据中心 建立一个先进的技术平台 建立一个业务数据分析平台 建立一个领导辅助决策支持平台 1 3 故障诊断系统的建设目标 根据数据集市数据仓库中的信息和数据( 包括在线监测数据、试验数据、 s c a d a e m s 数据以及通过其它途径传递过来的各种有用信息等) ，利用联机事务 分析( o l a p ) 和数据挖掘( d m ) 等技术对实时数据和历史数据进行分析和挖掘， 得出故障诊断的结果。故障诊断由电网故障诊断和元件故障诊断二部分组成，电 网故障诊断主要根据s c a d a e m s 系统传递过来的开关、闸刀的遥信状态量，以及 继电保护动作信息等判断出故障元件或故障区域，帮助运行生产人员f 确判断系 统故障情况，以及恢复系统的安全运行：元件故障诊断主要是根据设备的历史运 行情况( 包括发生过的过负荷、缺陷和异常等) 、在线监测数据、历年试验数据 等，判断元件可能发生的故障，为合理安排设备检修创造条件，同时为设备故障 后的抢修提供方便。目前，由于金华电网投入运行的电气设备在线监测系统或装 置较少，难免会对元件故障诊断的准确性带来影响，因此，当前金华电网运行分 析决策系统要实现准确的元件故障诊断确实比较困难。但我们相信，随着设备技 改资金的不断投入，电气设备在线监测装置的增多，元件故障诊断的准确率会越 来越高。本文对元件故障诊断不做深入的探讨，在第3 9 节举一个变压器的故障 诊断算法的实现例子。本文在故障诊断方面的重点调研内容是电网故障诊断。 3 浙江大学硕士学位论文 1 4 电网运行分析辅助决策系统的研究主题 电力生产管理系统、s c a d a 和e m s 系统等在金华电业局已经成功运行了 相当长的一段时间，它为电网运行辅助决策系统的研究奠定了重要的数据基础。 电网运行辅助决策的相当一部分数据将来源于上述生产系统。除了常规的设备台 帐、运行工况、离线试验数据以外，电网运行辅助决策还将显著地依赖于在线监 测的数据。根据在线监测的数据、离线数据、历史数据和设备台帐，可以对有条 件的设备进行计划检修到状态检修的过渡。对电网运行辅助决策进一步的要求是 对电网故障进行诊断，以便于对事故进行快速定位和提出恢复、抢修对策，以减 轻运行人员和抢修人员的工作压力，尽可能避免人为的误判和差错。另外，还可 以对设备缺陷预控和电压无功质量改善提出辅助决策。根据金华电业局领导和生 产技术人员的要求，金华电网运行分析辅助决策系统研究的主题，包括以下五个 方面：故障诊断、缺陷预控、线路运行分析、状态检修和电压无功优化。 ( 1 ) 故障诊断： 电力系统故障诊断的问题已在本文1 _ 3 节( 故障诊断的建设目标) 中详细叙 述，这里不在重述。 ( 2 ) 缺陷预控： 缺陷预控的目的在于通过对线路和变电所内电气设备运行的当前和历史缺 陷数据的分析，对可能发生的缺陷情况做出预测，以做好缺陷处理的人力、备品 备件准备，提高缺陷处理的反应能力。 目前，预测技术已广泛应用于气象、机械等领域，在电力系统的负荷预测中 也得到了应用。其强大的生命力在于它能通过对已有的历史信息的处理，得到未 来信息的预测值。把预测技术应用于电力设备的运行检修工作中，通过对已有的 设备缺陷的历史数据的分析，对未来可能发生的缺陷做出判断，以提高设备管理 部门的快速反应能力，减小故障发生时由于检修准备不充分而造成的停电损失。 预测方法有很多，典型的有：回归分析法、时间序列分析法、模式识别法、 专家系统法、人工神经网络法等。 ( 3 ) 线路运行分析： 线路运行分析用于辅助线路运行维护人员根据线路的具体运行状况，参照线 4 浙江大学硕士学位论文 路设计手册和运行规程，作出相应的决策。线路运行分析将包括以下几个予题： 鼹镶诗算、交叉跨越躐裹诗雾、辁毫容量计繁、稔穆选鍪、线路状态检修。 ( 4 ) 状态检修： 电力设备从计划检修向状态检修转变是必然的发展趋势，状态裣修是通过在 线监测、预防性试验、带电检测、故障记录和设备管璎等手段掌握设餐的运行状 态，并以此为依据对设备发生或可能发生的故障模式进行判断，从而对设备的检 经诗娥律毫安_ 捶 。麸数据挖撬鲢是度麓，盘设餐熬运行状态( 漫往) 剡獗帮羲溅 出相应的故障模式( 癸别) 实际上可以抽象为分类问题、聚类问题和关联规则问 题。鳞决这整游遂懿技术释方法有神经耀络法、决策键法、聚类分褥法帮专骞系 统方法等。 ( 5 ) 电压无功优化： 魄压无功饯纯魏强豹是逶过无功彀源獒合理配萎、无功功率兹合理流动改善 电压质量、降低网损、减少无功电源投资。它包含二方面的内容，第一是通过无 功设套敬合理鬻萋，鼠筑巅憨角菠饶佬电垂震潼；第二二是驮运行兹惫度实蠛奄震 无功的优化。电压无功优化的数学模型实际上是一个多目标混合规划问题。电压 无功优纯问题斡特点怒维数大，离散性且菲线馁。解决这一问题的方法包括两类： 数学优化方法和启发式算法，其中数学优化方法包括：线性规划、动态规划、目 标规戈、整数规戋4 和奔德斯分解法；启发式算法包括：模拟邋火法、t a b u 搜索 箕法、挝格朗豳松弛法稠遗传算法。在实黼；照耀中，常常将它们缝合起来使月， 以取得了更好的结果。 1 5 本文所做的工作 经过调研小组成员的努力，至2 0 0 2 年底，基本完成了金华电网运行分析辅 麓决繁系统赘瀵磅工终。本文鳃终者是该灞磷小组主要藏员之，受责数据分孝厅 技术和故障诊断主题的调研。 本文前半部分对金华电阏运行分析决策系统总体建设目标、研究主题、系统 的体系结构，便括系统的硬件构架、软件构架、数据仓痒系统体系构絮、联机骥 务分析( o l a p ) 和数掇挖掘( d m ) 簿技术的调研情况进行了介绍和总结。 5 浙江火学硕士攀位论文 本文的后半部分怒决策系统的研究主题之电网故障诊断技术的介绍，采用 邃筵舞法，稷攥电力系统元箨鞍多、接线复杂帮故障诊断熬姨速毪要求等特患， 提出了提高诊断速度和准确性的两个方法：利用电力系统结线分析的方法，对 电两谶幸亍螽羚分耩，我蹬系统笈生敖酶嚣敬大致区域，帮我裔无源丽终，然嚣在 该小网络中使用遗传算法进行诊断，这种方法比在整个大网中使用遗传算法可大 大节约诊断时间；岛动形成故障诊断的目标函数，采用自动形成关联矩阵与 关联元件袁的方法，德到故障诊断县撂函数，避免困嗽网拓扑结均不蹶变化时， 对目标函数的频繁修改。另外，还探讨了一种蒸于因果映射模式的变电站接线拓 羚分辑方法，该方法逶过建立透露判撼，不嚣考虑不嗣变电站的不曩援续方式， 不需建立专用的处理模型，计簿方法较简单，识别速度较快。 觚结梅上鬻，本文戳分为五部分： 第部分( 本文第一章) ：介绍了会华电业局开发靼建立电网运行分析辅黝 决策系统的必翳性，介绍了决策系统的总体建设目标和故障诊断的建设目标，以 及所磷嶷筑五个主题。 第二部分( 本文第二章) ：重点介绍了金华电网运行生产决策系统的体系结 梅，荠对数舞采集( e t l ) 、蘸端震现o l a p 王英等述行了重点分辑。 第三部分( 本文爨兰章) ；介绍了数据挖撼技术和利用粗糙集理论进彳亍变压 嚣故障诊断静个例子。对常膈的电网故障诊断方法：逻辑处理、专家系统、人 工神经元网络和基于优纯技术方法进行了比较分李厅，认为遗传算法更逡台于电阚 故障诊断，同时介绍了遗传算法的基本原理、求解过獠、特，征和应用中的问题。 第嚣部分( 零文篱疆章) ：接遮了邀薅故黪诊甄瓣数学模型，撬窭了一静实 用的基于开关和保护信息的故障诊断模型。介绍了电网结线分析的二种方法，提 出对电黼送行稻矜分轿，我出系统发生放障詹的大致区域，郾我出无源两络，然 后在这烘无源小网络中使用遗传算法进行诊断。介绍了采用自动彤成关联矩阵与 关联元件表，得到故障诊断目标函数的方法。 第五部分( 本文第五章) ：分缓了溪内努褒电力系绫藏障诊叛方露戆一些黻 理论和新技术，以及它们的应用前景和展望。 6 浙江大学颂士学位论文 第二章系统体系结构 2 。掇述 实现电网运行分析辅助决策的基础技术实际上就是数据仓库( d w ) 、数据 库的联机黪务分孛厅处理( o l a p ) 与数撰挖疆( d m ) 接术的结合。 快速、准确、高效地收集和分析数据和信息是企业提高决策水平和增强企业 竞争力的熏漤手段。企业数据就像埋藏在深山中的焱矿，如果不能供企业决策人 员谨用，裁不戆充分发撵蒺应有的捡镶。数据仓库 d w ) 、联规事务分橱( o l a p ) 和数据挖掘( d m ) 是三种独立的信患处理技术。数据仓库渭予数据的存储和管 理；o l a p 集中于数据的分析；数据挖掘则致力于知识的自动发现。它们可以分 别应薅至l 傣怠系统的设沽秘实理中，以掩褰相应部分戆处理能力。 2 2 系统硬件构架 金华电照届已经建立越疆千整瓣为主干酶高速网络粱梅，两络系统完全能够 满足辅助决策系统的要求。金华电舭局生产信息管理系统现有小型机i b m r s 6 0 0 0 系列作为数据瘁服务器，以及熟分p cs e r v e r 乍为应瘸服务器，主要蕊对 现有的信意系统，不可麓撩颇作为辖秘决策系统的服务器，所以需要为系统增艇 台数据仓庠服务器。数据仓库服务器着重于数据的存储与管理，是整个数据仓 库系统豹核心。它是在现有业务系统豹基础上，对数据进芎亍撼墩、清理，并有 效集成，按照主题进行熏新组织，最终确定数据仓麾的物理存储绉构，同时缀织 存储数据仓库元数据( 熟体包括数据仓库的数据字媳、记录系统激义、数据转抉 熄则、数据煳载频率以及渡务援剥等僖患) 。数据仓滗的管理包赫数据兹安全、 妇栏、备份、维护、恢复簿工作。数据仓库服务器对数据的存储、计算以及肉存 的要求都很高【”。 对予圭挽处理能力，建议采曩6 4 倥豹u n i x 黢务器：要求始理戆力能够满 足辅助决策分析操作终端的处理要求：对于服务器的内存，应掇掇数据库系统开 销、操作系统开销、数据库应用部分的内存开销以及每一个访问用户在服务器上 7 浙江大学硕士学位论文 的内存开销来考虑和计算。同时考虑在服务器上的一些其他临时操作( 比如维护 人员的操作、数据备份、文件拷贝等) 的内存开销。并且预留一定的余量来考虑 数据库服务器内存：在服务器外存方面，数据仓库系统需要有较大存储量，需根 据金华电网运行分析决策系统的信息存储量来确定，并考虑一定的冗余。建议采 用相当于i b mm 8 0 级别主机。下图是系统硬件构架图： 2 3 系统软件架构 图2 - 1 系统硬件构架图 从决策系统的总体目标和功能要求出发，结合d w 、o l a p 和d m 技术与理 念，系统软件架构设计如下图所示： 图2 - 2 系统软件架构图 8 浙江大学硕士学位论文 2 4 数据仓库系统体系架构 图2 3 数据仓库系统体系架构 数据仓库是面向主题的、集成的、不可更新的( 稳定性) 、随时间不断变化( 不 同时间) 的数据集合，用以支持生产管理中的决策制定过程50 1 。 数据仓库中的数据面向主题，与传统数据库面向应用相对应。主题是一个在 较高层次上将数据归类的标准，每一个主题对应一个宏观的分析领域：数据仓库 的集成特性是指在数据进入数据仓库之前，必须经过数据加工和集成，这是建立 数据仓库的关键步骤，首先要统一原始数据中的矛盾之处，还要将原始数据结构 做一个从面向应用向面向主题的转变；数据仓库的稳定性是指数据仓库反映的是 历史数据的内容，而不是日常事务处理产生的数据，数据经加工和集成进入数据 仓库后是极少或根本不修改的；数据仓库是不同时间的数据集合，它要求数掘仓 库中的数据保存时限能满足进行决策分析的需要，而且数据仓库中的数据都要标 明该数据的历史时期。 数据仓库最根本的特点是物理地存放数据，而且这些数据并不是最新的、专 有的，而是来源于其它数据库的。数据仓库的建立并不是要取代数据库，它要建 立在一个较全面和完善的信息应用的基础上，用于支持高层决策分析，而事务处 理数据库在企业的信息环境中承担的是日常操作性的任务。数据仓库是数据库技 术的一种新的应用，而且到目前为止，数据仓库还是用关系数据库管理系统来管 理其中的数据。数据仓库的架构大体可以分为三部分：后台是数据存储和计算引 擎，前端是数据展现分析的用户界面，还有一个重要的部分是数据集中层e t l 。 9 浙江大学硕士学位论文 2 4 1 数据仓库和数据集市 为系统建立数据仓库还是数据集市，需要考虑的因素很多，投资是一个很重 要的因素，但实用性和风险性是其中的关键因素。数据集市是企业级数据仓库的 一个廉价的解决方案，但这种廉价并不以牺牲性能为代价，反而更使商业目标能 够清晰展现。从构筑数据集市的策略开始，到最终融入企业级的数据仓库，是一 个关键性的具有竞争力的战备部署。 数据集市相对数据仓库庞大的数据仓储和宽广的主题领域而言，它更关注于 某一类主题的商业分析。构筑数据集市有二种基本方法，一种是直接从o l t p 数 据库中获取数据，放入需要数据的数据集市中；第二种是从o l t p 系统中获取数 据转入中心数据仓库中，然后数据从数据仓库中流入相应的数据集市中。 目前的数据中心体系将按照第一种方式构架电力生产数据集市，随着以后中 心数据仓库的建设，生产数据集市将构筑于中心数据仓库之上，中心数据仓库将 成为生产数据集市的数据源。 2 4 2 电网运行分析决策系统的逻辑体系结构 电网运行分析决策系统逻辑体系结构如图2 - 4 所示，它可以表述为四个层次： 数据集中层( e t l ) 数据集中层主要完成数据从业务系统到数据中心数据仓库的转换。这种转 换可以根据应用的需要，采用e t l 工具来实现，e t l 即d a t ae x t r a c t i o n 、d a t a t r a n s f o r m a t i o n 、d a t a l o a d i n g ( 数据抽取、转换和加载) 。 数据的抽取：从不同的网络、不同的操作平台、不同的数据库及数据格式、 不同的应用中抽取数据。 数据的转换：数据转化( 数据的和并、汇总、过滤、转换等) 、数据的重新 格式化和计算、关键数据的重新构建和数据总结、数据定位； 数据的加载：跨网络、操作平台，将数据加载到目标数据库中 数据的抽取是数据进入仓库的入口。由于数据仓库是一个独立的数据环境， 它需要通过抽取过程将数据从联机事务处理系统、外部数据源、脱机的数据存储 介质中导入到数据仓库。数据抽取在技术上主要涉及互连、复制、增量、转换、 调度和监控等几个方面。从整体角度看，e t l 为各种基于数据仓库的分析和应用 1 0 浙江火学硕士喾位论文 提供了统一的数据接阴。 嚣藏市场上主流静e t l 王其可敬分蔻两大类：一炎是专簸e t l 厂巍静产赫， 这类产品一般都具备较完善的体系结构和成熟的产品，产品的功能较复杂和详 尽，但其价格笳贵；蜀一类是麓体数攒仓库方案供应商在提供数据仓库存储、设 计和展现工具的同时，也提供樽应的e t l 工具，这类产品一般对自己厂商的相关 产品有较好的支持并能发挥出较高的效率，但结构相对封闭，对其他厂商产品的 支持有限。专业e t l 厂囊和产熬包括a s c e n t i a l 公司蠡冬d a t a s t a g e x e 、s a g e n t 公通 的s o l u t i o n 和i n f o r m a t i c a 公司的产品，整体方案提供商和产品则包括o r a c l e 公 司豹w a r e h o u s eb u i l d e r 秘i b m 公司懿w a r e h o u s e m a n a g e r 。 数据抽取过程涉及数据的转换，它是一个与实际应用密切相关的部分，其复 杂性使得不可嵌入用户编程的抽取工蕊往往不能满足簧求。因此，实际的数据仓 库实施过程中可g 不一定使用抽取工具。整个抽取过稷髓否因工具的使用面纳入 有效的管理、调度和维护则更为重要。 数据矮现层 数据展现遐数据仓库的门面，主要集中在多维分析、数理统计和数据挖掘方 面，为激终用户提供联梳分析帮动态报表处理功能，并以丰富的界面以及灵活酌 定义方式为数搬的展现提供支持。 运维镣理层 图2 - 4 电网遴 亍分掇决策系绞逻辑体系结构 运维管理层提供用户权限管理、系统维护和开发环境管理，主要包括三个方 1 l 浙江大学硕士学位论文 w 蠡熬内容。 1 )残全性管理 越来越多豹趣户在霞爨! n t e r n e t i n t a n e t 应躅魏同对，不弼篌凄受到了一 些潜在的安全方面的威胁，比如未授权用户访问、篡改数据以及数据泄露。一个 真正安全的智能系统必颓具有多层安全保护，这种保护体系是多层次的，从系统 级、鼗摆疼缀、应霜缓譬，都应该采取安全菇藏。 2 )维护性管理 智能平螽可维护性镣溪 搴现在二个主要方面：簿是可视性，强形化的界蕊 使得管理人员对每一关键环节都一露了然，也使得篱理操作交褥简单易行；第二 是可控性，能够控制每个关键参数来调整系统，保证系统的稳定性和高性能。 靼使在高负蓊状态下也熊乎衡运霉亍。 3 )开发环境管理 允许开发者建立支持w e b 的分析成用，将已建好的业务信息成果发送给决 慧者，可以攘入冬秘遥矮羟 譬著嚣矮j a v a s e r i p t 避符缡程控裁。秀发火员建立涎 e i s ( 领导储息系统) 应用”指示盘”可以提供能快遴显示的最高朦的数据，并可 以进一步分析处理、制作报表。这些支持w e b 的分析应用将大大提高整个企业 的效率，憝够谴更多夔燃户更方霞遣获激获零售惑，更荮遣进行决策支持。 2 。50 l a p 技术 2 。5 10 l a p 技术简介 o l a p 联机分析处理( o l a p ) 的概念最早是由关系数据库之父e f c o d d 于 1 9 9 3 年提出熬。当怼，c o d d 认先联撬蘩务处理( 0 l t p ) 已不链满是终端弱户对数 据库查询分析的需要，s q l 对数据库进行的简单淼询也不能满足用户分奉斤的需 求。用户的决策分析需要对关系数据库进行大量计算才能得到结果，而查询的结 岽并不g 满足决繁者提撼驹霪求。困救c o d d 提出了多维鼗豢蓐鞠多维分誊厅爨缀 念，即o l a p 。c o d d 提出o l a p 的1 2 条准则来描述o l a p 系统： 准则10 l a p 模型必须提供多维概念视图 1 2 浙江大学硕士攀位论文 准则2 透明性准则 准则3 存取能力推测 准爨4 稳定躯擐表能力 准则5 客户n 务器体系结构 准则6 维的簿同性准则 准则7 动态的稀疏矩阵处理准则 准则8 多用户支持能力准则 准羹l9 蒌受羧躯跨维搽佟 准则1 0 直观的数据操纵 准则1 l 灵活的报表生成 准剜1 2 不受疆的维与豢榘层次 r o l a p 基于c o d d 的1 2 条准则，各个软件开发厂家见仁见智，其中一个流 派，认为可以沿用关系型数据库来存储多维数掘，于是，基予稀巯矩阵表示方法 的星黧结构( s t a rs c h e m a ) 藏出现了。后来又演化出雪花结构。为了与多维数据 库相区别，则把基于必系型数据库的o l a p 称为r e l a t i o n a lo l a p ，简称r o l a p 。 代表产舞有i n f o r m i xm e t a c u b e 、m i c r o s o f ts q ls e r v e ro l a ps e r v i c e s 。 m o l a p a r b o rs o f t w a r e 严格遵照c o d d 的定义，自行建立了多维数据库，来存放 联机分析系统数据，开创了多维数据存储的先河，后来的很多家公司纷纷采用多 维数攒狂筵，被人们称为m u i l t d i m e n s i o no l a p ，篱稼m o l a p ，代表产品有 h y p e r i o n ( 原a r b o rs o f t w a r e ) e s s b a s e 、s h o w c a s es t r a t e g y 等。d o l a p 相对于s e r v e r o l a p 而言。部分分析工具厂家建议把部分数据下载到本地，为用户提供本地的 多维分据。代表产品蠢b r i od e s i g n e r ，b u s i n e s so b j e c t 等。 2 5 2o l a p 产品市场分析 最早的o l a p 产品可以追溯到7 0 年代，假真正形成一个大规模o l a p 市场 襄是在9 0 年代良爱，基蓠大约套5 0 多家o l a p 貘应意，穗还我不到爨袁缝对 主导地能的产品，预料在今后的2 3 年内也不会出现。o l a p 产品市场从1 9 9 6 到1 9 9 8 三年时间中，年增长率超过4 0 ，1 9 9 9 年增长2 5 ，2 0 0 0 年增长2 0 ， 瞧2 0 0 1 冬，援增长7 2 0 0 1 年全球o l a p 产茹市场为3 3 亿美元，颈诗弼2 0 0 4 1 3 浙江大学硕士学位论文 年，全球o l a p 产品市场将很可能超过5 0 亿美元。 以下为1 9 9 8 年至2 0 0 1 年全球排名前十五位的o l a p 产品市场占有率情况： 2 0 0 1 年2 0 0 0 住1 9 9 9 缸1 9 9 8 芷 o l a p 产品，厂商 排市场排市场排市场排市场 名份额名份额名份额名份额 h y p e r i o ns o l u t i o n s 12 1 3 12 2 3 l2 30 12 8 7 m i c r o s o f t 12 1 3 31 1 7 57 6 无产品 c o g n o s 31 2 1 21 2 6 31 1 1 39 6 o r a c l e47 1 41 0 1 21 1 4 21 7 o m i c r o s t r a t e g y 56 9 59 2 47 9 46 5 b u s i n e s so b j e c t s66 6 6 6 2 65 3 644 a p p l i x 72 5 73 0 83 1 1 02 5 c a r t e s i s p w c82 5 l o 2 3 1 12 5 1 22 】 c o m s h a r e92 4 92 5 73 2 54 8 i b m ( d b 2 o l a p s e r v e r )l o2 1 82 6 93 0 1 31 9 a d a c t u m1 11 5 1 4i 1 1 71 0 1 70 8 b r i ot e c h n o l o g y1 2l _ 3 1 2 1 5 1 41 5 1 51 1 s a si n s t i t u t e 1 31 _ 2 l l 1 6 1 22 2 836 c r y s t a ld e c i s i o n s1 41 0 1 31 4 1 31 7 72 9 c a1 5 0 3 1 50 9 1 02 8 92 9 表2 - 2o l a p 产品市场占有率 上表中，其中h y p e r i o n 的市场占有率为2 1 _ 3 ，指的是其很多的h y p e r i o n 产品，真正其o l a p 产品h y p e r i o ne s s b a s e 只占其总销售额的5 5 6 0 。 随着各个厂商的发展以及市场变化，各种产品的市场占有率已发生较大的变 化，其中尤以b r i o 最快。b r i ot e c h n o l o g y 的市场占有率在同类产品中位居第一， 在中国已有中国银行、中国电信、中科院、全国人大、上海证券交易所等重要客 户。b r i o 公司的b i “旗舰”解决方案b r i oo n e ，集成了业务智能、企业报表、 分析型应用及企业信息门户软件。 1 4 浙江犬学硕士学位论文 2 5 30 l a p 类型的对比与选择 d o l a p 耩于蘸台0 l a p ；r o l a p ，m o l a p ，嚣1 ) 0 a p 磊子后台o l a p ；区 别在于r o l a p 将数据存放于关系型数据库之中，而m o l a p 存放于文件之中， r o l a p 比m o l a p 支持的数据量要大，眈如在s q ls e r v e r 中超过一定数据餐 一定要月r o l a p ，h o l a p 属于两种结合。 目前d o l a p 技术的发展不但延续了其原有的灵活性、易于开发性和易管理 瞧豹俊势，霜辩逶过支持象s s l 等鑫耱热塞技术簿决了文饽存放于客户爨赝带 来的安全问题：后台o l a p 的优势在于其大数据量下的遴询速度，但是后台o l a p 无法避免缝度秘层次的蓣先设定，在掇嵩查诲嫡应速菠翡阐时降低了炭活性。 前台o l a p 在最大限度的保证灵活性的同时，依靠后台的主机和数据库性 能，以凝预建关系型汇总表来保证性能，现在这种方式比较先进一些。 金牮电韭弱现在已经建煮舞速熬嬲络系绕，系统黪宽不存崔懑题；综合 l 誊台 d o l a p 技术和借台o l a p 技术的对比，前台o l a p 技术能够提供较大的查询灵 活瞧，阉舞孝l 耀蓐台圭梳和数据库系统懿洼煞采 栗谣咨诲豹嫡应这麓，露蓐台 o l a p 对灵活性的保证则相对较弱，同时相对于前台o l a p ，一些后台o l a p 技 术开发的复杂度和管瑗度较大；同时为了解决遴谣速度的闻嚣，各耱d o l a p 工 具均支持连接后台o l a p 服务器，当企业的数据量剧增加，焱询速度降低的情 况下，可以通过建立后台o l a p 服务器，结合= 者的优势，僳护企业的投资。 投据冬季孛o l a p 类型豹糕重点潋及金华鲻基兹数据酌塘撬，还不添要建立 一个专门的o l a p 服务器，利用前台展现工具以及后台数据庠的功能，完全能 够满足强藏窿鲻戆要求，涟羞疲蘑复杂度戆璜糯渡及数器量静麓大，禳据系统戆 需要，仍然可以建立o l a p 服务器，可以很好地结合原有的o l a p 展现和分析 工其，因诧，焱应用静税阶段，稚荐采用d o l a p 震瑗工具+ 后台d b 的方式。 2 5 40 l a p 工具及选择 2 5 4 1 0 l a p 产品比较 在越o l a p 技寒裁产鑫了耱豹基磁上，辩聂璜主要兹o l a p 产熬在技末褥 点、提供的工具和应用范畴三方面进行比较。 1 5 濠汪大学矮士学彼论文 ( 1 ) o l a p 产品特点的比较 b u s i m e s so b i e c t sb r i ot e c h n o l o g y lc o r n o s m i c r o s o f lo r a c l e i ) b o 产晶从严格意1 ) b r l 0 产品提供查 1 ) c o g n o s 不是一个 1 ) m i c r o s o f t 公1 ) 嗣前，许多 义上= 说是一种前端工询、o l a p 分析和报告集成的产品，它将蚤司的s q l提供数据方案 具，很多数撑仓库解决的功能，支持多种迸诲和攒裹作为一个 s e r v e r2 0 0 0 已 解决方案的供 方寨都把b o 髂鸯可选言，包撂中文。个工其，把势辑俸兔经在性能帮对应商，并不雒撬 的数据展现工具。2 ) 使用已有的元数另一个王具，其理由扩展性方面确供构建数据仓 2 ) b o 产品是一个集据。不群嚣额外的谦是先分析再做表。立了世界领先库的全帮工具， 查询、报表和o l a p 技义层，开放的元数攥 2 ) 没寄类似予的她健，是一套它搬运嚣要结 术为一体鹩智能决策解释器文接读取矗 d e s i g n e r 的专门设计 完全的数据库合第三三方供应 支持系统。它使用独特有的元数据。 模块，在i m p r o m p t u 和数据分析解商提供的工具 的“语义层”技术和“动3 ) 支持对主流厂商模块中完成数据摩决方案。用户可才能完成整个 态辙立方”按零来表示瓣关系登、多维帮攥 蘸连接帮c a t a l o g 豹 鞋俊逮麓建下数据仓寒的构 数据库中的多雏数据，作数据库的查询。定义，因此，一代的可扩雕建。例如： 具有较好的蠢询和报4 ) 直接支持包括： i m p r o m p t u 的使用鼹 电子商务和数o r a c l e 、l b m 、 表功能，提供钴取o r a c l e ，d 嬲。e s s b a s求用户具蔷鼗据疼据仓霹解按方 o r a c l e 、s y b a s e 、 ( d r i l l ) 等多维分析技e 。r e db r i c k ，淞s 乱专韭鞠谈。案。n c r 、i n f o r m i x 、 术。s e r v e r 和m s3 ) 没有对文档的集2 ) m i c r o s o r 将m i c r o s o f l 等公 3 ) b o 支持多种平台a n a l y s i ss e r v i c e s 。中管理、分发和调嬲o l a f 功能集成司所提供的数 ( 辨蠢w i n d o w s 聂零建数搭痒接疆爨珐能。嚣m i c r o s o f t据宅痒产品都 u n i xj j 台) ，支持多种化了性能。 4 ) c o g n o s 支持多种s q l s e r v e r 中， 属于此类范畴。 数撼库( 如o r a c l e 。5 ) 支持_ 预定义路径数据源，可满足不同提供可扩充的2 ) o r a c l e 具有 i n f o r m i x ，s y b a s e ,和随意钻璇，可展示的用户。基于c o m 蛇多用户数据仓 m i c r o s o f t s q l 强表、裁线蚕、瑶片5 ) 它萄班诖各释麓o l a p 接口。库管理麓力，多 s e r v e r , d b 2 ，c a - i n g r e s s 和条状编码，可通过次的用户在w e b 上3 )m i c r o s o f t种分区方z ，较 ，t e r a d a t 0 。r e db r i c k , 拖放数据剥、表达进行宴时的即席凌o