基于CWM标准的电力数据仓库元数据仓储构建的研究201005.doc

基于CWM标准的电力数据仓库元数据仓储开发的研究 赵钊林 (福建工程学院计算机与信息科学系,福建 福州 350014)摘要：由于目前电力企业在元数据管理方面提供的是局部元数据管理方案，易导致数据仓库数据不一致、完整性和系统可扩展性。本文研究基于CWM标准的电力数据仓库元数据仓储开发方案，该方案可解决局部元数据管理方案存在的问题，应用该方案有助于提高数据仓库数据管理与访问的效率，确保了领导决策的可行性。本方案可以供电力企业构建元数据仓储时作为参考方案。关键词：CWM标准；元数据仓储；电力企业中图分类号：TP311.13Research of Metadata Warehouse develop in Electric Power Corporation Data Warehouse Base On CWM Standard ZHAO Zhao- lin(Department of computer and information science,Fujian University of Technology,Fuzhou 350014,China )Abstract:Because up to date electric power corporation supply local metadata menagement scheme, electric power data warehouse system cant ensure the identical data and integrated data,and the system extend. The paper research Metadata Warehouse develop scheme in Electric Power Corporation Data Warehouse Base On CWM Standard, and the scheme can solve the problem of local metadata menagement scheme . The scheme in the paper can make the data menagement and access more efficiently,and it can guarantee the rationality of the decision too.The paper can be the reference for the electric power corporation to build up the Metadata Warehouse.Keywords:Common Warehouse Metamodel Standard；Metadata Warehouse；electric power corporation1问题的提出随着电力企业数据仓库技术应用的不断成熟，企业的数据逐渐变成了决策的主要依据。电力数据仓库中的数据从多个业务处理系统中抽取、转换而来，面对这种复杂的企业数据环境，目前电力系统中大部分元数据管理方案提供的仅是对特定的局部元数据的管理，缺少对元数据管理的完整方案。这使得数据仓库在对数据进行管理和访问方面产生了一系列问题：首先目前电力各个业务系统中的数据是相互独立的，这易产生数据不一致和信息孤岛问题；其次业务系统中的原始数据一般是用以处理具体的日常事务，无法支持企业决策者决策需要，决策者需要的信息经常要通过查找业务数据元素之间的内在关联获取，这影响了决策效率；第三，由于电力数据仓库数据庞大，建立数据仓库时一般是先建数据集市，再在各个数据集市的基础上建设数据仓库，当数据集市数量增多时容易形成“蜘蛛网”现象，这影响数据仓库数据访问的效率。解决这些问题的关键是构建一个完整数据仓库元数据仓储，对数据进行科学有效的管理。本文研究基于CWM标准的电力数据仓库元数据仓储开发的方案，本方案通过研究基于CWM标准模型，能够对数据仓库数据进行完整管理的元数据仓储的构建，实现电力业务模型与数据模型之间的映射，把数据以用户需要的方式“翻译”出来，方便用户理解数据仓库中数据；方便用户得到各个数据的抽取和转换的规则，保证数据管理与访问的效率及数据质量；并通过对电力系统业务的工作流、数据流和信息流有效管理，提高系统的可扩展性。 2元数据管理的标准化2.1元数据的概念“元数据（Metadata）”就是指数据的数据，即用来描述数据的类型、来源、定义、存储位置等信息，使得人们可以正确地使用数据仓库。在数据仓库系统中，元数据是描述数据仓库内数据的结构和建立方法的数据，元数据可以帮助数据仓库管理员和数据仓库的用户方便地找到他们所关心的数据1。2.2元数据管理的标准目前电力数据仓库元数据仓储仅能对特定的局部元数据进行管理，而无法提供元数据完整管理方案是因其缺乏一个统一的标准。OMG的CWM标准是目前数据仓库领域中主要的元数据管理标准模型。OMG是国际标准化组织，其提出的公共仓库元模型主要目的是在异构环境下，帮助不同数据仓库工具、平台和元数据知识库进行元数据交换。CWM模型既包括元数据存储，也包括元数据交换2。笔者认为OMG组织的CWM标准将会成为数据仓库元数据领域事实上的标准，在元数据仓储的建立过程中参考这个标准可使系统的完整性及可扩展性增强。3基于CWM标准的电力数据仓库元数据仓储开发3.1电力数据仓库元数据仓储体系架构设计为了设计出通用的、完整的电力企业数据仓库元数据仓储，其体系架构可参考CWM元模型的包结构，CWM元模型的包结构如图1所示。可将电力企业数据仓库元数据仓储分为元对象模型包、基础包、资源包、分析包、管理包等五个部分构建2。 图1： CWM元模型的包结构fig.1 Package of structure of Common Warehouse Metamodel3.2元对象模型包构建元模型包是构造和描述其它包中的元模型类的基础。它应包含电力企业最基础的数据及其关联，其它所有的包都以它为基础。通过调研分析，可得到电力企业数据仓库元对象模型包含的数据有人员(包括在职人员、调离人员、离退人员、人员工资)、部门、岗位、电力战略计划、电力项目、安全事故（包括电网事故、设备事故、人身事故）、电力资金（包括收入资金、支出资金）、电力设备（包括发电设备、变电设备、配电设备）、电量（包括发电量、购电量、输电量）、电网（包括内电网、外电网）、电厂（包括水电厂、火电厂、地方电厂）、变电站及用电客户等数据。将这些数据关联起来即可得到电力企业元对象模型包3。3.3基础包构建基础包主要用来表示电力企业模型业务信息的类与关联。经过对电力企业原信息系统分析及调查，笔者构建元数据仓储基础包时将其分为电力营销包、电力财务包、电网运行包、计划包、人资包、物流包等。其各个包包含的业务信息如表1所示。表1:电力基础包中包含的业务信息Tab1:Business Information Of Foundation Package In Electric Power Corporation包名业务信息电力营销包营业用户分析、电价电费分析、营业费用分析、电费回收分析、容量变化分析、业扩流程分析、抄表情况分析、月末抄表比重分析、电费异常(差错)分析、违约用电分析、窃电分析、停电分析、能源替代潜在市场分析等电力财务包工程进度分析、利润构成情况分析、资金分析、成本分析、预算核算走势分析、电力营销收入分析、财务资产负债分析等电网运行包 电厂发电供电情况分析、可靠性分析、线路检修分析、线路跳闸分析、电网负荷分析、购电情况分析、事故情况分析、设备事故分析、设备缺陷分析、设备异动分析、安全整改分析等计划包规划执行率分析、计划执行率分析、电网建设分析、用电测算分析、售电信息分析、生产计划完成情况分析、计划指标统计图表分析、工程进度分析、计划和预算完成情况分析、预算核算走势分析、项目资金到位完成情况分析、预测分析、物资需求分布分析等人资包岗位、学历、年龄、政治面貌、专业职务、技术职称等情况分析、统筹基金分析、账户划入分析、单位缴费分析、劳动工资情况分析等物流包物资收入量经济分析、材料物资的消费量(设备物资使用量)经济分析、物资库存量经济分析、超时限分析、市场信息分析、工程预算经济分析等3.4资源包构建资源包中主要包括数据仓库多维数据资源的元数据的类与关联。维度建模的目的是在为用户提供一组全局数据视图的基础上进行某一主题的业务分析。因为在数据仓库的维度建模技术中，主要从用户需求范围出发，考虑指标和维度及其各种主题下的分析参数。例如根据电力行业发电供电情况分析，其指标和维度及其各种主题下的分析参数可综合为各电厂相应时间段的发电量为多少？各电厂相应时间段的售电量为多少？各地区相应时间段的发电量为多少？各地区相应时间段的售电量为多少？各地区相应时间段的地区力率为多少？各地区相应时间段的地区最高负荷、最低负荷分别为多少？电力企业相应时间段的全网供电量为多少？电力企业相应时间段的网损率为多少？电力企业相应时间段的网供最高负荷、最低负荷分别为多少？根据以上问题的关联维度，形成电力企业供电情况分析多维数据资源模型，如图2。 图2：电力企业供电情况分析多维数据资源模型fig.2 Multimentional Data Resource model Of Electric Power Corporation Supply Electric Power Analysis 3.5分析包构建分析包中包括表示数据抽取和转换工具的元数据类与关联，及表示OLAP工具的元数据类与关联。表示数据抽取和转换工具的元数据类与关联主要解决数据进入数据仓库的入口一致性问题，数据仓库需要通过抽取过程将数据从联机事务处理系统、外部数据源、脱机的数据存储介质中导入到数据仓库，不同业务系统数据经过该模型统一转换清洗后进入数据仓库。表示OLAP工具的元数据模型主要支持多维分析的查询模式，其主要解决用户在使用数据仓库时的访问方式与效率问题，对于数据仓库的访问不是简单的表和记录的查询，而是基于用户业务的分析模式，即OLAP联机分析，OLAP特点是将数据想象成多维的立方体，用户的查询便相当于在其中的部分维上施加条件，对立方体进行切片、分割，得到的结果则是数值的矩阵或向量，并将其制成图表或输入数理统计的算法。 3.6管理（Management）包构建管理包用于描述数据仓库管理，它包括表示仓库过程的元数据的类与关联，及表示仓库操作结果的元数据的类与关联。该包内部以一种“快照”的数据结构组织数据，“快照”是当某一条件触发时，立即创建记录捕获一些信息。“快照”有两种类型，一种是因为一些事件触发的，称为“事件/快照”；另一种快照触发器是时间，这是一种可预期的触发器，它触发快照的业务事件是规律性的时间推移标志，称为“时间/快照”。快照元数据结构中一般包括关键字、快照产生的时间、与关键字相关的主要数据等。4结束语基于CWM标准的电力数据仓库元数据仓储的开发方案的应用可减少电力企业建设数据仓库的时间、成本和工作量。通过该元数据仓储可实现在一个单一的环境来实施和管理复杂的数据仓库系统，可保证数据仓库数据在不同数据源、不同类型数据转换方法情况下对转换过程进行记录，强化定义的商业规则，保证被转换和装载数据的完整性，保证数据仓库数据的一致性，从而提高数据仓库数据管理与访问的效率，提高电力企业领导决策效率。同时，CWM标准化模型提供的开放、可延伸的框架也保证了数据仓库应用时的可扩展性。参考文献:1 John Poole,Dan Chang,Douglas Tolbert,David Mellor著.公共仓库元模型开发指南.彭蓉，刘进译.北京：机械工业出版社,2004.9.1-31.2 John Poole,Dan Chang,Douglas Tolbert,David