数据仓库技术在燃气企业的应用探讨.doc

数据仓库技术在燃气企业的应用探讨数据仓库技术在燃气企业的应用探讨深圳市燃气集团有限公司孙伟摘要:简要介绍了数据仓库技术,探讨了数据仓库技术在燃气企业中的应用:主要是通过建立决策支持系统调用后台数据仓库信息进行分析展示,以协助管理者做出科学决策,提升客户服务水平.关键词:数据仓库;决策支持;数据挖掘随着燃气行业体制多元化进程的加快,国内燃气行业进入了高速发展期,燃气企业的经营方式与管理模式也发生了根本变化,企业大多面临着从以生产为中心向以服务为中心的转型,而信息化建设在这种转型中无疑起到了一种强有力的支撑作用.目前,部分燃气企业已经完成了对客户资料,生产,销售数据等的多方面采集工作.但缺少这样一种手段和模型:它能把分散在企业内外的有关客户及生产数据集成起来,向企业及员工及时提供对其总体的,统一的看法,一方面使企业能够及时了解客户的喜好,消费方式,消费异动动信息,另一方面使企业能够及时掌握日常生产态势,从而保证企业为客户提供更有效,更优质的服务,并可以进一步有针对性的采取营销策略和生产措施,以创造,吸引和服务更多的客户.本文引入了数据仓库技术,旨在建立一种决策支持系统,并探讨其在燃气企业应用的可能性.1数据仓库简介数据仓库是一个面向主题的,集成的,相对稳定的,反映历史变化的数据集合,用于支持管理者决策管理.相对于操作型数据库,数据仓库主要有以下四个特点:1.1面向主题操作型数据库数据组织面向事务处理任务,各个业务系统之问各自分离,而数据仓库中数据是按照一定主题域进行组织的.主题是指管理者使用数据仓库进行决策时所关心的重点方面,一个主题通常与多个操作型信息系统相关.数据仓库是在较高层次上将操作型数据归类,形成若干个主题范围.1.2集成操作型数据库通常与某些特定应用相关,数据库之问相互独立,并且往往是异构的.而数据仓库中是在对原有分散的数据库数据抽取,清理的基础上经过系统加工,汇总和整合得到的,必须消除源数据中的不一致性,以保证数据仓库内信息是关于整个企业的一致的全局信息.数据集成是数据仓库技术最关键,最复杂的一步.1_3相对稳定操作型数据库中数据通常实时更新,数据根据需要及时发生变化.而一旦某个数据进入数据仓库以后,一般情况下将被长期保留.数据仓库中一般有大量的查询操作,但修改和删除操作很少,通常只需要定期加载,更新.1.4反映历史变化操作型数据库主要关心当前某一个时段的数据.而数据仓库中数据反映历史信息,管理者可以通过她对企业的发展历程和未来趋势做出定量分析和预测.数据仓库的根本任务是把现有大量的业务信息加以整理归纳和重组,并及时提供给决策管理者.从产业界的角度看,数据仓库建设是一个工程,是一个过程.上海煤气2007年第4期(刀2数据仓库应用探讨数据仓库技术在燃气企业的应用主要表现在她能建立一个决策支持系统,基于此系统,管理者能够及时了解企业生产和客户信息,充分掌握企业的物流,资金流和信息流,并做出科学决策,保证企业以一种健康,高效的方式发展.该系统主要采用联机分析处理服务器,前端决策支持工具等工具,按照企业的需求建立分析应用程序,并可以将生成的报表及分析程序发布到WEB上,供管理者分析,查阅,由此提供决策支持.系统总体结构如图1所示,并作下面的说明.图1决策支持系统总体结构2.1源数据源数据是指燃气企业各业务系统数据及外部数据源数据.其中业务系统包括客户服务系统,营业收费系统,场站管理系统以及管网管理系统等,外部数据源包括文本文件及二进制文件等数据.2.2数据抽取模块数抽取模块将原有业务糸刀)2007年第4期上海煤气统数据库和外部数据源的数据,按照数据仓库模型整合到数据仓库中去,在此过程中完成数据的导出,清洗,转换,整合,传输,加载等操作,是决策支持系统中最为复杂的一个环节.在数据抽取模块中主要完成以下任务:1)确定抽取的数据源,主要从燃气企业各个业务系统中取得;2)导出业务数据,并对数据进行压缩和加密操作,放入临时数据库中;3)对临时数据库中数据进行清洗,合并来自不同数据源的信息,将代码转换为完整的有实际意义的描述(定义数据维),并提供接口以保证抽取的整体事务性:4)确定数据加载的目标数据仓库;5)加载数据,并确定加载的类型,是批量加载或者增量更新,并提供安全及权限管理,元数据管理和日志记录管理等.2.3数据仓库模块分为基础数据仓库和数据集市.基础数据仓库:数据仓库中的数据按照决策支持的需求而设计成定结构(如星型结构),在设计中兼顾系统未米发展和数据查询,访问的效率,在抽取的过程中,对数据进行完整性和有效性检查,对冗余和不一致的数据进行清洗和转换.数据集市:是数据仓库的子集,通常在基础数据仓库的基础上,根据企业前端分析需求,将详细数据聚合为汇总数据放在称为数据集市的数据库中,该数据库信息在各个不同的前端决策支持工具和其他业务系统中应用.2.4应用平台般而言,决策支持系统的应用平台后端连接数据仓库模块,前端使用决策支持工具将数据下载到本地结果集,从而进一步展示分析结果.前端分析界面的结构根据企业的要求及数据仓库面向主题的特性可分为查询分析,主题分析,统计报表分析,客户分析,企业收益分析,各种业务量分析等几个模块.针对每个模块编写具体的分析应用程序,以适应管理者不同的决策要求.当数据处理量大的时候,为提高数据分析速度,应该在应用平台和数据仓库之间加上一个联机分析处理服务器,以实现将数据仓库中数据转存入以多维数组组织的多维数据库中,数据以立方体结构进行存储.在关系数据库中,数据表的每一个字段对应于这种多维立方体结构的每一个维度,一般使用的维度有时问,部门单位,业务量,费用等.每个维度存在若干成员,成员又可以分子成员.维度和成员的这种树型结构形成了多维立方体的框架,即多维数据库的概要文件,相当于关系数据库的模型设计,如图2所示.,l一弋lI部门单位维.?._1=耍_tI;_=一一,l工程冈2多维立方体的框架图上述立方体数据可以在前端决策支持工具展示,通过切片,钻取,旋转等数据分析方法,定制灵活的查询,固定格式的报表,灵活报表等不同层次的应用,充分满足管理者不同需求,达到决策的科学化.2,5数据挖掘分析数据仓库及多维分析工具可以帮助管理者得到其希望的业务信息.但有时管理者还想知道哪些数据是有意义的,这些数据是否还隐藏着管理者意想不到的信息.这时就需要利用数据挖掘分析来帮助决策人员来揭示隐藏的信息.简单的说,数据挖掘就是使用各种计算,分析方法,从大量的数据中寻找数据与数据之间的关系.这种关系一般显示数据组之间的某种相关特性,一定程度上能给决策人员意想不到的启示,从而达到科学决策.3简单实例某燃气企业采集了从2005年2月至2005年7月每月的户内抢险作业数据,分析人员发现5月份抢险数量有所上升,如下图3所示:2月3月4月5月B月T月图3某燃气企业27月份抢险作业数量钻取图此时,分析人员可以通过对图3中5月份的柱体钻取来寻找下降的原因,如下图4所示,钻取到5月份该企业各服务网点户内抢险作业数量的构成情况.一队二队三队妞队五队太队图4该企业5月份各服务网点抢险作业数量钻取图从图4一队的长方形上又可以钻取出该企业抢险一队2005年2-7月份抢险作业嗣成情况,它及上海煤气2007年第4期(刀0000000l暑垂暑弓.,_,一一一三映了该队各月抢险作业数量是否出现异常,见图5.4结论2月3N4月5月6月7月图5该企业抢险一队27月户内抢险作业数量图燃气企业基于数据仓库技术建立健全决策支持系统,必将实现其核心业务从兼顾各项业务数据的统计,报表,汇总等繁重的后台工作中释放,有效缓解业务系统资源,大大提高业务系统响应能力,提高科学决策水平,从而不断提升客户服务水平.f收稿日期:2007.03.12)DiSCUSSionOnAppIicationofDataWarehouseTechnoIogyInGasEnterpriseShenzhenGasGroupCo.,Ltd.SunWeiAbstract:ThedatawarehousetechnologyisintroducedinbriefTheapplicationofdatawarehousetechnologyingasenterpriseisdiscussed.Basedonthedecisionandsupportsystemwhichusingthedatawarehouseinthebackground,informationisanalyzed,Thiswayhelptomakeasciencedecisionforgovemorsandpromotecustomerserviceleve1.KeyWords:datawarehousedecisionandsupportdatamining(上接第6页)分广阔.而需要注意的是,由于DME具有富氧燃烧特性,燃烧温度较高,必须关注其氮氧化物的排放情况.参考文献:I1】霍然.工程燃烧概论M.合肥:中国科学技术大学出版社,2001年2同济大学等.燃气燃烧与应用M.北京:中国建筑工业出版社,2000年(收稿日期:2007-01-15)ResearchonDimethylEtherSCombustionPropertyGuangzhouGasCompanyLuoDongxiaoNaturalGasApplicationResearchCenterofSouthChinaUniversityofScience&TechnologyYangYanliAbstract:ItSoneofsignificantmeasurestorestrainhighoilpriceinourcountrythatDimethylEtherisuseda.ssubstituteenergy.DimethylEtherhashighcombustionefficiencybecauseitcontainsoxygen.Byanalyzingandresearchonitscombustionmechanism.itscombustionefficiencyimprovesabout3%-5%comparedwithnaturalgasandliquefiedpetroleumgasundersameheatcondition.Furthermore.itcanbeusedasidealcleanfuelofdieselmotorduetoitshighercetanecontentandapproximatescharacteristicwith