（电气工程专业论文）供电局电力决策支持系统研制.pdf

摘要 供电局电力决策支持系统研制 学科：电气工程 作者：邢晨 导师：崔杜武教授 樊少华教授 摘要 答辩日期：2 0 0 3 1 0 作者签名 导师签名 论文对决策支持系统的相关技术进行r 综述，分析了五正安供电局的现有生产经营 管理状况。根据决策支持系统的目标要求，确定了系统运行的网络环境、软硬件平台 及系统开发 具：进行了系统需求分析，确定了，软什功能及模块结构。实现了数据抽 取、综合查询、联机分析和系统维护等功能。系统可以从已经建成的各个应用系统中 提取数据，建成数据仓库进行多角度的关联分析和方便的查询，并更好的为延安供 电局的牛产、经营和管理服务。 该系统的开发成功，全面地提高了延安供电周的计算机应用水平，快速推进了企 业信息化进程，同时也为其他供电企业的信息化提供了借鉴。 关键词：生产经营管理、数据仓库、在线联机分析处理、决策支持 a b s t r a c t r e s e a r c ho ft h ed e c i s i o n m a k i n g s u p p o r ts y s t e m i np o w e r s u p p l y b u r e a u s u b j e c t ： e l e c t r i ce n g i n e e r i n g a u t h o r ：c h e nx i n g s u p e r i o r ：p r o f d u v c uc u i p r o fs h a o h u af a n d a t e ：2 0 0 31 0 a u t h o rs i s u p e r i o r a b s t r a c t i nt h i st h e s i ss o m et e c h n i q u ea b o u td s si ss u m m a r i z e d a n a l y z i n g c u t f o n p r o d u c t i o na n dm a n a g e m e n ts t a t ei nv a n a np o w e rs u p p l yb u r e a u n e t w o r ke n v i r o n m e n t ，s o f t w a r ea n dh a r d w a r ep l a t f o r ma n dd e v e o p i n g t o o l so fs o f t w a r ea r ee s t a b lis h e d m a k in gt h er e q u i r e m e n t sa n a l y s i s ert h es y s t t q , m t h ef u n c t i o n so ft h es o r t w a r es y s t e ma n dm o d e l s t r u c t u r ea r em a d e i nt h es o 1 t w a r es y s t e md a t ao b t a i n e da n dd a t a o n l i n ea n a l y z e da n ds y s t e mm 8 i n t a ine t c a r ed e v e l o p e d i nt h es y s t e m a l lu s e f u ld a t ac a nb es u f f i c i e n c yc o m b in e df r o ma l l t h ea p p l i e d s y s t e ms o f t w a r ew h i c hh a sb e e nb u i i d ，a n dm a d ei t ss e r v e df o ry a n a n p o w e rs u p p l yb u r e a uw e ll 。 s u c c e e dd e v e l o p e do ft h es y s t e m ，f u ljs c a ei m p r o v e dc o m p u t e r a p p l i c a t i o ns k i l li ny a n a np o w e rs u p p l yb u r e a u ，f a s tc a r r yf o r w a r d t h e c o u r s eo f t h ei n f o r m a t j o nw h i c hi n t e r c o m m u n i o r l i nt h e e n t e r p r is e ita l s oc a nb eu s e df o rr e f e r e n c et oo t h e rp o w e rs u p p t y e n t e r p r is e k e yw o r d ：p r o d u c t i o na n dm a n a g e m e n t d a t aw a r e h o u s eo l a pd s s 第一章概迷 第一章概述 2 0 0 2 年4 月国务院批准了电力体制改革方案，其核心思想可以用1 6 个字来描述，“厂网分开、竞价上网、打破垄断、引入竞争”，简单的说就 是电力企业必需按照市场经济规律办事情。 作为一个电力企业的管理者，数年前，我们已经清醒的认识到了这个 趋势，先行一步，借助城、农网改造的机遇，加快延安供电局内部的建设， 强化市场意识，提升管理水平，在闩常工作中强调流程管理、强调员工工 作的标准化，通过流程再造，我们已经完成了企业基础管理环节的建设和 员t 理念的改造，大部分员工已经可以比较自觉、合格的完成自己的本职 工作，确保企q k 的正常运转。 基础管理完善以后，我们不仅要求企业整体业绩的提高，同时也开始 实施以s b u ( s t r a t e g i c n lb u s i n e s su n i t 的缩写，即战略事业单位) 为 基础的精细化管理，力求降低管理成本、提高效益。在实施精细化管理过 程中我们感到两个问题必须要解决： ( 1 ) 思想的转型 电力企业的职工对精细化管理的重要性认识不够，习惯以前粗放经营 的模式，满足已经取得的成绩，企业缺乏更上一层楼的思想基础。 ( 2 ) 技术的提高 从工作的执行层面来说：职工的工作水甲和各级干部的管理水平还急 需提高，工作的深度和广度不够，工作缺乏理性，很多事情还要靠“拍脑 袋”解决。 对于( 1 ) ，我们采取根据效益划拨经费的办法，强制各级管理者注重 成本，提高效益，使其明白效益与成本是息息相关的 对于( 2 ) ，我们运用i t 技术，建设各类辅助决策系统和知识管理系 西安理工大学工程硕士学位论丈 统，使各级领导存决策时可以比较全面的获耿各类信息，科学的进行比较， 尽量避免“拍脑袋”和“凭感觉”，强调理性，从而提高管理、决策的水平。 1 1 决策支持系统的概念 决策支持系统是7 0 年代后期西方国家兴起的一种新的管理信息技术。 它以管理科学、运筹学、控制论和行为科学为基础，以计算机技术、仿真 技术和信息技术为手段，面对半结构化的决策问题，辅助支持中、高层次 决策者的决策活动的、具有智能作用的计算机网络系统。它能为决策者提 供决策所需要的数据、信息和背景材料，帮助明确决策1 7 1 标和进行问题的 识别，建立、修改决策模型，提供各种备选方案，并对各种方案进行评价 和选优，通过反复的人机对话进行分析、比较和判断，为币确决策提供有 益帮助，并帮助决策者提高决策能力和水平。” 1 2 决策支持系统的产生 上个世纪5 0 年代至60 年代，人们开始运用计算机进行单项数据处理， 这样做丰要是为了提高工作效率、减轻工作负担，节省人力和降低工作费 用，人们称这样的系统是管理信息系统( m i s ) ，管理信息系统在上个世纪6 0 至7 0 年代得到了比较广泛的研究和应用，它对提高数据处理的速度提 高工作效率产生了极大的效果，但是，高效率，i 是人们所追求的一个“过 程月标”，而非“终极目标”。“高效率”并不等丁“高质量”，人们发现不 但要能正确的做好每一件事，而且要能正确做出每一个选择，才能为企业 带来真正的生命力。“i ”l 决策是一件困难的事情，它既牵涉到利弊的选择也关系到对问题本质 的分析，对于一个人来说，一生做对几次重大的选择就会走向成功，对于 个企业来说更是如此，“生产什麽样的产品，采取什麽样的管理，面对什1 麽样的客户”，选择的正确就叫以在市场竞争中站稳脚跟，反之就会被市场 第一枣概遗 海汰。在凌筵方嚣，诗雾搬与入类鞠缒有睡令比较鞠曩瓣魏势，一拿是存 德静继惑多，男一个黢惫记忆豹凑确性瓷，因此入镅露颦怒够弼惩诗算撬 熬这露令试点，黎麓久察潜一骜润鼷避学“分聿嚣”裙“憨考”，这襻藏涎奎 了决繁支持系绞。陡饕黉溪秘学、诗纂撬科学、嚣为秘学鄹裹遮惫予数攥 楚懑接零黪态凄发矮，凌繁支持系绫懿羧零瑟纛戒熬，不仅孬戮作为存麓 蕊惑鹣二爨藏霜寒宠藏一黧复杂熬诗舞，鬟蓬要将蒸瘦周在繁瑗工侉孛， 鼹敬变繁缓王 乍瓣活动方式、器维方式，并姆蔽为人们餐力添动懿有力王 冥，箨蘩决策黉爨麓决繁熬缝力鞠承平，鼹高决繁翁溪爨秘效豢。 l 。3 决策支持系统的特点 ( ) 决策支持系统懿强标 凌繁支持系绞以疆裹决策麓散鬃为囊标，这雩啻会人类活麓掰逡袋懿最 终瓣稼。邀予数撵缝逢秘蛰疆赣惫系统麓惹羧点怒季l 矮计黪瓿l 弋整援毒亍手 工搽份，以达到葛省人力、女l 袄速度蠢撬麓王俘效率的鑫撂。觚我潮麓黧 憾滋发，节省人力不是瘸憨瓣关建所在，笑瀵麴蠲麓是器办_ 褰潺瓣效鬃， 羲怒秀麓鼹遴企照经济效麓的撬巅裙为广大入氐群众带来嚣多豹硝蘸。 ( 2 凌策支持系统黠决策浆支褥 睾溺 获蘩支麓系绫支撩决策熬全避程，支持并按决繁畿兹爨囊去蹙壤瓣憨， 夺不蘑除羧掇供不麟形式赘支持。毽必绥鼷诵臻出，决繁交撩系绫哭缝黠 决繁卷超“支持”、“嫠魏”豹箨璃，爨秘撬藏决娥者豹决篆怒力萋瑟东平， 露不露麓找罄决繁餐戆惑绻葶羹最终判馥。浃策者瓣妻溪靛渤髂蠲、缀骏、 餐慧秘裁浆将惑麓超主嚣馋爝熬。嚣瑟，决楚支挎系绫豹浚诗帮建立，应 当繁中注感力，努力翻逡一令磐瓣决策环凌和决繁支跨王兵，议支撩决繁 者豹王捧，充分发簿决策黉豹餐慧鞠裁遗浚，努力傻决策尽司+ 巍豹承穗。 ( 3 ) 决策支撩系统黪针对性 凌繁支持系统怒缀畜舒对髌勰。警我稍疆究行发决策支持系统瓣爵候， 西安理工大学工程硕士学位论文 总是面对某一确定的决策类型而展丌工作。一个决策支持系统不可能支持 各种各样的决策问题。 ( 4 ) 决策支持系统可支持半结构化的决策问题 决策支持系统能够支持的是半结构化的决策问题。这罩，结构化程度 是指某一决策过程的环境和原则，能否用明确的语占( 数学的或逻辑的， 定量的或定性的) ，给以清楚的说明或描述。如果能够描述清楚的，则称为 结构化的问题；若1 i 能，则称为非结构化的决策问题。介于这两者之1 1 日j 的， 即刈问题宵所了解，但不全面；有所分析，但不确切；有所估计，但不准 确的问题，称为半结构化决策问题。对于结构化的问题决策，其取向一目 了然，无需决策支持系统解决：对于非结构化的问题，e l i , , i n 些决策过程 复杂、制定决策前难以准确识别决策过程的各个方面，以及决策过程形式 表现为各个阶段的交错、循环与反复的一类问题，一般无固定的决策规则 和模式可依。决策者的主观行为( 经验判断、洞察力与决策风格等) 对各 阶段的活动效果有相当的影响，决策支持系统无法发挥作用。现实生活中， 大量存在的是半结构化的决策问题，这正是决策支持系统能够发挥用武之 地的环境。决策支持系统足以“支持”半结构化决策为特征的计算机决策 系统。这类决策兼有结构化和非结构化决策的各自特点。因此，在建立决 策支持系统的过程中，就要深入研究具有这两种特征的决策活动。 ( 5 ) 决策支持系统是用户驱动的动态系统 决策支持系统是一种用户驱动的动态系统。用户参与系统研制和运行 的全过程，系统对用户的要求应具有快速的响应能力。在应用中，根据用 户的要求，边用边改，不断充实改善，最终满足用户要求。 ( 6 ) 决策支持系统是模型驱动的系统 决策支持系统是模型驱动的。模型库和模型管理系统足决策支持系统 软件系统的中心，关于模型的所有操作，都是通过决策支持系统的数据库 管理系统进行的，决策支持系统的模型库具有智能作用。决策支持系统数 据的选取是由模型确定的。因此，决策支持系统的分析与设计是以决策所 第一章概述 依掘的模型为重要对象。一般来说，决策者为主体的管理决策过程是经历 了情报( 进行数据的收集和处理、研究决策环境、分析和确定影响决策的 因素或条件的一系列活动) 、设计( 发现、丌发和分析各种可供选择方案 的活动) 、选择( 确定“最佳”的可行方案，进行方案评价与审核，并予 以实施) 这样三个阶段。”“ 1 4 决策支持系统的功能 ( 1 ) 整理并及时提供与决策有关的各种数据。主要有本系统数据，如 企业的经营、财务、设备情况等数据；系统之外的数据，如市场需求、竞 争对手、原料价格、新技术动态等数据；有关反馈信息，如生产计划、完 成情况、产品销售和用户反映情况等。 ( 2 ) 能够用一定的方式存贮存与所研究的决策问题有关的种种模型和 方法。如预测模型、库存控制模型、运行调度模型；动态规划、计量经济、 线性和非线性规划方法等。 ( 3 ) 数据、模型、方法的管理应该很容易方便。例如，数据模式的改 变，模型的连接与修改等等，都可以由用户方便地修改。 ( 4 ) 能够灵活地运用模型与方法对数据进行加工和分析、预测，以便 得到所需要的综合的预测信息。 ( 5 ) 能提供方便的人机对话接l 7 或图形输出功能，可以随机查询所要 求的数据。 ( 6 ) 具有快的加工速度与短的响应时阳j 。1 “1 其中最核心的是为决策者提供服务，根据决策的需要决定决策支持系 统、e 该具有的功能。 1 5 延安供电局管理信息化现状 延安供电局近年来不断加大信息化建设的力度，分别完成了 、 、 、 、 等大型项目的建设，推广了国电公司统一开 发的 ， 等号用系统，这砦系统对 于提高j ：作效率，规范 作流程起到了重要的作用，尤其是 的开发，为局机关的管理工作带来了极大的方便。 建成的管理信息系统具有用电管理、调度管理、财务管理、经营管理 和负倚控制等子系统，包括了整个供电局的生广、经营、行政后勤三大部 分，基本上涵盖了电力企业管理的所有业务范围，而且经过了较长时间的 运行，已经积累了大量的数据，有效地促进了企业的信息化水平的提高， 取得了一定的效果。但是作为传统的m i s 系统，延安供电局管理信息系统 也存在一些缺点，主要有以下几点： l 、无法让最终用户从多角度、多侧面、多层次地考察数据库中的数据， 从而深入地理解包含在数据中的信息及其内涵。 2 、不能快速响应用j 、t 的分析请求。传统的s 系统基本上不具有对数 据分析的功能。这样以来，尽管企业存储了大量数据，但是，却不能将这 些数据转化为管理人员的财富。 3 、无法实现联机分析( o l a p ) 功能。传统的m i s 系统不能给用户提供 强大的统计、分析和报表处理功能以及趋势预测能力，使管理人员无法实 现从宏观卜- 或微观上对数据进行深入分析，从而影向决策质量。 从上面的分析可以看出，传统的m i s 系统已经不能满足电力企业发展 的需要。 1 6 课题的任务和预期目标 1 、改造原管理信，自、系统，使之能为决策支持系统提供较好支持。 完善延安供电局m s 系统原有各子模块的功能，增加报表生成功能 和高级查询功能，实现调度管理子系统、用电管理子系统与负控、用电营 第一章概述 业管理系统的综合查询和完善的图表分析功能。 2 、建立决策支持系统。 该系统具有以下功能和性能： ( 1 ) 能准确、及时地收集企业所属范围内的生产与经营信息，进行科 学地加工，为各部门和领导决策层提供合格的信息服务。要建立计算机网 络和共享数据库，实现数据资源的统一和共享。 ( 2 ) 提供多种形式的查询方式，供决策者方便地使用。 ( 3 ) 具有对企业的人力资源、财务状况、生产运行、经营状况等进行 联机分析功能，辅助企业领导进行决策。 ( 4 ) 保障系统安全、町靠。 ( 5 ) 具有良好的扩充性。可以根据企业需求的变化，对系统功能进行 扩充。 第二章系统分析及设计 第二章系统分析及设计 2 1 网络拓扑图 根据需要，系统的网络拓扑如图2 一l 所示。 图2 1 网络拓扑图 2 2 系统平台及开发工具 l 、操作系统等软件平台 为了便于系统的部署和维护，降低运行成本，本系统采用b s 三层体 系结构。其中数据库服务层和w e b 应用服务层的操作系统软件选用w i n d o w s 2 0 0 0s e r v e r 中文操作系统。数据库服务层选用o r a c l e 9 i 企业版，w e b 应 用服务层的w e bs e r v e r 采用b e a 公司的w e b l o g i c 6 1 食业版。o l a p 应用 西安n _ x - 大学工程硕士学位论丈 服务器采用b u s i h e s so b j e c t 公司的b o 专业版。客户端安装i e 4 0 以上浏 览器。 2 、硬件环境 服务器是在网络王1 i 境下提供网上客户机共享资源( 包括空间、存储、 计算等) 的设备，应具有高可靠性、高性能、高吞吐能力、大容量等特点， 是以网络为中心的现代化计算环境的关键设备。应用服务器的硬盘窀间要 大于4 0 g ，内存大于1 ( nc p u 两个。 工作站配置：考虑到对现有计算机设备的利用，决策系统可以运行在 各种系统的工作站上：如w in d o w9 8 m e x p 2 0 0 0 等。 3 、软件开发工具 系统采用b s 模式，广泛使用j a v a 技术，因此我们通过比较，采用 j b u i i d e r 企业版6 o 来丌发调试j a v a 程序：用d r e a m w e a v e r 4 0 进行网页 设计；用h a i n e n gc h a r t 2 0 制作网页中的动态图表，实现类似a s p 中 a c t i v e x 的绘图功能。 2 3 系统的功能模块 经分析确定，延安供电局决策支持系统主要包括查询子系统、联机分 析子系统、数据仓库子系统( 数据抽取子系统) 、系统管理子系统，其结构 如图2 2 所示。 现简要介绍如下： l 、数据抽取子系统 数据抽取是决策支持系统得以实现的基础。数据源于现有已建成的系 统。数据仓库的建设取决丁二系统实现的功能。经过对比选择了o r a c l e 公司 的0wb 数据仓库产品来实现动态地从mis 数据库抽取数据，其数据抽 取工作一般不需要用户f 预。 第= 章系统分析及设计 图2 - 2 系统模块结构图 2 、查询子系统 主要实现对所有业务科室的重要数据进行查询。该模块查询内容几乎 涵盖了供电局所有的业务科室，并且查询方式直接简便。通过查询模块j 以迅速查询各种数据，如人事信息、设备信息、财务信息、生产信息等。 此外，为了给用户提供更加友好的界面和更利r 便捷操作，该模块中实现 了多种查询方式：如通过专项查询可以帮助用户方便快速地定位一些常用 的、重要的查询信息而不必去构造查询条件；通过通用查询可以帮助用户 西安理工大学工程硕士学位论文 剧构造条件的方法去准确的获耿需要的数据；模糊查询具有。定的智能性， 它向用户提供类似搜索引擎一样的简洁界面，使其能查询到随心所欲的数 据组合。 查询子系统的主要功能包括人事信息查询、财务信息查询、经营计划 信息查询、市场管理信息查询、电费电价信息奋询、物资信息查询、生产 信息查询和安全信息查询。 3 、联机分析子系统 提供的功能使企业领导、中层干部、管理人员能够从多角度对信息进 行快速、一致、交互地分析，从而获得对数据的更深入的了解。延安供电 局决策支持系统采用多维分析方法。我们根据o l a p 的基本原理对比了多 个o l a p 工具，选择了b u s i n e s so b j e c t 公司的b o 产品，通过b o 可视工 具，我们可以建立自己需要的语义层，从而方便的完成数据抽取到联机多 维分析的全过程。联机分析模块是本系统的核心功能之一。该模块采用多 维的方式向用户提供对各种用例数据进行分析和钻耳义的功能。具体的o l a p 用例包括：产品完成数量与累计容量对比、年分压线损率与线损电量对比、 各区年线损率与线损电量对比、售电收入分析、分区线损电量统计、产品 销售情况分析、职工学历与科技成果分析、职工学历变化趋势分析、利润 分析。 此外，考虑到软件的可扩充性和供电局本身业务的扩展，本系统特别 为用户提供了用例模型的构造和增加接口。当用户有新的分析需求而现有 的用例模型又没有该功能的时候，就可以把新的模型加进去达到扩充软件 功能的目的。 4 、决策分析模块 该模块是决策支持系统的一个核心模块之一。它以数据仓库为基础， 通过对各个决策项目进行抽象建模，形成完整” 信的决策依据。有关决策 人员可以通过这些依掘对各种项目( 如利润构成、全要素生产、投资决策 等) 进行辅助决策。一方面，可以提高项目投资可靠性和准确性，降低项 第二章系统分析及设计 目投资风险；另一方面，有助于帮助决策者分析生产管理中深层次的问题， 从而可指导改善管理方法，挖掘潜在效益。 合理的决策是建立在大量翔实的数据基础之上的。这需要对大量数据 进行分析，即数据挖掘。所谓数据挖掘( d a t am inj n g ) 就是从大量的、 不完全的、有噪声的、模糊的、随机的数据中，提取隐含在其中的、人们 事先不知道的、但又是潜在有用的信息和知识的过程。有的文献采用相近 似的术语，如从数据库中发现知识、数据分析、数据融合以及决策支持等。 人们把原始数据看作是形成知识的源泉，就像从矿石中采矿一样。原始数 据可以是结构化的，如关系数据库中的数掘，也可以是半结构化的，如文 本、图形、图像数据，甚至是分布在网络上的异构型数据。发现知识的方 法可以是数学的，也可以是非数学的；可以是演绎的，也可以是归纳的。 发现了的知识可以被用于信息管理、查询优化、决策支持、过程控制等。 还u j 以用于数据自身的维护。 5 、系统管理子系统 系统管理子系统负责整个系统的安全管理、门1 户身份验证和用户权限 分配。它提供了一个操作简便易于维护、安全性强操作管理平台。决策支 持系统的安全认证采用分角色管理，整个系统按职能划分为：局长、总工、 科长、普通成员等角色，每个角色有不同的使用权限，其身份识别流程如 图2 3 所示： 图2 - 3 系统身份识别流程 第三章实现系统功能的技术原理 第三章实现系统功能的技术原理 3 1 联机分析 联机分析处理( o l a p ) 的概念最早是由关系数据库之父e f c o d d 于 1 9 9 3 年提出的，他同时提出了关于o l a p 的1 2 条准则。o l a p 的提出在计算 机界引起了很大的反响。 o l a p 是使分析人员、管理人员或执行人员能够从多角度对信息进行快 速、一致、交互地存取，从而获得对数据的更深入了解的一类软件技术。 o l a p 的目标是满足决策支持或者满足在多维环境f 特定的查询和报表需 求，它的技术核心足”维”这个概念。 “维”( d i m e n s i o n ) 是人们观察客观世界的角度，是一种高层次的 类型划分。“维”一般包含着层次关系，这种层次关系有时会相当复杂。通 过把一个实体的多项重要的属性定义为多个维，使用户能对不同维上的数 据进行操作。因此o l a p 也可以说是多维数据分析工具的集合。” o l a p 的基本多维分析操作有钻取( r o l lu p 和d r i l ld o w n ) 、切片 ( s lic e ) 以及旋转( p i v o t ) 等。钻取是改变维的层次，变换分析的粒度。 它包括向上钻取( t 0 1 lu p ) 和向下钻取( d r i lld o w n ) 。t 0 1 1u p 是在某一 维上将低层次的细节数据概括到高层次的汇总数据，或者减少维数：而 d r i l ld o w n 则相反，它从汇总数据深入到细节数据进行观察或增加新维。 切片和切块是在一部分维上选定值后，关心度量数据在剩余维上的分布。 如果剩余的维只有两个，则是切片；如果有t 个，则是切块。旋转是变换 维的方向，即在表格中重新安排维的放置( 例如行列互换) 。 由上所知，联机分析处理的实质是模仿人类多角度的思考模式，预先 为用户组建多维的数据模型。例如对销售数据的分析，时间周期是一个维 西安理工大学工程硕士学位论丈 度，产品类别、销售渠道、地理分伟、客户群类也分别是个维度。 旦 多维数据模型建立完成，用户可以快速地从各个分析角度获取数据，【乜能 动态地在各个角度之m j 切换或者进行多角度的综合分析，因而具有极大的 分析灵活性。这三是联机分析处理在近年来被广泛天注的主要原因。” 联机分析处理主要有三种不同的实现方法： ( 1 ) 关系型联机分析处理( r o l a p ，r e l a t i o l l a lo l a p ) ( 2 ) 多维联机分析处理( m o l a p ，m u l t id i m e n s i o n a o l a p ) ( 3 ) 前端展示联机分析处理( d e s k t o po l a p ) 其中，前端展示联机分析需要将所有数据i 、载到客户机上，然后在客 ，、机上进行数据结构报表格式重组，使用户能在本地实现动态分析。该方 式比较灵活，然而它能够支持的数据量非常有限，严重地影响使用的范围 和效率。因此，随着时叫的推移，这种方式已退居次要地位。 l 、关系型联机分析 关系型联机分析处理是以关系型数据库为慕础的。假设我们要进行产 品销售的财务分析，分析的角度包括时间、产品类别、市场分布、实际发 生与预算四方面内容，分析的财务指标包括：销售额、销售支出、毛利( 销 售额一销售支出) 、费用、纯利( 毛利一费用) 等内容，| i ! | j 我们可以建立如图 3 1 所示的数据结构。 图3 1 产品销售财务分析数据结构 第三章实现系统功能的技术原理 该数据结构的中心是主表，里面包含了所有分析维度的外键，以及所 有的财务指标，可计算推导的财务指标不计在内，我们称之为事实表( f a c t t a b e ) 。周围的表分别是对应于各个分析角度的维表( d i m e n s i o nt a b l e ) ， 每个维表除了主键以外，还包含了描述和分类信息。无论原来的业务数据 的数据结构如何，只要原业务数据能够整理成为以上模式，则无论业务人 员据此提出任何问题，都可以用s q l 语句进行表连接或汇总( t a b l ej o i na n d g r o u pb y ) 来实现数据查询和解答。这种模式被称为星型模式 ( s t a r s c h e m a ) ，可应用于不同的联机分析处理应用中。 图32 是另一个采用星型模式的例子，分析的角度和指标截然不同， 但数据结构模式一样。我们看到的不是表的数据，而是表的结构。在联机 分析处理的数据模型设计中，这种表达方式更为常见。 c u s t o m e rd i m e n s i o n p r o d u o td i m e r m l o n 图3 2 星型模型的数据结构 有时候，维表的定义会变得复杂，例如对产品维，既要按产品种类进 行划分，对某些特殊商品，又要另外进行品牌划分，商品品牌和产品种类 划分方法并不一样。因此，单张维表不是理想的解决方案，可以采用如罔 3 - 3 所示的星型结构拓展的模式，通常称之为雪花型模式( s n o w f l a k e s c h e m a ) 。 西安理工大学工程硕士学位论文 图3 3 雪花型模式 无论采用何种模式，关系型联机分析处理都具有以下特点： 数据结构和组织模式需要预先设计和建立； 数据查询需要进行表连接，在查询性能测试中往往是影响速度的关键； 数据汇总查询( 例如查询某个品牌的所有产品销售额) ，需要进行g r o u p b y 操作，虽然实际得出的数据量很少，但查询时间变得更长； 为了改善数据汇总查询的性能，可以建立汇总表，但汇总表的数量与 用户分析的角度数目和每个角度的层次数目密切相关。例如，用户从8 个 角度进行分析，每个角度有3 个汇总层次，则汇总表的数目高达3 的8 次 方。 可以采取对常用汇总数据建立汇总表，对不常用的汇总数据进行g r o u p b y 操作，这样来取得性能和管理复杂度之间的不同于关系型联机分析。 2 、多维联机分析( m o l a p ) 多维联机分析( m o l a p ) 实际上是用多维数组的方式对关系型数据表 进行处理。图3 - 4 是r o l a p 与m o l a p 的财比。 第三章实现系统功能的技术原理 f a c ct a d l e 0 u 蟠o m 耵再m e r e 磐 p f 断l l d0 e 0 1j a n r 0 1 髂 c 。 r 2 0 0 。r d 3锚e 0 0f 曲r 0 14 。 0 0f e b r 0 22 0 0 1 趣辩3 4 轴日 r 0 鹱5 0 0j m a rr 0 23 秘 e ，、， 然 n a r n e l r dn a m e lg d b r 0 1g u a 雌z n 0 0 2e b b r 艘b e i j t 凹 哟c t i c s s b a n 1 a j i m e n s i o n t a b l e 图3 - 4r o l a p 与m o l a p 的刘比 图中危边是r o l a p 方式，有边是m o l a p 方式，两者对应的是同一个 三维模型。m o l a p 首先对事实表中的所有外键进行排序，并将排序后的具 体指标数值一一写进虚拟的多维立方体中。当然，虚拟的多维立方体只是 为了便于理解而构想的，m o l a p 实际的数据存储放在数据文件中，其数摒 放置的顺序与虚拟的多维声方体与空间i 维 坐标展开的顺序是一致的。同时，为了数扼查找的方便，m o l a p 需要 预先建立维度的索引，这个索引被放置存m o l a p 的概要文件中。概要文 件是m o l a p 的核心，相当于r o l a p 的数掘模型设计。概要文件包括所有 维的定义以及各个层次的数据汇总关系( 例如通过时间维lz j 以实现从r 至 月至季度以至于年度的汇总) ，这些定义彳丰_ 律从天系型维表中直接引入即 可。概要文件也包括分析指标的定义，凶此可以在概要文件中包含丰富的 衍生指标，这些衍生指标由基础指标计算推导出 一甘概要文件定义好，m o l a p 系统可以 j 动安排数据存储的方式和进 行数据台询。从m o l a p 的数据文件与r o l a p 的事实表的刘比叫以看出， m o l a p 的数据文件完全不需要纪录维度的外键，在维度比较多的情况下， 西安理工大学工程硕士学位论文 这种数据存储方式大量地节省了空间。图3 - 5 示出了概要文件的结构。 。一一。一+ 。一。二， 图3 - 5 概要文件的结构 在实际应用中，只要预先定义好概要文件，所有的数据分布就自动确 定了。在这种模式巾，密集维的组合组成了数据块( d a t ab l o c k ) ，每个数 据块是i o 读写的基础单位，所有的数据块组成了数据文件。稀疏维的组合 组成了索引文件，索引文件的每一个数据纪录的术尾都带有一个指针，指 向要读写的数据块。因此，进行数据查询时，系统先搜索索引文件纪录， 然后直接调用指针指向的数据块进行i o 读写，将相应数据块调入内存后， 根据密集维的数据放置顺序直接计算出要查询的数据距离数据块头的偏移 量，直接提取数据下传到客户端。因此，m o l a p 方式基本一卜是索引搜索 与直接寻址的查询方式相结合，比起r o l a p 的表索引搜索和表连接方式， 速度要快一些。 多维联机分析处理有以下特点： 需要预先定义概要文件； 数据查询采用索引搜索与直接寻址的方式相结合，不需要进行表连接， 在查询性能测试中比起r o l a p 有相当大的优势； 在进行数据汇总查询之前，m o l a p 需要预先按概要文件中定义的数 第三章实现系统功能的技术原理 据汇总关系进行计算，这个计算通常以批处理方式运行。计算结果回存在 数据文件中，当用户查询时，直接调用计算结果，速度非常快。 无论是数据汇总还是计算衍生数据，预先计算的方式实际上是用空 间来换时间。当然，也可以选择动态计算的力式，用查询时问来换取存储 空间。m o l a p 州以灵活调整时空的取舍平衡。 延安供电局决策支持系统采用r o l a p 方法进行数据组织，为了更好地 呈现联机分析的结果，我们选择了b u s i n e s so b j e c t 公司的b 1 分析工具一b o ， 通过b o 我们可以用可视化工具建立自己需要的语义层，从而方便的完成 数据抽取到联机多维分析的全过程。联机分析模块是本系统的核心功能之 。该模块采用多维方式向最终用户提供对各种用例模型分析和钻取功能。 具体的o l a p 用例包括供电局( 分电压等级、分区) 线损分析、市场推广 分析、售电构成分析、供电局利润构成分析等。 以售电分析为例，具体用例模型如图3 - 6 所示。该图为售电分析用例 的语义层。左框架中定义分析的维度( 例如时问维) 、层次( 年、季度、月 份) ，以及度量对象( 售电量、售电收入) ；右框架中定义所需使用的库表， 以及表与表之间的关联关系。 暇黑黔骶璁暇紫黧篡妒嘲嘲麓8 9 ”。”强糯瓤 删3 一i 瓤m 埘。 0 羔1 2 坠i ? 肾2：】等似 、 nl _ =p # 1 o o 牌1 一：。 际 胖1 j 。臼一一一 b 刖j=f m 7 自 i i 查要型9 也- 茚舞访画而i i i l 矿! 曼! ：二竺! 堂_ 1 誊西湖”m 若 图3 - 6 售电分析的用例模型 由于分析需求的实现均在语义层的基础上构建，因此，为了便于软件 西安理工大学工程硕士学位论文 分析功能的扩充，系统特别为用户提供了用例模型的构造接口。当有新的 分析需求时，可以把新的模型加进去即可达目的。 3 2 数据仓库 数据仓库( d a t aw a r e h o u s e ) 足一个面向主题的、集成的、相对稳定 的、反映历史变化的数据集合，可以用于支持管理决策。对于数据仓库的 概念可以从两个层次理解：首先，数据仓库用j i 支持决策，面向分析型数 据处理，它不同于企业现有的操作型数据库。其次，数据仓库是对多个异 构的数据源有效集成，集成后按照主题进行了重组，并包含历史数据，而 且存放在数据仓库中的数据一般不再修改。 数据仓库主要有以下特点： ( 1 ) 面向主题。主题是一个抽象的概念，是指用户进行决策时所关心 的重点方丽，一个主题通常与多个信息系统相关。数据仓库中的数据是按 照。定的主题域进行组织的。 ( 2 ) 集成的。而数据仓库中的数据是在对原有分散的数据库进行数据 抽取、清理的基础上经过系统加工、汇总和整理得到的，必须消除源数据 中的不一致性，以保证数据仓库内的信息是关于整个企业的一致的全局信 息。 ( 3 ) 相对稳定的。数据仓库的数据主要供企业决策分析之用，所涉及 的数据操作主要是数据查询，一旦某个数据进入数据仓库以后，一般情况 下将被长期保留，通常只需要定期的加载、刷新。 ( 4 ) 反映历史变化。数据仓库巾的数据通常包含历史信息，系统记录 了企业从过去某一时点到目前各个阶段的信息，通过这些信息，可以对企 业的发展历程和未来趋势做出定量分析和预测。 企业数据仓库的建设，是以现有企业业务系统和大量业务数据的积累 为基础。数据仓库不是静态的概念，只有把信息及时交给需要这些信息的 第三章实现系统功能的拉术原理 使用者，供他们做出改善其业务经营的决策，信息才能发挥作用，信息才 有意义。而把信息力以整理归纳和重组，并及时提供给相应的管理决策人 员，是数据仓库的根本任务。 一般而言，整个数据仓库系统包含四个层次的体系结构，如图3 - 7 所 示。 固 芒3 定3 目 藿鬟徘鐾出剑守置： 矗撵- m 辄 p 务器 图3 7 数据仓厍系统体系结构 其中：数据源是数据仓库系统的基础，是整个系统的数据源泉。通常 包括企业内部信息和外部信息。内部信息包括存放于数据库中的各种业务 处数据和各类文档数据。外部信息包括各类法律法规、市场信息和竞争对 手的信息等等： 数据的存储与管理：是整个数据仓库系统的核心。数据仓库的真正关 键是数据的存储和管理。数据仓库的组织管理方式决定了它有别于传统数 据库，同时也决定了其对外部数据的表现形式。要决定采用什么产品和技 术来建立数据仓库的核心，需要从数据仓库的技术特点着手分析，针对现 有各业务系统的数据，进行抽取、清理，并有效集成，按照业务主题进行 组织。数据仓库按照数据的覆盖范围可以分为企业级数据仓库和部门级数 据仓库( 通常称为数据集市) 。 0 i 。a p 服务器：对分析需要的数据进行有效集成，按多维模型予以组织， 以便进行多角度、多层次的分析，并发现趋势。其具体实现可以分为：r o l a p 、 m o l a p 和h o l a p 。r o l a p 基本数据和聚合数据均存放在数据库之中；m o j j a p 骗 礴 强 ；m 融 西安理工大学工程硕士学位论文 基本数据和聚合数据均存放于多维数据库中；h o la p 基木数据存放于数据厍 之中，聚合数据存放于多维数据库中。 前端工具：芋要包括各种报表工具、查询1 ：具、数据分析工具、数据 挖掘工具以及各种基于数据仓库或数据集市的应用开发工具。其中数据分 析工具主要针对o l a p 服务器，报表工具、数据挖掘工具主要针对数据仓库。 数据仓库模块是一个基础模块，向其他模块提供准确、可靠的数据， 也是决定系统能否取得有价值的分析结论的关键一环。如果数据不准确， 则决策结果势必不可靠。 根据决策支持系统的特点，数据仓库的结构如图3 - 8 所示。 图3 8 数据仓库的结构 对企业自身米蜕，数据仓库的建设是一项系统l 一程，是一个不断建立、 发展、完善的过程，通常需要较氏的时间。这就要求各企业对整个系统的 建设提出一个全面、清晰的远景规划及技术实施蓝图，以“总体规划、分 步实施、步步见效”为原则，这样不仅可以迅速从当前投资中获得收益， 逐步构建起完整、健jl 的数据仓库系统。 企业数据仓库的建设通常按照快速原型法予以实施，主要包括：确定 范围、环境评估、分析、设计、开发、测试和运行等几个阶段。 ( 1 ) 确定范围 第三章实现系统功能的技术原理 确定范围的主要任务包括了解方向性分析处理需求，确定信息需求， 确定数据覆盖范围。方向性需求包括：决策类型、决策者感兴趣的问题( 或 对象) 等。 ( 2 ) 环境评估 环境评估是对企业数据仓库系统建设的硬什环境和软件环境进行选型 和准备。在硬件平台选择中需要选择与数掘仓库系统规模相适应的核心服 务器，同时我们认为数据仓库系统平台应与业务处理平台应该相分离。软 件平台的选择主要包括数据仓库引擎、o l a p 引擎、前端分析展现工具的选 择。 ( 3 ) 分析 分析阶段主要包括两个方面的任务：一是深入了解数据源，二是分析 数据仓库系统所包含的主题域及其相互之间的天系。分析阶段必须峰持最 终用户的参与，并且与原有系统开发或维护人员进行深入的沟通。 ( 4 ) 设计 数据仓库设计的主要任务包括与原有操作型收据库系统接口的设计和 数据仓库本身的设计两部分内容。其中与操作型系统接u 的设计主要是指 数据抽取、清理、转换和刷新策略的设计。当从多个不同的数据源中抽取 数据时，需要解决数据的不一致性，保证数掘的质量。数据的不一致性主 要包含模式冲突和语义冲突。从操作型数据库模型到数据仓库模型的转变 需要大量细致的工作，例如： 一消除纯粹的操作型数据； 一对多张表中的有关数据进行合理合并： 一在数据中增加时间关键字； 一按照合适的数据粒度进行综合。 ( 5 ) 开发 开发阶段所要完成的主要内容包括数据仓库建模、数据抽取和加载模 块、数据访问模块。实际应用丌发应从急需的业务开始进行。 西安理工大学工程硕士学位论文 ( 6 ) 测试 测试是保证系统可靠性的重要手段。数据仓库测试与一般软件系统测 试不同的是，数据仓库的测试不仅包括对软件系统的测试，同时包括对数 据的测试。在测试阶段必须保证测试的充分性，同时注意测试数据的覆盖 范围。 ( 7 ) 运行 系统运行主要包括用户培训、数据加载、数据访问及应用等。在数据 仓库系统的运行过程中，应该不断搜集用户新的需求并加以完善。同时随 着业务的发展，数据仓库的价值也将随之增长。 3 3 决策与分析 数据挖掘所能发现的知识有如下几种：广义型知识，反映同类事物共 同性质的知识；特征型知识，反映事物各方面的特征知识；差异型知识， 反映0 i 同事物之间属性差别的知识：关联型知识，反映事物之间依赖或关 联的知识；预测型知识，根据历史的和当前的数据推测未来数据；偏离型 知i j ，揭示事物偏离常规的异常现象。所有这些知识都可以在不同的概念 层次上被发现，从微观到中观再到宏观，以满足不同用户、不同层次决策 的需要。例如，从一家超市的数据仓库中，可以发现的一条典型关联规则 可能是“买面包和黄油的顾客十有八九也买牛奶”，电可能是“买食品的顾 客几乎都用信用卡”，这利，规则对于商家开发和实旋客户化的销售计划和策 略是非常有用的。至于发现工具和方法，常用的有分类、聚类、模式识别、 可视化、决策树、遗传算法、刁i 确定性处理等。 数据挖掘涉及的学科领域和方法很多。根据挖掘任务分，可分为分类 或预测模型发现、数据总结、聚类、关联规则发现、序列模式发现、依赖 关系或依赖模型发现、异常和趋势发现等；根据挖掘对象分，有关系数据 库、面向对象数据库、审问数据库、时态数据库、文本数据源、多媒体数 第三章实现系统功能的技术原理 据库、异质数据库、遗产数据库以及w e b 网：根据挖掘方法分，可分为机 器学习方法、统计方法、神经网络方法和数据库方法。机器学习中，可细