（工商管理专业论文）基于多维数据挖掘的电力营销决策支持系统研究.pdf

垡j b 皇左太堂工商重理亟主生焦迨塞 摘要 本文对供电企业营销决策支持系统框架模式中关键技术数据仓库、o l a p 和数 据挖掘技术进行了简要的介绍。针对多维数据挖掘模型中的挖掘空间的选择方法问 题，使用了一种用于数据挖掘空间选择的人工神经网络结构和算法，既避免统计方 法中复杂的非线性建模问题，计算量也比一般神经网络变量选择方法小。本文以某 供电公司为例，根据其电力营销实际情况，设计了数据仓库、o l a p 方案和数据挖 据空间的具体选择方法。希望本文的研究成果能对电力市场环境下供电企业的电力 营销决策支持系统的方案设计以及实现有一定的参考价值。 关键词：决策支持系统，数据仓库，数据挖掘，联机分析，人工神经网络 a b s t r a c t i nt h i sa r t i c l e ，w ei n t r o d u c e db r i e f l yt h ek e yt e c h n o l o g i e s ( d w 、o l a pa n dd m ) o f t h ep o w e rs u p p l ye n t e r p r i s em a r k e t i n gd e c i s i o ns u p p o r ts y s t e m a i ma tt h ep r o b l e mo f t h ec h o i c et h em e t h o do fd a t am i n i n gw i t h i nt h em u l t i - d i m e n s i o n ，w ep u tf o r w a r dak i n d o fa r t i f i c i a lt h en e r v en e t w o r kt h es t r u c t u r ea n dt h ec a l c u l a t ew a y st h a tu s e df o rt h e c h o i c eo ft h ed a t am i n i n gs p a c e t h a ta v o i dc o m p l i c a t e dp r o b l e mo fs e t t i n gu pt h em o l d ， t h ec o m p u t i n gq u a n t i t yi sa l s os m a l lc o m p a r i n gw i t ht h ec h o i c em e t h o do fg e n e r a l a r t i f i c i a ln e t w o r k t h i sa r t i c l ei st ot a k eap o w e rs u p p l yc o m p a n ya sa ne x a m p l e ， a c c o r d i n gt o t h ea c t u a lc i r c u m s t a n c eo fi t se l e c t r i cp o w e rm a r k e t i n g ，d e s i g n i n gt h e p r o j e c to fd a t aw a r e h o u s ea n do l a pa n dd a t am i n i n gs p a c e sc h o i c em e t h o d w eh o p e t h a tt h i sa r t i c l ec a nc o n t r i b u t et os t u d y i n gt h ee l e c t r i cp o w e rm a r k e t i n gd e c i s i o ns u p p o r t s y s t e mo ft h ep o w e rs u p p l ye n t e r p r i s ea n dc o n t a i nc e r t a i nv a l u e z h a of e n g ( m a s t e ro fb o s s i n e s sa d m i n i s t r a t i o n ) d i r e c t e db yp r o f l ix i a n g k e yw o r d s ：d e c i s i o ns u p p o r ts y s t e m s ，d a t am i n i n g ，d a t aw a r e h o u s e ，o n l i n e a n a l y t i c a lp r o c e s s i n g ，a r t i f i c i a ln e u r a ln e t w o r k s 堡i b 圭左盔茔王直管理亟堂僮迨塞 摘要 本文对供电企业营销决策支持系统框架模式中关键技术数据仓库、o l a p 和数 据挖掘技术进行了简要的介绍。针对多维数据挖掘模型中的挖掘空间的选择方法问 题，使用了一种用于数据挖掘空间选择的人工神经网络结构和算法，既避免统计方 法中复杂的非线性建模问题，计算量也比一般神经网络变量选择方法小。本文以某 供电公司为例，根据其电力营销实际情况，设计了数据仓库、o l a p 方案和数据挖 据空间的具体选择方法。希望本文的研究成果能对电力市场环境下供电企业的电力 营销决策支持系统的方案设计以及实现有一定的参考价值。 关键词：决策支持系统，数据仓库，数据挖掘，联机分析，人工神经网络 a b s t r a c t i nt h i sa r t i c l e ，w ei n t r o d u c e db r i e f l yt h ek e yt e c h n o l o g i e s ( d w 、o l a pa n dd m ) o f t h ep o w e rs u p p l ye n t e r p r i s em a r k e t i n gd e c i s i o ns u p p o r ts y s t e m a i ma tt h ep r o b l e mo f t h ec h o i c et h em e t h o do fd a t am i n i n gw i t h i nt h em u l t i - d i m e n s i o n ，w ep u tf o r w a r dak i n d o fa r t i f i c i a lt h en e r v en e t w o r kt h es t r u c t u r ea n dt h ec a l c u l a t ew a y st h a tu s e df o rt h e c h o i c eo ft h ed a t am i n i n gs p a c e t h a ta v o i dc o m p l i c a t e dp r o b l e mo fs e t t i n gu pt h em o l d ， t h ec o m p u t i n gq u a n t i t yi sa l s os m a l lc o m p a r i n gw i t ht h ec h o i c em e t h o do fg e n e r a l a r t i f i c i a ln e t w o r k t h i sa r t i c l ei st ot a k eap o w e rs u p p l yc o m p a n ya sa ne x a m p l e ， a c c o r d i n gt ot h ea c t u a lc i r c u m s t a n c eo fi t se l e c t r i cp o w e rm a r k e t i n g ，d e s i g n i n gt h e p r o j e c to fd a t aw a r e h o u s ea n do l a p a n dd a t am i n i n gs p a c e sc h o i c em e t h o d w eh o p e t h a tt h i sa r t i c l ec a nc o n t r i b u t et os t u d y i n gt h ee l e c t r i cp o w e rm a r k e t i n gd e c i s i o ns u p p o r t s y s t e mo ft h ep o w e rs u p p l ye n t e r p r i s ea n dc o n t a i nc e r t a i nv a l u e z h a of e n g ( m a s t e ro fb o s s i n e s sa d m i n i s t r a t i o n ) d i r e c t e db yp r o f l ix i a n g k e yw o r d s ：d e c i s i o n s u p p o r ts y s t e m s ，d a t am i n i n g ，d a t aw a r e h o u s e ，o n l i n e a n a l y t i c a lp r o c e s s i n g ，a r t i f i c i a ln e u r a ln e t w o r k s 声明 本人郑重声明：此处所提交的工商管理硕士学位论文基于多维数据挖掘的电力营 销决策支持系统研究，是本人在华北电力大学攻读工商管理硕士学位期间，在导师指 导下进行的研究工作和取得的研究成果。据本人所知，除了文中特别加以标注和致谢之 处外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得华北电力大 学或其他教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的 任何贡献均已在论文中作了明确的说明并表示了谢意。 学位论文作者签名：壑硅日期：边：蓝：! ? 关于学位论文使用授权的说明 本人完全了解华北电力大学有关保留、使用学位论文的规定，即：学校有权保管、 并向有关部门送交学位论文的原件与复印件；学校可以采用影印、缩印或其它复制手 段复制并保存学位论文；学校可允许学位论文被查阅或借阅；学校可以学术交流为 目的，复制赠送和交换学位论文；同意学校可以用不同方式在不同媒体上发表、传播学 位论文的全部或部分内容。 ( 涉密的学位论文在解密后遵守此规定) 作者签名：堡垒 日期：纱，j 型 导师签名： j 易绷 日期：型! ：尘! ! 生j g 电力盘堂直笪理亟堂焦迨塞 第一章引言 1 1 本课题的研究目的和意义 电力行业具有资金、技术密集的特点。当前，电力行业正由计划经济体制下 的发、输、配一体化管理完全垄断向电力市场化转变，为了在传统的电力工业垄断 体制中引入竞争体制，从而提高电力企业效益，降低发供电成本和电价，促进国民 经济发展。 伴随着电力企业各种管理信息系统( 电力营销m i s 、用电m i s 、调度m i s 等) 的普及应用，电力企业产生了海量的基础数据，呈现在运行人员和决策者面前的己 经不是部门、单位的数据库，而是浩瀚的数据海洋，导致“数据爆炸却知识贫乏” 的现象0 3 。针对这一情况，面向决策支持的数据挖掘技术应运而生。它是数据库知 识发现k d d ( k n o w l e d g ed i s c o v e r yi nd a t a b a s e ) 的核心技术，是人工智能与数据库结 合的产物，它应用一些专门的算法从数据库中提取出有效的模式，能从大量的数据 中发现潜在的规律，以提取有用的知识。以数据库、人工智能和统计学等学科为理 论基础的数据挖掘和知识发现在商业、工业、医学等领域已经得到广泛的应用，是 近年来国际较为活跃的研究领域，显示出了其广阔的应用前景。 多维数据挖掘技术逐渐融入决策支持系统中，来解决传统决策支持系统所面临 的知识获取“瓶颈”等一系列问题，成为决策系统的重要组成部分。 1 2 本课题国内外研究现状 由于我国电力行业的独特性，电力市场化和西方发达国家的电力市场化改革的 局面差别巨大，以及d s s 所具有的较强针对性，这些特点决定了国外电力公司己有 的决策支持系统不能直接为我国所用。 几乎绝大部分的决策支持系统( d s s ) 研究都是在生产制造业、商品销售等领域 ”1 ，很少涉及到电力工业，原因是电力工业市场化改革最早的英国也是七十年代才 丌始改革的“1 ，电力工业的特点决定了电力工业的市场化程度不像其他行业那样适 用于d s s 的推广应用，所以在d s s 技术和电力工业市场化都不是非常成熟的情况 下，d s s 很难在其出现的短短二十年时间内就能在电力工业领域得到应用推广“。 目前，国外电力方面的d s s 研究也不广泛、不成熟，只是停留在科研的层面，很少 在实践中发挥作用”。 堡e 电力盘堂直萱堡亟主堂焦逾塞 1 3 论文所做的工作 本文对基于多维数据挖掘的决策支持系统做了全面而系统地研究，主要作了以 下工作： ( 1 ) 电力营销决策支持系统的分析与设计 针对我国电力营销的实际情况，对电力营销决策支持系统进行了详细的需求分 析，包括四大部分：综合在线查询、自动化业务报表、综合分析以及客户分析，在 此基础上提出了基于数据仓库、o l a p 和数据挖掘的一种全新电力营销决策支持系 统的整体框架设计原理，能较好地满足电力营销决策支持系统的实际需要，并介绍 了该框架结构所具有的特点以及系统实现的一些关键技术。 ( 2 ) 电力营销数据仓库的分析设计 对数据仓库的特征，关键技术，设计步骤，存储方式和组织方式进行了简要的 介绍。 ( 3 ) 电力营销o l a p 分析设计 简要介绍了o l a p 技术的基本原理和特点，研究和设计了电力营销o l a p 分析 内容和基本方法，根据不同的业务类型进行了比较深入的多维分析。 ( 4 ) 人工神经网络在多维数据挖掘d s s 的应用分析 多维数据挖掘具有数据量大、维数众多、层次复杂的特点，为了有效选择与主 题相关的重要维，利用a n n 擅长于模拟复杂的非线性系统的特点，使用了一种非 全连接的三层前馈神经网络结构，该算法既避免统计方法中复杂的非线性建模问 题，又比一般神经网络变量选择方法的计算量小。 ( 5 ) 结合某供电公司的电力营销实际状况，对其数据仓库，o l a p 和数据挖据空 间的选择进行了详细设计，形成了一个较为完善的基于多维数据挖掘的电力营销决 策支持系统实际应用模型，并证明了非全连接的三层前馈神经网络结构在多维数据 空间选择上的有效性。 1 4 论文结构框架图 2 垡j b 虫也态堂王蓝重堡亟圭堂焦迨塞 引言 i l 研究目的意义i 国内，喊理状 l 所做的工作j i 决簧支持系统橱关理论 l i 决簧支持系8 睫论ll 羹鼍仓库理论il 。l a 唾论 i 数撒艇论i l 平臻山供电登可电力冒罾决重 蔓持系抗分斩 l 罾柬分折 l 总体结柑设计 i i 劐譬仓库谶计l o l a p 设计 | 多缯螺糊礅 l i 结论 图l 一1 论文结构框架图 3 坐j e 电袭盍堂兰殛萱堡亟堂缱监塞 第二章决策支持系统相关理论综述 2 1 决策支持系统概述 2 1 1 决策支持系统的概念、模式和基本结构 决策支持系统( 简称d s s ) 是以管理科学、运筹学、控制论和行为科学为基础， 以计算机技术、仿真技术和信息技术为手段，针对某一类型的半结构化或非结构化 的决策问题，通过提供背景材料、协助明确问题、修改完善模型、列举可能的方案、 进行分析比较等方式，为管理者做出正确决策提供帮助的人机交互式的信息系统0 3 。 d s s 是信息系统经过电子数据处理和管理信息系统发展而形成的最新形式，它 提高了决策的有效性。模型单元的存在是d s s 区别于以往其它信息系统的一个重要 标志。d s s 是支持性的而非代替性的，是描述性的而非命令性的，是效益性的而非 效率性的。 一个完整的d s s 系统模式被表示为d s s 与“真实系统”、人和外部环境的关系。 如图2 1 所示，管理者始终处于核心地位，通过相关人员的帮助，运用自己的知识 和经验，结合d s s 的响应输出，对他所管理的“真实系统”进行决策。 蔓 一二荔刀。7 一 宴 摹 笺 j h 、一。广毪、 i 量精誓卜一一 单 i - - - - - - - - - - - - - - - - - - - 一 、 斗罱一二 。、 匹童蛩汪每圣虱 剀2id s s 的基本模式 4 堡j k 电左太堂工西萱堡塑主堂照途塞 目前实际应用的d s s 结构普遍都是基于多库结构的d s s 和基于知识的d s s 两 种基本结构演变而成。 多库结构的d s s 开始是由二库( 数据库和模型库) 和对话系统组成，一般称为两 库结构“3 。后来又相继出现了基于方法库、知识库、文本库、图形库的多库结构 模式。基于多库的结构模式为d s s 提供了内核的支持，d s s 的功能由定量计算扩大 到对定性分析的支持，方便了多模型库的管理，人机界面变得更加友好。但由于库 的增加使得知识表示以及各个子系统接口处理等变得更为复杂，导致d s s 结构涣散 和处理的低效率；多库结构也没有反映出d s s 的本质特征，如决策者是d s s 的主 体的地位，具有一定的局限性。 基于知识的d s s 是由语言子系统、知识库子系统和问题处理子系统组成，也可 以称为基于问题处理的d s s 结构“。 图2 - 2 基于知识的d s s 结构 ( 1 ) 语言子系统：是用户与系统联系的工具，用户的问题是通过自然语言子系统来 描述和响应的。 ( 2 ) 问题子系统：是d s s 的核心部分，由它完成系统的动态过程，即接受用户的问 题，运用知识子系统的知识，实现用户问题的求解过程。 ( 3 ) 知识库子系统：是d s s 能够解决用户问题的智囊，主要包括综合性的知识库， 其中存放有关问题领域的各种知识( 数据、模型等) 。 目前，专家系统( e s ) 中的问题处理技术引入到基于知识的d s s 中，符合d s s 智 能化发展的趋势，对d s s 的发展起到了很大的促进作用，较好地解决了对决策问题 求解过程的控制。但该框架仍无法改善自身的性能，因为其仍保留了e s 系统的求 解思路，未能充分体现出决策者在模型建造和选择等方面的作用和d s s 模型驱动的 特点，而且不具备自学能力。 2 1 2 决策支持系统目前存在的问题及解决方法 传统的d s s 以定量数学模型为基础进行数据操作，对决策中常见的定性问题、 模糊问题以及不确定问题等缺乏相应的支持手段“；模型库提供的分析能力有限， 它所提供的模型独立于环境之外，决策者和模型交互很少，模型参数几乎固定不变， 不能根据决策环境的变化提供主动支持。 多库结构的d s s 以及基于知识的d s s 结构都是为了更有效地解决以上存在的 5 生e 皇壶盔堂王匿筐堡堡堂僮论塞 问题，其基本思想是在d s s 中充分结合人工智能( a i ) 和专家系统( e s ) 技术在定性分 析和不确定推理上的优势，利用人们在求解问题过程中积累的经验和知识，来解决 上述问题。a l 和e s 技术不仅深刻影响着d s s 的技术与结构，而且对d s s 的概念 产生了深刻的影响3 。d s s 的研究也逐渐由决策部件功能扩充发展到部件综合集成， 由定量模型发展到基于知识的智能决策方法。 但是目前决策支持系统的应用现状并不理想，真正投入运行并取得良好效果的 例子不多，即使己投入使用的系统其功能也很有限，有些系统仅是简单的查询系统 或报表系统，并不能给决策者提供需要的辅助决策信息，远远达不到人们的期望和 需要。总的来说，d s s 系统在开发及使用过程中主要存在以下问题： ( 1 ) 数据集成和数据库平台问题 实际业务数据通常是分散并且种类方式各异的，而d s s 需要大量综合、动态集 成的数据；传统的数据库系统面向以事务处理为主的联机事务处理( o n 1 i n e t r a n s a c t i o np r o c e s s i n g ，o l t p ) 应用，其应用处理的数据量较少，d s s 则需要综合处 理大量的历史数据，因此能否动态集成这些数据并将其集中于适合的数据平台将关 系到决策系统能否真正地发挥作用。 ( 2 ) 知识获取“瓶颈”问题“” d s s 的知识库和模型库等多库中的知识是有限的，进行决策时需要的知识也千 差万别，库中的知识很难支撑以解决各种实际决策问题。 ( 3 ) 缺乏有效的数据分析手段“” 决策支持系统需要对数据进行高效多维分析以得到有价值的信息，而现有多数 分析工具为自行开发，在功能、开放性和通用性方面都有很大的不足。 ( 4 ) 人机交互能力不足 传统决策支持系统采用模型操纵数据，要求决策者不仅具有决策问题领域知 识，还要有数据和模型的相关知识，使得其人机交互能力较差。 d s s 在8 0 年代末出现了发展的困境，其最根本原因是缺乏驱动d s s 所必须的 原始数据、数据碎片和数据不一致等问题。1 9 9 0 年i n m o n 提出了数据仓库( d w ) 的概念。同时发展起来的还有二种主要数据分析工具：数据挖掘( d m ) 和联机分 析处理( o l a p ) 。d w 、d m 和o l a p 技术最初是解决“数据爆炸知识贫乏”问题 的，但是由于它们之间内在的联系和互补性，使得这三种技术在高级决策支持系统 中己经成为一个密不可分的核心，同时也为d s s 系统解决以上问题丌辟了新的途 径。具体体现在以下几点： ( 1 ) 数据仓库( d w ) 技术使用多维的立方体方式存储和管理面向主题的数据，加 上其固有的集成性和时变性，使其作为数据分析平台非常合适，为d s s 提供了极佳 的数掘集成和数据库平台： ( 2 ) 联机分析处理( o l a p ) 技术侧重于数据仓库的多维数据分析，并将其分析结 6 坐j 堕2 1 厶堂强筐型亟主堂僮迨塞 果转化为决策信息，这与d w 的多维立方体存储方式形成了很好的统一。因此，利 用基于d w 的o l a p 技术不但较好地解决d s s 系统数据分析手段缺乏的问题，也 解决了d s s 交互能力差的弊端。 ( 3 ) 数据挖掘( d m ) 技术是人工智能和数据库技术相结合的产物，可以挖掘出隐 藏在海量数据之中的潜在模式和知识，包括总结性知识、关联性知识、分类模型知 识、聚类模型知识等，这些知识既可以直接用于决策过程，也可以放入知识库中作 为知识保存，随着时间的推移将积累更多的知识。因此，d m 技术很好的解决了d s s 系统的知识获取“瓶颈”问题。 2 2 数据仓库概论 2 2 1 数据仓库特征 数据仓库的提出以关系数据库，并行处理和分布式技术的飞速发展为基础，它 是解决信息技术在发展中一方面拥有大量数据，另方面有用信息却很贫乏这种不 正常现象的综合解决方案。数据仓库的概念是p r i s ms o l u t i o n s 公司的副总裁 w h 1 n m o n 在1 9 9 2 年出版的建立数据仓库一书中提出的。按照这个定义，“数 据仓库就是面向主题的、综合的、不同时问的、稳定的数据的集合，用以支持经营 管理中的决策制定过程”。数据仓库技术可概括为以下四点：它是一个处理过程， 而不仅是代表一组产品：它是从大量的企业数据中发现有价值信息的过程；它可以 充分利用现有资源，而不是摈弃重构；它提供了系统数据的多种访问形式“”。 数据仓库除了具有传统d b m s 的共享性、完整性、数据独立性外，还具有下列 特征“： 数据仓库是面向主题的：传统数据库是面向应用而设计的，它的数据只是为了 处理具体应用而组织在一起的。应用是客观世界既定的，它对于数据内容的划分未 必适用分析所需；主题是一个在较高层次将数据归类的标准，每个主题基本对应一 个宏观的分析领域，基于主题组织的数据被划分为各自独立的领域，每个领域有自 己的逻辑内涵，因此，在进入数据仓库之前必须要经历加工与集成，将原始数据结 构做一个从面向应用到面向主题的大转变。 较强的历史性和时间性：数据仓库常常用作趋势预测分析，必须有足够长时间 的数据，通常存有各个主题的不同时问的综合信息，一般要求历史数据5 1 0 年。 因此常用操作是追加操作和历史分析。数据仓库的时间性表现在于以键码标明该数 据的历史时期，由时1 日j 维和各主题域一一起构成多维数据库。 数据的稳定性：数据仓库的数据主要供企业决策分析之用，所涉及的数据操作 主要是数据查淘，一般情况下不进行修改操作。数掘仓库的数据反映的是一段相当 7 坐j e 曳左盍生王匦蟹堡亟堂位监塞 长时间内历史数据的内容，是不同时点数据库快照的集合，以及基于这些快照进行 统计、综合、和重组的导出数据，而不是联机处理的数据。数据库中进行联机处理 的数据经过集成输入到数据仓库中，一旦数据仓库存放的数据己经超过数据仓库的 数据存储期限，这些数据将从当前的数据仓库中删去。尽管市场是变化的，源数据 库内的具体事务处理过程亦是变化的，但是进入数据仓库的数据则是相对稳定的。 数据的集成性：数据仓库中的数据主要用作分析工作，要对细节数据进行归纳 和整理。数据仓库中的数据来自多个专业应用系统，但并不是对这些数据的简单归 并和拷贝，而是对源数据的增值和统一。数据集成是数据仓库技术的最关键最复杂 的一步。不仅要统一原始数据中的所有矛盾，如同名异义，异名同义，单位不统一 等，而且要将这些数据统- - n 数据仓库的数据模式上来，还要监视数据源的数据变 化，以便扩充和更新数据仓库。 2 2 ，2 数据仓库的关键技术和设计步骤 ( 1 ) 关键技术 数据仓库没有严格的数学理论基础，也没有成熟的基本模式，其偏向工程应 用，具有强烈的工程性。因此，在技术上人们习惯于从工作过程等方面来分析， 并将其关键技术分为三个基本方面：数据抽取、存储与管理以及数据表现“”。 数据的抽取 指将数据从联机事务处理系统( o l t p ) 、外部数据源、脱机的数据存储介质等导 入蓟数据仓库中。数据抽取的技术主要有互连、复制、转换、调度和监控等。考虑 到数据仓库的特性，其数据并不要求与o l t p 系统保持实时同步，因此数据抽取可 以定时进行，但多个抽取操作执行的时间、相互的顺序以及成败对数据仓库中的信 息的有效性是至关重要的，必须设计周密安全有效的实现方案，并考虑到失败后的 补偿方案。在数据抽取的技术实现策略方面，其发展将集中在系统集成化方面，它 将互连、复制、转换、调度和监控等标准化的统一管理，以适应数据仓库本身或数 据源可能的变化，使系统更易于实现管理和维护。 存储和管理 数据仓库的真正关键是数据的存储和管理。数据仓库的组织管理方式决定了它 有别于传统数据库的特征，同时也决定了其对外部数据的表现形式。数据仓库需要 对大量的数据进行存储和管理，其涉及的数据量比传统的事务处理要大得多，并且 随时间的推移而累计。关系数据库在数据的存储和管理方面已经非常成熟，完全能 够担当此任。目前不少的关系数据库已支持数据分割技术，能将一个大的数据库表 分散在多个物理存储设备中，进一步增强了系统管理大数据量的扩展能力，采用关 系数据库管理数百个g b 甚至t b 己是一件很平常的事情。未来的发展将使数据库 8 坐j b 鱼左太堂王盛暨理亟堂照监塞 厂商明确推出数据仓库引，作为服务器产品与数据库服务器并驾齐驱，这一方面， 具有决策支持扩充的并行关系数据库最具发展潜力。 数据的表现 数据表现实际上是数据仓库的门面，其性能主要涉及多维分析、数理统计和数 据挖掘等方面。围绕数据表现的实现，涉及到通用工具和专业应用两个方面，结合 专业特点实现基于数据仓库的数据表现的应用更加有效，但开发的难度较大。另外， 可紧密结合i n t e r n e t w e b 技术，推出适用于i n t e r n e t 的数据仓库访问的前端工具。 ( 2 ) 数据仓库的设计步骤” 数据仓库的设计与传统的以业务为主的联机事务处理系统o l t p 设计有较大 的区别，设计者不但要设计一个数据库和一个用户接口，还必须设计数据装载策 略、数据存取工具以及不间断地维护方案。要从传统的数据库规范化设计转变为 基于维的设计，以便获得更好的数据查询响应性能。数据仓库设计的主要步骤如 下所示： 系统主题的确定 数据仓库是建立在原有运行系统之上的，要结合用户的现状和预期目标，详细 了解业务分析需求和报表需求等，归纳出数据分析的各个主题。 数据仓库的逻辑设计 数据仓库面向决策支持，具有数据量大但更新不频繁的特点，因此需要对其逻 辑结构进行精心设计，才能满足数据量快速增加而查询性能不明显下降的要求。系 统主题确定以后，需要对主题包含的维表和事实表以及关系进行详细定义。 数据仓库的物理设计 物理设计主要考虑数据的存放方式，使得系统有较好的性能。对于记录庞大的 事实表，可以考虑分区存放。而记录很少的维表，则可集中存放于某个表空问，甚 至可以加载时驻留在系统的内存中以加快数据存取速度。建立数据库索引可以提高 读取速度，但会使数据更新速度受到影响，并且要占用大量的磁盘空间。 原数据的获取、清洗、整理及装载设计 数据仓库的数据总是来自于前台作业系统、业务部门的计划数据、各类广告数 据、购买的商业数据库以及其它外部数据，这些数据一般不能直接进入数据仓库， 首先要按照我们确定的主题进行抽取，然后进行清洗处理，最后经过数据装载和整 理程序才能进入数据仓库。 数据表达及其访问设计 数据按照统一格式和不同的主题存放到数据仓库后，要进一步考虑数据的表 达和访问方式，这由用户根据自身的需要决定合适的方式。 不削断的维护方案设计 数据仓库的运作与传统的作业系统有很大的区别，它需要不问断地维护，否则 9 垡j e 生左盔坐王齑筻堡亟堂建迨塞 性能会越来越差。 编码测试与实旌。 2 2 3 数据仓库的存储方式和组织方式 ( 1 ) 数据仓库的存储方式 针对o l a p 分析来说，数据仓库的存储方式有二种：关系表方式以及维表方式， 如表2 - 1 和2 2 所示。在表2 - 1 的关系表结构中，如要查询某地区某类别的用电量， 需要逐条记录检索，找到满足条件的记录后再逐个相加；而在表2 2 多维表结构中， 数据可以直接按行或列累加，因而其统计速度大大提高，不仅如此，多维方式占用 的存储空间也大为减少，在大量数据聚集的数据仓库中，这种优势更为明显。 表2 - 1 关系表 类别 地区 用电量 居民 a 8 0 居民 b8 0 居民 c6 0 工业a 1 2 0 工业 b 1 4 0 工业c2 1 0 商业 a3 0 商业 b 4 0 商业 c 5 0 农业 a 2 0 农业b2 0 农业c3 0 表2 - 2 维表 地区a地区b地区c 总和 居民8 08 06 02 2 0 _ 业1 2 01 4 0 2 1 04 7 0 商业 3 04 05 01 2 0 农业2 02 03 07 0 总和2 5 02 8 03 5 08 8 0 ( 2 ) 数据仓库的组织方式 1 0 垡e 电左盘堂王直篮堡亟堂焦丝塞 在数据仓库的组织方式上，可采用五部分组成( 如图2 3 所示) ，即现状 数据层、历史数据层、综合数据层和专题数据层、控制管理层。 图2 - 3 数据仓库的组织结构 现状数据层 它存储当前最新详细数据资料。数据从外部进入数据仓库时，首先被直接放 入该层中。一般常规数据库可对其进行处理，这类数据又称为系统的基本数据。 历史数据层和综合数据层 决策所需要的信息是通过基本数据所体现的整体趋向或随时间变化而表现出 来的变化趋势，必须对基本数据进行分类、析取、归纳、加工等处理才能得到这 些信息。基本数据在时间控制机制下生成历史数据，放入历史数据层，供现状数 据层、综合数据层和专题数据层调用。在综合机制下对基本数据进行综合、提取 生成综合数据，放入综合数据层，它包括各种统计数据、指标、评价计算结果、 预测分析数据等。 专题数据层 专题数据层存储对基本数据加工处理所形成专用数据，以及所建立的数学模 型、预测模型、评价模型中各类参数等。 控制管理层 除了以上四个数据层外，决策支持还需要运用业务部门外部数据，它们一起 共同构成数据仓库的信息来源。在控制管理层，通过建立提取器( e x t r a c t o r ) ，将来自 信息源的、影响数据仓库信息的数据转化为数据仓库模式。当信息源中数据发生变 化时，集成器( i n t e g r a t o r ) 对信息进行过滤、总结，并和其他信息合并，把新的信息 集成到数据仓库中。 2 3o l a p 技术概论 2 3 1o l a p 的特点 垡j e 电壶太堂兰颈簦堡亟堂焦迨塞 o l a p 是一种共享多维信息的快速分析工具，其目标是满足决策支持或者多维 环境特定的查询和报表需求，使分析人员、管理人员以及决策人员能够从多种角 度对从原始数据中转化出来的、能够真正为用户所理解的并真实反映企业“维” 特性的信息进行快速、一致、交互地存或，从而获得对数据更深入地了解，其技 术核心是“维”的概念。“。0 l a p 的特点可归纳为： ( 1 ) 多维性 系统必须提供对数据分析的多维视图和分析，包括对层次维和多重层次维的 完全支持。事实上，多维分析是分析企业数据较直观有效的方法，多维性是0 l a p 的关键属性。 ( 2 ) 可分析性 0 l a p 系统应能处理与应用有关的任何逻辑分析和统计分析。用户无需编程就 可以定义新的专门计算，将其作为分析的一部分，并以用户理想的方式给出报告。 用户可以在o l a p 平台上进行数据分析，也可以连接到其他外部分析工具上，如 时问序列分析工具、成本分配工具、意外报警、数据挖掘等。 ( 3 ) 快速性 用户对o l a p 的快速反应能力有较高的要求。般系统应能在5 秒内对用户 的大部分分析要求作出反应。对于大量的数据分析要达到这个速度并不容易，因 此需要一些技术上的支持和设计，一如专门的数据存储格式、大量的事先运算以及 特别的硬件设计等。 ( 4 ) 信息性 不论数据量有多大，也不管数据存储在何处，o l a p 系统应能及时获得信息， 并且管理大容量信息。有许多因素需要考虑，如数据的可复制性、可利用的磁盘 空间、o l a p 产品的性能及与数据仓库的结合度等。 2 3 2o l a p 的结构 数据仓库是0 l a p 分析的基础，根据数据仓库的不同数据存储方式，将0 l a p 分成三种结构：基于关系数据库的o l a p ( r o l a p ) 、基于多维数据库的 0 l a p ( m o l a p ) 以及混合型o l a p ( h o a l p ) ”“。 ( 1 ) r o l a p r o l a p 是基于关系数据库的联机分析处理。r o l a p 遵循三个原则：支持基 本的o l a p 的概念即多维性，钻取，旋转和多视图模式等；数据存储在某一个关 系数据库中：能支持某种形式的聚集导航即自动为每个查询选择最佳表。 ( 2 ) m o l a p 是基于多维数据库的联机分析处理。多维数据库是以多维方式来存储数据， 垡b 生盔盍堂工直筐堡亟堂僮迨塞 以多维方式来组织数据。多维数据是决策需要的一类特殊数据，它针对不同的数 据抽象层次，所有抽象层次构成数据立方体，在其上进行旋转，切片和钻取等多 维分析操作，使最终用户从多个角度、多个侧面观察数据库中的数据，从而了解 包含在数据库中的信息。 ( 3 ) h o l a p m o l a p 和r o l a p 这两种技术都有各自的优点。m o l a p 在数据存储和综合度 上有着r o l a p 不可比拟的优点，但它在实现时的一个障碍就是它所能处理数据集 的大小相当有限，而r o l a p 在运行大的数据集具有很强的优势，但它对用户的分 析请求处理时间要比m o l a p 长。因此把m o l a p 和r o l a p 的优点有机的结合起 来，提出了h o l a p ，混合联合分析处理，将多维数据结构和关系数据表结合起来。 h o l a p 是将聚合的数据按多维结构存储，对源数据的查询从关系数据库中检索， 关系数据库中保存的是详细数据，存储容量不受限制。采用h o l a p 的结构，可以 快速响应分析处理要求。 多维分析的一般过程是：先按某一维切块得到关注的内容，然后钻取数据到达 适当的综合层次，再通过旋转动作更换数据观察角度，选取重要的数据进行切片分 析。各个过程可能有一定的重复，如此经过切片、切块、旋转、钻取就可以形成数 据新的观察角度和综合层次，就可能提取出有价值的信息和知识。 2 4 数据挖掘的相关概念和算法 2 4 1 数据挖据的概念和任务 数据挖掘是运用基于计算机的方法( 包括新技术) ，按照既定的业务目标从海量 数据中提取出潜在的、有效的并能被人理解的模式( 知识) 的高级过程，也叫做数据 开采或数据采掘”“。 数据挖掘的两个基本目标是预测和描述。预测是指用一些变量或数据库中的若 干已知字段预测其它感兴趣的变量或字段的未知或未来的值；描述是指找到描述数 据的可理解模式。 根据发现知识的不同，数据挖掘的基本任务”“2 ”包括相关分析、聚类、分类( 概 念描述) ，偏差检测、预测。 ( 1 ) 相关分析 若两个或多个变量的取值之间存在某种规律性，就称为关联。数据关联是数据 库中存在的一类重要的可被发现的知识。关联可分为简单关联、时序关联、因果关 联。关联分析的目的是找出数据库中隐藏的关联网。有时并不知道数据库中数据的 关联函数，即使知道也是才i 确定的，因此关联分析生成的规则带有可信度。 1 3 垡韭电力太堂王疆暨堡亟堂焦超塞 ( 2 ) 聚类 数据库中的记录可被化分为一系列有意义的子集，即聚类。对这些子集的识别， 对用户有直接意义。它们常常为其它的规则抽取算法提供有用的信息。 聚类增强了人们对客观现实的认识，是概念描述和偏差分析的先决条件。聚类 技术主要包括传统的模式识别方法和数学分类学。8 0 年代初，m c h a l s k i 提出了概念 聚类技术。其要点是，在划分对象时不仅考虑对象之间的距离，还要求划分出的类 具有某种内涵描述，从而避免了传统技术的某些片面性。 聚类有时直接满足用户的要求，有时是其它发现过程的“预处理”。例如，由 聚类所产生的类可以作为决策树生成算法的目标概念，也可以做偏差分析的基础。 ( 3 ) 概念描述 概念描述就是对某类对象的内涵进行描述，并概括这类对象的有关特征。数据 库中存放的是一个个记录，但是有时人们需要的是数据的整体信息，即数据量的抽 象或内涵的描述，因此从大量数据中归纳抽象的信息就显得特别有意义了。 概念描述分为特征性描述和区别性描述，前者描述某类对象的共同特征，后者 描述不同类对象之间的区别。生成一个类的特征性描述只涉及该类对象中所有对象 的共性。生成区别性描述的方法很多，如决策树方法、遗传算法等。 ( 4 ) 偏差检测 数据库中的数据能反映许多异常情况，从数据分析中发现这些异常情况是很重 要的，以引起人们对它更多的注意。偏差包括很多有用的规则知识：如分类中的反 常实例、不满足规则的特例、观测结果与模型预测值的偏差、量值随时间的变化等。 偏差检测的基本方法是寻找观察结果与参照值之间有意义的差别。观察常常是 某一个域的值或多个值域的汇总。参照是给定模型的预测，外界提供的标准量或另 一个观察。偏差检测的数据模式有极值点、拐点、断点、零点和边界点等不同的偏 差对象。 ( 5 ) 预测 数据挖掘从现有的数据中自动地寻找预测性信息，找出其规律性，建立模型， 用此模型来预测未知事例的种类、特性等。如建立回归方程或用神经网络学习等。 一个典型的例子是市场预测问题，数据挖掘使用过去有关促销的数据来寻找未来投 资中回报最大的用户，其它可预测的问题包括预报破产以及认定对指定事件最可能 做出反应的群体。预测产生的模型使以往需要进行大量手工分析的问题如今可以迅 速直接由数据本身得出结论。 数据挖掘一般由三个阶段组成：数据准备、数据挖掘以及解释评估。 垡e 生杰厶堂王直萱理亟主堂僮监塞 芒，。衫多塑 笛的数搪 ，j i | j固 嚣 愀橱回 黼。圊 国 口 t山曩出生 图2 4 数据挖掘的过程 ( 1 ) 数据准备：是数据挖掘的第一个阶段。其好坏将影响数据挖掘的效率、准确度 以及最终挖掘模式的有效性。该阶段可细分为四个步骤：数据集成、数据选择、数 据预处理以及数据转换。 ( 2 ) 数据挖掘：选择并应用适当数据挖掘技术，从数据中提取用户感兴趣的知识， 这些知识可以用一种特定的方式表示或使用一些常用的方式表示。 ( 3 ) 解释评估：解释评估是根据最终用户的决策目的对提取的知识进行分析，把最 有价值的信息区分出来，提交给用户。在这个过程中，不仅要把知识以能被人理解 的方式表示出来，还要对其进行有效性评估，如果不能满足用户要求，则应重复上 述数据挖掘过程。 2 4 2 数据挖掘算法概述 数据挖掘( d m ) 是人工智能和数据库相结合的产物，它的许多方法来源于机 器学习。因此机器学习、模式识别、人工智能等领域的常规技术，如聚类、决策树、 统计等方法经过改进后均可用于d m 。对于不同应用系统的数据挖掘技术采用不同 的技术和手段，d m 的方法通常可以分为两大类”“，一类是统计型，常用的技术 有概率分析、相关性、聚类分析和判别分析等；另一类是人工智能中的机器学习型， 通过训练和学习大量的样品集得出需要的模式或参数。由丁：各种方法都有自身的功 能特点以及应用领域，数据挖掘技术的选择将影响最后结果的质量和效果，通常是 将多种技术结合使用，形成优势互补。下面对数据挖掘中常用的决策树和神经网络 等几种技术方法进行深入讨论，包括技术的基本思想、优势与缺点和主要应用领域。 1 5 堡虹虫左盔堂兰厦萱堡亟堂僮迨童 一一 决策树：决策树主要是基于数据的属性值进行归纳分类，常用于分类的层次方 法有“i f t h e n ”规则。决策树方法的最大优点就是可理解性，比较直观。其缺点是 处理复杂性的数据时，分支数非常多，管理起来难度很大。同时，还存在数据的缺 值处理问题。其算法有i d 3 ，c 4 5 ，c a r t 和c h a i d 等，目前出现的两种新算法s l l q 和