（电力系统及其自动化专业论文）基于cimxml的电力系统数据仓库的研究和设计.pdf

浙江大学硕士学位论文 a b s t r a c t t h es c a d as y s t e mo fe v e r ye l e c t r i c p o w e rb u r e a u h a sa c q u i r e dal a r g e a m o u n to fd a t ao fp o w e rs y s t e m h o w e v e r , w ec a n t g e ti n f o r m a t i o nf r o mt h ed a t a e a s i l y u s i n gt h ed a t at og e tn e e d f u li n f o r m a t i o ni sa ni n s t a n tr e q u i r e m e n ti nt h e s e e l e c t r i cp o w e rb u r e a u s t h i sp a p e rd e s c r i b e st h ec o n c e p t ，s y s t e ms t r u c t u r eo ft h ed e c i s i o ns u p p o r t s y s t e m ( d s s ) f i r s t l y , t h e ni n t r o d u c e st h ed a t a b a s e ，m o d e ll i b r a r y , k n o w l e d g el i b r a r y a n da r i t h m e t i cl i b r a r yo ft h ed s s s u b s e q u e n t l y , t h i sp a p e rd e s c r i b e st h ed e s i g no f t h ed a t aw a r e h o u s ei nd e t a i l s t h ea u t h o rt o o kp a r ti nt h ed e v e l o p m e n to fd m so f h u z h o ue l e c t r i cp o w e rb u r e a u b u i l tad a t am a r ta b o u tp o w e rq u a l i t yt ou s et h e s c a d ad a t ae f f e c t i v e l y b u i l d i n gt h ed a t am a r ti st h ep r e p a r a t i o no f b u i l d i n gad a t a w a r e h o u s eo ft h ew h o l eb u r e a u w en e e de x t r a c ta n dt r a n s f o r i nt h ed a t af r o md i f f e r e n ts y s t e m si nt h ep r o c e s so f b u i l d i n gad a t aw a r e h o u s e w e m u s tg e tt h ed a t as c h e m a so fe v e r ys y s t e m ，a n dt h e a p p r o a c ho f e x t r a c t i n gt h ed a t af r o me v e r ys y s t e m i sd i f f e r e n t t h ew o r ki sh a r d ，a n d t h ed a t as c h e m ai st h ec o r et e c h n o l o g y , y o uc a n tg e ti tf r e e l y s ow ep r e s e n ta i l a p p r o a c ho fe x t r a c t i n gd a t ab a s e do nc i m x m l c h a p t e r 4a n dc h a p t e r5d i s c u s s t h ec o n c e p ta n di m p l e m e n t a t i o no f t h i sa p p r o a c h k e y w o r d s ： d i s t r i b u t i o nm a n a g e m e n ts y s t e m ( d m s ) ，d e c i s i o ns u p p o ns y s t e m ( d s s ) ， d a t aw a r e h o u s e ，c o m m o ni n f o r m a t i o nm o d e l ( ( ；i m ) ， e x t e n s i b l em a r k u pl a n g u a g e ( x m l ) ，r e s o u r c ed e s c r i p t i o nf r a m e w o r k ( r d f ) 浙江大学硕士学位论文 绪论 第一章绪论 1 1 配电管理系统简介 由发电厂发出的电能经过输电线路送到需要用电的地方，再经过降压变电 所降压，最后由配电线路把电能送到用户，电力系统就是由发、输、变、配电 和用户这五个环节组成的。一次设备组成的系统完成了能量转换和传送，为之 服务的信息处理系统则完成了对一次系统运行情况监视、控制、分析和决策的 任务。配电网是电力生产和供应中的最后一个环节，直接联系着工农业生产和 千家万户。配电管理系统d m s ( d i s t r i b u t i o nm a n a g e m e n ts y s t e m ) 乖l j 用现代计算机 技术、信息技术、通讯技术以实时的方式对配电网进行远距离的监测、协调和 操作，以提高电网的运行可靠性，改善对用户的服务。但是，同属于实现计算 机监视、控制和管理功能的配电管理系统d m s ，其定义和功能范畴不如能量管 理系统e m s 那样明确降j 。学术界和工业界广为引用的配电管理系统、配电自动 化系统与需方用电管理都与配电网的自动化有关，定义不够明确，功能时有交 叉。 一般认为d m s 是一个综合的自动化系统，由一个开放式的基础平台及在 此平台之上的多个相对独立的应用予系统组成。基础平台除了提供基本的硬件 支持和操作系统内核外，还提供数据库系统、信息交换、人机界面等服务以及 与其他系统的接口：基于基础平台之上的主要应用子系统则包括：配电网监视 控制和数据采集( s c a d a ) 系统、配电网地理信息系统( d g i s ) 、配电网高级应用 软件( 配网潮流、状态估计、网络重构等) 、故障投诉管理( t c m ) 、自动抄表、电 量计费等；同时还考虑与已有系统( 如用户信息管理系统c i s 、管理信息系统 m i s 等) 的接口。这些子系统在开放式系统结构( 0 s a ) 基础上实现有机的横向和 纵向的集成，形成一个完整的d m s 系统。 1 2 配电管理系统的特点和功能 配电管理系统为电力系统的安全、经济和优质运行服务；但是由于配电网 和输电网之间，无论是一次系统接线还是二次系统装备都有许多差别，使得配 电管理系统相对于能量管理系统有着许多不同之处。配电管理系统不同于能量 管理系统的特点： 1 典型的配电网多为辐射型结构，不同于输电网的网状连接。 2 配电网的许多设备一般是沿线分布的，往往装在电线杆上，而不是放在 浙江火学硕士学位论文 绪论 变电站内。 3 配电网内要求安装的r t u 的数量，通常比相应输电系统所需的数量要 多一个数量级。 4 配电网的数据库规模，般比相应的输电网的数据库要大个数量级。 5 ，配电网内大多数的现场设备都需要人工操作，很少可以远方控制。 6 配电网设备多，数量大，检修更新频繁：除供方的设备外，还有大量需 方的用电设备。 7 配电网的通信系统因为负荷分布广泛和远方抄表装置类型多样，需要多 种通信方式，但是其通讯速率不高。 由于配电网的这些特点，配电管理系统的主要功能包括监视控制和数据采 集( s c a d a ) 系统、负荷管理( l m ) 系统、高级应用软件( p a s ) 、a m f m g i s 地理 信息系统以及用户信息系统( c i s ) * d 3 2 作流管理等。下面进行简单的介绍： 1 配电网的s c a d a 功能 配电管理系统的s c a d a 功能主要对电力用户进行实时监控，以满足配电 网调度自动化的需要。主要包括： 数据采集和处理 数据采集主要包括以下过程：扫描和快速更新r t u 送来的数据，并 进行校核检错、纠错，转换为工程量，写入实时数据库。 监视和控制 主要完成对配电网变电站设备的操作控制，如开关的拉合、变压器分 接头调整、电容器的投切等。 信息显示 通过显示器显示配电网变电站的接线图元及开关的实时状态、电流、 电压和潮流数值，也能显示图表、曲线。 报警 向运行人员报警遥测越限、遥信变位、保护动作、设备故障等情况。 报警方式除画面闪光、打印报警内容外，还可以用不同的音响提示调度员 注意。 信息存储及报表 存储设备运行的实时数据，形成历史文件，并根据数据资源形成不同 的报表。 顺序事件记录 主要记录系统异常和配电网变电站事故发生的顺序，用于分析事故。 事故追忆 浙江人学硕士学位论文 绪论 将故障前后一段时间内的遥测量记下来，用以分析事故发生的原因。 2 负荷管理功能 负荷管理的主要任务是控制用户负荷，帮助控制中心操作员制定负荷控制策 略和计划。其中，削峰和填谷是负荷管理的两个主要功能。负荷管理调整发电 与用电负荷之间的平衡，对用电负荷进行监控，使电网负荷变化趋于平缓，提 高电力设备的利用率，降低供电成本。配电网的负荷管理牵涉到用户的用电设 备，可以根据监视和控制点的不同分为“表前控制”和“表后控制”。降压减负 荷即为典型的表前控制，它监视辐射型馈电线路的末端电压，在保证此电压不 低于极限值的前提下，通过降低线路的电压来达到减轻系统负荷的目的，紧急 情况下还可以切断线路，拉闸限电。表后控制是在用户侧对需方用电设备直接 进行控制：可以通过装在用户侧的负荷控制终端，按照供需双方协议直接控制 某部分负荷，或者根据供方提供的分时电价，由需方在电费较高的时段内自行 压低负荷。 3 d m s 高级应用软件功能 配电管理高级应用软件指的是与配电网络分析有关的应用软件。配电网的主 要任务是保证安全可靠供电、分配好负荷、搞好电压无功管理等，不涉及系统 稳定和调频这类问题。但是由于配电网的三相不平衡和辐射型接线等特点， d m s 的应用软件有许多有别于e m s 应用软件的特点。比如，配电网很难全部 实现远动化，一些非遥测数据只能通过使用静态数据补缺的办法来代替，靠操 作员和现场人员的电话联系来跟踪这些数据的变化，这样不可避免地会发生量 测误差。因此，d m s 中状态估计软件的重要性比在e m s 中要重要的多，也要 复杂得多。 当前配电管理系统中高级应用软件主要分为以下三个层次： 基本应用软件。如网络拓扑、状态估计、潮流计算、短路电流、电压 无功控制、负荷预报等。 派生应用软件。如变电站负荷分配、馈线负荷分配、电容器优化配置、 网络重构、事故诊断等。 专门应用软件。如小区负荷预报、停电管理、变压器设备管理等。 4 a m f m g i s 功能 自动绘 虱( a u t o m a t e dm a p p i n g ，a m ) _ 乖i i 设备管t 里( f a c i l i t ym a n a g e m e n t ，f m ) 是 地理信息系统( g i s ) 在电力系统配电网中的具体应用。a m f m g i s 系统不仅可 以在标有电力设备和线路符号的地理图上进行设备技术档案的登录和检索，而 且还增加了不少面向电网运行的新功能，为实时应用提供了基础。这些功能主 要有： 拓扑网络着色。g i s 可以跟踪电路连接情况，绘制电路接线图，并用不 塑查塑堡坠蔓 竺堡 同颜色表示是否带电、接地等。 自动动态连接。用户可以在电路接线图上任意投切一个或多个线路，图 形数据库和拓扑网络着色将随着自动更新。 小区分割处理。在图上用多边形任意圈定一个小区，g i s 将对该区有关 的对象进行统计列表，供用户查询。 开放的图形接口。允许a u t o c a d 和其他多种图形格式的文件与g i s 图 形格式进行相互转换。 d m s 包含的其它功能，如用户信息系统c i s ，主要提供表单、合同、消耗 和用户信息等，也包括用户和一个建筑物关联的信息，和关联到低压网络区域、 网络段和仪表的信息。工作流管理则包含工作顺序计划和跟踪，人力安排，材 料单的准备，费用估计和监视等。 1 3 配电管理系统的现状和问题 现在基本上每个市级电力局都有自己的s c a d a 系统。但是这些s c a d a 系 统采集的大量的、杂乱的数据没有经过整理，其中能够被用起来的仅仅是- 4 , 部分。根据文献1 3 6 】，一个中型的s c a d a e m s ，如果按每5 分钟对模拟量采 样计算，1 年的历史数据存储量至少也达到几g b 。而一个s c a d a d m s 系统 的数据量要在这之上大一个数量级，达到几十g b 。同时负荷管理系统和电能 量计量系统，以及调度m i s 等，都在不断地产生和存储着大量的数据。 随着系统运行时间的推移和电力市场等新系统的投入，数据量在不断增长。 如此大量数据的存储、管理、分析、利用，引发了一系列急待解决的问题，例 如： 1 基于传统数据库的数据管理系统，随着数据量的增加，统计查询性能大 幅度下降。 2 存在于各个独立系统中的数据需按应用主题进行集成和关联。 3 需对大量原始数据进行归纳和综合，进行存储空间和检索效率的优化。 4 一般系统仅仅给用户提供了原始数据查询和固定格式的报表输出，最终 用户不能随意地利用这大量的数据，进行灵活方便、直观的统计分析。 5 需要在大量的数据中发现人们直观上难以发现的有价值的信息和知识。 如何利用这些大量的数据为管理决策支持系统提供有效的数据基础成了国 内大部分电力企业急需解决的一个问题，否则企业对各个系统大量的投资不能得 到很好的回报。i e c 6 1 9 6 8 是国际电工委员会( i n t e r n a t i o n a le l e c t r o t e c h n i c a lc o m m i s s i o n ，i e c ) 第5 7 技术委员会( p o w e rs y s t e mc o n t r o la n da s s o c i a t e dc o m m u n i c a t i o n ) 下的1 4 工作组( w o r k i n gg r o u p1 4 ，w g l 4 ) 提出的一个配电管理的系统接口标准。 浙江大学硕士学位论文 绪论 图1 1 提供t i e c 6 1 9 6 8 在企业实现的一个典型例子f 3 8 】。在这个例子中，企业使用 了接口适配器作为集成它许多遗留系统和其他符合i e c 6 1 9 6 8 的应用系统的手段。 利用i e c 6 1 9 6 8 中间件服务在企业级的应用中交换信息。在这里，数据仓库应用也 被连接到i e c 6 1 9 6 8 中间件服务上以便它可以从各个不同的系统中接收数据。数据 仓库是一个面向主题的、集成的、非易失的且随时间变化的数据集合【”，它能够 从d m s 系统中其它各个系统的数据库中抽取数据，经过净化、转化保存在数据 仓库中。 图1 1i e c 6 1 9 6 8 在企业的一个应用 数据仓库能够对大量的数据进行整理、概括，使之能够提供快速的查询功 能，为电力企业的管理决策提供支持。当进行个决策活动时，从这么多杂乱 无章的数据中发现自己需要的数据是很困难的，而数据仓库可以根据各个决策 的主题域，对这些大量的数据进行数据抽取，根据数据的时间进行数据概括， 这些经过整理的数据可以很好的为决策活动提供服务。例如，在电力系统电能 质量这主题中，需要在s c a d a 采集的大量数据中抽取数据，保存电压、电 流、谐波数据以及零序电流等。随着时间的推移，还要对这些数据进行总结。 例如，可以对高次谐波计算一个星期或一个月的总谐波畸变率，对三相电压计 算一个星期或一个月的三相电压不平衡度。进行数据概括以后，在不影响统计 电能质量的前提下大大减少了数据量，也提高了数据查询的速度和效率。 1 4 本文所做的主要工作 本文首先对决策支持系统d s s ( d e e i s i o ns u p p o r ts y s t e m ) n 概念、体系结构 进行了简要的介绍，阐述了d s s 的数据库系统、模型库系统、知识库系统以及 浙江大学坝士学位论文 绪论 方法库系统。然后针对配电管理系统中大量的数据不能有效地利用这一现状， 提出了种基于数据仓库的，对现有数据进行整理、抽取、净化和转化，能够 为决策支持系统提供快速、有效的数据响应的解决方法。 作者参与了湖州电力局配变管理系统的开发工作，为了解决系统中数据不 能有效利用这一问题，建立了一个有关电能质量的数据集市，为建立一个全局 的数据仓库进行了试验性的工作。在建立数据仓库之前的数据抽取的过程中， 需要从各个异构的系统中获取数据。这一过程需要知道各个异构系统的数据模 式，根据不同的数据模式制定数据抽取的方法；这样不但工作量大，而且涉及 其他公司的核心技术信息的问题。作者为解决这个问题，提出了一种基于 c i m ) ( m l 的数据抽取方法。 c i m ( c o m m o ni n f o r m a t i o nm o d e l ) 是i e c 第5 7 技术委员会( t c 5 7 ) 建立的 个通用信息模型，它提供了一个关于能量管理系统信息的全面逻辑视图，是 个代表电力企业所有主要对象的抽象模型，包括了这些对象的公有类和属性， 以及它们之间的关系阢2 6 , 27 1 。i e c 6 1 9 7 0 标准的第3 部分详细描述了c i m 。因为 c i m 已经标准化，各个d m s 系统厂商都被要求支持c i m ，基于c i m 的数据抽 取程序不需要知道各个系统的内部数据模式，只要各个厂商提供基于c i m 的电 力系统测量数据，抽取程序就能够提取数据到数据仓库中去。论文的第四章阐 述这种方法的概念，第五章详细讨论了其实现过程。 塑垩奎兰塑主堂堡堡苎 盗茎壅堡墨箜 2 1 概述 第二章决策支持系统 决策是人们为了达到某一种目的而进行的有意识的、有选择的行动。在一 定的人力、设备、材料、技术、资金和时间因素的制约下，人们为了实现特定 的目标，而从多种可供选择的策略中做出决断，以求获得满意效果的过程就是 决策的过程口】。企业管理的核心是“决策”。随着全球经济一体化的进程以及 信息技术的发展，电力企业比以往任何时候都面临着更为复杂的生存环境。在 强大的竞争压力下，对企业制定决策的质量和速度都有更高要求。 决策支持系统d s s 作为种新兴的信息技术，能够为企业提供各种决策信 息以及许多商业问题的解决方案，从而减轻了管理者从事低层次信息处理和分 析的负担，使得他们专注于最需要决策智慧和经验的工作，因此提高了决策的 质量和效率。决策支持系统是以管理科学、运筹学、控制论和行为科学为基础， 用计算机技术、仿真技术和信息技术为手段，以支持非结构化型和半结构化型 的决策为目的，辅助支持中高层决策者的决策活动，具有智能作用的人机计算 机网络系统【4 。 以模型库为主体的决策支持系统已经发展了1 0 年，它对计算机的辅助决策 起了很大的推动作用。数据仓库和联机分析处理0 l a p ( o n l i n ea n a l y t i c a l p r o c e s s i n g ) 新技术为决策支持系统开辟了新途径。这些新的技术和传统的模型库对 决策支持是两种不同的形式，它们可以相互补充。在o l a p 中加入模型库，将 会极大地提高o l a p 的分析能力。 把数据库、o l a p 、数据挖掘和模型库结合起来形成综合决策支持系统，是 更高形式的决策支持系统 2 1 。数据挖掘主要采用人工智能中的机器学习、知识 处理、神经网络等技术和传统统计分析算法( 概率统计、决策树等) 及计算智 能方法( 模糊逻辑、遗传算法、小波与混沌理论等) 与数据库技术相结合，它 专门研究如何从数据库的大量数据中发现隐藏在其中的规律，即从数据库中提 取、挖掘和发现知识，搞清数据库及数据仓库中数据间的相互关联、提取有用 信息，进行数据分析，为管理层提供有效的决策。而数据仓库能够实现对决策 主题数据的存储和综合，0 l a p 实现多维数据分析，模型库实现多个广义模型 的组合辅助决策，专家系统利用知识推理进行定性分析。它们集成的综合决策 支持系统，将相互补充、相互依赖发挥各自的辅助决策优势，实现更有效的辅 助决策。 浙江大学硕士学位论文决策支持系统 综合决策支持系统有三个主体，其结构如图2 1 所示。第一个主体是模型 库系统和数据库系统的结合，是决策支持的基础，为决策问题提供定量分析( 模 型计算) 的辅助决策信息；第二个主体是数据仓库、o l a p ，它从数据仓库中提 取综合数据和信息，这些数据和信息反映了大量数据的内在本质；第三个主体 是专家系统和数据挖掘的结合，数据挖掘从数据库和数据仓库中挖掘知识，并 将其放入专家系统的知识库中，通过知识推理的专家系统达到定性分析辅助决 策【2 1 。 用户 图2 1 综合决策支持系统结构圈 综合体系结构中的三个主体可以相互补充也可以相互结合。根据实际问题 的规模和复杂程度，采用单个主体辅助决策或者采用两个或三个主体相互结合 辅助决策。 2 2d s s 的人机界面 人机界面部分是d s s 中用户和计算机的接口，起着在操作者、模型库、数 据库和方法库之间传递命令和数据的重要作用，图2 1 中问题综合与交互系统 就是一个人机界面的例子。在实际工作中，由于系统经常是由那些从系统输出 中获得好处，且又对系统内部了解甚少的人直接使用，所以用户接口设计的好 坏对系统的成败有举足轻重的意义。一个好的人机界面可以为决策者提供个 进一步理解决策问题的过程，使决策者了解系统中现有的模型情况，而且通过 “w h a t i f ，这种带有自然语言形势的提问，得到按系统中现有的模型 羔壁生壁兰堕主兰些兰兰一 盗茎壅堡墨茎 所得出的参考意见。 语言系统l s ( l a n g u a g es y s t e m ) 的功能主要是把自然语言转化为机器能够理 解的形式，并把机器对问题的解答或系统内部的其他信息转化为与自然语言相 应的形式向用户输出。一些先进的d s s 系统利用语言系统l s 和问题处理系统 p p s ( p r o b l e mp r o c e s s i n gs y e s t e m ) 来实现人机交互的功能，使决策者在使用d s s 时感到自己在操作计算机，借助于计算机系统提供的一些信息进行决策，而不 是计算机代替决策者做出决策。这是一个很重要的方面，关系到决策者会不会 接受这个系统。 2 3 四库系统 现代的d s s 主要有五个部分构成：人机界面、数据库系统、模型库系统、 知识库系统和方法库系统；同时在这五个部件的基础上又形成了各自的管理系 统。而传统的d s s 中主要包括人机界面、数据库系统和模型库系统。其中，数 据库系统、模型库系统、知识库系统和方法库系统是d s s 功能的实现部分，称 之为四库系统。 2 3 1 数据库系统 数据库是d s s 的重要数据资源，是模型库、方法库和人机接口的基础部分。 和一般的m i s 系统的数据库不同，d s s 使用数据的主要目的是支持决策，因此 它对综合性数据或者经过预处理后的数据比较重视。而m i s 系统主要支持日常 事务处理，所以它特别注意对原始数据的收集、整理和组织。一般来讲，d s s 的数据库比较庞大和复杂，具体实现中多采用数据仓库。b i l li n m o n 把数据仓库 定义为一个面向主题的、集成的、非易失的、随时间变化的且用来支持管理人 员决策的数据集合。一般的操作型数据库是基于应用的，它的各种操作基于大 量的表索引，对于稍稍复杂的用户查询，它就要很长的时间响应。而数据仓库 是面向主题的，它的数据被组织、划分成一个个的主题域，专门对查询进行优 化。集成性体现在数据仓库从其它数据库抽取数据时。同样一个东西，在不同 厂商的数据库中它的表示会不同，数据仓库在抽取数据时，它必须把这些不统 一的数据转化成统一的格式。非易失性指的是数据仓库是只读。数据仓库成批 从其它数据库中导入数据，以后对数据仓库的操作一般仅仅是读数据。随时间 变化表现在数据仓库中数据的时间期限比较长，通常是5 1 0 年。 但是，数据仓库中并不是所有历史数据都以同样的详细程度加以存储。当 数据已存在一个月后，它有可能被概括为周概要数据：在一、二年后，就有可 能被概括为月概要数据。这不仅可以提高数据仓库的查询速度，还符合决策的 羔坚三叁堂堂二! 兰垡堕 盗茎塞堑墨竺 规律。当我们进行决策时，对时间越远的数据的详细程度要求越低，概要程度 越高。 2 3 2 模型库系统 模型库系统为决策者提供了推理、比较选择和分析整个问题的能力。这f 是d s s 系统和m i s 系统最大的不同。对于d s s 在电力系统中的应用来说，这 一部分正是体现了电力系统的特色，将电力系统的各种特点通过模型表示出来。 所谓模型是以某种形式对一个系统的本质属性的描述，以揭示系统的功能、行 为及其变化规律。所以模型是对现实世界的模拟，但现实世界是极其复杂的， 建立模型时，决不能企图把所有因素都考虑进去，否则，模型不但不能解决实 际问题，反而把问题搞复杂了。在d s s 中，决策般是针对非结构化的问题， 而建模活动就是将结构化非良好的问题转化为结构化良好的问题。所以建模时， 要根据系统的目的和要求，抓住本质属性和因素，忽略非本质因素，准确的描 述系统。 在d s s 系统中一般有大量的模型，供系统在决策时选用一个合适的模型。 所以在d s s 中模型一般是以数据的形式存在数据库中，同时建有模型字典。由 于存在多个模型，模型和人机系统及数据库之间的接口也是多样的。为了减少 模型对数据库系统和人机系统的依赖、增强独立性，一些d s s 系统中模型对数 据库和人机系统的访问采用了一种统一的标准形式。在于一种具体的数据库连 接时，必须有一个转换接口，将标准访问形式转化成具体系统要求的形式。 为了提高灵活性，d s s 还允许决策者自己新建模型。通过原有模型的选择、 拼结和组合，根据决策者的命令将简单的子模型构造成复杂模型。这种让决策 者参与模型建立的做法，可以使决策者了解系统，使它更容易接受系统，并乐 于根据系统做出决定。 2 3 3 知识库系统 知识库是一个类似于数据库的结构化的软件模块，它用形式化的方法将专 家的专业知识存储在其中，供用户使用。知识库系统是在专家系统的基础上发 展起来的，d s s 设立知识库，其目的是为了扩大与决策者共有的知识领域，以 便更好地沟通思维。在开发知识库时应该考虑如下问题：为自然语言理解创立 语义和语用的环境；为建模和数值计算提供必要的分析基础；补充和延拓决策 人员的思维能力【2 】。知识的获取和解释、知识的表示、知识推理以及知识库的 管理和维护是知识库开发的关键技术。 在知识库的基础上又产生推理机，其推理过程是对知识的选择和运用的过 羔里三二壁堡：壁些堡兰 壅叁壅堑墨笙 程。推理机构根据用户的输入和选择，从知识库中取得专业知识，对当前的状 况进行推理。 2 3 4 方法库系统 方法库系统就是一些基本算法的集合，它为d s s 提供了一个合适的环境， 允许计算过程实现交互式存取数据，从数据库选择数据，从方法库选择算法， 然后将数据和算法结合起来进行计算。方法库有点类似于c + + 中的s t l ，但是 它与语言无关，调用时实现动态连接，并能单独地修改模块而不需要改变调用 程序。还有它增加了用户接口命令语言，用户不需要有一定的程序设计基础就 可以使用，提高了灵活性、经济性和可用性。 2 , 4d s s 体系结构 在实现了各个部分以后，就要对各个部分进行组合。其中方法库和知识库 都可以归并到模型库中去，这样d s s 就可以逻辑地分为数据库、模型库和人机 界面三个部分。那么，如何有效地集成这几个部件，如何构建一个有效的d s s 结构呢? 文献 3 提出了四种d s s 构型，下面一一对其进行介绍。 2 4 1 网状d s s 网状d s s 通过接口部分将对话、模型和数据库部件集成。在这种结构中， 可以有多个不同厂家提供的数据库、模型库和人机界面，各个部分之间分别提 供接口实现通讯。这样就可以允许不同的模型和对话部件能够共享数据，使系 统的扩展工作简化。网状结构的d s s 如图2 2 所示。 图中d c 、d c l 分别表示对话部件及其接口，m c 、m c l 分别表示模型部件 及其接口，d b c 表示数据库部件，c i m 表示部件接口管理器，下标表示部件的 序号。这种结构灵活性好，可使部件之间的结合很方便，容易集成独立研制出 来的部件；局部化的部件接口简化了维护和扩展；部件共享有很大的灵活性。 但是接口太多，对每一个欲集成加入d s s 的对话和模型部件必须开发一个部件 接口，对每一个欲集成进来的数据库部件以及要利用该数据库部件的其他部件 的接口必须进行扩展：多重对话部件，给使用带来了困难；增加一个模块的成 本比较高。 堂坚生壁兰堕主堂竺望兰一一 盗錾塞堑墨竺 2 4 2 桥式d s s 图2 2 网状d s s 体系结构 桥式d s s 提供一个标准接口或者一组标准接口以结合局部的和共享的部 分，减少网状d s s 的部件接口的数目，但仍保留集成新部件的能力。桥式d s s 是在对话部件和局部的模型部件与共享的模型部件和数据库部件之间提供统一 的接口部件。其结构如图2 3 所示。下标l 表示局部的部件，下标s 表示共享 的部件。局部的部件是非共享的部分。 图2 3 桥式d s s 体系结构 桥式d s s 实现了集中化或者称之为标准化。集中化减少了接口的数目，并 将接口的管理功能集中在桥内。这种形式的d s s 较网状d s s 而言，降低了扩 展的成本，大大减少了接口的数目；缺点是要求所有局部的部分和共享的部分 在同一个环境中实现。 兰壁! ! 壁塑! 兰竺丝苎 垫蒸生堑墨竺 2 4 3 夹层型d s s 夹层型的d s s 是用单个的对话部件和具有多种模型部件的数据库部件来集 成模型部件。它只有一种人机界面和数据库模块，但有多个模型库，各个模型 库分别和共享的数据库及人机界面进行数据交换。每一个模型部件都共享同一 个数据库和对话部件，模型部件间的数据通信则通过共享的数据库部件来进行； 模型部件间的控制信息通过共享的对话部件来实现。其结构如图2 4 所示。 夹层型d s s 也有标准的数据和控制接口，和桥式d s s 不同的是夹层型d s s 中的接口是由单一的对话和数据库部件提供的，而不是采用分开的接口。在夹 层型d s s 中的每个模型部件都必须满足这两个接口的要求，否则无法进行通讯 和控制。 对话部件 千千千 ii1 r j l lr lr j l l 乜刮t 孥扯纠 jl】 t 数据库部件 模型 部件 图2 4 夹层型d s s 体系结构 夹层型d s s 的优点在于单一的对话部件给使用d s s 的客户带来了很大的 方便，单一的数据库部件可以使对外部数据的集成由单一的变换程序完成。其 缺点是：合成外部数据困难，单一的数据库部件要求所有的外部数据都必须经 过变换和装入数据库；部件之间的控制接口受对话和数据库部件提供的接口条 件限制：要求全部部件必须在同个运行环境中执行，使不同环境下单独研制 部件非常困难。 2 4 4 塔型d s s 塔型的d s s ，它可以有一组源数据库，一组模型库，组不同的人机界面。 在各个源数据库上有一个提取系统，提取数据到d s s 数据库( 一般是利用数据 仓库1 中去，然后各个模型库都从这个d s s 数据库中读取数据。在各个不同的 模型库上有一个对话输入输出构成器，由它向各个不同的人机界面提供数据， 或者从人机界面接收数据。这种系统结构的兼容性和增加功能的费用都不错。 其结构如图2 5 所示。 对话部件分为对话设备驱动器和对话输入输出构成器，这样的划分之后， 塑垩盔堂婴兰鲎堡堡兰 盗茎兰堡墨堑 容易把新设备接入系统，加入个新的设备只需加入相应的设备驱动器即可。 和夹层型d s s 一样，还是多个模型部件共享统一的对话部件和数据库部件接口， 接口数目不多。塔型d s s 的优点如下： 有了提取系统，可以利用提取的数据库，结合外部数据库的灵活性大 大增加。 具有分层的对话部件、模型部件和数据库管理部件。 对话部件具有对新设备以及输入一输出格式的灵活性。 具有像夹层型d s s 中那样的统一的模型部件的接口，并且拥有将独立 研制出的模型进行集成的灵活性。 其缺点是： 对于独立研制出的，需要在不同运行环境中工作的对话部件、模型部 件和数据库管理部件的集成还存在定难度。 严重依赖于单一的对话和数据库接口。 由于系统的多重层次而可能会出现系统的某些性能问题。 2 5 小结 设备 设各 设备 、十7 f 对话设备驱动器7 li i 对话输入输出构成器 i，十气 0 【m c 。ilm c ，iim c 。i j d s s 数据库 【0 i 抽取系统 l l ! 源数据库i i 源数据库 i 图2 5 塔型d s s 体系结构 对话 部件 模型 部件 数据库 部件 决策支持系统是在管理信息系统的基础上发展起来的，在数据仓库、o l a p 技术和数据挖掘工具出现以前，d s s 在实际应用开发过程中暴露出许多问题， 主要有以下几个方面： ! 堕查兰堡主兰竺堡兰 塾丝兰堡墨竺 1 d s s 使用的数据库只能对原始数据进行一般的加工和汇总，致使决策所 需信息不足，难以满足d s s 的需要。 2 由于决策本身的动态性和复杂性，针对不同的情况应有不同的处理方 法，而模型库提供的分析能力有限，它所提供的模型独立于环境之外，决策者 和模型交互很少，模型参数固定不变，不符合决策要求。 3 在实际开发d s s 过程中，人机接口部件占整个d s s 开发工作量的一半， 人的任何意图及系统对人的任何支持都要通过人机接口才能最终实现，因此它 在整个系统中起着举足轻重的作用。现在人机接口开发得不理想，可以说是d s s 实施中的一个瓶颈。 进入9 0 年代后，信息技术界悄然掀起数据仓库和o l a p 技术及数据挖掘技 术的研究和开发热潮，这为克服传统d s s 存在的问题提供了技术上的支持，使 d s s 的发展跃上一个新的台阶，也为d s s 开辟了条新的途径。目前开发的综 合d s s 是以数据仓库技术为基础，以联机分析处理和数据挖掘工具为手段进行 实施的一整套解决方案。 一般决策所需的数据总是与一些维数( 每一维代表对数据的一个特定的观 察视角，如地区、时间等) 和不同级别( 如部门、单位、地区和国家) 的统计 和计算有关。以多维数据为核心的多维数据分析是决策的主要内容，数据仓库 的多维特征满足d s s 对数据的分析要求，并且克服数据库的数据组织性差、利 用率低的缺点。数据库不具有多维特征，但却是数据仓库构建的基础。在数据 库多年的应用中己经积累大量数据，而且目前数据库的数量和规模还在迅速增 d n $ i j 扩大，从而出现“数据丰富、知识贫乏”的问题。因此，从庞大的数据库 中抽出有用的信息已是当务之急，要成功地进行信息抽取首先要建立数据仓库。 下一章将重点介绍数据仓库。 兰塑三皇兰竺主! ! 丝丝苎 錾堡垒壁塾堡茎塑苎垫 第三章数据仓库对决策的支持 3 1 数据仓库概念 数据仓库d w ( d a t aw a r e h o u s e ) 概念始于上个世纪8 0 年代中期，数据仓库 概念创始人w h i n m o n 在( ( b u i l d i n gt h ed a t aw a r e h o u s e ) ) 一书中对数据仓库的 定义是：数据仓库就是面向主题的、集成的、非易失的( 稳定性) 、随时间不断 变化( 不同时间) 的数据集合，用以支持管理人员的决策制定。数据仓库中的 数据面向主题，与传统数据库面向应用相对应。主题是一个在较高层次上将数 据归类的标准，每一个主题对应一个宏观的分析领域。数据仓库的集成特性是 指在数据进入数据仓库之前，必须经过数据加工和集成，这是建立数据仓库的 关键步骤，首先要统原始数据中的矛盾之处，还要将原始数据结构做一个从 面向应用到面向主题的转变。数据仓库的稳定性是指数据仓库反映的是历史数 据的内容，而不是日常事务处理产生的数据，数据经加工和集成进入数据仓库 后是极少或根本不修改的。数据仓库是不同时间的数据集合，它要求数据仓库 中的数据保存时限能满足进行决策分析的需要，而且数据仓库中的数据都要标 明该数据的历史时期。 数据仓库并没有严格的数学理论基础，也没有成熟的基本模式，且更偏向 于工程，具有强烈的工程性。因此，在技术上人们习惯于从工作过程等方面来 分析，并按其关键技术部份分为数据的抽取、存储与管理以及数据的表现等三 个基本方面。 1 数据的抽取：数据的抽取是数据进入仓库的入口。由于数据仓库是一 个独立的数据环境，它需要通过抽取过程将数据从联机事务处理系统、 外部数据源和脱机的数据存储介质中导入到数据仓库。数据抽取在技 术上主要涉及互连、复制、增量、转换、调度和监控等方面。数据仓 库中的数据并不要求与联机事务处理系统保持实时同步，因此数据抽 取可以定时进行，但多个抽取操作执行的时间、相互的顺序、成败对 数据仓库中信息的有效性则至关重要。 2 存储和管理：数据仓库的真正关键是数据的存储和管理。数据仓库的 组织管理方式决定了它有别于传统数据库，同时也决定了其对外部数 据的表现形式。要决定采用什么产品和技术来建立数据仓库的核心， 则需要从数据仓库的技术特点着手分析。 3 数据的表现：数据表现实际上相当于数据仓库的门面，其性能主要集 中在多维分析、数理统计和数据挖掘方面。而多维分析又是数据仓库 兰堕三盔兰竺圭兰竺兰墨：一一 鏊堡垒壁型堡苎塑兰堑 的重要表现形式，近几年来由于互联网的发展，使得多维分析领域的 工具和产品更加注重提供基于w e b 前端联机分析界面，而不仅仅是在 网上发布数据。 i b m 、o r a c l e 等厂商都提出了自己的数据仓库结构，但严格说来，任何一 个数据仓库结构都是从一个基本框架发展而来，实现时再根据分析处理的需要 具体增加一些部件。一个基本的数据仓库模型如图3 】所示： 再蔚 、 图3 1 数据仓库基本体系结构 为了能够将已有的数据源数据提取出来，并组织成可用于决策分析所需的 综合数据的形式，一个数据仓库的基本体系结构中应有以下几个基本组成部分： 数据源：指为数据仓库提供最底层数据的运作数据库系统及外部数据。 监视器：负责感知数据源发生的变化，并按数据仓库的需求提取数据。 集成器：将从数据库中提取的数据经过转换、计算、综合等操作，集成到 数据仓库中。 数据仓库：存贮已经按企业级视图转换的数据，供分析处理用。根据不同 的分析要求，数据按不同的综合程度存储。数据仓库中还应存储元数据，其中 记录了数据的结构和数据仓库的任何变化，以支持数据仓库的开发和使用。 客户应用：供用户对数据仓库中的数据进行访问查询，并以直观的方式表 示分析结果的工具。 对数据仓库而言，许多人把它当做一个现成的可以直接买来使用的产品； 实际上，数据仓库和数据库不同，它不是现成的软件或硬件产品。数据仓库是 一种解决方案，是对原始的操作数据进行各种处理并转换成有用信息的处理过 浙江大学顺：e 学位论文 数据仓库对决策的支持 程，用户可以通过分析这些信息作出策略性的决策。数据仓库最根本的特点是 物理地存放数据，而且这些数据并不是最新的、专有的，而是来源于其他数据 库，它要建立在一个较全面和完善的信息应用的基础上，用于支持高层决策分 析，而事务处理数据库在企业的信息环境中承担的是日常操作性的任务。数据 仓库是数据库技术的一种新的应用，到目前为止，数据仓库还是用数据库管理 系统来管理其中的数据。 3 2 数据模型 在这里，我们将事务处理数据库称为操作型数据库，以区别于数据仓库。 数据模型既适用于操作型数据库也适用于数据仓库环境。在各个企业或者公司 中，管理人员对企业的业务在头脑中都有一个模型。数据建模时，我们是对管 理人员或者说客户头脑中的模型进行再次建模，而不是对整个现实世界建模。 我们对管理人员头脑中的模型所建的模型称之为企业数据模型。 企业数据模型建造时没有考虑现存的操作型数据库和数据仓库之间的差 别，企业数据模型只包含原始数据。当企业数据模型转变到操作型数据库时， 一般只需增加性能因素到该模型中。但是，企业模型转变到数据仓库中要做相 当多的改动。首先要做的是除去纯粹用于操作型环境的数据。然后，在企业数 据模型的键码结构中增加时间元素。最后，还要做企业数据模型到数据仓库模 型的稳定性分析。稳定性分析是根据各个数据属性的变化特性将这些属性分组。 不常变化的数据聚集在一起，时而变化的数据聚集在一起，常变化的数据聚集 在一起。稳定性分析的最终结果是具有相似特性的数据聚集在一起。 有三个层次的数据建模：高层建模( e r d ，实体关系层) ，中间层建模( d i s ， 数据项集) ，底层建模( 物理层) 。有许多计算机辅助系统设计( c a s e ) i 具，如 s y s b a s e 公司的p o w e r d e s i g n e r 软件，可以用来帮助我们在这三个层次上建模， 也非常方便在这几个层次之间进行转换。下面简单介绍这三个层次的建模。 3 2 1 高层建模 高层建模形成一个实体关系图( e r d ) ，e r d 是一种用于表示数据库中所有 对象的图，它说明了所有表( 实体) 及相互之间的关系