（计算机软件与理论专业论文）基于web+service技术的商业智能体系结构研究.pdf

基于w e bs e r v i c e 技术的商业智能体系结构研究 摘要 在2 l 世纪，企业正处在一个以模糊的组织机构边界和时变的市场走向为特点的环境变化中。企 业急需一种合适的决策支持系统的辅助来应对这些变化的挑战，传统商业智能系统是在原有业务系 统的成熟开发技术之上架构起来的。这些技术很大程度上是专门服务于原有业务系统的运作模式的， 在商业需求频繁变化的条件下很难提供充分的决策支持。 本课题针对解决原有商业智能系统所存在的分布式性能差、无法在异构环境下运作和难于部署 等问题，提出了基于w e bs e r v i c e 技术的商业智能体系结构( w e bs e r v i c e b a s e db u s i n e s s i n t e l l i g e n c ea r c h i t e c t u r e ，w s b i a ) 。文中首先探讨了改进的商业智能系统的逻辑结构，并且详细 描述了各模块的功能，然后结合w e bs e r v i c e 技术的特点提出基于w e bs e r v i c e 技术的商业智能体 系结构框架模型，并对该模型进行了功能划分和详细设计，以新的体系结构为依托，设计了商业智 能系统新的扩充、升级和部署方案，该方案具有操作安全、容易实现的特点。 论文最后以f o o d m a r t 连锁商店的历史数据为基础，在w s b i a 体系结构模型支持下进行了系统原 型开发销售分析系统验证了该体系结构的可行性。系统设计过程中使用面向对象的技术对系 统分析服务的核心部分进行了数据抽象和服务方法的抽象，并在抽象模型的基础上，使用n e t 开发 工具实现了系统的原型，该系统具有辅助销售决策的功能。 关键词：商业智能：体系结构：组件；w e b 服务；数据仓库 l i r e s e a r c h0 1 1aw e bs e r v i c e - b a s e db u s i n e s si n t e l l i g e n c ea r c h i t e c t u r e a b s t r a c t i nt h e2 1 s tc e n t u r y , a l lt h ee n t r e p r e n e u r sa r ed r i f t i n gi nt h ee n v i r o n m e n to fb e i n go nt h ee d g eo fa v a g u eo r g a n i z a t i o na n dm a r k e tv a r i o u sc h a n g e s t h e yu r g e n t l yn e e da na p p r o p r i a t ed s st om e e tt h e s e c h a n g i n gc h a l l e n g e s 。t h et r a d i t i o n a lb u s i n e s si n t e i i i g e ms y s t e ma r ee s t a b l i s h e db a s e do nt h eo r i g i n a la f f a i r s y s t e m ，a n dt h e s et e c h n i q u e sa r em a i n l ys e r v i c et h eo p e r a t i o nm o d eo ft h ec o n v e n t i o n a ls y s t e m ，w h i c hc a n n o ts u f f i c i e n t l ya f f o r dt h ed e c i s i o ns u p p o r tu n d e rt h ec o n d i t i o no f f l u c t u a n tc o m m e r c i a lr e q u i r e m e n t s t h i sp r o j e c tp r o p o s e ( w e bs e r v i c e - b a s e db u s i n e s si n t e l l i g e n c ea r c h i t e c t u r e ) w s b i aw h i c hb a s e do n w e bs e r v i c ea i m i n ga ts o l v i n gt h ep r o b l e m so fo r i g i n a ls y s t e ms u c ha sd i s t r i b u t i o nu n a v a i l a b l e ，c a l ln o t b er u ni nt h eh e t e r o g e n e o u ss y s t e mp l a t f o r ma n dh a r dt od e p l o y t h i sp a p e rf i r s t l ye x p l o r e st h el o g i c a l a r c h i t e c t u r eo fb u s i n e s si n t e l l i g e n ts y s t e m ，t h e ng i v e sas o a s t r u c t u r e ，a n di n t r o d u c e st h ef u n c t i o no fe v e r y m o d es p e c i f i c a l l y ，a f t e rt h a ti tp r o p o s e sf r a m ep a t t e r no fw e bs e r v i c e - b a s e db u s i n e s si n t e l l i g e n c e a r c h i t e c t u r ec o o p e r a t i n gw i t hw e bs e r v i c e ，s o r t i n gt h ef u n c t i o n sa n de x c o g i t a t i o no ft h i sm o d e d e s i g n n e ws o l u t i o nf o rb u s i n e s si n t e l l i g e n ts y s t e mt oe x t e n d ，u p d a t ea n dd e p l o yb a s e do nt h en e ws y s t e m a r c h i t e c t u r e t h i ss c h e m ep o s s e s s e sc h a r a c t e r i z e so f o p e r a t i n gs a f e l ya n de a s yt or e a l i z e t h i sp r o j e c te n d i n gb a s e do nt h eh i s t o r i cd a t ao ff o o d m a r tc h a i ns t o r e ，u n d e rt h es u p p o r to fw e b s e r v i c e b a s e db u s i n e s si n t e l l i g e n c ea r c h i t e c t u r ec a r r i e so u tc a s ed e v e l o p m e n t ，as y s t e mp r o t o t y p e ( s a l e a n a l y s i ss y s t e m ) ，t e s t i n ga n dv e r i f y i n gt h ef e a s i b i l i t yo f t h i ss y s t e ms t r u c t u r e i nt h i sd e v e l o p m e n tp r o c e s s ， o o t e c h n o l o g yi su s e dt oa b s t r a c tt h ed a t at y p ea n dt h es e r v i c em e t h o d s ，a n du s e n e tt o o l st or e a l i z et h e s e f u n c t i o n s ，t h es y s t e mc a r la s s i s tt h ed e c i s i o n - m a k e rt od e s i g ns a l ep l a n k e yw o r d s ：b u s i n e s si n t e l l i g e n c e ；a r c c h i t e c t u r e ；c o m p o n e n t ；w e bs e r v i c e ；d a t aw a r e h o u s e i l i 学位论文独创性声明 本人所呈交的学位论文是我在指导教师的指导下进行的研究工作及取得的研究成 果。据我所知，除文中已经注明引用的内容外，本论文不包含其他个人已经发表或撰写 过的研究成果。对本文的研究做出重要贡献的个人和集体，均已在文中作了明确说明并 表示谢意。 作者签名：主堑必日期：2 1 堡三堡! 日 学位论文使用授权声明 本人完全了解大庆石油学院有关保留、使用学位论文的规定，学校有权保留学位论 文并向国家主管部门或其指定机构送交论文的电子版和纸质版。有权将学位论文用于非 赢利目的的少量复制并允许论文进入学校图书馆被查阅有权将学位论文的内容编入有 关数据库进行检索。有权将学位论文的标题采擒要汇编出版。保密的学位论文在解密后 适用本规定 学位论文作者签名：弗詹氓 导师签爱! 呈扣绎弘 日期：忡7 年乡肆卜日 日期：缈7 筝；珂f 硎 创新点摘要 课题在提出体系模型和原型实现过程中涉及到如下创新： 1 、改进了商业智能系统的逻辑结构，并详细设计了相应的功能模块： 2 、结合w e bs e r v i c e 技术的特点提出基于w e bs e r v i c e 技术的商业智能体系结构框架模型。并 对该体系结构进行了功能划分和详细设计： 3 、结合w e bs e r v i c e 技术的应用，设计了新的商业智能系统升级、扩充和部署方案； 4 、在系统原型实现过程中将x m l a ( x m lf o ra n a l y s i s ) 技术与微软商业智能解决方案进行了 有机结合，使系统实现更具灵活性。 大庆石油学院硕士研究生学位论文 引言 互联网的兴起并在商业运作中的广泛应用，国内外市场的不断成熟等因素将世界经 济推动到信息化时代。企业经营理念和方式均发生巨大改变，对于企业若想在激烈的市 场竞争中立于不败，那么，客观及时地掌握市场发展趋势和商业需求、提高企业决策的 时效性和科学性等工作更显其重要性。 科学的企业决策是基于有效信息的分析结果，企业多年的经营数据是这些信息的主 要来源，然而，这些数据随着企业的发展日趋“海量”。以联机事务处理为特点的传统 业务数据库系统不论是在功能需求方面还是在处理能力方面都存在严重的缺陷，无法充 分满足对企业决策的支持。 以数据仓库、联机分析处理和数据挖掘等理论为根基的商业智能软件的出现缓解了 企业决策者的工作压力。商业智能软件采用有粒度的集成组织方式存储企业数据，其附 带联机分析处理工具和数据挖掘工具为数据分析和趋势预测提供了良好的辅助。然而市 场是活跃的，商业需求是不断变化的，面对这种频繁的变化，商业智能软件开发商必须 对软件进行频繁的扩展、升级和更新部署。基于传统组件技术的商业智能软件的架构模 式注定其无法承受如此重负。 软件的体系结构直接决定软件的开发方式、运作模式以及后期扩展能力。本课题通 过对现有商业智能软件特点进行了分析和总结，对商业智能系统的逻辑结构进行了改良 设计，并结合w e bs e r v i c e 技术的运作特性提出了一种基于w e bs e r v i c e 技术的商业智 能体系结构，设计了面向服务的系统结构，并设计了相应的功能模块。论文从可扩充性、 分布式性能以及部署工作等方面阐述了该体系结构的优越性，设计了一种新的、基于该 体系结构的系统扩充模型，说明了扩充操作的具体流程。最后以f o o d m a r t 链锁商店的 历史销售数据为基础，设计了一个销售分析系统原型，在系统实现过程中，对系统涉及 到的主要数据类型和服务方法进行了面向对象的抽象，并说明了实现细节。系统最终具 有辅助销售决策的功能。 第1 章商业智能概述 第1 章商业智能概述 在激烈的商业竞争中，任何一个企业若谋求得长远的生存和发展都必须科学准确地 把握商业信息，正确做出企业决策。从简单的电子报表到管理信息系统以及本文提及的 商业智能都在不同时期扮演着企业决策的辅佐者。 1 1 商业智能发展历程 商业智能( b u s i n e s si n t e l l i g e n c e ) 的发展历程包括两个主线，即：决策支持系统的 发展和数据仓库技术的发展。 1 、决策支持系统的发展 电子计算机问世不久就被应用于管理领域，起初人们主要用它进行数据处理和编制 报表，其目的是实现办公自动化，通常把这类系统所涉及的技术称作电子数据处理 ( e l e o t r o n i cd a t ap r o c e s s i n g ，e d p ) 。e d p 把人们从烦琐的事务处理中解脱出来，提高 了工作效率，然而，随着企业各部门之间工作关联程度的不断提高，e d p 处理数据的 孤立方式再次让人们感觉到有必要开发一种方便于各个企业或部门之间进行信息交换 和资源共享的系统，帮助协调整体工作的一致性。管理信息系统( m a n a g e m e n t i n f o r m a t i o ns y s t e m ，m i s ) 正是在这种情形下应运而生的，m i s 使信息处理技术进入了 一个新的阶段，并且迅速发展和成熟起来。m i s 把企业的各种数据有效地综合起来，形 成完整的、有组织的信息，可以快捷地为企业提供各种历史数据和汇总数据，帮助企业 进行目标规划。但是，m i s 系统只是对数据进行表面的组织和简单的汇总处理，而不能 将大量数据当中所蕴涵的信息发掘出来用以企业决策，企业越来越需要一种分析型应用 系统，也就是将大量的数据经过分析系统，形成新的数据和规则，给人们提供一个更加 直接决策信息，基于这种思想，研究人员在原有数据库之上建立了一种用于分析的模型。 如图1 - 1 所示为这种早期的决策支持系统( d e c i s i o ns u p p o r ts y s t e m ，d s s ) 的简单原理 图。 分析模型 l数据库 图i - i 早期决策支持系统原理图【1 1 2 、数据仓库技术的发展 大庆石油学院硕士研究生学位论文 图1 1 所示的这种早期结构在实际应用当中暴露出它的严重不足，首先是数据库中 的数据在决策支持系统中使用时存在严重弊端，主要表现在几个方面： ( 1 ) 策支持系统需要经过统计，汇总之后的数据，然而普通业务数据库中的数据 是未经加工的原始数据。 ( 2 ) 决策支持体统中需要大量、广泛、普遍的数据，而数据库中的数据则是专门 的、局部的数据。 ( 3 ) 决策支持系统中需要的不仅是当前的数据还需要历史数据，而且看重历史数 据，而数据库中的数据则主要保存当前数据，看轻历史数据。 ( 4 ) 决策支持系统在决策阶段中需要有相对稳定、不变的数据，而数据库中的数 据主要是事务性的数据，经常需要更改。 因此，传统的数据库必须经过改造以适应决策支持系统的需要，改造后的数据库被 称作数据仓库( d a t aw a r e h o u s e ) 。 3 、商业智能系统 将早期的决策支持系统模型中的数据库由数据仓库来取代后( 如图1 2 ) ，系统的 架构模型和执行效率都有了显著的提高，但是随着决策支持系统的广泛应用和不断发 展，有必要对其进行扩充，联机分析处理( o n l i n ea n a l y t i c a lp r o c e s s e s ，o l a p ) 和数 据挖掘( d a t a m i n i n g ) 技术产生后，决策支持系统得到了充分扩充和改善，如图1 3 所示。 这种决策支持系统是一种具有一定智能( 数据分析与知识发现能力) 性的应用系统，这 就是如今商业智能系统( b u s i n e s si n t e l l i g e n c es y s t e m ，b i s ) 的前身。 1分析模型 i数据仓库 图1 - 2 基于数据仓库的决策支持系统原理图 1 2 国内外b i 研究状况 中外商业智能研究的侧重点有很大不同，国外商业智能厂商更加侧重于技术，它们 有些是专门做商业智能软件的厂商，如：b u s i n e s so b j e c t s 、b r i o 、c o g n o s 等，这些公司 的产品功能强大而且可以为多种数据源提供接口；还有些厂商则与数据库产品有着有 着千丝万缕的联系，如：o r a c l e ，i b m ，m i c r o s o f t 等公司，这些公司主要提供商业智能 后台数据的支撑，近几年随着企业对商业智能产品需求量的不断增加，这些公司也研发 了相应的前端展示产品，如报表分析服务组件。 国内商业智能产品厂商主要集中在应用型系统开发方面，他们利用国外的b 1 支撑 第1 章商业智能概述 软件，构建分析模型，对e r p 、c r m 等业务数据进行分析，由于国外软件从操作习惯， 使用习惯等方面都与国内不同，考虑到国内企业客户信息化程度不高的现状，提供b i 整体结构中的一环或者几环，以满足用户的报表、分析、查询、统计需要。 i知识可视化表达 1 分析模型 联机分析处理数据挖掘 数据仓库 图1 - 3 扩展的决策支持系统原理图 1 3 研究b i 体系结构的意义 软件体系结构是对软件需求的一种抽象解决方案，是高度抽象的软件设计1 2 1 。研究 软件体系结构的意义【2 】： 1 、采用软件体系结构描述系统，可以使问题进一步抽象，使系统分析、设计人员 更清晰地认识系统、理解系统。 2 、软件体系结构帮助参与软件系统研制的有关人员( 用户、设计人员、项目管理 人员、开发人员、测试人员等) 形成统一认识，便于互相交流。 3 、软件体系结构是系统实现的基本要求，每个构件、连接件必须满足体系结构规 格说明中指定的功能、语义和接口，并且按体系结构配置所规定的方式完成交互。 4 、基于体系结构的设计可以充分地复用构件。 商业智能软件有别于普通管理信息系统的重大区别在于它所提供的决策信息的准 确与否，及时与否可能直接关联到企业的重大举措，甚至是生死存亡。 决策支持系统发展初期企业仅仅需要系统提供比普通m i s 系统更加丰富的汇总信 息以及对历史数据的附加分析处理等功能。但是随着企业在市场竞争中得到商业智能软 件所提供的巨大收益的同时也对b i 软件的功能和性能提出了更多的要求。比如分布式 性能，执行效率。功能的可扩充性等等。这些看似微小的需求往往会导致原有b i 系统 的废弃，究其根源是采用了不适合的软件体系结构。 软件体系结构的核心内容包括数据模型的建立和系统结构的设计，良好的体系结构 使系统表现出出色的非功能属性，如：易修改，可维护性和重用性等。 4 大庆石油学院硕士研究生学位论文 1 4 商业智能系统体系结构划分 商业智能体系是一个庞大的系统结构，它主要包含数据源、数据预处理模块、数据 仓库存储、数据分析模块和信息展示平台，如图1 4 所示。 图1 4 商业智能系统总体结构 图1 - 4 的结构从用户职责的角度可分为三个层次：数据仓库管理层( d w 管理员) 、 b i s 应用开发层( b i s 应用软件开发者) 和决策者层。其中从数据源经过数据预处理到 数据被植入数据仓库的这一部分属于数据仓库管理员的职责范围；从数据仓库中读取数 据、定制分析服务的功能以及涉及客户端操作界面则属于b i s 开发人员的职责；最终决 策者面对的是分析好的数据( 信息形成) 。 从软件工程的软件架构角度可将图1 _ 4 看作是一个三层架构的软件系统：后端数据 仓库、中间层分析服务和客户端操作平台。这是在数据仓库中的数据已经形成的约定下 进行的划分，符合目前分布式系统的开发部署理念。本课题所提出的体系结构模型也是 基于这种划分的。 1 5 本课题所做的主要工作 课题在考察了目前数据库应用系统和b i 系统体系结构的主要特征的前提下，在b i 系统的通用性和适应性等方面做了比较深入的研究，具体工作体现在以下几个方面： 1 、分析研究了目前应用于b i 系统的流行技术的优缺点。 2 、提出一种基于w e bs e r v i c e 技术的商业智能体系结构( aw e bs e r v i c e b a s e db i a r c h i t e c t u r e ，w s b i a ) ，具体设计7 该体系结构的逻辑结构和运作框架以及实旌要点。 3 、详细介绍了基于w s b n 的商业智能系统的扩充、升级和部署能力和操作流程。 4 、论文最后以f o o d m a r t 连锁商店的历史数据为基础开发了一个基于w s b i a 的原 第1 章商业智能概述 型系统销售分析系统，验证了w s b i a 体系结构的可行性及优越性。 6 大庆石油学院硕士研究生学位论文 第2 章商业智能系统相关技术 商业智能技术是一门多学科的交叉技术，涉及数据库、数据仓库技术、联机分析处 理、多维数据建模和数据挖掘等技术。本文将简单介绍一下这些技术的主要特点。 2 1 数据仓库 数据仓库( d a t aw a r e h o u s e ，d w ) 的一个被普遍接受的定义是2 0 世纪8 0 年代由 b i l li n m o n 提出的“面向主题的、集成的、随时间变化的、非易失的、用于进行战略型 决策的数据集合” 3 1 。 l 、数据仓库与业务数据库的联系 业务数据库系统为数据仓库提供历史数据支持。数据仓库之所以产生是因为业务数 据“爆炸”。爆炸的结果使原有联机事务处理( o n - l i n et r a n s a c t i o np r o c e s s i n g ，o l t p ) 为特点的数据库系统无法处理海量的数据，更无法提供丰富的数据分析功能，数据仓库 技术和联机分析处理( o n - l i n ea n a l y t i c a lp r o c e s s i n g ) 技术正是在对大量历史数据的重 组需求驱动的背景下产生的。原有大量业务数据经过抽取( e x t r a c t ) 、转换( t r a n s f o r m ) 、 清洗( c l e a n i n g ) 和加载( 1 0 a d ) 后植入到数据仓库中，图2 1 表达了业务数据与数据仓 库的基本关系。 图2 - 1 业务数据与数据仓库 2 、业务数据库与数据仓库的区别 ( 1 ) 数据的时效性 数据仓库中的数据是反映历史上某一段时间的数据，一般对这段时间的数据进行了 预处理，加工成面向主题的不同粒度的数据。而业务数据库中的数据是当前的数据，这 7 第2 章商业智能系统相关技术 些数据是准确的，可被有效的访问和更新。 业务数据库中的数据可以根据需要不包含时间元素，而数据仓库中总是包含时间元 素，并且它还是关键字的一部分。 ( 2 ) 数据操作方式 业务数据可以进行反复的增加、删除、修改、查询等操作，而在数据仓库中，数据 一般不进行更新操作，而只进行查询操作，数据仓库数据的更新是批次更新的，更新频 度相对要小得多。 ( 3 ) 数据组织方式 业务数据库中的数据的组织方式是针对于具体业务处理问题的，而数据仓库则以一 个企业中固有的业务主体为主题，从整体、全局的角度组织数据。 ( 4 ) 数据存储量 业务数据库中的数据一般最多存储几个g b ，而数据仓库中的数据可能是其百倍以 匕。 2 2 联机分析处理技术 在“数据海量，而信息匮乏”的形势下，许多软件开发商开发了各种关系型数据库 的前端产品。利用专门的数据综合引擎和直观的数据访问界面，以统一复杂查询中各种 混乱的应用逻辑，使系统在很短的时间内响应用户的复杂查询。e e c o d d 在1 9 9 3 年将 这类技术称为联机分析处理( o n l i n e a n a l y t i c a lp r o c e s s i n g ，o l a p ) 。c o d d 认为联机事 务处理( o l t p ) 已不能满足终端用户对数据库查询分析的需要，s q l 对大数据库的简 单查询也不能满足用户分析的需求。用户的决策分析需要对关系数据库进行大量计算才 能得到结果，而简单查询的结果并不能满足决策者提出的商业需求。 传统的数据模型( 如实体模型和关系模型) 不能有效地表示数据仓库中的数据结构 和语义，也无法支持o l a p 应用。因此c o d d 提出o l a p 技术的同时也指出o l a p 具 有多维特性。o l a p 的基本分析操作有：切片( s l i c e ) 、切块( d i c e ) 、旋转( p i v o t ) 、 下钻( d r i l l d o w n ) 、上卷( r o l l u p ) 等。 o l a p 的数据来源于数据仓库，通过o l a p 服务器将这些数据抽取和转换为多维数 据结构，以反映用户所能理解的企业真实的维。 2 3 多维数据建模技术 多维数据模型有两种最基本的结构。即星型结构( s t a rs c h e m a ) 和雪花型结构 ( s n o w - f l a k es c h e m a ) 。被b i s 普遍采用的是星型结构。其核心组成包括两大部分：事 实表和维表。图2 3 展示了某连锁商店的销售( s a l e s ) 主题的星型结构。 事实表是多维查询的焦点，存储了真正业务事实所需要的数据和与维表相关联的键 大庆石油学院硕士研究生学位论文 值( 用以在下钻到维表获取细节数据时的关联查询) 。事实数据中的数量属性能被统计、 求和、求平均、求最大值和最小值，能根据各种统计操作来聚类。维表用来指导从事实 表中挑选数据行，并给某一个事实提供细节数据。考查图2 2 的模型能过回答类似“在 1 9 9 8 年7 月份，洛杉矶的商店( 或洛杉矶的某个商店) 可口可乐的销售量”这样的查 询，维中的每个交叉点都将决定聚集哪些行来回答这个查询。 商业智能中的多维建模( m u l t i d i m e n s i o n a lm o d e l i n g ) 技术的研究和发展非常迅速， 建模方法层出不穷，但是还没有一个可以称为标准的多维数据建模解决方案，究其原因 主要有：多维数据模型提出的时间比较晚，研究工作刚刚展开；关系型数据建模技术非 常成熟，绝大多数的数据组织形式均采用关系模型，受其影响，多维建模技术不得不在 此基础上展开，这在某种程度上限制了该项技术的发展。 图2 - 2 星型结构 星型结构已经被公认为标准的数据仓库概念建模( c o n c e p t u a lm o d e l i n g ) 模式，目 前已经出现的多维建模方法主要围绕如何进行星型结构建模的技术而展开。按照理论基 础的不同可分为两类技术：一类是以关系数据库中的实体一关系( e n t i t y - r e l a t i o n s h i p ， e r ) 模型为基础的建模方法，如：s t a r e r 方法睁】和m e r 方法【6 j ，这些方法属于早期多 维数据建模方法，但是由于目前多维数据存储的支撑软件绝大多数是关系型数据库管理 系统( 如o r a c l e ，s q ls e r v e r ，d b 2 ，i n f o r m i x 等等) ，而e r 的成熟模型与关系数据库 有着根深蒂固的联系，因此基于e - r 技术的多维建模方法仍然被广泛应用于中小型b i s 建模过程中，但是在复杂的多维建模中往往会造成关系零乱或产生二义性。另一类是以 9 第2 章商业智能系统相关技术 面向对象技术( o b j e c t - o d e n t e d ，0 0 ) 为基础的建模方法l t l 町，这些方法充分利用了0 0 技术在软件工程中的成功经验，并结合u m l 的灵活性，被认为是一种相对标准的多维 建模技术，多维建模技术是目前数据仓库领域研究的一个完整独立的课题。 2 4 数据挖掘技术 简单地说，数据挖掘( d m ，d a t am i n i n g ) 是从大量数据中提取或“挖掘”知识。 “数据挖掘是从巨量数据中获取有效的、新颖的、潜在有用的、最终可理解的模式的非 平凡过程”。这是u f a y y a d 等数据库专家在1 9 9 6 年的知识发现和数据挖掘国际学术会 议上给出的数据挖掘定义。 尽管商业智能系统中的o l a p 工具可以支持多维分析和决策，对于深层次的分析， 如数据分类、聚类和数据随时间变化的特征，但是仍然需要其他分析工具。数据挖掘可 以看作是o l a p 的高级阶段1 9 1 ，数据挖掘通过结合更高级的数据理解技术，比o l a p 汇 总型分析处理更加具有预知性。数据挖掘技术的出现使商业智能有了更加美好的前景， 可以说目前的商业智能是数据仓库技术、联机分析处理技术和数据挖掘技术的结合体。 数据挖掘的结果和人们感性认识的结果有所不同，它不是确切的数据而是一种模式 ( p a t t e r n s ) ，概念( c o n c e p t s ) ，规则( r u l e s ) 。规律( r e g u l a r i t i e s ) ，约束( c o n s t r a i n s ) 等。因此数据挖掘的结果是一种更具“普遍性”的结果。而这种“普遍性”正是决策者用以 辅助决策所需要的。 2 5 本章小结 商业智能所涉及到的每一项技术都可以作为一个独立的专业研究领域进行深入钻 研。目前，绝大多数商业智能软件厂商针对这些技术开发了相应的应用工具，如微软公 司在s q ls e r v e ra n a l y s i ss e r v i c e s 中集成了多维数据编辑器和p i v o t t a b l e 组件以及多种 数据挖掘算法，为开发商业智能应用系统提供了便捷，下面的章节将着重介绍商业智能 软件的体系结构。 i o 大庆石油学院硕士研究生学位论文 第3 章基于w e bs e r v i c e 技术的b i 体系结构 本章将分析基于组件技术的b i 体系结构存在的不足，立足于实际问题的解决，提 出b i 体系结构的设计目标，结合w e bs e r v i c e 技术的优势设计了基于w e bs e r v i c e 技术 的商业智能体系结构。 3 ib i 体系结构设计目标 在商业需求不断变化的环境下，传统的开发技术难于满足商业智能本身所集成的 些运作需求： l 、商业智能系统需求经常随业务市场运作需求的变化而改变。即，系统扩充和升 级频度高，而组件部署的复杂性和可能产生的系统升级的破坏性很不适合这种系统。 2 、商业智能系统对分布式性能要求远远高于其它种类的应用系统，实施商业智能 系统的公司或企业大多是跨地区甚至跨国集团，各地区的决策支持信息必须能够通过网 络高效、顺利地传输，而组件技术在i n t e m e t 上的通信的能力无法满足这种需要。 3 、出于性能考虑，商业智能的运作平台不可能是单一平台，若使各个系统协作、 协调运作，系统之间的通信标准必须一致。而组件技术在平台、甚至是编程语言方面的 限制对于这种开放式要求更是无能为力。 综上所述，优秀的商业智能系统应该具备以下能力： l 、异构平台上的协调运作能力。 2 、良好的可扩展性和易部署性。 3 、适应商业需求变化而进行频繁升级的能力。 3 2 基于组件技术的b i 体系结构及其存在的问题 目前商业智能系统主要采用组件技术进行设计和开发，其逻辑结构采用以应用服务 器为业务操作中心的三层c ，s 应用体系。三层c s 结构是将应用功能分成表示层、功能 层和数据层三部分。其解决方案是：对这三层进行明确分割，并在逻辑上使其独立。原 来的数据层以数据库管理系统的形式独立出来，所以关键是要将表示层和功能层分离成 各自独立的程序，并且还要使这两层间的接口简洁明了。三层商业智能应用程序的物理 装载基本方法主要有3 种，如图3 1 所示。 第3 章基于w e bs e r v i c e 技术的m 体系结构 服务嚣 服务器 客户帆 ( 1 ) 将功能层( 2 ) 将数据层和功能 ( 3 ) 将数据层和功能层 放到客户机上层放到一台雁务器上放到不同服务器上 图3 - 1 三层应用程序的物理结构 目前商业智能系统的部署方式普遍采用图3 1 ( 3 ) 所示的部署形式( 如没有特别说 明，下文所提及的三层结构均指采用该种形式部署的三层应用结构) ，由于在这种形态 中三层是分别放在各自不同的硬件系统上的，所以灵活性很高，能够适应客户机数目的 增加和处理负荷的变动。例如，在追加新业务需求处理时，可以相应增加装载功能层的 服务器。 三层结构的商业智能系统的业务处理核心是功能层，目前在功能层上所采用的实现 技术主要是组件技术。组件是某个系统的一个物理的、可替代的部分，它符合并提供一 套接口的实现【1 0 l ，具备如下特性： 1 、黑盒重用( b l a c kb o xr e u s e ) 性是基于组件开发最大的益处，由于组件是封装 了可重复使用的属性和方法并且具有“高内聚，低耦合，接口良好，独立，可插入”等 特点，这就使开发人员在进行系统开发过程中插入组件时不需要了解组件的内部机理和 实现细节，而只需做到接口对接即可完成系统功能。 2 、组件是编译后的二进制封装，因此具有良好的运行效率。 3 、采用面向组件的技术进行系统构建可以缩短开发进程，利于系统分割，团队分 工协作，只要统一组件接口标准即可。 4 、基于组件技术的系统的可维护性强，系统的更新、升级可以保证在安全模式下 进行：因为改变的仅仅是某个组件内部的实现细节，接口不变，调用组件服务的其它组 件无需改动，可以有效地避免错误扩散。 5 、组件技术使分布式系统的实现方式更加灵活，组件技术在分布式开发中的应用 参考文献 1 1 1 1 2 1 1 3 均进行了详细阐述。 组件技术的发展对应用系统的开发和分布式应用的发展都起到了很大的推动作用， 大庆石油学院硕士研究生学位论文 然而在网络技术高速发展，数据分布特点发生变化的今天，组件技术不能满足商业领域 瞬息万变的环境带来的频繁升级、扩充、部署的要求。基于组件技术的b i 体系结构暴 露出了一些缺陷； l 、组件标准不统一 目前，最主要的组件标准有o m g ( 对象管理组织，o 场e c tm a n a g e m e n tg r o u p ) c o r b a 、m i c r o s o f tc o m 和j a v a r m i 。尽管他们各自都是固定的标准，但业界还没有 完全转向其中任何一个标准。它们没有融合在一起的部分原因是文化的问题所致，因此， 当一些组织试图标准化一个或另一个协议的时候，两个协议的技术适用性就被提出质 疑。这给b i s 开发人员提出了严重的挑战： ( 1 ) b i s 系统中的各个子系统通常不会仅仅运行于单一系统平台上。而采用组件 技术进行b i s 软件设计和实现之前必须确定软件的运行平台和开发平台，而且一旦软件 部署实施后，这些因素将不再改变，这使得日后的商业智能软件移植成为梦想，异构环 境下的开发几乎不能实现1 4 】【1 卯。 ( 2 ) 商业智能系统中某项业务任务经常需要多个组件协作方式完成，然而采用不 同组件技术设计和开发的组件由于通信协议不同，无法正常交互。系统开发者必须自己 编写不同组件之间的协调应用来确保不同组件间的正常通信。 2 、组件部署复杂 组件的形式和注册过程复杂且难于理解，这是由于d l l ( d y n a m i cl i n kl i b r a r y ， 动态链接库) 使用起来不方便，复制到应用程序目录中的d l l 文件可能会中断老版本 的应用程序的使用。安装一个产品可能会导致另一个产品出问题。组件的的部署需要分 别在客户端和组件服务器端注册组件的代理和存根程序( 开发人员必须维护组件服务器 端和客户端两个版本的程序) 。商业智能系统不同于其他业务系统，它需要针对市场的 变化来进行适应性的功能调整，不属于一次性部署的应用系统。商业智能系统的设计必 须适合频繁的扩充、升级和部署工作，组件在升级过程中的不安全性和部署工作的繁琐 性不适合商业智能系统的运行特点。 此外。组件技术是完全基于接口的，由于脚本语言( 如：v b s c r i p t ，j a v a s c r i p t 等) 不支持接口，所以组件在应用到脚本语言时不得不对组件进行特殊设计。组件开发的语 言无关性还停留在理论上，在实际开发过程中经常会出现不同语言编写出来的组件无法 通信，即便是它们使用的规范( 如c o m 规范) 。组件是依赖于操作平台和系统运作环 境的，如c o m 组件必须部署在w i n d o w s 操作平台上，j a 、，a 依m i 必须安装j a v a 虚拟机 环境。 3 3w e bs e r v i c e 技术与b i 系统的结合点 在3 1 节中，介绍了b i 系统的设计目标和需求特点，随着业务需求不断变化，应 用技术也与时俱进的发展。w e bs e r v i c e 技术向我们提供了一种全新的系统构建方式。 第3 章基于w e b s e r v i c e 技术的b l 体系结构 s o a p ( s i m p l eo b j e c t a c c e s sp r o t o c o l ，简单对象访问协议) 协议的应用，解决了异构平 台之间交流、协作的问题。不同于以往应用程序的开发，w e bs e r v i c e 技术抽象各种业 务功能为服务，以向用户提供各种服务的方式满足相应的需求；w s d l ( w 曲s e r v i c e s d e s c r i p t i o nl a n g u a g e ， w e b 服务描述语言) 的引入，使系统的功能部署工作更加简洁 明了，同时增强了客户端程序与服务程序之间调用的透明性，传统的客户服务器交互 中，客户端必须知道服务器的具体位置，限制了应用系统的灵活性、扩充性和易部署性。 w e bs e r v i c e 技术的开发特性使系统的维护工作变得简单易行，当需求发生变化时，只 需更新服务程序或者增加相应的服务提供者，并将w s d l 文档重新发布就可以完成功 能扩充。 w e bs e r v i c e 技术系统开发的特性适应了商业智能系统的业务需要。在w e bs e r v i c e 技术的支持下可以开发出高效的、灵活的商业智能系统。 3 4w e bs e r v i c e 技术体系 3 4 1w e bs e r v i c e 概念 w e bs e r v i c e 技术是一种中间件技术( “中间件是一种独立的系统软件或服务程序， 分布式应用软件借助这种软件在不同的技术之间共享资源，它位于客户机服务器的操作 系统之上，管理计算资源和网络通信”互联网数据中心) ，它作为可与其它使用 i n t e m e t 标准的w c b 服务进行集成的服务来提供。它是可通过u r l 寻址的资源，并且 可以按编程的方式将信息返回给需要使用该信息的客户端。w e b 服务具有黑箱功能，无 须专门处理某一服务的实现方式即可重复使用此功能。w e bs e r v i c e 的运作体系包括三 种角色和三种操作，基本架构如图3 2 所示【1 6 1 。 三种角色： 1 、w e b 服务提供者( s e r v i c e sp r o v i d e r ) ：发布自己的服务，并且对使用自身服务的 请求进行响应。 2 、w e b 服务注册者( s e r v i c eb r o k e r ) ：注册已经发布的s e r v i c ep r o v i d e r ，对其进行 分类，并提供搜索服务。 3 、w e b 服务请求者( s e r v i c er e q u e s t e r ) ：利用在s e r v i c eb r o k e r 查找所需的服务， 然后使用该服务。 三种操作： l 、发布( p u b l i s h ) 操作：使s e r v i c e p r o v i d e r 可以向s e r v i c e b r o k e r 注册自己的位置、 功能及访问接口。 1 4 大庆石油学院硕士研究生学位论文 图3 - 2w e bs e r v i c e 基本架构 2 、搜索( f i n d ) 操作：使s e r v i c er e q u e s t e r 可以通过s e r v i c eb r o k e r 查找特定种类的 服务的位置。 3 、绑定( b i n d ) 操作：使s e r v i c er e q u e s t e r 能够真正访问s e r v i c ep r o v i d e r ，并调用 相应的服务。 3 4 2w e bs e r v i