（计算机应用技术专业论文）基于网格的商务智能服务平台.pdf

渤江大学硕士学位论文：基于网格的商务智能服务半台 摘要 商务智能是计算机存大型企业商务中应用的一个新兴的领域。商务智能的任务是使 用各种人工智能算法( 如聚类、关联规则、分类等) 对企业的大量数据进行分析从而发 现商务对象( 如供应商、客户、产品等) 的特征并挖掘相关的商务模式。使得企业可以 获得更大的利润并增强企业的竞争力。 一般商务智能过程包括几个阶段：e t l ( 抽取、转化和装载) ，数据仓库，o l a p ( 联 机在线分析处理) ，数据挖掘和报表。差，1 i 多每一个过程都要涉及到大量的企业数据的 处理和计算，使得整个商务智能过程具有高度的计算复杂度。数据挖掘与知识发现是商 务智能过程中的一个重要阶段，其中各种机器学习算法被应用于转化后的结构化企业数 据，从而可以发现直接从企业原有的数据中不是很清楚的一些有用的结果。由于商务智 能通常需要处理的数据量很大而且非常耗时，一般需要高性能的硬件配置。计算资源的 有效利用是在设计商务智能软件系统时要考虑的非常重要的一点。 商务智能的研究和工业界的开发到现在已经超过1 0 年的历史了。然而因为以上的 困难，商务智能的真正应用价值直到最近才受到广泛认可。现有的商务智能软件往往功 能过于单一，仅能完成具体的几个简单应用，无法解决一般性问题。同时，由于商务智 能相关概念和流程过于专业，以至于一般用户很难操作。现有商务智能软件中存在的另 外一个问题是这些软件往往过于专门针对具体的企业应用，为不同的企业就要开发不同 的软件，导致了难以想象的软件开发困难。 为了解决这些问题，我们设计并开发了一套基于网格计算技术的通用商务智能服务 平台。我们的目标是构建一个为各种企业用户提供商务智能服务的通用的平台。通过构 建这样一个平台向企业用户提供商务智能应用的原子服务。企业用户可以使用这些原子 服务来构建上层应用级别的商务智能任务并分析该企业自己的数据。企业用户享受的是 按需服务的体验，避免了购买传统商务智能软件中往往有一些功能并不需要的情况。此 外，网格计算的架构提供整合底层的计算资源的工具，能够最大化资源利用率与系统计 算能力。通过将具体的商务智能任务分解为基本的原子任务，可以在一个统一的商务智 能框架内用一种标准化的开发过程实现各种商务智能任务；而传统的商务智能软件往往 包含了大量的重复劳动。另一方面，采用这种平台架构可以很容易的构造服务器集群或 添加内存等硬件配置来提升所有商务智能应用的整体性能。 网格计算是分布式计算领域内的一个新兴的概念。主要用于为分布式计算提供了一 个基础设旋来集成可用的分布式计算资源并为用户使用这些资源提供按需服务。网格计 算领域目前仍然处于1 i 断探索阶段，并不是十分成熟。现有的网格计算应用中w e b s e r v i c e 是一项重要技术。我们的平台通过使用w e bs e r v i c e 技术来构建我们的商务智 能服务。 我们也在商务智能服务平台的上面开发了一个客户端样例应用软件。该应用软件通 过调用商务智能平台提供的商务智能服务来实现具体的商务智能应用。样例应用软件基 于一个e r p 系统的数据库而构建。 关键字：商务智能，数据挖掘，数据抽取，数据仓库，o l a p ，网格计算，w e bs e r v i c e s 断江大学坝上学位论文：基于旧格的商务智能服务平台 a b s t r a c t b u s i n e s si n t e l l i g e n c e ( b i ) i sa ne m e 唱i n gn e l di nc o m p u t e ra p p l i c a t i o nf o r1 a 唱ee m e i p r i s e b u s i n e s s t h et a s ko fb u s i n e s si n t e l l i g e n c ei st oa n a l y z eh u g ea m o u n t so fe n t e i p r i s ed a t aw i t h v a r i o u sa n m c i a l i n t e l l i g e n c ea i g o r i t l l i l l s ( e gc j u s t e r i n g ，a s s o c i 撕o nn l i e s ，a 1 1 dc l a s s i f i c a t i o n ) i no r d e rt od i s c o v e rs p e c i a lc h a r a c t e r i s t i c so fb u s i n e s so b j e c t s ( e gp r o v i d e r s ，c u s t o m e r sa i l d p r o d u c t s ) o rm i n ep o t e n t i a lu s e f u lb u s i n e s sp a n e m s ，s ot h a tt h ee n t e l p r i s ec a ng a i na d d m o n a l p r o 矗t sa n dc o m p e t i t i o na d v a n t a g e s au s u a lb u s i n e s si n t e l l i g e n c ep r o c e s si n c l u d e ss e v e r a lp h r a s e s ：e t l ( e x t r a c t ，t r a n s f o h n ，a n d l o a d ) ，d a t aw 缸e h o u s 缸& o l a p ( o n l i n ea n a l y t i c a lp r o c e s s i n g ) ，d a t am i n i n g ，a n d r e p o n i n g e a c ho ft h o s ep u 丑s e so f 忙ni n v o l v e se x t r a o r d i n a r y1 a r g ev 0 1 啪e s ( e s p e c i a l l yf o r l a r g ee m e r p r i s e 印p l i c a t i o n s ) o fd a t ap r o c e s s i n ga n dc o m p u t a t i o n ，w h i c ha c c o u n t sf o rm e u n u s u a lh i g hc o m p l e x i t yo fb u s i n e s si n t e l l i g e n c ep r o c e s s d a t am i n i n ga n dk n o w l e d g e d i s c o v e r vi sak e yp h r a s eo fb u s i n e s si m e l l i g e n c ep r o c e s s ，d u r i n gw h i c hv a r i o u sm a c h i n e l e a m i n ga l g o r i t l l m sa r ea p p l i e dt ot h e 订a 1 1 s f o n l l e ds t r u c t u r e de n t e r p r i s ed a t at od i s c o v c r u s e f u ir e s u l t si h a tc a n n o tb ec l e a r l ys e e nb yt h ee n t e r p r i s eu s c rd i r e c t l yf r o mt h eo r i g i n a ld a t a s i n c et h ea m o u n to fd a t at op r o c e s si ss ol a r g ea n dt h ea i g o f i t h m sa r eo 最e nv e r y t i m e c o n s u m i n g ， b u s i n e s si n t e l l i g e n c e a p p l i c a t i o nu s u a l l yr e q u i r e sh i g h p e r f o r m a n c e h a r d w a r ec o n f i g _ u r a t i o n sa 1 1 df i n e - t u i l e dr e s o u r c eu t i l i z a t i o ni sav e r yi m p o r t a | 1 tc o n s i d e r a t i o n w h e nd e s i g n i n gb u s i n e s si n t e l l g e n c es o r w a r e b u s i n e s si n t e l l i g e n c ei sm o r et h a nl oy e a r so l di nb o t hr e s e a r c ha n di r l d u s t r yf i e l d s h o w e v e r ， i t sa d p l i c a t i o nd i dn o tb e c o m ew i d e l yr e c o 甜1 i z e du n t i lr e c e n t l vd u et oa b o v ed i 衢c u l t i e s e x i s t i n gb 1s o f t w a r ea r eo 矗e nt o on a i v et or e s 0 1 v ee n t e r p r i s ep r o b l e m sor b e c a u s eb 1 c o n c e p t sa r es op r o f e s s i o n a lt o oh a r df o rt h eu s e rt oo p e m t e a n o t h e rp r o b l e mf o re x i s t i n gb i s o f t w a r ei st h a tb ia p d l i c a t i o n sa r es oe n t e r p r i s e - s p e c m ct h a te a c he n t e r d r i s eh a si t so w nb l a p p l i c a t i o ns o r w a r e ，c a u s i n gt h eu n c o n c e i v a b l em 伍c u l t i e si nb is o r w a r ed e v e l o p m e n t t oa d d r e s ss u c hd i 街c u l t i e s ，w ed e s i g n e da n dd e v e l o p e dag e n e r a lb u s i n e s si n t e l l i g e n c e s e r v i c ep l a t f o r mb a s e do ng r i dc o m p u t a t i o nt e c h n o l o g y 0 u ri n i t i a t i v ei d e ai st 0c o t l s t n j c ta u n i v e r s a lp l a t f o r mp r o v i d i n gb u s i n e s si n t e l l i g e n c es e r v i c e sf o rv a r i o u sk i n d so fe m e r p r i s e u s e r s s u c hau n j v e r s a lp l a t f o r mm a vo 脆re n t e r p r i s eu s e r sa t o m i cs e r v i c e sf o rb u s m e s s i n t e l l i g e n c ea p p l i c a t i o n s + t h ee n t e r p r i s eu s e r sc a nu t i i i z et h ea 协m i cs e i c e st oi m p l e m e n t 印p i i c a t i o nl e v e i 协s k st oa n a l y z et l l e i ro w ne n t e r p r i s ed a 饥t h ce n t e r p r i s eu s e r sw i l le n j o y m eo n d e m a n ds e r v i c ee x p e r i e n c ew i m o u te x t r aw a 曲e db u d g e tp a i df 研s o m eu s e l e s s n m c “o n si nt r a d i t i o n a lb is o r w a r ea p p l i c a t i o n s a d d m o n a l l y ，g r i dc o m p u t a t i o na r c h i t e c t 坩e p r o v i d e st h ef a c i l i t i e st oi n t e g m t eu n d e r i y i n gc o m p u t a t i o nr e s o u r c e sa n dm a x i m i z et 1 1 e u t i l i z a t i o no fr e s o u r c e sa sw e l la sc o 埘口u t a t i o na b i i i t 矿b yt 阳n s l a t i n gt h es p e c i f i cb u s i n e s s i n t e l l i g e r l c et a s ki n t o 也eb a s i ca t o m i ct a s k s ，a l lk i n d so fb u s i n e s si r l t e l l i g e n c et a s k sc a nb e i m p l e m e n t e db yau n 洒e dd e v e l o p m e mp r o c e s si nac o n s o l i d a t e db lf h m e w o r k ，u t l l i k e t m d i t i o n a lb is o r w a r ea p p l i c a t i o n sw i mm u c ho fr e p e t i t i v ew o r ki n 也e m b e s i d e s ，ag e n e r a l s e w i c ep l a t f o r n lh a sb e s ts c a l a b i l i t ya n dr e l i a b 订i t y i ti sv e r ye a s yt oa d ds e r v e rc l u s t e r so r i n c r e a s et h em e m o r yt oi m p r o v et h ew h o l es e r v i c ep e r f o m a n c ef o ra i la p p l i c a t i o n s i i ! 塑坚查堂堕主堂堡堡苎! 苎王堕垫塑塑墨塑堂竖墨鱼 g r i dc o m p u t a t i o ni san e wc o n c e p ti nd i s t r i b m e dc o m p m a t i o nn e l d ，w h i c ha i m st op m v i d e i n f r a s t r u c t u r ef o rd i s t r i b u t e dc o m p u t a t i o nt oi m e g r a t ea v a i l a b l ed i s t r i b u t e dc o n 叩m “0 n r e s o u r c e sa n do f 亿rt h eu s e r so n d e m a f l ds e r v i c ef o ru t i l i z i n gt h er e s o u r c e s g r i dc o m p u t a t i o n n e l di ss t m 叠r o w i n ga n dn o tv e r y l a t u r e a tp r e s e n tw e bs e r v l c et e c h n o l o g yp l a y sa l l i m p o r t a f l tr o l ei nm a n yg r i dc o m p u t a t i o na p p l i c a t i o n s w bu s ew e bs e n ，i c et e c 上l n o l o g yt o c o n s t m c to u rb u s i n e s si n t e l l i g e n c es e r v i c e s 、a l s od e v e l o p e das a m p l ec l i e n ta p p l i c a t i o nt ou s et h es e r v i c e so f f b r e db ym ep l a t f o 肌t h e s a m p l ec l i e n ti sb a s e do nad a 乜l b a s ef o re r pa p p l k a t i o n 、 k e y w o r d s ：b u s i n e s si n t e l l i g e n c e ，d a t am i n i n g ，e t l ，d a t a h r e h o u s i n g ，0 l a p ，g r i d c o m p u t i n g ，w 曲s e r v i c e s - i i i 萤撕江太学硕上学竹 仑文：基于嘲格的商务智能服务平台 l 绪论 1 1 引言 商务智能( b u s i n e s si n t e l l i g e n c e ) 是计算机在大型企业商务中应用的一个新兴 的领域。商务智能的任务是使用各种人工智能算法( 如聚类、关联规则、分类等) 对企 业的大量数据进行分析从而发现商务对象( 如供应商、客户、产品等) 的特征并挖掘相 关的商务模式。使得企业可以获得更大的利润并增强企业的竞争力。 网格计算是分布式计算领域内的一个新兴的概念。主要用于为分布式计算提供了一 个基础设施来集成可用的分布式计算资源并为用户使用这些资源提供按需服务。现有的 网格计算应用中w e bs e r v i c e 是一项重要技术。 本文设计并开发了一套基于网格计算技术的通用商务智能服务甲台g r i d b i 。我们 的目标是构建一个为各种企业用户提供商务智能服务的通用的平台。同时，我们也在该 商务智能服务平台的上面开发了一个基于e r p 数据库的客户端样例应用软件。 1 2 商务智能的研究与应用 1 2 1 背景 调查表明，现有企业的商务应用大多数都是构建在解决专门问题的商务逻辑上的专 业应用程序。在比较大型的企业中为解决个方面1 i 同的问题往往采用了多种不同的应用 程序，分别用于解决不同部门的问题。而这些应用程序往往不具有通用性，每一个应用 程序都有自己单独的数据库，数据库中都是以自己独特的结构保存数据。这些应用程序 之间的互通往往是企业无法解决的难题，也就是根本无法集成利用所有这些应用程序的 数据资料。另一方面，在大型企业中往往每天都要在数据库中生成大量的新数据，经年 累月下来数据库中保存了海量的商务信息，而相关的应用程序往往只是利用了与该应用 i 渐江大学硕上学位论文：基于网格的商务智能服务平台 程序相关的商务逻辑所需要的那一部分信息，海量数据中隐藏的很大一部分信息根本没 有被利用。如果能够将这些隐藏的信息提取出来帮助企业更好的理解商务应用，一定能 够大大的增强企业的竞争力。 正因为这些原因，现代企业越来越多的显现出对商务智能的应用的大量需求( 【5 ， 6 ) 。所谓的商务智能，简单的说就是把企业现有的各种不同应用系统中保存的大量数 据加以抽取并转化，而后进行统计分析，从海量数据中利用智能算法提取出对企业有用 的隐藏信息的过程。 商务智能并小是新名词，早存十几年前国外就有企业研究这个课题，但是因为把这 个课题应用起来非常的困难，所以至今商务智能的应用也只是初见端倪。这是跟商务智 能中所涉及到的很多技术难点是分不开的。随着各方面条件的逐渐具备，商务智能的应 用将成为今后十年企业开发的热点 商务智能的研究和工业界的开发到现在已经超过l o 年的历史了。然而正因为种种 困难，商务智能的真正应用价值直到最近才受到广泛认可。传统的商务智能软件往往功 能过于单一，仅能完成具体的几个简单应用，无法解决一般性问题。同时，由于商务智 能相关概念和流程过于专业，以至于一般用户很难操作。传统商务智能软件中存在的另 外一个问题是这些软件往往过于专门针对具体的企业应用，为4 i 同的企业就要开发不同 的软件，导致了难以想象的软件开发困难。 根据 1 ，现有的商务智能相关产品可以分类如下： 数据建模软件：如0 r a c l ew a r e h o u s eb u i l d e rv 2 o ，e r w i nv 3 5 2 等。 数据获取：如d a t a s t a g e ，d e c i s i o n b a s e1 9 ，v i s u a lw a r e h o u s e5 2 等。 数据质量软件：如i n t e g r j t yd a t ar e - e n g i n e e r i i 培e n v i r o m e m33 ，q u a l 时 m a n a g e r 等。 元数据管理软件：如m e t a s t a g e ，r e p o s i t o r y ，s a s w a r e h o u s ea d i l l i n i s t r a t o r 等。 数据管理软件：如p a t r o id b - r e o 唱，i b md b 2m o b i l ec o m p m i n g ， s q l s e r v e r ，o r a c l e 8 i 等。 管理和维护软件：如s q lb a c k t r a c k ，o r a c l ew j r e h o u s eb u i l d e r ，t e l e r 锄 a c c e s sm a n a g e m e n ts u i t e 等。 数据分析软件：如a o s ，b u s i n e s so b j e c t s ，b r i oe n t e r p r i s e ，h y p e r i o nt 0 0 1 s ， i n f o r m i xm e t a c u b e ，s a s ，等。 釜锄江大学硕上学位论文：基于网格的商务智能胀务平台 数据挖掘软件：如c o g 血t i v ee n g i n e & a d v i s o rt 0 0 1k i tf r o mc s i ，i b m i n t e l l i g e mm i n e rf a m i l y ，s q ls e r v e ra n a l y s i ss e r v i c e s 等。 预应用数据集市：如s u c c e s s m lf i x e dp r i c ed a 诅m a n s ，s m a n m a r tt u m k e y d a t aw 缸e h o u s i n g ，s y b a s es o l “o n sf o rd a t am a r t s 等。 分析应用软件：如i b md b 2o l a ps e r v e r ，d s sb r o a d c a s t e r ，o r c h e s t r a t e ， v a l e xs o f t w a r e ，等。 开发工具：如h y p e r i o na n a l y t i ca p p l i c a t i o nd e v e l o p m e n tt 0 0 l s ，f o r e s t & t r e e s ，a p p d e vs t u d i o ，等。 服务器平台和转换工具：如h e w l c n - p a c k a r d9 0 0 0n c l a s s ，v - c l a s ss e r v e r s ， & s c a l a b l ec o m p u t i n ga r c h i t e c t 山e ，s e q u e n td e c i s i o na d v a i l t a g e ，n c rs y s t e m s ， p a r t s ，& u p g r a d e s 等。 1 2 2 商务智能研究内容与应用目标 一般商务智能过程包括几个阶段：e t l ( 抽取、转化和装载) ，数据仓库，o l a p ( 联 机在线分析处理) ，数据挖掘和报表，高级应用中还包括决策支持和推荐系统。差不多 每一个过程都要涉及到大量的企业数据的处理和计算，使得整个商务智能过程具有高度 的计算复杂度。数据挖掘与知识发现是商务智能过程中的一个重要阶段，其中各种机器 学爿算法彼应用于转化后的结构化企业数据，从而可以发现直接从企业原有的数据中不 是很清楚的一些有用的结果。由于商务智能通常需要处理的数据量很大而且非常耗时， 一般需要高性能的硬件配置。计算资源的有效利用是在设计商务智能软件系统时要考虑 的非常重要的一点。而传统的商务智能系统一般都是应用于特定的硬件环境运行，不能 灵活的适应各种不同的硬件计算环境，可扩展性较差，不能够很好的利用分布式计算资 源， 仅有很少的系统能够对各种计算资源进行整合利用。 。个典型的应用商务智能的过程如下 1 ) 定义e t l 数据抽取参数 2 ) 进行e t l 数据转化过程 耄撕江人学硕上学位论文：基于刚格的商务智能服务平台 3 ) 对统计数据进行0 l a p 查询 4 ) 定义数据挖掘任务参数 5 ) 运行数据挖掘任务并生成数据挖掘模型 6 ) 应用数据挖掘模型 7 ) 查看数据挖掘结果 对于复杂的商务智能系统，可能还要包括决策支持过程。 由于商务智能的应用对象是大中型企业，一次商务智能的分析很可能会涉及到海量 的企业数据，而月可能是各种格式的比较杂乱无章的海量数据，商务智能的任务就是把 这些非结构化或半结构化数据转化为专用的结构化数据，从而进行分析和统计。 现有数据： 非结构化或半结构化 杂乱无秩序，仅能满足企业业务的基本应用 数据中隐含大量尚未挖掘的信息 图1 1 现有企q k 应用数据 商务智能： 高结构化数据 海量数据统一管理 挖掘数据中提供的隐含信息 善 江大学硕士学位论文：基于刚格的商务智能服务平台 图1 2 商务智能 以下是传统的商务智能软件的不足和现代商务智能系统需要解决的问题对比 鬻鬻鬻飘传统b 1 软件鞠_ 恍1 r ，j 黹水l 计算资源的整合利用性较差需要集成分布式计算资源 功能过于单一化，只针对具体问题需要统一的商务智能开发框架 为升i 同的企业开发的b i 应用软件具对b i 需求良好建模，增强公共应用 有大量的重复劳动的可重复利用性 商务智能与一般的企业应用不同，商务智能解决的是海量数据的集成和多样化数据 的转换问题，这就要求具有通用性。而不同企业的应用又各不相同，对每个企业进行商 务智能应用又具有专用性。商务智能的难点就在于通用性和专用性的统一。在这个问题 上需要开发一个通用的商务智能服务平台和通用的商务智能模型框架，在通用性的平台 和框架上开发专用的商务智能应用程序。 基于这个思路，需要构建一个商务智能应用服务平台，通过分布式服务的形式提供 各种通用的商务智能服务，任何企业都可以调用这个分布式的服务平台来实现自己的商 务智能应用。 网格计算( g r i dc o m p u t i n g ) 是一种新兴的分布式计算模型，通过将网络上的计算 资源的高度集成提供强大的计算能力。具有高度的可扩展性，并通过w e bs e r v i c e s 等技 术可以实现高度的跨平台性和可移植性。 网格计算是一种概念，该领域至今仍然不是十分成熟并处于不断发展之中，并没有 一个标准的定义。现有的网格计算系统可以分为如下几类： 计算网格 数据网格 信息网格 耄浙大学顿士学位论文：摹于嘲格的商务智能服务半台 服务网格 知识i 叫格 网格计算领域已有了一些比较成型的产品： o g s a ( o p e ng r i ds e r v i c e sa r c h i t e c t u r e ) g l o b u s4 o e g e e ( e n a b l i n gg r i d sf - o re - s c i e n c e ) s u n n lg r i d j g r i d o m g c o b r a 大部分的刚格技术通过一系列的协议完成了分布式计算中所需要的功能，而将其中 的构建服务网格功能与商务智能相结合，构建基于网格的商务智能服务平台，是一个非 常好的结合点，也必将是未来商务智能技术发展的新方向( 3 ， 7 】) 。通过将刚格计算的 架构和服务网格的思想应用到商务智能服务平台中，可以将网格计算中的研究成果引入 到商务智能领域中来，恰好能够帮助解决商务智能中遇到的整合计算资源能力的难题。 1 3 本文的研究工作内容 本文根据现代商务智能应用的需求，为了解决传统商务智能应用软件的一些不足， 提出了基于网格的商务智能的新的研究方向。增强了商务智能的应用范围，拓宽了商务 智能研究的思路，同时引发了一些新的研究| 口j 题。 我们基于w 曲s e r v i c e s 技术设计并开发了一套通用的商务智能服务平台g r i d b i ，构 建了商务智能服务| 馥| 格。将传统的专门的商务智能应用方式转化为一种通用的服务提供 给用户的形式，用户可以通过服务平台得到按需服务的体验。不论是任何企业用户的何 种形式的数据理论上都可以通过g r i d b i 服务平台进行商务智能任务的数据分析，从中 挖掘出对用户有利的潜在信息，从而增强企业的竞争力。本文详细探讨了g r i d b i 系统 下台的设计与实现。 不同的企业用户对商务智能服务的需求可能大不相同。为了使一套通用的服务平台 可以为所有的企业提供服务，我们对商务智能的各种需求进行了整体建模，设计了一套 6 奄墓肆折江人学硕士学位论文：基于网格的商务钾能服务平台 统一的商务智能应用框架，使得任何企业用户都可以在这个统一的框架内以一种标准化 的流程制定并完成商务智能的应用需求。我们参考了j s r 一7 3 ( j a v a d a t a m i n i n g a p i ) ，将 一般的商务智能应用建模为数据集( d a t a s e t ) 、商务智能模型( b im o d e l ) 、商务智能任 务( b it a s k ) 等几个对象，并将应用功能分解为针对这些建模对象的若干个原子服务， 通过原子服务的各种组合来完成各种各样的商务智能需求。 我们还存g r i d b i 商务智能服务平台基础之上开发了基于平台服务的一个样例客户 端应用。该客户端应用基于一个超市e r p 系统的数据库而构建，通过调用g 喇b t 平台 所提供的商务智能服务来完成对e r p 数据库的数据分析和数据挖掘的过程。该样例应 用可以对e r p 数据库进行采购分析、销售分析和库存分析。 g r i d b i 商务智能系统通过嘲格技术来解决商务智能应用中对分布式计算资源的整 合和利用的困难，通过统一的框架和原子服务实现了对不同的企业提供统一的商务智能 服务，这样也就避免了传统商务智能软件中存在的大量重复劳动。 本文第二章探讨了与商务智能及网格计算相关的研究和关键技术。第三章介绍了 g r i d b i 通用商务智能服务平台和e r p 样例客户端应用。第四章给出了g r i d b i 系统的软 件工程开发方法、总体体系结构设计和系统功能模块的组成结构。第五章分析了数据挖 掘相关的一些算法。第六章详细剖析了g r i d b i 商务智能服务半台及其样例客户端的实 现。第七章给出了总结和展望。 锄m ：人学硕士学何论文：基于网格的商务智能服务平台 2 商务智能相关研究及核心技术综述 2 1 商务智能核心技术 2 1 1 商务智能过程 随着国际上对商务智能的研究和应用的不断深入，商务智能技术已经有了一个近乎 于标准化的流程框架。国际上知名大型企业的商务智能产品和正在研发中的开源项目基 本上都遵循这个通用框架进行开发。这个流程框架满足了商务智能应用从不同层次上的 需要，而框架中的每一步的具体实现还没有统一的标准，还处于不断的探索阶段。 典型的商务智能技术流程如下图所示： 图2 1 典型的商务智能流程 江人学硕士学位睑文：基于刚格的商务智能服务平台 2 1 2 e t l e t l ( e x 仕a c t i o n ，t r a s f o r n l ，l o a d ) 是数据的抽取，转化，和装载。e t l 过程就是数据 在不同的应用程序中迁移的过程，在迁移过程中数据从一种形式转化到另一种形式，而 最终的目的就是把数据整理转化成了便于我们进行分析应用的统一格式。 2 1 3 数据仓库 著名的w h i m o n 数据仓库系统专家的说法是：“数据仓库是一个面向主题的、集 成的、时变的、非易失的数据集合，支持管理部门的决策过程。”数据仓库就是把企业 中原有的犬量数据按照时间和主题加以整理，集成和存储，从而为企业分析提供数据模 型( 4 】) 。 2 1 - 3 1 数据仓库特性分析 构造数据仓库的过程是数据的清理和集成的过程。数据仓库为联机分析处理 ( o l a p ) 工具提供了数据模型，用于各种粒度的多维数据分析，有利于有效的数据挖 掘。数据仓库成为o l a p 和数据挖掘等其他应用的平台。 数据仓库具有四个主要特性：面向主题性、集成性、时变性、非易失性。 面向主题性( s u b j e c t o r i e n t e d ) ：数据仓库围绕一些主题，如顾客、供应商、产品和销 售组织。数据仓库关注决策者的数据建模与分析，而不是集中于组织机构的日常操 作和事务处理。因此，数据仓库排除对于决策无用的数据，提供特定主题的简明视 图。 集成性( i n t e g m t e d ) ：通常，构造数据仓库是将多个异种数据源，如关系数据库、一 般文件和联机事务处理记录，集成在一起。使用数据清理和数据集成技术，确保命 名约定、编码结构、属性度量等的一致性。 时变性( t i m e v a r i a n t ) ：数据存储从历史的角度( 例如过去5 1 0 年) 提供信息。数据 釜栅口：大学硕士学位论文：基于网格的商务智能服务平台 仓库中的关键结构，隐式或显式地包含时间元素。 非易失性( n o n v o l a t i l e ) ：数据仓库总是物理地分离存放数据；这些数据源于操作环境 下的应用数据。由于这种分离，数据仓库不需要事务处理、恢复和并发控制机制。 通常，它只需要两种形式的数据访问：数据的初始化装入和数据访问。 概言之，数据仓库是一种语义上一致的数据存储，它充当决策支持数据模型的物理 实现，并存放企业战略决策所需信息。数据仓库也常常被看作一种体系结构，通过将异 种数据源中的数据集成在一起而构造，支持结构化的和专门化的查询、分析报告和决策 制定。 2 1 3 2 数据模型概念 数据立方体( c u b e ) 允许以多维对数据建模和观察。它由维( d i m e n s i o n ) 和事实( f a c t ) 定义。维是关于一个组织想要记录的透视或实体。通常，多维数据模型围绕中心主题组 织，该主题用事实表示。事实数据表包括事实的名称或度量，以及每个相关维表的关键 字。每一个数据立方体对应企业查询的一个主题。 数据立方体的度量( m e a s u r e ) 是对该立方体上的某一个属性值进行聚集( a g g r e g a t i o n ) 函数运算。常见的聚集函数有： 求和运算( s u m ) 统计计数( c o u m ) 4 i 同值的统计计数( d i s t i r mc o u n t 、 最大值( m a x ) 最小值( m i n l 2 1 3 3 多维数据模型 最流行的数据仓库数据模型是多维数据模型。这种模型可以以星形模式、雪花模式 等形式存在。 国撕# l ：人学硕士学位论文：基于网格的商务智能服务平台 星形模式( s t a rs c h e m a l ：星形模式是最普通的模型范例。其中数据仓库包括一个大 的包含大批数据和不含冗余的中心表( 事实数据表) 和一组小的附属维度表，每个维度对 应一个维度表。维度表通过连接关键字连接到事实数据表上。整个模式以星形结构围绕 中心表并通过维度表向外发敖。 图2 2 星形模式 雪花模式( s n o w n a i 【es c h e m a ) ：雪花模式是星形模式的变种，是一种更复杂的星形模 式。在星形模式中，每个维度表通过事实数据表向外发散。在雪花模式中，维度表本身 构成一个子中心表，其他的维度表同过关键字连接到这个子中心表上。整个模式的图形 类似于雪花的形状。 图2 3 雪花模式 雪花模式和星形模式的不同主要在于：雪花模式的维表可能是规范化形式，以便减 少冗余。这种表易于维护，并节省存储空间。因为当雪花模式中的维结构合并为星形模 式的维结构时，外层的维结构作为里层的维结构的列包含在内，大的维表将会非常大。 然而，与巨大的事实数据表相比，这种空间的节省可以忽略。此外，由于执行查询需要 更多的连接操作，雪花结构将会降低查询的性能。因此，在数据仓库设计中，雪花模式 4 i 如星形模式流行。 一1 1 窆 浙“大学硕士学位论文：基于网格的商务智能服务平台 2 1 4 联机分析处理 联机分析处理( o n - “n e a n a l y t i c a lp r o c e s s i n g ) ，是以联机的方式对数据仓库进行查询 的一种形式。联机分析处理区别与联机事务处理( 0 n 一“n et r a i l s a c t i o i l a lp r o c e s s i n 岛 o l t p ) 。o l t p 一般是对关系数据库进行操作，而0 l a p 一般是对数据仓库进行操作。 下钻( d m l d o w n ) 操作是对立方体中某一个维度上的某一个位置( p o s i t i o l l ) 或成员 ( m e m b e r ) 进行切片或切面的操作。 上卷( r o l l u p ) 是下钻的逆操作。通过一个维的概念分层向上攀升或者通过维规约 在数据立方体上进行聚集。 钻通( d r i l l t h i o u g h ) 操作在某一个聚集函数值上钻到数据立方体的底层，到后端关系 表中获取该聚集函数处理的所有后台数据。 转轴( p i v o t ) 是一种目视操作，它转动数据的视角，提供数据的替代表示。 切片( s l i c e ) 和切块( d i c e ) 操作在给定的数据立方体的一个或多个维上进行选择，导致 一个子立方体的查询。 2 1 5 数据挖掘 数据挖掘( d a t am i n i n g ) 又称为数据库中的知识发现( k n o w i e d g ed i s c o v e r yi nd a t a b a s e ) ， 用于发现隐藏在大型数据集中用户感兴趣的数据模式。数据挖掘是从大量的、不完全的、 有噪声的、模糊的、随机的数据集中识别有效的、新颖的、潜在有用的，以及最终可理 解的模式的非甲凡过程。 晓栅# 人学硕士学位论文：基于网格的商务智能服务平台 常用的数据挖掘算法主要有： 聚类算法 k m e a i l s 算法 _ e m 算法 关联规则算法 a p r i o r i 算法 一 p r e d i c t i v ea p r i o r i 算法 决策树算法 _ i d 3 算法 - j 4 8 算法 2 1 6 可视化报表 与数据挖掘算法相辅相成的就是可视化报表技术。数据挖掘算法一般比较理论化， 对于企业的一般用户来说要想学爿和掌握具有一定的困难，就算是能够看懂结果也要经 过一定的培训才能够掌握。如何能够以更友好的方式将数据挖掘的结果展示给用户，需 要有优秀的可视化报表部分。当然，因为想要让用户把所有的信息都真正理解具有相当 的难度，所以此部分技术目前仍在探索中。 2 2w e bs e r v i c e s 核心技术 随着网络应用的不断普及，面向服务的体系结构( s e r v i c e 0 r i e n t e da r c h i t e c t l ) 成为 新的热点。以m i c r o s o f t 等几个国际巨头公司率先倡导的w 曲s e r v i c e s 技术在这一领域 取