（计算机应用技术专业论文）基于网格环境的商业智能框架研究.pdf

摘要 随着近年来科技的不断发展，许多领域对计算机的计算能力的要求越来越高； 一些大规模的科学计算单靠一台甚至数台超高性能的大型机都无法得到期望的效 果。网格计算技术的出现与迅速发展就是以科学研究与商业应用对计算能力的不 断增长的需求为背景的。而网格的目标就是将地理和组织上分布、异构的各种高 性能计算机、数据服务器、大型检索存储系统和可视化、虚拟现实系统等通过高 速互连网络连接并集成起来，协同完成一些大型科学研究或商业应用，最终消除 信息孤岛与资源孤岛。 无论网格计算技术被应用到科学研究领域还是商业应用领域，引进商业智能 ( b u s i n e s si n t e l l i g e n c e ) 系统都是非常必要的；科学研究领域使用网格计算技术， 主要是进行大规模的科学计算，而科学计算过程中所产生的数据如果经过商业智 能系统的集成，分析并可视化展现，对科学研究算法的改进与研究周期的缩短以 及降低i t 成本无疑有很大的帮助。商业应用领域使用网格计算技术，主要是收集 地理位置分布的资源信息，这些信息甚至可能来自不同组织，然后通过o l a p 或 者数据挖掘技术来把数据转化为知识，提供给决策者进行商业决策，让企业适应 竞争日益激烈的市场环境。 本文研究了p l a t f o r me g o 网格操作系统环境的商业智能框架的设计与实现。 针对现有p e r f 商业智能框架的数据集成模块中所存在的不足做了改进，提出了 一种基于s h e l l 脚本的、灵活的、通用数据加载器模型。改进了的通用数据加载 器模型由于提供了统一的程序接口，极大地缩短了新数据加载器的开发周期，减 少了新数据加载器从开发到企业部署的中间环节，从而降低了风险。 这种基于s h e l l 脚本的通用数据加载器的设计与实现，有效地缩短了企业用 户对新数据的加载请求时间，有助于提高企业将数据转换为知识的效率，提供及 时的商业决策。对于企业之间竞争的激烈程度日益加剧的现状来说，无疑具有很 强的商业价值。 关键词：商业智能网格计算数据集成 a bs t r a c t w i t ht h ec o n t i n u o u sd e v e l o p m e n to fs c i e n c ea n dt e c h n o l o g y i nr e c e n ty e a r s ，t h e r e a r eh i g h e l d e m a n d so nt h ec o m p u t i n gp o w e ro fc o m p u t e r si nm a n ya r e a s f o rs o m e l a r g e - s c a l es c i e n t i f i cc o m p u t i n g ，i ti s n o tp o s s i b l et oa c h i e v ed e s i r e de f f e c t st or e l y s o l e l yo no n eo rs e v e r a lu l t r a h i g h - p e r f o r m a n c ec o m p u t e r s u n d e rt h i sc i r c u m s t a n c e ， g r i dc o m p u t i n gt e c h n o l o g ye m e r g e sa n di sd e v e l o p i n gr a p i d l y t h eg o a lo fg r i di st o c o n n e c ta n di n t e g r a t et h r o u g hh i g hs p e e di n t e r n e tv a r i e t yo fh i g hp e r f o r m a n c e c o m p u t e r s ，d a t as e r v e r s ，l a r g e s c a l er e t r i e v a la n ds t o r a g es y s t e m s ，v i s u a l i z a t i o n a n d v i r t u a lr e a l i t ys y s t e m sw h i c ha r eg e o g r a p h i c a l l ya n do r g a n i z a t i o n a l l yd i s t r i b u t e da n d h e t e r o g e n e o u s ，t oc o m p l e t e s o m em a j o rs c i e n t i f i c r e s e a r c h e so rc o m m e r c i a l a p p l i c a t i o n sa n de v e n t u a l l ye l i m i n a t ei n f o r m a t i o na n d r e s o u r c ei s o l a t e di s l a n d s n om a t t e rw h e t h e r 鲥dc o m p u t i n gt e c h n o l o g yi sa p p l i e dt ot h ef i e l do f s c i e n t i f i c r e s e a r c ho ri ti sa p p l i e dt oc o m m e r c i a la p p l i c a t i o n s ，t h ei n t r o d u c t i o no fb u s i n e s s i n t e l l i g e n c es y s t e mi sn e c e s s a r y ；i ns c i e n t i f i cr e s e a r c h e s ，酊dc o m p u t i n gt e c h n o l o g y l s m a i n l vu s e df o rl a r g e s c a l es c i e n t i f i cc o m p u t i n g ，i ft h ed a t ag e n e r a t e di n s c i e n t i f i c c o m p u t i n g i s i n t e g r a t e db yb u s i n e s si n t e l l i g e n c es y s t e m s ，a n a l y z e d a n dv i s u a l l y s h o w e d i tw i l lu n d o u b t e d l yh e l pt oi m p r o v et h ea l g o r i t h m s i ns c i e n t i f i cr e s e a r c h ， s h o r t e nt h ec y c l eo fr e s e a r c ha n dr e d u c et h ec o s to fi t i nc o m m e r c i a la p p l i c a t i o n s ， 面dc o m p u t i n gi sm a i n l yu s e dt oc o l l e c tr e s o u r c ei n f o r m a t i o nw h i c hi sg e o l o g i c a l l y d i s t r i b u t e da n dm a ye v e nc o m ef r o md i f f e r e n to r g a n i z a t i o n s t h ec o l l e c t e dd a t aa r e t h e nc o n v e r t e di n t ok n o w l e d g et h r o u g ho l a po r d a t am i n i n gt e c h n o l o g y , t h e k n o w l e d g e c a ni nt u r nb ep r o v i d e d t ot h ed e c i s i o n - m a k e r si nc o m m e r c i a l d e c i s i o n m a k i n ga n d l e t e n t e r p r i s e sa d a p t t ot h ei n c r e a s i n gc o m p e t i t i v em a r k e t e n v i r o n m e n t t h i sp a p e rs t u d i e st h ed e s i g na n dr e a l i z a t i o no f b u s i n e s si n t e l l i g e n c ef r a m e w o r k u n d e ra 鲥do p e r a t i n gs y s t e me n v i r o n m e n t ：p l a t f o r me g o t oi m p r o v e t h e p e r f o r m a n c eo ft h ed a t ai n t e g r a t i o nm o d u l ei n t h ee x i s t i n gb i ：p e r f , t h i sp a p e r p r o p o s e saf l e x i b l ea n dg e n e r i cs h e l ls c r i p t - b a s e dd a t al o a d i n gm o d e l b yp r o v i d i n g u n i f i e dp r o g r a m m i n gi n t e r f a c e s ，t h ep r o p o s e dd a t al o a d i n gm o d e ls i g n i f i c a n t l yr e d u c e s t h et i m ef o rd e v e l o p i n gn e wd a t al o a d e r s ；i ta l s or e d u c e ss o m ei n t e r m e d i a t es t e p s b e t w e e nt h ed e v e l o p m e n ta n dt h ed e p l o y m e n to fd a t al o a d e r sa n d h e n c er e d u c e sr i s k s 西ed e s i g na n di m p l e m e n t a t i o no ft h i ss h e l ls c r i p t sb a s e dg e n e r i cd a t al o a d e r e f f e c t i v e l yr e d u c e s t h er e q u e s t st i m ef o re n t e r p r i s eu s e r st ol o a dt h en e wd a t a ，i th e l p s t oi m p r o v et h ee f f i c i e n c yf o re n t e r p r i s eu s e rt oc o n v e r td a t at ok n o w l e d g e ，a n d p r o v i d e st i m e l yb u s i n e s sd e c i s i o n sm a k i n g i ti su n d o u b t e d l yo fg r e a t c o m m e r c i a l v a l u ei na l le r ai nw h e nc o m p e t i t i o n sb e t w e e ne n t e r p r i s e sa r eb e c o m i n gm o r ea n dm o r e f i e r c e k e y w o r d s ：b u s i n e s si n t e l l i g e n c e g r i dc o m p u t i n gd a t ai n t e g r a t i o n 西安电子科技大学 学位论文独创性( 或创新性) 声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研究 成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中不 包含其他人已经发表或撰写过的研究成果；也不包含为获得西安电子科技大学或 其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做 的任何贡献均已在论文中做了明确的说明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切相关责任。 本人躲日期趔! 至(本人签名：日期扩。乃、li 西安电子科技大学 关于论文使用授权的说明 本人完全了解西安电子科技大学有关保留和使用学位论文的规定，即：研究 生在校攻读学位期间论文工作的知识产权单位属西安电子科技大学。本人保证毕 业离校后，发表论文或使用论文工作成果时署名单位仍然为西安电子科技大学。 学校有权保留送交论文的复印件，允许查阅和借阅论文；学校可以公布论文的全 部或部分内容，可以允许采用影印、缩印或其它复制手段保存论文。( 保密的论文 在解密后遵守此规定) 本学位论文属于保密在年解密后适用本授权书。 本人签名：童兰查 导师签名：主z 丕，也1 日期z 一口刁7 c 日期丛塑基! 。! z 第一章绪论 第一章绪论 1 1 研究背景 i n t e m e t 技术的兴起和广泛应用有力地促进了网络环境下的商业应用发展和科 学应用研究。以e m a i l 为主要应用的第一代i n t e m e t 把遍布于世界各地的计算机用 t c p i p 协议连接在一起；第二代i n t e r n e t 则通过w e b 信息浏览及电子商务应用等 信息服务，实现了全球网页的连通；第三代i n t e m e t 将“试图实现互联网上所有资 源的全面连通，包括计算资源、数据资源、存储资源、通信资源、软件资源、信 息资源、知识资源等 ，这就是网格。人类的应用需求迅速朝着高性能、多样性、 多功能发展，许多大规模科学计算应用往往需要一台或者数台超高性能的计算机， 但是大型机的价格极为昂贵，一般单位和部门难以承受，同时单位内部又有很多 服务器和台式机有很多闲置时间，没有被充分利用起来。网格计算技术的研究正 是在这样的背景下提出来的，它的目标是将地理和组织上分布、异构的各种高性 能计算机、数据服务器、大型检索存储系统和可视化、虚拟现实系统等，通过高 速互连网络连接并集成起来，共同完成一些重大应用研究问题。 同时，随着全球经济一体化的推进，当今世界经济的竞争基础已经变成信息、 知识和文化。企业间竞争的加剧、产品生命周期的缩短、企业的成功不再归功于 偶然的产品开发或灵机一动的市场战略，而是企业核心竞争的外在表现。商业智 能作为一种新的技术方法己逐渐成为企业管理现代化的重要标志，并且在制造业、 电信业、金融业、商业等各行业都开始了广泛的应用。如何合理利用企业的各种 商业资料进行定量分析，提升企业竞争优势，已成为越来越重要的问题，研究如 何构建基于商业智能的企业核心竞争力也显得颇为重要。由于企业之间竞争的激 烈程度日益加剧，在每一个地区，每一种产品，每一个经营环节出现问题都可能 影响到企业的良性运转。因此企业需要实时了解当前的运营状况，企业的决策层 更应该提前预知风险，预知潜在的机遇。但是，企业的业务系统往往不能给出很 好的解决方案，商业智能系统具有把业务数据转化为有价值的信息和知识的能力， 为企业提供了一种战略的、战术的、功能性的框架，在组织中处理商务分析需求， 帮助发现潜在的风险和规律，并辅助产生科学的经营决策。 p l a t f o r me g o 作为一个网格操作系统平台，负责协调管理整个网格的所有节 点的资源，包括软件资源，硬件资源，信息资源，使得负载达到均衡，并让上千 台主机一起协同工作，来完成大规模的科学计算。为了把这些资源的使用信息与 科学计算的作业状态信息充分利用起来，并为企业或者科学机构的领导者提供决 2 基于网格环境的商业智能框架研究 策分析的依据，需要一个支持网格环境的商业智能框架的解决方案。 1 2 本文工作及意义 本文主要研究p l a t f o r me g o 网格操作系统环境下的商业智能框架的设计与 实现。并针对现有p e r f 商业智能框架的数据集成模块存在的不足进行改进，提出 了一种基于s h e l l 脚本的、灵活的、通用数据加载器模型。改进了的通用数据加载 器模型由于提供了统一的程序接口，极大地缩短了新数据加载器的开发周期，减 少了新数据加载器从开发到企业部署的中间环节，从而降低了风险。 这种基于s h e l l 脚本的通用数据加载器的设计与实现，有效地缩短了企业用 户对新数据的加载请求时间，有助于提高企业将数据转换为知识的效率，提供及 时的商业决策。对于企业之间竞争的激烈程度日益加剧现状来说，无疑具有很强 的商业价值。 1 3 论文的组织结构 本文大体上分成四个部分：第一部分是网格、商业智能相关理论及背景的研 究，包括第一章、第二章；第二部分分析了p l a t f o r m 公司现有的商业智能框架p e r f 系统，包括第三章；第三部分对现有商业智能框架p e r f 系统的进行改进与扩展 研究，包括第四、五章；最后第七章对本文工作进行了总结。具体内容安排如下： 1 ) 绪论，主要介绍研究背景、意义。 2 ) 第二章综述网格、商业智能技术的背景、概念、体系结构。 3 ) 第三章对现有基于网格环境的商业智能框架p e r f 进行研究，分析其运作 机制。 4 ) 第四章对基于网格环境的p e r f 商业智能框架的数据加载器模型不足进 行改进，设计并实现了一种基于s h e l l 脚本的通用数据加载器模型。 5 ) 第五章对基于通用数据加载器模型实现的数据加载器进行性能测试。 6 ) 结束语对本文工作做了总结，并指出了后续可以展开的研究工作。 第二章网格与商业智能技术 3 第二章网格与商业智能技术 2 1 1 网格技术的背景 2 1 网格技术 在互联网( i n t e m e t ) 广泛应用于电子商务并不断发展的今天，在与高性能计算 有关的学科交叉领域，正在涌现出另一个具有划时代的新生事物一网格( g r i d ) 。它 的出现将掀起继传统互联网、万维网之后的第三次浪潮网格计算，并将为信息产 业带来无限商机。网格是构筑在互联网上的一种新兴技术，它将高速互联网、高 性能计算机、大型数据库、传感器、远程设备等融为一体，为科技人员和普通老 百姓提供更多的资源、功能和交互性。互联网主要为人们提供电子邮件，网页浏 览等通信功能。而网格功能则更多更强，能让人们透明地使用计算、存储等其它 资源。i n t e m e t 实现了计算机硬件的联通，w e b 实现了网页的联通，而网格试图实 现互联网上所有资源的全面联通。它要把整个互联网整合成一台巨大的虚拟超级 计算机，实现计算资源、存储资源、通信资源、软件资源、信息资源、知识资源 的全面共享。互联网的第三次浪潮的实质就是要将万维网升华为网格。 目前，世界上计算机的利用率很低，而许多应用领域都需要很强的计算能力， 但是从事这一应用领域研究的单位或个人拥有的计算资源却根本不能够提供实际 所需要的计算能力。这一计算机的实际使用情况和人们对计算能力的需求表明， 一方面，大量的计算资源处于空闲状态，没有得到有效利用；另一方面，又有很 多的应用问题由于没有足够的计算资源可供使用而无法求解。“网格”的出现在很 大程度上解决了上述的这对矛盾。网格是近几年迅速兴起的一门新技术，它作为 一种先进技术和全新的基础设施的代表，被学术界认为是科学界继i n t e r n e t 之后 又一次重大的进步。网格能收集各种计算资源，并将它们转化成一种随处可得的、 可靠的、标准的、便宜的计算能力。网格是将来社会信息化必不可少的一种基础 设施，这个基础设施将会为全球的商业、政府、科学研究和娱乐等等领域提供最 强有力的支持，通过这种基础设施，用户不需要了解这种基础设施上资源的具体 细节就可以使用自己需要的资源。 高性能计算( h i 。g hp e r f o r m a n c ec o m p u t i n g ，h p c ) 已经成为许多科学和工程 实践的关键技术。科学家们也越来越多地使用超级计算机来研究复杂问题，例如 可以用来预测复杂的非线性现象，或者是在做实验之前，就可探索物理参数的变 化规律，甚至还可以用来模拟现实世界中所发生的某些事件。然而，尽管超级计 4 基于网格环境的商业智能框架研究 算机的能力在不断的增长，仍然有许多应用无法实现。因为这些应用往往需要处 理能力强大的超级计算机的支持，但是超级计算机造价极高，通常只有一些国家 级部门，如航天、气象等部门才有能力配置这样的设备；另一方面，某些应用对 计算的要求非常高，即使是现在最大的超级计算机也无法提供他们所需的资源， 这时就需要将高性能计算依托i n t e m e t 或其它高速网络将分布世界各个角落的能 力千差万别的计算资源联结在一起，形成大规模的几乎可以无限扩展的计算能力； 制造技术与工艺、体系结构设计在不断提高着单个计算设备的能力；网络技术的 进步已经可以使一种支持有效并发执行的方式，汇聚地理上分散的计算资源成为 可能。这种新的网络计算模式基于动态的、异构的和跨区域的协同资源共享 问题求解的计算模式就是网格计算( c - r i dc o m p u t i n g ) 。网格计算是当今计算机科学 领域新兴起的一个具有很高学术价值和应用价值的研究领域。 2 1 2 网格技术的相关概念 网格( g r i d ) 是一种新兴的基础设施，它将从根本上改变人们思考和使用计 算的方式。网格这个词来源于可随时随地提供电能的电力网格，他像计算机和其 它科技进步的产物一样，对人类的能力和社会有着巨大的影响。人们相信通过使 信息技术基础设施中的所有成分，包括计算能力、数据库、传感器和人，灵活共 享成为真正的协作工具，网格将有着类似的改造效果，导致新类型应用的出现【l j 。 1 9 9 8 年，f o s t e r 首次对网格进行定义：计算网格是一种由硬件和软件构成的 信息技术基础设施，能提供可靠的、可协调的、可扩展的和廉价的高端计算能力 访问。2 0 0 2 年，f o s t e r 从三个方面更清晰地定义网格，他认为网格是一个满足如 下三个条件的系统： 1 ) 资源网格能集成和协调资源与用户在不同控制域内的活动。不同的控制 域有：使用集中计算的用户桌面，同一公司的不同的管理部门、或不同 的公司等；同时，网格能解决包括安全、策略、付款、成员资格等各种 问题。 2 ) 网格是由多用途协议和接口来构建的，该协议将能解决诸如鉴别、授权、 资源发现和资源访问等一些基本问题。这里强调这些协议和接口的标准 化和开放性是很重要的。 3 ) 提供非常的服务质量网格，允许按协作的方式来使用其成分资源，以提 供各种各样的服务内容，如反应时间、容许能力、可利用性和安全性， 以及协作配置多重资源类型以满足复杂的用户要求等，这种组合系统的 效用大大高于该系统的部分总和【2 j 。 网格计算( g r i dc o m p u t i n g ) ，又称为元计算，无缝，可扩展计算，全局计算等， 第二章网格与商业智能技术 5 被定义为一个广域范围的“无缝的集成和协同计算环境”。它将网络上的各种资源， 包括超级计算机、大规模存储系统、个人计算机、各种设备等组织在一个统一的 框架下，从而能够以非常方便的方法解决各种复杂的问题。网格计算技术综合了 信息领域及其相关领域的现代先进技术，包括高性能计算技术，现代i n t e r n e t 技 术、各种传感技术、中间件技术、智能控制技术等。按照网格提供的功能，网格 可分为两类：计算网格( c o m p u t a t i o n a lc r r i d ) 和存储网格( a c c e s sg r i d ) 3 i t 制。 2 1 3 网格的体系结构 研究网格的体系结构就是研究关于如何构建并实施网格的方案，它给出了网 格的基本组成与功能，描述了网格各组成部分的关系以及他们集成的方式或者方 法，以及支持网格有效运作的机制。目前比较重要的网格体系结构有两种，一种 是五层沙漏结构，另外一种是开放网格服务结构o g s a ( o p e i lg r i ds e r v i c e s a r c h i t e c t u r e ) ，下面将分别介绍。 成。 r弋 应用层 l ，、 汇聚层 、l 厂、 资源层 厂、 连接层 厂、 构造层 l 图2 1 网格五层沙漏结构 1 五层沙漏结构 如图2 1 ，网格的五层沙漏结构是以协议为中心的模型，它有以下几部分构 1 ) 构造层它们是物理和逻辑实体，作用是向上提供网络中可供共享的资 源。常用的资源包括处理能力、存储系统、目录、网络资源、分布式文 件系统、分布式计算机池、计算机集群等。 2 ) 连接层支持便利的安全通信。实现相互通信，定义了核心的通信与认证 协议，用于网格的网络事务处理之中。 6 基于网格环境的商业智能框架研究 3 ) 资源层共享单一资源，实现对单个资源的实施控制，与可用资源进行安 全握手，对资源做初始化，监控资源运行情况。 4 ) 汇聚层协调各种资源，将资源层提交的资源汇集在一起，提供虚拟组织 的应用程序共享、使用。 5 ) 应用层是用户需求的具体体现。在网格操作系统的支持下，网格用户可 以使用其提供的a p i 或工具来开发各种应用系统。 2 开放网格服务体系结构 开放网格服务体系结构( o g s a ) 是以服务为中心的模型，它是一个由节点 和连线构成的框架【6 】。开放网格服务体系结构包含纤维层、联络层、资源层、协 作层、应用层这五个层次。其中纤维层用于远程调用及控制，它是整个网络系统 的基础。联络层提供查询网络服务、通信服务和安全控制【7 】。开放网格服务体系 结构的两大支撑技术为网格技术与w e b 服务，它的功能通过服务接口实现。它 是目前最新的网格体系结构，被称为下一代的网格体系结构。 2 0 0 5 年1 月g l o b u s 推出了基于开放网格服务体系结构o g s a ( o p e ng r i d s e r v i c e sa r c h i t e c t u r e ) ，支持网格服务的g l o b u st o o l k i t 4 0 工具包。g l o b u s t o o l k i t 4 o ( 以下简称g t 4 ) 是w s r f ( w e bs e r v i c e sr e s o u r c ef r a m e w o r k ) 的第一个 参考实现g t 4 提供a p i 来构建有状态的w 曲服务，其目标是建立分布式异构计 算环境。w sc o r e 是g t 4 层次结构中的核心，w sc o r e 是对两新标准的实现： w s r f 和w e bs e r v i c e sn o t i f i c a t i o n ( w s n ) 。它包括参考实现、安全基础设施和系 统级服务，提供了s o a p 安全、传输层安全、相互认证、单点登录服务认证等功 能，其新特性包括于a p a c h et o m c a t 的j n d i 注册项、h t t p 1 1 客户端服务器支 持，进行w s a d d r e s s i n g 转换的u r i 解析服务等。并且，g t 4 还提供了一组使用 c 编写的基本工具集：cw sc o r e ，可以用该工具集来创建启用w s r f 的w e b 服 务和客户端对w s r e s o u r c e 和w s n o t i f i c a t i o n 的确认。 g t 4 提供的服务 1 ) g t 4 核心服务主要提供3 类服务：p i n g 主机环境和干净地关闭容器的 管理服务；日志管理服务；为监控当前工作状态的管理服务提供一个接 口和加载一个网格服务容器服务。 2 ) g t 4 安全服务：g t 4 安全服务保证只有通过授权的用户才能访问网格服 务。 3 ) g t 4 基本服务主要提供三类服务：作业管理服务( m a n a g ej o bs e r v i c e ， m j s ) ：作业管理服务允许人工干预作业请求，从而管理它们；索引服务 ( i n d e xs e r v i c e ，i s ) ，索引服务允许我们查询能够满足我们需要的服务； 第二章网格与商业智能技术 7 可靠文件传输服务( r e l i a b l ef i r et r a n s f e r ，r f t ) ，这个服务允许用户在客 户与网格服务之间完成大文件传输，而且，可靠文件传输服务还支持断 点续传。 4 ) g t 4 数据服务：在必须进行大量数据的处理时，用户不必下载全部数据， 而是下载部分数据就可以工作了。 5 ) 其它网格服务：在g t 4 体系结构的顶层可以运行非g t 4 的其它网格服 务8 】【9 】。 2 1 4 网格操作系统 2 1 4 1 网格操作系统的概念 网格操作系统就是能够让开发者、管理员、用户将地理上分布的各种软件和 硬件资源当作一个虚拟的计算机来使用的一种虚拟操作系统。在网格操作系统中， 每台计算机相当于它要管理的一个硬件，而在该硬件上安装的传统操作系统( 如 w i d o w s ，l i n u x 等) 则相当于这个硬件的驱动程序。各台计算机在网格操作系统的 调度下，协同工作，共同完成一些庞大的或者大批量的作业【l 们。 2 1 4 2 p l a t f o r me g o 网格操作系统 p l a t f o r me g o ( p l a t f o r me n t e r p r i s eg r i do r c h e s t r a t o r ) 就是一种网格操作系统。 p l a t f o r me g o 充分利用网格计算平台的优势，提供了一个单一的管理环境，可在 地理位置分散的站点之间，为所有的关键任务应用、服务及工作任务集中分配共 享资源。此外，它还可通过改善的利用率和性能( 可按需灵活添加资源) ，提供更 快的运行速度及更出色的s l a ( 服务等级协议) 管理，切实降低企业的i t 总成 本。 p l a t f o r me g o 建立在开放式标准及架构( w 曲服务、s o a ) 之上，出色的可 扩展性和灵活性可支持对所有应用和资源的有效管理。p l a t f o r me g os d k 使得应 用开发与共享资源访问变得更为轻松。 p l a t f o r me g o 是p l a t f o r mc o m p u t i n g 公司新一代的企业网格产品，主要面向 企业网格应用，帮助企业解决网格资源分配和调度。e g o 可以说是一个类网格操 作系统，主要管理网格中各种软硬资源，根据不同服务的资源，按一定的分配策 略分配网格系统中的各种资源。 p l a t f o me g o 将网格资源虚拟化，并管理这些虚拟的网格资源，可以认为 p l a t f o me g o 是一个抽象的网格资源管理层。一旦上层应用程序从e g o 获得了 分配的资源，它们就会应用自己的规则和策略，应用程序怎样在使用这些资源来 平衡自己的工作负载就不是e g o 的职责所在了。通过e g o 的这样一个资源管理 8基于网格环境的商业智能框架研究 层可以很好的为上层的各种各样的工作量( w o r k l o a d ) 统一进行分配、管理资源 的请求，而且可以保持各工作流之间的相互独立性。e g o 采用集中式的调度模型， 关于集中式调度已经在第一章绪论中间单的介绍过，这里就不在细述了。e g o 将 网格资源虚拟化，并将底层的资源管理与上层的任务管理分离开来，这样做的好 处有： 1 ) 分离网格系统设施与企业的具体应用设施，这有利于企业的控制。 2 ) 资源分配策略可以由企业的i t 进行集中控制，透明化网格资源的整体分 配与调度，提高资源的可控性。 3 ) 企业的各种不同类型的应用( 包括不同企业的应用，比如租借的企业网格 资源) 可以很好的同时运行在一个网格。 4 ) 将网格产品的升级简单化，产品的升级不会影响到企业的具体应用。 5 ) 只对资源请求敏感，这样不会干涉企业应用对已分配资源的使用，提高企 业自身的保密性。 由于上述好处，p l a t f o r me g o 可以通过提供的一系列丰富的服务来进行资源 的管理和协调工作，以满足企业至关重要的商业目标，这些目标可能包括： 1 ) 降低提供关键商业服务所需要的时间和成本。 2 1 实现现有i t 资源收益的最大化。 3 ) 为不同的消费者设定、执行和审核服务计划。 4 ) 确保高安全性和可靠性。 5 ) 简单化i t 管理，降低管理成本。 6 ) 合并不同的，复杂的计算资源到一个单独的虚拟系统中使其可以在不同 的商业使用者之间的共享。 第二章网格与商业智能技术 黧鑫5 裂”噤2 “逞釜舅蠢辫 蓦 鹭 图2 2e g o 的企n k 应川架构 图2 2 展现了基于e g o 的企业应用的信息化平台的架构，自底向上细分为5 1 ) 资源层。此层由众多计算机( 也称为主机) 组成，每台计算机包括两部 分，物理计算机硬件设施和普通操作系统软件殴施。物理训算机包括个 人计算机和服务器等，普通操作系统包括w i n d o w s ，a i x ，l i n u x ，h p u x ， s o l a r i s 等。这些计算机共同组成一个c l u s t e r ，在网格操作系统中，c l u s t e r 是指一组松散耦台的计算机组成的一个集群，它们一起在一个共享的“ 算基础设施上工作，其中有一个主控计算机m a s t e r h o s t ，它来管理c l u s t e r 中的其他计算机c o m p u t i n gh o s t 。客户端必须通过主控机来申请资源 分酉己到资源后，则町以直接与资源所在的计算机进行交互；当自多个客 户端( 请求资源的客户端也称为消费老c o n s u m e r ) 请求资源时，网格平 台会根据现有资源和请求情况平衡的分配资源。一旦c l u s t e r 被建立并运 转起来，管理员必须定义消费者，用户，资源分配策略，部署服务注 册应用程序，以服务客户端。 2 1 资源管理层。由e g o 网格操作系统和e g os d k 两部分组成。其中e g o s d k 为上层应用提供的软件开发工具包。e g o 网格操作系统协调结构层 中被其管理的整个集群的菇享资源。 3 1 应用层。此层包含众多可以运行在e g o 网格操作系统平台上的应用软 件，如p l a t f o r ml s f ，p l a t f o 皿s y m p h o n y 等。这些应用软件被看作是e g o 眦 燃 1 0基于网格环境的商业智能框架研究 网格操作系统的一个插件一样，可以同时公用一个网格操作系统。此层 还可以利用e g os d k 的开发工具包进行应用程序插件式开发，之后可 同其他应用程序一样统一运行于e g o 网格操作系统之上。 4 ) 商业层。基于应用层或者资源层中e g os d k 提供的a p i 与开发工具包 做的数据方面的商业应用，包括e r p ( 企业资源计划) 系统、c r m ( 客 户关系管理) 系统、e t l ( 数据抽取，数据转换，数据装载) 引擎工具、 b u s i n e s si n t e l l i g e n c e ( 商业智能) 系统等。 5 ) 用户层。作为网格企业应用的最顶层，直接与企业用户交互，企业用户 通过这一层的可视化界面对网格操作系统进行操作，或者对网格统一管 理的共享资源进行监控或者资源分配策略的调整。 c l i e n t s m a 咖r 广i 圆圈圈圜g o s c 翻 i 园l ；圜； ；圆 l i m ：ll 姆吣ll 冒i ；冒il 冒l 图2 3e g o 体系结构图 图2 3 是p l a t f o r me g o 网格操作系统的体系结构图。 1 ) e g o 内核。内核是若干个被自动启动的进程，它运行在集群的主控主机 m a s t e r 上，提供一套核心的中央控制功能。内核整合了所有主机的共享 资源，并对外表现为一个虚拟的计算机。它主要由三个模块组成，分别 是信息收集模块l i m ( l o a di n f o r m a t i o nm a n a g e r ) 、资源分配模块 v e m k d ( v e mk e r n e ld a e m o n ) 、作业执行模块p e m ( p r o e e s se x e c u t i o n m a n a g e r ) 。 信息收集模块l i m 第二章网格与商业智能技术 该模块负责收集各台主机的信息，使用户可以通过统一的a p i 接口来查询各 项信息，如各种资源的状态，作业请求的状态，消费者( c o l l s u l i l e r ) 的层次( 包 括分配给每个消费者的资源，已经启动的服务) 等。信息模块提供了对静态信息 和接近实时的动态信息的统一访问方式，这样内核就可以高效地监测和管理所有 资源，并且用户也能发现那些是可用资源。 资源分配模块v e m k d 资源分配模块负责管理来自作业或任务对资源的需求。v e m k d 进程只会在 集群的主控节点上启动。如同传统操作系统中的虚拟内存管理程序将物理资源转 变为虚拟资源并分配给应用程序一样，资源分配模块会将分布的资源虚拟化。例 如，它能够将物理主机的c p u 划分为多个虚拟的s l o t s ，这样用户就可以像使用 真正的c p u 一样来使用s l o t s 。通过考虑可用资源和消费者的权利，资源分配模 块将会按照预先定义好的分配策略决定分配哪些资源。它会跟踪每种资源的数量， 调整它们的优先级，召回多分配的资源。 作业执行模块p e m 作业执行模块负责在资源分配后，利用这些资源执行一些作业。它可以运行， 终止，或控制被执行的任务。内核利用在每台主机上运行的进程执行程序( p r o c e s s e x e c u t i o nm a n a g e r , p e m ) 来执行一些远程操作。主机运行状态的变化将会被同步 的报告给用户，用户将会决定如何处理失败并重新启动。 。2 ) e g o 服务。e g o 中的服务是指独立的持续运行的进程，在e g o 中一个 服务可以在集群内多个主机上启动多个实例以服务更多有访问权限的用 户。e g o 的标准服务提供通用功能以支持多个关注负载的应用程序。高 层服务平衡了这些通用服务，以保证持续性的管理分布式应用程序的负 载。它包含了一些标准的服务，如p l c ( p l a t f o r ml o a d e rc o n t r o l l e r ) ， p u r g e r ( 数据清洗服务) ，w e b g u i ( w e bg u i 服务器控制服务) 等。 3 ) 标准a p i 工具包。它是上层应用程序在e g o 平台上的编程接口如可执 行应用程序、w e bs e r v i c e 等。它提供对多种语言的支持，包括c ，c + + ，j a v a 等。上层应用程序通过这些可执行应用程序和a p i 便可以使自己的应用 运行像插件一样运行在e g o 网格操作系统之上。例如e g o 提供了b h o s t s 这个可执行程序，采用c c + + 语言实现的，b h o s t s 工具可以用来查询当 前集群内所有的主机，包括主机分组信息；e g o 还提供了许多a p i ( a p p l i c a t i o np r o g r a m m i n gi n t e r f a c e ，应用程序接口) ，j a v a 程序内部通过 j n i ( j a v an a t i v ei n t e r f a c ej a v a 本地接口) 技术来调用这些a p i 。 1 2基于网格环境的商业智能框架研究 2 2 1 商业智能的背景 2 2 商业智能技术 随着全球经济一体化的推进，当今世界经济的竞争基础已经变成信息、知识 和文化。企业间竞争的加剧、产品生命周期的缩短、企业的成功不再归功于偶然 的产品开发或灵机一动的市场战略，而是企业核心竞争的外在表现。商业智能 ( b u s i n e s si n t e l l i g e n c e 简称b i ) 作为一种新的技术方法已逐渐成为企业管理现代 化的重要标志，并且在制造业、电信业、金融业、商业等各行业都开始了广泛的 应用。如何合理利用企业的各种商业资料进行定量分析，提升企业竞争优势，己 成为越来越重要的问题，研究如何构建基于商业智能的企业核心竞争力也显得颇 为重要。 由于企业之间竞争的激烈程度日益加剧，在每一个地区，每一种产品，每一 个经营环节出现问题都可能影响到企业的良性运转。因此企业需要实时了解当前 的运营状况，企业的决策层更应该提前预知风险，预知潜在的机遇。但是，企业 的业务系统往往不能给出很好的解决方案，商业智能系统具有把业务数据转化为 有价值的信息和知识的能力，为企业提供了一种战略的、战术的、功能性的框架， 在组织中处理商务分析需求，帮助发现潜在的风险和规律，并辅助产生科学的经 营决策。 2 2 2 商业智能的相关概念 商业智能的概念最早是g a r t n e rg r o u p 于1 9 9 6 年提出来的。当时将商业智能 定义为一类由数据仓库