（微电子学与固体电子学专业论文）分布式环境下商务智能应用框架研究和应用.pdf

分布式环境下商务智能应用框架研究和应用 专 业：微电子学与固体电子学 硕士生：招帼珍 指导教师：彭自成副教授 摘要 当前，管理信息系统发展趋势是分布式和智能化。一方面，网络应用特别是 i n t e r n e t 的普及使得信息交流快速简便，不但数据文件可以通过网络有效传递，而 且基于x m l 的w e bs e r v i c e s 的普及，面向服务s o a 体系的提出使得应用程序可以跨 平台，跨网络应用。企业的数据资源、程序服务已经突破了单机限制，在客户机 服务器模式，乃至整个w e b 体系下分布应用。另一方面，管理信息管理系统从闭环 m r p 发展到m r p i i ，直至e r p 企业资源一体化应用，数据管理和企业管理理念的提升 是这些系统实施的关键。2 1 世纪数据仓库技术的发展，商务智能( b i ) 技术开始重 新被研究机构和厂商重视，如何从上述电子商务系统的繁复数据中抽取有效的资源， 提供对各项业务分析和预测工作的支持成为普遍关注的重点，基于b i 技术的 c r m ，s c m 等更是针对业务层面进行开发的新兴研究领域。本次研究致力搭建分布式 环境下支持商务智能应用的平台框架d b i a f ，以适应于中小企业资源分布式的智能 应用需求，其特点在于以轻便灵活的应用框架支持开发者建立符合行业特色的企业 应用，同时又可以以熟悉的o f f i c e 套件工具方式和w e b 界面形式支持用户完成数据 分析、预测以及报表编制工作。 本文重点在于对分布式环境下的中小企业电子商务应用框架展开技术性研究。 一方面，探讨基于x m l 的w e bs e r v i c e s 技术在商务智能中以x m l a x m lf o r a n a l y s i s 方式提供对多维数据库及其他数据资源的访问，利用a n a l y s i ss e r v i c e s 和数据库提供的服务完成智能应用集成，逐步开展面向服务体系的探讨是一个具有 技术新型的研究点：另一方面，c l r 取代c o m ，逐步实现企业级组件技术转型是未来 发展趋势，探讨如何开发基于c l r 的应用框架，充分参考j a v a 、n e t 等设计模式，建 立完全属于本土自行开发的d b i a f 应用框架，并通过实际项目实施应用测试是本文 另一个新技术研究特色。此外，过去基于数据仓库技术的商务智能重视的是对历史 的、一致性的数据分析和预测，然而对“零滞后”的应用理想一直是智能研究领域 的重点。在中小企业电子商务环境下，更大部分的智能分析问题在于他们公司、业务 部门或者工程队分布在不同地域，实时分析数据和提供管理预测成为他们智能应用 的迫切需求。考虑如何实现实时e t l 技术，基于c l r 、x m l 标准提供消息交互通讯的 面向服务配套框架体系是本文整体设计的一部分。 经过多月来对主流的商务智能技术和分布式环境下应用框架开发技术的比较 分析和开发探讨，d b i a f 已经初步成型，不但充分考虑了作为框架对开发人员应有 的简单性和可重用性，而且充分考虑了可扩展性。数据集成方面除了对多关系数据 库的支持，而且对消息信息能实现无缝结合。安全性上提供身份验证和多角色授权 机制，根据用户角色进行个性化页面信息访问管理。利用s s a s ，集成数据能够被o l a p 和d m 等智能技术应用，以大家熟悉的o f f i c e 方式，基于w e b 界面的形式供信息使 用者访问。本研究利用d b i a f 初步完成实验室电子院务项目并已部分实现智能应用 解决方案。 然而，仅仅数月完成的工作对分布式环境下商务智能应用框架研究来说是远远 不够的，一方面从设计的角度来说，本研究主要是针对数据连接、消息通讯和智能 应用集成三大核心展开的框架技术探讨，对于更深入的关于事务管理、日志安全等 技术有待日后研究扩展；另一方面，从实现的角度来说，本文研究的应用框架部分 模块，重点在于技术性研究，没有全部实现针对不同应用服务的实现类；此外，本 文涉及到如i n d i g o 新技术体系知识，鉴于目前本人对其技术实现工作未全面掌握透 彻，故本文仅提供利用该技术思想对模块设计展开讨论，而未具体利用该技术实现相 关内容。众所周知，应用框架的研究是最复杂也是昂贵的，虽然d b i a f 在实践中针 对中小型企业已显示出分布式环境下智能应用的集成特色，它仍然需要在实际不断 的技术研究和应用开发中丰富和完善，争取成为更完善和更全面的框架体系。 关键词：商务智能，分布式，应用框架 i i r e s e a r c ho nb u s i n e s si n t e l l i g e n c ea p p l i c a t i o n f r a m e w o r ki nd i s t r i b u t e dn e t w o r ke n v i r o n m e n t m a j o r ：m i c r o e l e c t r o n i ca n dc o n d e n s e de l e c t r o n i c s n a m e ：g n o z h e nz h a o s u p e r v i s o r ：v i c e - - p r o f z i - c h e n gp e n g a b s t r a c t n o w a d a y s ，m i si sd e v e l o p i n gt o w a r d sd i s t r i b u t i o na n di n t e l l i g e n c e f o ro n et h i n g ， n e t w o r ka p p l i c a t i o n ，e s p e c i a l l yt h ei n t e m e t ，m a k e sc o m m u n i c a t i o ne a s i e ra n df a s t e r n o t o n l yi n f o r m a t i o nc a nb et r a n s f e r r e do nt h ew e be f f i c i e n t l y , b u ta l s ow e bs e r v i c e sb a s e d o nx m lt e c h n o l o g ya n ds e r v i c e o r i e n t e da r c h i t e c t u r es o ah a v eb e e nb r o u g h tu p ， w h i c hh e l pa p p l i c a t i o n su s e db e t w e e np l a t f o r m sa n dn e t w o r k s i n f o r m a t i o nr e s o u r c e s ， a p p l i c a t i o ns e r v i c e sa r en o wr u n n i n go v e rs i n g l em a c h i n e ，i nc l i e n t s e r v e rp a r e ma n d d i s t r i b u t e di naw h o l ew e bs y s t e m f o ra n o t h e rt h i n g ，m i sh a sd e v e l o p e df r o mm r pt o m r p i i ，e v e nn o we r pf o re n t e r p r i s er e s o u r c e sp l a n n i n g ，h o w e v e r , t h es u c c e s sl i e si n t h e i ri n f o r m a t i o nm a n a g e m e n ta n dn e wm a n a g e m e n tc o n c e p tu p g r a d e d t h a n k st ot h e d a t aw a r e h o u s et e c h n o l o g yi n2 1 s tc e n t u r y ，b u s i n e s si n t e l l i g e n c e - - b ib r o u g h ti t sw a y f o r w a r dt ot h ep u b l i c h o wt om a k eu s eo fi n f o r m a t i o nf r o mm o u n t a i n so fd a t aa n dt o h e l pb u s i n e s sa n a l y s i sa n dp r e d i c t i o na r ec o m m o nc o n c e r n s l o t so f b u s i n e s sa p p l i c a t i o n s b a s e do nb is u c ha sc r m ，s c ma n ds oo na r en e wh e a t e da r e a si ne - c o m m e r c e m y r e s e a r c hf o c u s e so nc o n s t r u c t i o no fs e l f - b u i l ta p p l i c a t i o nf r a m e w o r k - - d b l a ft os u p p o r t b ii nd i s t r i b u t e dn e t w o r ke n v i r o n m e n t w h i c hf i t sf o rt h ei n t e l l i g e n c ed e m a n do fm e d i u m s i z e db u s i n e s su s e r sw h oa r ef a m i l i a rw i t hm i c r o s o f tt o o l k i t sa n df o n do fo f f i c es u i t s ， f l e x i b l ew e bb r o w s e rp a g e st oh e l pd a t aa n a l y s i s ，p r e d i c t i o na n do t h e rr e p o r t i n gs e r v i c e s t h et e c h n o l o g yo f d b i a ff o rm e d i u ms i z e db u s i n e s sf o c u s e so ni n n o v a t i o ni d e a sb e l o w ： ( 1 ) x m l a - - x m lf o ra n a l y s i si sal a n g u a g ef o rm u l t i d i m e n s i o n a ld a t a b a s ea c c e s s ；( 2 ) i f o u n dm yw a yt om a k es e l f - b u i l tc o m p o n e n t si nc l ra n dh a v em o r ef l e x i b l ea n d e x t e n s i b l ef e a t u r e st h a nt h ec o mo n e sb e f o r e ；f u r t h e r m o r e ，ad r e a mt os e tu pr e a l t i m e b ia p p l i c a t i o n si sar e s e a r c hp o i n ts u p p o r t e db ym a n ys c i e n t i s t sa n dv e n d o r s i ti sm y r e s e a r c ht od i s c u s sak i n do f r e a l - t i m ee t l a p p l i c a t i o nm o d e li nt h i st i m e i i i a f t e rs e v e r a lm o n t h s e f f o r t st o c o m p a r eb it e c h n o l o g yt o o l k i t sa n da p p l i c a t i o n f r a m e w o r kt e c h n o l o g i e sa n dd e v e l o p ，d b i a fh a sb o r n i ti sn o to n l ya na p p l i c a t i o n f r a m e w o r ke a s yf o ru s ea n dr e u s a b l ef o rp r o g r a m m e rd e v e l o p m e n t ，b u ta l s oh a sg r e a t e x t e n s i b i l i t y k i n d so fr e l a t i o n a ld a t a b a s ec a nb es u p p o r t e da n du n f o r m e di n f o r m a t i o n c a nb ee a s i l yc o n j u n c t e dt os y s t e m i d e n t i t ya u t h e n t i c a t i o na n dm u l t i r o l e sa u t h o r i t y , a d d i n gc u s t o m i z e dp a g ei n f o r m a t i o na c c e s sm a n a g e m e n ta r ep r o v i d e d i n t e g r a t e ds s a s ， d a t ac a nb eu s e df o ro l a po rd ma n dm a d ec u s t o m i z e dr e p o r to nw e bp a g e sb yt h em s o f f i c ew a y h o w e v e r , w o r ko fm o n t h s i sn o te n o u g hf o rr e s e a r c ho n p r o f e s s i o n a l b u s i n e s s i n t e l l i g e n c ea p p l i c a t i o nf r a m e w o r ki nd i s t r i b u t e dn e t w o r ke n v i r o n m e n t i nt h ee y e so f d e s i g n ，i n f o r m a t i o na c c e s s ，m e s s a g ec o m m u n i c a t i o n a n db u s i n e s s i n t e l l i g e n c e c o m p o n e n t si n t e g r a t i o na r ec o r e so ft h i sr e s e a r c h t h et r a n s a c t i o nm a n a g e m e n t ，t h el o g s e c u r i t ya n ds oo ns h o u l db ee x t e n d e di nt h en e a rf u t u r e i nt h ee y e so fi m p l e m e n t a t i o n ， b e c a u s ei t i sar e s e a r c ho nt e c h n o l o g y , n o ta l lo fi m p l e m e n t a t i o nc l a s s e sf o ra l lk i n d so f s p e c i f i e dc a s e sh a v eb e e nr e a l i z e dn o w a l s o ，an e ws e r v i c e - o r i e n t e da r c h i t e c t u r ei n d i g o h a sb e e nd i s c u s s e d b u ts h o r to fm a t u r e dr e s e a r c ha n di n f o r m a t i o ns u p p o r t ，aw h o l l y a r c h i t e c t u r ei sa n t i c i p a t e dw i t ht h em i c r o s o f t sh e t p i ti sk n o w nt h a tr e s e a r c ho n a p p l i c a t i o nf r a m e w o r ki st h em o s te x p e n s i v ea n dc o m p l i c a t e da r t ，t h o u g hd b i a ff o r m e d i u ms i z e du s eh a ss h o w nf l e x i b l eb u s i n e s si n t e l l i g e n c ei n t e g r a t i o nf e a t u r e s ；i ts h o u l d b ep a i dm o r er e s e a r c hf o ri m p r o v e m e n tt om a k ei tb e t t e rf o rd e v e l o p m e n t k e y w o r d s ：b u s i n e s si n t e l l i g e n c e ，d i s t r i b u t e dn e t w o r k ，a p p l i c a t i o nf r a m e w o r k 1 1d b i a f 研究意义 第一章d b i a f 总体概述 企业管理信息系统发展到信息大规模集成，一体化管理阶段，比起其他应用软 件，在数据处理方面复杂得多。企业应用一般都涉及到大量数据，一个中等规模的 系统往往包含1g b 以上的数据，巨大的数据量导致数据管理成为系统的主要工作。 m r p 、e r p 等各种系统设计的初衷只是将企业现有杂乱无章的数据进行整合，使企业 各项资源得以充分利用，但整合好的数据又将如何发挥其自身的价值呢? 面对越复 杂的数据，高层管理者越难控制其极其复杂的商业结构，因此越需要商业智能技术 和辅助决策技术的支持。随着各个行业的企业竞争越来越激烈，中国企业对智能化 产品市场的需求越来越高。商务智能技术应运而生，它是管理信息系统m i s 发展到 二十一世纪的产物，是企业利用现代信息技术收集、管理和分析结构化和非结构化 商务数据和信息，创造和累计商务知识和信息，改善商务决策水平，协助用户采取 有效的商务行动，完善商务流程，提升绩效，增强综合竞争力的电子商务应用技术“”。 不少分析师预见，在当前的市场基础下，中国b i 技术与e r p 融合是该技术快速发展 的必然趋势。2 0 0 5 年中国商业智能软件市场价值约为1 0 亿元，相比2 0 0 4 年的6 5 5 亿元，增长近一倍，未来5 年中国商业智能软件市场将保持持续增长，年复合增长 率将达到3 9 ，成为继e r p 之后管理软件新的增长点”。 与此同时，在不断发展的网络环境中，集团内部各成员系统往往处于不同的地 域空间，子系统之间要求能够独立完成数据处理，同时希望数据能够从各分公司传 递到总公司或者其他分公司进行参考处理；而且不同地域应用，无论是硬件平台还 是软件平台，在实际运用中都不大可能统一，而集成数据或者使应用程序在这些不 同的平台中协作却成了越来越迫切实现的用户需求。“分布式”术语回答的就是上述 问题的解决。分布式的概念包括逻辑上和物理上分布式协作的数据和应用程序，是 处理信息从应用程序一部分传送到另一部分，解决各应用程序相互协作的一门技术 ( 4 2 ) o 分布式技术的运用，使得各子系统数据能够有效处理自己的数据同时，又能够 保证系统间的数据传输和汇总，大型应用软件能够在各不相同的网络、不同的系统 平台上运行。分布式的发展使得资源数据传输集成得到保证，程序协同工作提高办 公效率和运行效果成为了可能。研究分布式环境下b i 的框架模型能够推动智能化产 品在网络应用领域，特别是电子商务上的融合，体现产品的价值。 当前，商务智能主要包括两大核心技术数据仓库和w e b 应用，所以研究 d b i a f 应用框架就是研究如何在分布式环境下支持数据仓库技术应用的电子商务综 合编程环境，力求提升系统数据集成处理和智能化运用能力，支持开发模块化、可 重用性、可扩展性、简单性和可维护性五大特征。通过对d b i a f 的灵活运用和新技 术新思维的不断扩展，开发者可以搭建符合下述要求的商务智能应用： 1 、从报表中心向信息仪表盘转变 查询和报表生成两大功能一直有商业智能的“面包和黄油”之称。然而，“仪表 盘”的分析信息、决策度量、关键值等绩效指标是管理和跟踪企业绩效的信息元素。 如何获取这些绩效指标是企业管理的关键因素。把报表中心为基础的离散元素连接 起来，形成更深层次的信息智能，我们的系统打开了绩效管理性能的突破之门。 2 、统一查询、分析和报表生成功能 用户想要的是简单、直接、集中地了解和管理他们的企业信息，评定工作绩效。 对于i t 厂商来说，技术开发的目标应是简化信息查询、分析及信息报表生成操作步 骤，提供可以便利于企业分析与决策的交互控件以及服务平台。 3 、信息可视化发展 信息可视化在商业智能的发展过程中一直扮演着重要角色，主要体现在信息展示 和数据分析方面。随着电子商务应用在商业智能领域进一步发展，开发者将会致力 于研究新技术，推动数据( 尤其是大容量数据) 可视化的发展进程，以提供优化的 图形界面分析环境，重点在于提供丰富的，易用的分析结果协助决策过程。 4 、适时性和即时性信息获取 目前，支持即时和适时信息的企业基础设施技术处于发展的早期阶段，用户对该 技术的了解和使用正处于逐步了解之中。从商务智能的发展前景分析，即时事件监 控和管理将从简单的条件控制触发向更复杂的启发式应用模式发展，传达更多的即 时信息。 5 、结构化和非结构化信息整合 一直以来，商业智能技术注重的是对结构化数据的分析，然而，根据有关专家研 究，非结构化信息占全部信息的比例接近8 0 ，却没有受到电子商务系统开发者的 关注“”。目前还缺乏一种能同时发挥结构化信息和非结构化信息作用的分析系统。 商业智能技术的发展将着重于提供更好地把非结构化信息与结构化信息整合为统一 的分析框架和可视化图表技术。 6 、部门间有效协作 商业智能为企业各部门提供查询分析结果和编制共享报表，但部门间的应用协作 比资源共享的意义更大。所以，将商业智能软件融合到企业的各个管理环节中去， 通过具体实施和项目部署，利用数据仓库技术协作决策是其发展的重要方向。 7 、可扩展性 软件工程不可能是一劳永逸的实施活动，世界上不存在功能齐全的软件。商业智 能软件作为电子商务应用的一部分，必须提供针对具体企业实现功能扩展的解决方 案，否则就不能达到预期效益。商业智能解决方案必须能够在数据、用户、分析等 三个方面进行有效的扩展。 1 2d b i a f 国内外研究现状 商务智能属于电子商务技术的一部分，其主要包含两个核心基于分析的面 向决策技术体系( a b d o p ) 和基于w e b 的分布式解决方案。从二十世纪八十年代开始， 两种技术各自独立发展，取得了不匪的成绩，二十一世纪商务智能在两者基础上以 全新姿态被提出，把他们有机地结合起来。 1 2 1a b d o p 国内外研究现状 基于分析的面向决策技术体系( a b d o p ) 主要由数据仓库( d w ) 、在线分析处理 ( o l a p ) 以及数据挖掘( d m ) 三部分组成。维度建模利线性代数理论是该技术的基 础，自从1 9 7 0 年e d g a rc o d d 关系数据模型的创始人发表的ar e l a t i o n a lm o d e l o fd a t af o rl a r g es h a r e dd a t ab a n k s 定义了最初关系数据库模型。虽然关系模 型使得数据设计者和用户不必再考虑过程的物理存储和获取，但是对于更高层次的 开发人员和最终用户的分析来说，关系模型还是显得过多地关注底层细节，当要依 赖复杂数据汇总，决策支持系统就会显得特别困难。二十世纪七十年代到八十年代， 专家们发表了很多关于如何在关系模型上添加抽象能力的论文。s m i t h ，j m 和s m i t h d c p 在1 9 7 7 年发表了一篇有重大学术突破的论文 d a t a b a s ea b s t r a c t i o n s ： a g g r e g a t i o n ，文中提出了两个新的抽象类型聚合和泛化。随着数据库技术的 不断发展和软硬件技术的不断提高，使处理1 0 g 以上数据成为了可能，面向主题的数 据仓库与传统基于o l t p 数据库技术的最大不同在于它要解决的是四个核心问题 数据抽取、转换和装载( e t l ) ，数据管理、数据访问和元数据，针对面向分析型的 数据处理，研究重点在于如何对多个异构的数据源有效集成，集成后按照主题进行 重组，并包含历史数据，而且存放在数据仓库中的数据一般不再修改。 1 9 9 3 年，c o d d 和s a l l e y 的 p r o v i d i n go l a p ( o n l i n ea n a l y t i c a lp r o c e s s i n g ) t ou s e r a n a l y s t s ：a ni tm a n d a t e o n 一1 i n e 首次提出新技术思想o l a p 。c o d d 在文中提出了关于o l a p 的1 2 条原则。到了二十一世纪，数据仓库权威r a l p hk i m b a l l 提供了关于多维度建模的丰富思想和行业案例，在其专业网站和 t h ed a t a w a r e h o u s et o o l k i t ：t h ec o m p l e t eg u i d et od i m e n s i o n a lm o d e l i n g 有许多关于 多维建模的实用观点。e r i kt h o m s e n 在o l a ps o l u t i o n s ：b u il d i n g m u l t i d i m e n s i o n a li n f o r m a t i o ns y s t e m s 中提出了l c 模型，该模型是任何公开的 o l a p 产品和模型的超集。l c 模型包含一套关于维度建模的语言集合，是一个以逻辑 和数学为基础的功能性软件数据模型，其中的逻辑和数学基础来自于专家们过去二 十年的研究成果，在数学和逻辑上都是完备的。 我国大概在十年前开始关于数据仓库和数据挖掘的多维数据模型理论研究。统 计学上的遗传算法优化，广义多维度多层次的回归分析理论研究以及线性代数关于 高维度计算和分析的研究促进多维建模理论的发展。留美博士谢丹夏和李晓东数 据挖掘技术在w e b 上的应用及其工具设计、谢丹夏的 w e b 上的数据挖掘技术和工具 设计和李晓东、阎保平基于c o r b a 的目录服务在基于w e b 的网络信息管理系统中 的应用等文章都是我国国内关于数据挖掘和数据仓库技术在电子商务应用的文章， 对面向决策的智能分析技术在我国应用起到推动作用。 1 2 2 分布式技术的发展 八十年代计算机数量少而且昂贵，操作复杂，需要大批高级工程师和程序员维 护系统的正常运行。所有的计算机程序处理都是围绕“中心数据”模式进行，对于 用户访问和操作被限制数据，完成顺序任务时是有其优势的。然而，一台计算机进 行全部的处理，包括数据访问、业务逻辑和表示逻辑等属于集中式计算，不属于分 布式范畴。八十年代后期到九十年代初，计算机价格下降，每个用户拥有一台计算 机成为了可能，对等模式使客户机可以共享数据和资源。同期，两层客户机n 务器 体系结构也被提出。早期的c s 模式，处理被分散到两台机器上，客户机一般执行表 示逻辑和业务逻辑，服务器提供对数据的访问，“分布式计算”和“分布式应用程序” 开始走上舞台，机器之间可以协同工作，整个系统是一个交互式、能作出响应的环 境。然而整个机构中信息分散，并发处理、部署管理问题等被提上议程；客户机将 业务逻辑和表示逻辑混合在一起，给维护带来了难以想象的难度。尽管存在上述缺 点，对于并发用户不多的小型应用程序来说，两层的c s 系统是可以满足需求的。九 十年代，在两层式的基础上独立出业务层三层体系结构由此产生，如果应用服 务器作为业务逻辑主机，许多客户机就能够连接到应用服务器上，共享业务逻辑。 在三层模型的基础上添加其他额外的层次( 如w e b 服务层) 就可以构造n 层开发环境。 n 层与三层的区别在于业务逻辑的分布。采用三层或更多层架构，客户机不再包含业 务逻辑，部署和维护工作变得轻松；同时客户机与数据库处理相分离；应用服务器 能够与几个不同的数据源协同工作，而对客户机透明，仅提供单一的访问点；珍贵 资源包括数据库连接、线程池、安全性管理和事务监控等企业资源能够被多个用户 共享。虽然n 层设计能够使应用层次严格划分，各层间通过定义好的接口进行通信， 使维护和部署变得简洁容易，但是层次越多，实现起来越困难。关键点设计不好将 会削弱n 层应用程序的作用，体系性能和伸缩性都不比两层设计更有优势。九十年代 中期，步入计算机发展的“第三代”真正全球化的、多用途的自由网络年代， 我们的企业内部网在商务中运行本地应用程序的同时，要求能够在i n t e r n e t 上供外 部使用者访问。浏览器服务器( b s ) 模式符合分布式设计中的保守原则，作为分 布广泛以及富于兼容性的w e b 体系结构，使大部分的数据和操作被限制在中心服务器 之中，“瘦客户机”成了该体系的代名词。发展至今，w e b 汉o 览器提供复杂的对象模 型，不但提供h t m l ，而且还执行响应用户事件的脚本代码；w e b 服务器能够驻留服务 器端的业务逻辑、访问数据库、验证安全证书和集成事务监控器，可以通过产生h t m l 与嵌入式客户端脚本的混合结构来构建用户接口，并将接口发送到浏览器上。当然 w e b 模型由于并发负载量大，必须考虑部署的简易性和浏览器的问题，开发过程中我 们必须更加注意分布式原则和设计模式的运用，使其具有n 层体系的所有优点，并且 还具有集中式模型中客户端容易部署的优势。 真正“分布式”年代应该从二层式设计开始，这种设计服务器专用于运行一个 关系型数据库管理系统( r d m s ) ，客户端可以用v i s u a lc + + ，j a v a ，d e l p h i 等工具 完成包括界面开发的所有程序处理。这个时候，主流一种叫r a d ( r a p i da p p l i c a t i o n d e v e l o p m e n t ) 快速应用程序开发思想，利用r a d 技术可以快速地构建应用程序， 并且提供用户乐于接受的友好界面。九十年代，伴随三层或更多层体系结构的分布 式设计，o l d g 公司提出c o r b a _ c o m m o no b j e c tr e q u e s tb r o k e ra r c h i t e c t u r e 。 至今，c o r b a 已成为开放的、分布式对象计算结构模型，是异类计算环境互操作的 标准。分布式技术组件的开发竞争也随着电子商务的发展越来越激烈。m i c r o s o f t 提供了诸如c o m 、d c o m 、m t s 、c o m + 、n e t 等技术，s u n 公司的e j b 也是当前该技术 翘楚。 1 2 3d b i a f 框架的研究现状 本文研究的是分布式环境下商务智能应用框架，为了阅读简便，全文均简称其 为d b i a f 。这个应用框架除了具备e r p 、c r m 等电子商务平台的数据连接、消息通讯、 和验证授权安全管理等核心模块，更重在对数据集成、数据挖掘、空间分析以及数 据抽取、转换和装载( e t l ) 等技术的集成支持。传统的数据仓库技术似乎成了商务智 能的代名词，为了协助企业在纷繁复杂的数据环境中获得支持分析决策，指导预测 管理的商业价值数据，保证数据的简洁和一致性，强调的是一种对历史数据只读性 的智能应用。二十世纪九十年代中期操作型的数据仓库架构0 d s 是一个面向主 题的、集成的、实时的系统，它会从分散的系统中集成数据，这些数据仅仅做维护 用；同时o d s 把集成的数据添加到其他的应用之中，这种设计结构专门用来集成当 前的、动态的数据，可以支持实时分析。然而，由于这种设计往往只是以更高的频 率周期性地向数据仓库加载数据实现智能分析的实时胜要求，过于频繁的数据交换 使得系统运行缓慢。第二代的数据仓库技术在中间层( 业务逻辑层) 加入了一个缓 存区。这个缓存区执行必要的数据集成，检查数据质量，转换接收到的数据仓库数 据，而且它也为用于实时分析的复制数据提供可靠的l i 缶时存储区域。克服了o d s 的 不足。 无论o d s 还是使用缓存区的第二代数据仓库架构，商务智能体系业务层无不包 含数据集成这一核心。数据集成主要是合并数据访问( 将数据移入中央资源库) 和 联邦访问( 不集成数据，而是集成对数据的访问) 两种方法。i b m 数据仓库研究中 心称这两种方法为挪出和推进。两种方法在实施过程中都各有优点。在查询性能重 要以至于需要本地访问集中数据，或者因为数据集成需要昂贵且无法实时完成的转 换而集中数据，合并数据访问方式会比较有利。而对于需要访问实时数据、数据格 式大相径庭( 如结构化和非结构化数据) 或者要集成的数据量太大以至于认为将数 据复制到中央资源库中是不合适的，甚至考虑数据的保密性和所有权问题时候，联 邦访问是一种有效的数据访问方式。从实施经验来看，两种技术的结合往往是目前 e t l 技术的主流。为了很好的支持数据结构的移植，i b m 数据仓库研究中心提出异构 分步查询技术，可以广泛地支持d b 2 ，o r a c l e ，s y b a s e ，s o ls e r v e r ，i n f o r m i x 等 主流数据库。业务层中设计消息代理( m e s s a g eb r o k e r ) 给企业内部信息定位和传 递数据提供了一种非并行的控制机制，使非结构化数据的集成成为了可能。 目前，国外实现基于分析的面向决策的通用产品、商务智能框架技术成熟。数 据展现工具主要有b u s i n e s so b j e c t s 的b o 、l o t u s 的a p p r o a c h 、c o g n o s 的i m p r o m p t u 或i b m 的q u e r ym a n a g e m e n tf a c i l i t y 。多维分析支持工具有a r b o rs o f t w a r e 的 e s s b a s e 和i b m ( 与a r b o r 联合开发) 的d b 2o l a p 服务器等；统计分析工具有s a p 和s p s s 等。近年来，m i c r o s o f t 产品也开始向支持a b d o p 的市场迈进，不断推出 b u s i n e s si n t e l l i g e n c e 业务组件，其酝酿已久的s q ls e r v e r2 0 0 5 解决方案提供 大量的面向分析的功能和数据挖掘能力：从位于s q l 数据库外部到大部分位于s o l 数据库内部，使复杂数据访问速度得到提升。综观商务智能的发展，i b m 、o r a c l e 、 s y b a s e 、c a 、n c r 、i n f o r m i x 、m i c r o s o f t 和s a s 等有实力的公司相继( 通过收购或 研发的途径) 推出了自己的数据仓库解决方案，b 0 和b r i o 等专业软件公司也在前 端在线分析处理工具市场上占有一席之地。在特定领域面向决策分析的产品有i b m 公司的a d v a n c e ds c o u t 系统针对n b a 数据，帮助教练优化组合；加州理工学院喷气 推进实验室与天文科学家合作开发的s k i c a t 系统，帮助天文学家发现遥远的类星 体。 国内搞商务智能技术比西方起步要晚，真正开发出的本土商务智能产品不多。 “博科f i w 财务智能仓”于2 0 0 3 年1 1 月发布，是我国第一套本土财务管理领域的 商业智能产品。”，打破了国外厂商垄断和把持的技术壁垒，填补了国内拥有独立知 识产权的商务智能财务管理软件的空白。大部分知名软件开发商和研究院包括菲奈 特、用友、金碟、城市信息研究所等公司主要做e a i ，做商务智能应用框架研究、 业务领域实施居多，不少已具备在银行业、制造业、零售业、财务管理等领域实施 商务智能技术的丰富经验。 企业信息化集成，提供应用开发框架并非易事，不廉价也不是一劳永逸的事情， 为了开发出高度可用、支持智能应用简单、灵活和可扩展的框架，集成并支持b 1 分析与查询应用。业务领域知识和软件设计开发技巧两项技能缺一不可。国内外商 务智能的研究专家纷纷表示，未来五年商务智能技术的研究加强在应用实施方面。 发展必须从两线发展，从长远的眼光看，商务智能的实施必须注重本土化的发展， 重点加强与管理学院等研究中心合作，保证商务智能满足企业商务运作的需求；另 一线必须加强同国内软件中间商合作，提高软件的质量，根据客户需求不断调整系 统的功能，推动商务智能技术不断向前发展。 1 3 研究方法及本文组织 分布式环境下商务智能应用框架在当前全球化竞争日益激烈，信息空前爆炸， 国内外企业在拥有e r p 、c r m 等电子商务系统的同时，更希望从这些系统累积大量信 息，积极获取市场信息协助决策而迸发出生机。实验室三年的研究工作中，我参与 了e r p 和其他企业信息化项目的研究，在多个项目中利用实验室自己开发出的应用 框架实施项目，对应用框架技术了解和具备业务方面的实施经验。与此同时，在当 前国外商务智能框架、智能业务组件、分布式企业平台等通用技术不断成熟的市场 环境下，国内外都将b i 本土化实旋，与企业信息化平台完成信息集成作为研究重点。 本次研究参考了目前国内外流行的d n n 、n e tf r a m e w o r k 、j a v a 等框架设计，定位 于开发适用于中小企业的d b i a f 应用框架，这类应用的特点是由于用户分公司、部 门或者工程队分布在不同地域，对实时信息智能应用有需求，但用户计算机专业知 识水平不高，熟悉一般的m i c r o s o f t 环境，希望系统灵活易用，减少学习成本。d b i a f 参考目前的联邦访问技术与数据集成e i i 技术等把实时数据集成、清洗、转换、装 载( e t l ) 技术通过组件交互方式实现、使o l a p 分析、数据挖掘与他们本身日常操 作的信息管理系统有效集成，集成对用户应是透明稳定的，并可以用户熟悉的 o f f i c e 套件完成系统前端统一查询、分析和报表生成操作。本文的新技术特色在于： ( 1 ) 基于c l r 标准，研究完全用托管代码替代实现传统企业级组件服务， 探讨设计模式在框架组件中的技术运用，实现一套完全基于自行开发 的分布式环境下商务智能应用框架； ( 2 ) 研究用p d t o 和x m l a 技术取代传统的d s o 技术，完成对a n a l y s i s s e r v i c e s 等b u s i n e s si n t e l l i g e n c e 组件调用，以o f f i c e 工具方式 和w e b 界面供用户分析数据并完成自定义报表操作； ( 3 ) 通过基于x m l 的w e bs e r v i c e s 和m q 消息队列等信息集成技术完成结 构化和非结构化信息透明抽取与应用集成，并提供实时数据集成的简 易模型； 本文共有四个组成部分，论文结构分成六章，具体包括分布式商务智能应用框 架总体概述，针对本次研究的d b i a f 框架总体分析、设计及其在n e t 环境下的实施、 应用测试已完成的d b i a f 有关功能部件以及结合新技术探讨对d b i a f 的未来展望。 第一部分d b i a f 总体概述 这部分就是第一章的内容，重点在于总体介绍分布式商务智能应用框架研究内 涵和意义。分别从d b i a f 有关的市场需求背景、国内外研究现状以及通过s w o t 分析， 把研究定位于富有竞争力，而尚未被专家技术所重视的本土化中小型m i c r o s o f t 环 境系统智能应用集成，采用创新的基于x m l 的w e b 服务建立实时e t l 简化模型，无 缝完成非结构化信息和应用集成，并用x m l a 代替d s o 集成m i c r o s o f tb u s i n e s s i n t e l l i g e n c e 组件技术，建立稳定、安全、开发者容易使用的应用框架。 第二部分d b i a f 应用框架研究 第二部分包括第二章