（计算机应用技术专业论文）基于bi的etl技术在picc业务系统中的应用与研究.pdf

武汉理工大学硕士学位论文 摘要 本论文的研究基于一个实际的课题：由武汉和中信息科技有限公司主持开 发的p i c c ( 中国人们财产保险有限公司) 业务系统。 随着i t 服务技术的不断发展，现在各行各业都离不开各种业务分析系统， 特别是一些大的行业，例如银行、物流、保险等等，那么这些行业在很早就采 用了信息技术进行业务管理，而随着行业内部和i t 技术的不断发展很多老的系 统都不同层次的暴露出许多问题，从而给企业带来了很多的不方便，使得工作 效率下降，业绩下滑。 商业智能( b i ，b u s i n e s si n t e l l i g e n c e ) ，简单地说，是指对商业信息的搜集、 管理和分析过程，目的是使企业的各级决策者获得知识或洞察力，促使他们做出 对企业更有利的决策。b i 是i t 技术结合组织机构数据信息处理管理需要逐渐演 变而来的。目前在国际上，b i 已经有着较成熟的运用。根据数据显示，在美国， 5 0 0 强企业里面已经有9 0 以上的企业利用企业管理和b i 软件帮助管理者做出 决策。 近年来，我国越来越多的企业决策者意识到需要b i 来保持和提升企业竞争 力。b i 在中国已经度过了一个从知到行，从概念到实践的阶段。当前金融业、 电信业、零售业、服务业都在广泛地应用各种类型的b i 工具，体验到了数据分 析、报告、挖掘的力量，在经营分析、客户选择、绩效管理、运行预警方面得 到很大的帮助。 本论文在熟悉人保业务和现有业务管理信息系统的基础上，探讨在保险系 统建设数据仓库的方法和步骤，设计了保险业务数据仓库的数据模型和体系结 构，研究各种建立数据仓库的数据预处理中的数据清理、转换和加载的方法和 策略。以现有的经营模式为主题划分标准，使之更贴近业务，也更贴近业务人 员的使用习惯。根据人保财险总公司下发文件和业务操作规范，以及数据规范 制定的业务指标体系。 本文应用商业智能( b i ，b u s i n e s si n t e l l i g e n c e ) 的e t l ( e x t r a c t 、t r a n s f o r m 、 l o a d ) 技术，对保险系统的内部和外部数据进行综合分析处理。通过建立数据 仓库，解决了抽取汇总的数据缺乏可信性问题；保证数据抽取时间的一致性和 排除了层层上报易产生误差；解决了无法查询数据或效率低；理清了数据间的 武汉理工大学硕士学位论文 十分复杂关系，加强了联系。通过定义同样的数据结构和不同层次粒度问题， 解决了多个应用系统集成问题。 在论文的最后总结了本文取得的成绩，同时也指出业务数据仓库的下一步 工作以及本文的不足之处。 关键词：保险，b i ，数据仓库，e t l ，人保财险业务分析系统 i i 武汉理工大学硕士学位论文 a b s t r a c t t h i sr e s e a r c hb a s e so nt h ep i c c ( t h e p e o p l e si n s u r a n c ec o m p a n yo fc h i n a ) b u s i n e s ss y s t e m ，w h i c hi sap r a c t i c a l p r o j e c td e v e l o p e db yw u h a no r i z o n e i n f o r m a t i o ns c i e n c ea n d t e c h n o l o g yc o ，l t d w i t ht h ed e v e l o p m e n to fi ts e r v i c et e c h n o l o g y , a l lw a l k so fl i f ea r eu s i n gd i f f e r e n t k i n d so fb u s i n e s sa n a l y s i ss y s t e mn o w , e s p e c i a l l ys o m eb i gi n d u s t r i e ss u c ha sf i n a n c i a l i n d u s t r y , p h ) r s i c a ld i s t r i b u t i o n , a n di n s u r a n c ei n d u s t r ye t c t h e s ei n d u s t r i e sh a v eb e e n a p p l y i n gi n f o r m a t i o nt e c h n o l o g yt om a n a g et h e i rb u s i n e s sf o ral o n gp e r i o do ft i m e ，a n d w i t ht h ed e v e l o p m e n to ft h ei n t e r i o ro ft h ei n d u s t r i e sa n dt h ei n f o r m a t i o nt e c h n o l o g y , p r o b l e m sa b o u to l ds y s t e m sa r es h o w n , w h i c hh a sb r o u g h tm a n yi n c o n v e n i e n c e st ot h e e n t e r p r i s e s ，a n di m p a i rt h e i ra v e r a g ew o r ke f f i c i e n c y b u s i n e s si n t e l l i g e n c e ( b i ) i sab r o a dc a t e g o r yo fa p p l i c a t i o n sa n dt e c h n o l o g i e s f o rg a t h e r i n g ，s t o r i n g ，a n a l y z i n g ，a n dp r o v i d i n ga c c e s st od a t at oh e l pe n t e r p r i s eu s e r s m a k eb e t t e rb u s i n e s sd e c i s i o n s i ti sf o r m e db yt h ec o m b i n a t i o no fi n f o r m a t i o n t e c h n o l o g y ( i t ) a n dt h ed e m a n d i n go fd a t am a n a g e m e n t w i t hs e v e r a ly e a r so fa c t u a l e x p e r i e n c e ，t h ea p p l i c a t i o no fb ii sr i p ei nt h ei n t e r n a t i o n a ls o c i e t y a c c o r d i n gt o s o m ed a t a ，9 0 o ft o p5 0 0e n t e r p r i s e si nt h eu sh a v ea l r e a d yu s e db is o f t w a r et o a s s i s tt h e i rs u p e r v i s o r st om a k ed e c i s i o n s i nr e c e n ty e a r s ，m o r ea n dm o r ee n t e r p r i s ep o l i c y - m a k e r so fc h i n ah a v er e a l i z e d t h a tt h e ys h o u l da p p l yb it om a i n t a i na n dp r o m o t ee n t e r p r i s ec o m p e t i t i v ep o w e r i n c h i n at h ea p p l i c a t i o no fb ih a sc o m et oap r a c t i c es t a g e m a n yi n d u s t r i e ss u c ha s f i n a n c i a li n d u s t r y , t e l e c o m m u n i c a t i o n si n d u s t r y , r e t a i lu a d e ，a n ds e r v i c ei n d u s t r ya r e a p p l y i n gd i f f e r e n tk i n d so fb it o o l s ，a n dt h e yh a v er e a l i z e dt h ea d v a n t a g e so fd a t a a n a l y s i s ，r e p o r t ，a n dd a t am i n i n gi nb u s i n e s sa n a l y s i s ，c u s t o m e rc h o i c e ，p e r f o r m a n c e m a n a g e m e n t ，a n de a r l yw a r n i n gm a n a g e m e n te t c u n d e rt h es i t u a t i o no fb e i n gf a m i l i a rw i t hp e o p l e si n s u r a n c eb u s i n e s sa n d p r e s e n tb u s i n e s sm a n a g e m e n ti n f o r m a t i o ns y s t e m ，t h i st h e s i sh a ss t u d i e dt h em e t h o d a n dp r o c e s so fb u i l d i n gad a t aw a r e h o u s ef o r t h ei n s u r a n c es y s t e m ，a n dd e s i g nad a t a i i i 武汉理t 大学硕士学位论文 m o d e la n da r c h i t e c t u r ef o r t h ed a t aw a r e h o u s e ，a n ds t u d yt h em e t h o do fd a t ac l e a n i n g u p ，d a t at r a n s f o r m i n g ，a n dd a t al o a d i n g ，w h i c ha r en e e d e di nt h ep r o c e s so fd a t a p r e t r e a t m e n t t h i sb u s i n e s ss y s t e ma l s ot a k e st h ee x i s t i n gb u s i n e s sm o d e la st h e s u b j e c td i v i s i o ns t a n d a r d ，s oa st om a k ei tm o r ep r a c t i c a lf o ru s i n g a c c o r d i n gt ot h e d o c u m e n to fp i c c ，t h eb u s i n e s so p e r a t i n gs t a n d a r d ，a sw e l la sb u s i n e s si n d i c a t o r s y s t e ms t i p u l a t e di nt h ed a t as p e c i f i c a t i o n ，t h i sb u s i n e s ss y s t e mc a na c c u r a t e l y c a l c u l a t ea n dr e f l e c tt h er e a ls i t u a t i o n ，a n di th a st h ef u n c t i o no f c o m p r e h e n s i v ed a t a s t a t i s t i c s ，a n a l y s i sa n dc o n s u m m a t em a n a g e m e n t i tc a na l s os a t i s f yt h ed e m a n do f m u l t i s t a g em a n a g e m e n ti n s t i t u t i o n ss u c ha sp r o v i n c e ，s t a t e ，c i t ya n dc o u n t ye t c t h r o u g ht h ea p p l i c a t i o no fb u s i n e s si n t e l l i g e n c et e c h n o l o g y , t h es y s t e mc a n c o m p r e h e n s i v e l ya n a l y s ea n dp r o c e s st h ei n t e r i o ra n de x t e r i o rd a t ao ft h ei n s u r a n c e s y s t e m i th a ss o l v e dt h ep r o b l e mo ft h eu n r e l i a b l eo fe x t r a c t i n gt h ec o l l e c t i n gd a t a ， a n dg u a r a n t e e dt h ec o n s i s t e n c yo ft h et i m eo fd a t ae x t r a c t i o n ，e l i m i n a t e dt h ee r r o r s a r o u s e db yr e p o r t i n gl a y e ru p o nl a y e r , s o l v e dt h ep r o b l e mo fb e i n gu n a b l et oi n q u i r e t h ed a t ao rl o we f f i c i e n c y , c l e a r e do f f t h ec o m p l e xr e l a t i o n s h i p sa m o n gd i f f e r e n td a t a i th a sa l s os e t t l e dt h ep r o b l e m so f a p p l i c a t i o ns y s t e mi n t e g r a t i o nb yt h ed e f i n i t i o no f s i m i l a rd a t as t r u c t u r ea n dd i f f e r e n tl e v e lg r a n u l a r i t y a tt h ee n do ft h i st h e s i s ，i ts u m m a r i z e st h ea c h i e v e m e n to ft h i sr e s e a r c h ，p o i n t s o u tt h en e x tw o r ko ft h eo p e r a t i o n a ld a t aw a r e h o u s e ，a sw e l la st h ed e f i c i e n c yo ft h i s r e s e a r c h k e yw o r d s ：i n s u r a n c e ，b i ，d a t aw a r e h o u s e ，e t l ，t h ep e o p l e si n s u r a n c eb u s i n e s s a n a l y s i ss y s t e m i v 独创性声明 本人声明，所呈交的论文是本人在导师指导下进行的研究工作及取得的研 究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其 他人已经发表或撰写过的研究成果，也不包含为获得武汉理工大学或其它教育 机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何 贡献均已在论文中作了明确的说明并表示了谢意。 签名：弹一日期：州 关于论文使用授权的说明 本人完全了解武汉理工大学有关保留、使用学位论文的规定，即：学校有 权保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅 和借阅。本人授权武汉理工大学可以将本学位论文的全部内容编入有关数据库 进行检索，可以采用影印、缩印或其他复制手段保存或汇编本学位论文。同时 授权经武汉理工大学认可的国家有关机构或论文数据库使用或收录本学位论 文，并向社会公众提供信息服务。 ( 保密的论文在解密后应遵守此规定) 一单聊躲摒慨业叶 武汉理工大学硕士学位论文 第1 章绪论 1 1 论文研究背景和意义 根据业务发展的需要，人保财险已陆续建立起多套业务和应用系统，这些 系统从各个不同的业务角度实现了业务的电子处理和信息化，但各系统之间缺 乏信息沟通与宏观整合，公用的后台数据库内容日益庞杂，数据结构的复杂程 度日益增加；同时，为实现各种信息的获取而采取的数据抽取方式各式各样， 抽取频度也大幅增加，数据的访问显得错综复杂，如果不在体系结构上进行调 整，数据的“蜘蛛网”现象将越来越严重，从而会产生很多严重的问题，如数 据分析的结果缺乏可靠性、数据处理的效率低下、难于将数据转化成信息等。 此外，数据库数量的日益庞大，会逐步削弱数据的关联性，比如，业务人 员得知某些客户选择了一项保险业务，但由于没有相关联的数据作为分析依据， 在不进行市场调查的情况下，无法得知这些客户有哪些共性，他们的消费偏好 如何，以及还会选择其它哪类业务产品，摆脱不了营销被动和盲目的局面。综 上所叙，人保系统之间存在着如下的问题： 第一，系统之间严重缺乏信息沟通与宏观的整合 第二，数据结构的复杂程度日益增加 第三，为实现各种信息的获取而采集的语句抽取方式各式各样，抽取度也大 幅度增加，数据访问显得错综复杂，数据的蜘蛛网现象越来越严重 第四，数据分析的结果缺乏可靠性、数据的处理的效率低下、难于将数据转 化成信息等。 因此，在数据大集中之后，首先面临的重大问题，是如何对数据资源进行 有效的集成管理，如何对数据资源进行更深度的挖掘与分析，以充分体现出集 中数据的巨大优势。其次，数据集中之后，如何分析产生的数据为业务、管理 和决策服务，成为人保信息化建设的一个重大课题。 以上这些问题表明，在保险系统建立数据仓库已是当务之急，才能使数据 的准确性更高，减少决策中的盲目性和随意性。因此保险信息化建设要求捕获 和分析事务型的业务数据，要提高分析和决策的效率，分析型处理及其数据必 武汉理t 大学硕士学位论文 须与操作型处理及其数据相分离，数据仓库正是为了构建这一种新的分析处理 环境而出现的一种数据存储和组织技术，数据仓库技术紧跟i n t e m e t 技术发展， 成为保险行业当前和今后一段时期信息化建设关键。 通过建设保险业务数据仓库系统，【1 1 可以及时为管理者和决策者提供全方 位、统一和多层次的管理决策所需要的支持信息和相关知识。例如：明年的保 费收入状况如何? 由哪些因素决定? 各县市区保费收入的结构差异如何? 本地 年计划是否完成或者超额完成? 保费收入在不同地域和不同行业的状况如何? 是否合理? 造成保费收入差异的因素有哪些? 通过建设保险业务数据仓库系统，在一定程度上解决“数据爆炸、知识贫 乏 的问题。利用数据仓库的数据立方和标准的在线分析软件，决策人员可以 多层次、多角度、全方位地审视数据；通过在数据仓库上建立数据挖掘系统， 可以从数据中挖掘出“如果那么”的规则、生成概念和总结性的描述、生 成数据分类、生成数据聚集、发现投保人行为模式进而获取更多的保费收入 1 2b i 国内外研究现状 b i ，简单地说，是指对商业信息的搜集、管理和分析过程，目的是使企业的各 级决策者获得知识或洞察力，促使他们做出对企业更有利的决策。b i 是i t 技术结 合组织机构数据信息处理管理需要逐渐演变而来的。目前在国际上，b i 已经有 着较成熟的运用。根据数据显示，在美国，5 0 0 强企业里面已经有9 0 以上的企 业利用企业管理和b i 软件帮助管理者做出决策。国外己经有很多成功实施b i 的案例。 近年来，我国越来越多的企业决策者意识到需要b i 来保持和提升企业竞争 力。b i 在中国已经度过了一个从知到行，从概念到实践的阶段。当前金融业、 电信业、零售业、服务业都在广泛地应用各种类型的b i 工具，体验到了数据分 析、报告、挖掘的力量，在经营分析、客户选择、绩效管理、运行预警方面得 到很大的帮助。而一些新兴的企业，比如网上订书、订房等服务，甚至以b i 为 核心形成竞争能力，组织内部运营流程，它们正以分析型竞争者的姿态挑战行 业领先者。 然而，我国的商业智能依然处于导入期，我国企业对于商业智能的认识依 然不足，在商业智能的应用上“支离破碎，各种信息软件之间未能形成有效 2 武汉理工大学硕十学位论文 的协同，表现在企业没有自己统一的平台和工具，产品交叉、应用雷同，分析 的结果甚至可能不一致，这也掩盖了企业所需要的整体信息。因此对整体效果 大打折扣。当前，我国商业智能的推广和发展，急待商业智能统一技术标准的 出现。 1 2 1 国外b i 发展概况 全球b i 市场预计在2 0 0 9 年达到7 8 亿美元，年复合增长率在4 1 ，虽然低 于1 9 9 9 年和2 0 0 0 年的两位数增长，但对于b i 厂商来说仍然充满商机。全球b i 工业的发展日益显示出集中的特征，市场集中度和全球化程度不断提高，少数 几家b i 公司掌握了越来越多国家的市场份额。2 0 0 3 年，世界前3 大b i 企业已 控制了世界b i 市场的3 0 以上的份额。这一趋势同b i 行业要求标准化产品、 规模扩张带来的经济效应等特性有很大关系。 整个b i 市场的竞争格局也正在发生变化，其驱动力来自于b i 市场的快速 增长，有效资源的整合，市场份额的快速增加，行业集中度将会显著提高等行 业特征的出现。在这一过程中，少数资盒雄厚的大公司可以收购有效资源，快 速扩张市场份额，这一调整将有利于提供标准化的产品。 其中欧美企业的商务智能开支还处于不断增长的势头，根据加特纳公司的 预计，到2 0 0 9 年底大企业中8 5 都会部署商务智能。见图1 1 为欧美企业商务 智能投资的增产。 武汉理工大学硕士学位论文 单位：百万美元 3 5 0 0 3 0 0 0 2 5 0 0 2 0 0 0 1 5 0 0 1 0 0 0 s 0 0 o叫l 一 9 90 00 l0 20 30 40 50 60 70 8 _ 商业智能平台 一企业商业智能套件 图1 1 欧美企业商务智能投资的增产 美国和欧洲的企业对商务智能工具的使用略有不同，美国企业用商务智能 做在线分析处理要比欧洲企业多，而欧洲企业用商务智能进行高级分析比美国 企业要多。商务智能的部署重点在北美企业和欧洲企业中也有所不同。 1 2 2 国内b i 发展概况 国内许多企业从9 0 年代中期开始构筑自己的b i 系统，但从很多反馈的信 息来看，结果并不乐观，可以说没有达到预期的效果，是什么原因导致这种情 况的发生，主要有以下几个因素： 1 ：考虑技术层面的内容多于商业需求。技术是一个很关键的因素，但真正 能使b i 系统发挥作用的是企业的业务需求。目前国内的b i 系统基本上是由i t 部门提出并进行建设的，业务部门或决策部门只是象征性地参与进来，这让整 个b i 系统过于技术化，而最终使用者( 数据的使用者) 是被动的。 2 ：国内的b i 系统往往是一个报表中心系统，不是一个数据分析系统。我 们在国外的一些企业内会看到一些专业的据分析人员，他们从i t 部门为他们构 建好的数据仓库或数据集市中，依据市场或行业中其他的一些信息，对数据进 行不同角度的分析，找出对企业有益的商业模型。在国内，b i 系统的建设往往 没有达到分析与预测的效果，因为从建设开始，所有的依据就是报表。国内企 业的决策人员已习惯于通过静态的报表来实现业务分析，数据仓库的建设往往 4 武汉理工大学硕士学位论文 都是依据每个部门的业务报表来实现的。因此，一个良好的数据仓库系统首先 是以数据为中心，把企业需要的数据按照一定的规范存储起来，利用各类前端 的展示工具实现动态数据的分析。 3 ：对b i 系统的建设与发展估计不足。b i 系统的建设是一个过程，它的使 用与效能的发挥也是一个过程。企业对b i 系统的重视程度不够，主要是因为对 b i 系统能产生的价值没有足够的认识，没有一个足够的技术队伍与业务队伍来 实施整个b i 系统。国外一个著名银行在每一个新的地区开设新的分支机构时， 每一个业务系统都配备了大量的数据分析人员，这样才能针对本地的特点不断 地实现适合自己的最优商业模式。 2 0 0 8 年9 月1 5 日第三届中国i t 技术趋势大调查活动启动，在本年度数据 库技术应用技术问卷调查中持续对商业智能技术应用进行了调查，以便更好的 分析最近三年b i 在企业的应用以及相关技术和产品的使用情况! 见图1 2 。 其他一3 0 0 饮料烟草一3 1 0 航空航天造船_ 3 7 0 汽车业制造一3 9 0 医疗卫生_ 4 1 0 商贸流通一4 9 0 石油石化_ 5 3 0 教育一5 9 0 交通运输一6 3 0 保险_ 8 3 0 日常消费品制造i 一8 7 0 零售9 1 0 电子制造- 一9 7 0 证卷一i i l1 2 0 电信一1 1 6 0 政府公众事业_ _ i i i1 3 4 0 银行 i i l 1 7 2 0 没有从事商业智能的开发j _ _ _ l _ - _ _ - _ 一3 1 0 0 一一1 一一 0 0 0 1 0 0 0 2 0 0 0 3 0 0 0 图1 2 从事商业智能应用和开发的领域和行业 武汉理工大学硕十学位论文 从上图可知，已经有6 0 以上的企业开始了商业智能项目的开发和应用， 没有从事商业智能开发的企业和个人比例为3 1 。0 7 年，没有从事商业智能项 目开发的企业或个人比例为4 7 7 。虽然这已经是一个很不错的比例，然而，从 诸多调查数据中可以看出，商业智能应用实际上并没有像业界预测的那样，产 生井喷式的增长。传统的数据库应用包括数据处理和存储等依然在数据库应用 中占据较大的比例。简言之，目前还存在诸多因素阻碍商业智能应用在企业开 展。 6 武汉理工大学硕士学位论文 第2 章商业智能技术 商业智能的概念于1 9 9 6 年最早由加特纳集团( g a r t n e rg r o u p ) 提出，加特 纳集团将商业智能定义为：商业智能描述了一系列的概念和方法，通过应用基 于事实的支持系统来辅助商业决策的制定。商业智能技术提供使企业迅速分析 数据的技术和方法，包括收集、管理和分析数据，将这些数据转化为有用的信 息，然后分发到企业各处。 商业智能是对商业信息的搜集、管理和分析过程，目的是使企业的各级决 策者获得知识或洞察力，促使他们做出对企业更有利的决策。商业智能一般由 数据仓库、联机分析处理、数据挖掘、数据备份和恢复等部分组成。商业智能 的实现涉及到软件、硬件、咨询服务及应用，其基本体系结构包括数据仓库、 联机分析处理和数据挖掘三个部分。 就我个人而言，商业智能看成一种解决方案更为合适。商业智能的关键是 从许多来自不同的企业运作系统的数据中提取出有用的数据并进行清理，以保 证数据的正确性，然后经过抽取( e x t r a c t i o n ) 、转换( t r a n s f c r m a t i o n ) 和装载 ( l o a d ) ，即e t l 过程，合并到一个企业级的数据仓库里，从而得到企业数据 的一个全局视图，在此基础上利用合适的查询和分析工具、数据挖掘工具、o l a p 工具等对其进行分析和处理( 这时信息变为辅助决策的知识) ，最后将知识呈 现给管理者，为管理者的决策过程提供支持。 商业智能系统由业务数据库系统、决策支持系统等部分构成! 决策支持系 统即d s s ( d e c i s i o ns u p p o r ts y s t e m ) 由三个层次的内容组成：数据仓库、联机 分析处理( o l a p ，o n - l i n ea n a l y t i c a lp r o c e s s i n g ) 和数据挖掘( d m ，d a t am i n i n g ) 各个业务数据库的数据通过提取，清洗和转换整理后按照不同主题存放在 数据仓库中，原先存放在多个业务系统中的反映企业局部情况的数据经过整理 后转换成反映企业整体情况的信息，这样就完成了从“数据 信息”的转变。 存放在数据仓库中的信息通过o l a p 和d m 处理后，形成带有规律性的能 够对企业运营提供指导意义的知识，从而完成从“信息 知识 的转变。企业的 决策层可以利用o l a p 和d m 处理得到的知识制定相应的策略，并反馈到业务 系统中，最终改善企业的运营。 7 武汉理1 二大学硕士学位论文 2 1b i 系统的架构 b i 系统的建设失败多于成功，除了应用方面的原因外，技术因素也占了很 大的比例。在这里，我主要就整体架构做一个说明，因为，许多b i 项目的失败， 经常是由于没有建立一个良好的符合企业商业需求的基础架构。 大型企业b i 系统的整个架构，考虑到企业级的数据量、数据的复杂程度及 最终用户的需求，以下两种架构是需要避免的： 1 ：虚拟的数据仓库：这种架构是传统的基于c s 结构的m i s 系统遗留 下来的，见图2 1 。 图2 1 传统的基于c s 结构的系统架构 最终 用户 工曩 这种结构最吸引企业经理层的地方在于只需要花费很少的费用购买前端工 具就可提供最终用户直接访问原始业务系统，这就是虚拟的数据仓库结构。在 这种架构中，没有目标数据库和数据仓库，在许多企业中，他们使用了o r a c l e 财 务系统或s a pr 3 ，往往直接使用前端工具来做各类的分析和查询处理。 这种结构的问题在于：没有一个真实的数据仓库存在，无法存储大量的历 史数据，少量的汇总数据，没有企业级的元数据。对于最终用户而言，后台的 数据不好理解而且不好关联。此外，如果一个大规模的查询或统计发生在业务 系统中，会使联机事务处理系统陷于中断。 8 武汉理工大学硕士学位论文 2 ：小规模的数据集市：为了避免发生与业务系统的冲突，许多企业会采用 一些产品，如数据复制产品、数据库产品及前端工具形成一个小规模b i 系统。 数据可以存放在l 个中心的数据库中，也可以依据不同的部门需求形成多个数 据集市。这种结构的主要问题在于：环境较为混乱，不易维护，数据的转换不 一致，没有统一的e t l 过程等。见图2 2 。 图2 - 2 小规模的b i 系统 曩 i 冬 用p 工具 以上两种框架在人保业务分析系统中我们都没有使用。我们所使用的是下 图的一种企业级框架。见图2 3 。 企业级的数据仓库主要由以下几个部分构成： 1 ：多数据来源； 2 ：采用e t l 工具或者提数程序来实现数据的抽取、转换和装载； 3 ：利用e t l 工具易于维护的元数据中心及元数据交换架构；利用e t l 程 序提数灵活，方便。 4 ：一个集中式的数据仓库用于存储最终客户需要访问的详细数据，用以支 持即席查询及企业范围内的分析和报表。 5 ：多重架构的数据集市可以支持包括r o l a p 、m o l a p 及混合的目标数据 库，最终用户可采用o l a p 工具来实现数据的分析。 一个企业级的b i 系统需要投入大量的人力和物力资源来实现。建议实现企 9 武汉理工大学硕士学位论文 业级的数据仓库采用自底向上的开发方法，一步一步地达成最终目标，这种投 资需要持续几年时间。 源数据 图2 3 良好的企业级的b i 系统架构图 2 2b i 系统的生命周期 蔚簿 z 彝 商业智能系统的建设是一个复杂的系统工程，需要一套完善的方法作为指 导。图2 4 描述的是商业智能系统开发生命周期珀1 。 b i 系统生命周期是以项目规划作为起点，这个阶段需要做的是：评估组织 本身是否具备实施商业智能的条件，确定系统的规模和范围，规划各种资源并 启动项目。 第二步是进行企业需求定义。一个商业智能项目的成功不是取决子技术， 而是取决于它是否将重心放在实际的商业过程上，是否能够为商业决策提供支 持。系统的设计者应该了解企业的需求并将这些需求转化为系统需求。 完成了企业需求定义后，接下来要做的是技术方案设计，数据设计以及分 析应用设计，这三者在一定程度上可以并行。 技术方案设计将建立一个技术框架，从而将各种技术进行整合。通常它会 1 0 武汉理工大学硕士学位论文 列出一系列的商业智能相关产品，通过一定的标准，对这些产品进行评估，做 出最后的选择。 图2 4b i 系统开发生命周期 数据设计包括维模型设计，物理设计以及数据加载。先将企业需求转化成 维模型，再根据维模型设计物理模型。在进行物理模型设计时通常要考虑聚集， 索引，分区等策略，以满足工作效率的要求。最后是数据抽取、转换、加载( e t l ) ， 建立实际的数据仓库。 分析应用设计和开发将根据企业用户数据分析方面的需要，设计一系列功 能模块，提供查询与报表、o l a p 分析、即席分析以及数据挖掘等工具，使用户 能够方便的访问到所需的数据，并进行相应的处理。 当以上三项完成之后，就可以进入发布阶段，将系统提交用户使用。同时 要提供必要的支持与培训。 维护阶段包括对系统进行小的调整、对出现的错误及时更正、对用户培训 以及其他保障系统正常运行的各项工作，并为未来系统升级做准备。 2 3 数据仓库技术 关于数据仓库论述最早的文章发表于1 9 8 8 年，由d e v l i n 和m u r p h y 发 武汉理工大学硕士学位论文 表。在此后的发展历程中，许多人对此作出了贡献。w h i n m o n 首先系统性地 阐述了关于数据仓库的思想、理论，为数据仓库的发展奠定了基石，被尊为数 据仓库之父。它将数据仓库定义为“一个面向主题的、集成的、时变的、非易 失的数据集合，支持管理部门的决策过程”t 7 1 。从定义中，可以发现数据仓库 具有这样一些重要特性： 1 、面向主题性：这是数据仓库中数据组织的基本原则，数据仓库中的所有 数据都是围绕着某一主题组织、展开的。数据仓库的创建、使用都是围绕着主 题实现。按照面向主题组织的数据，能够在较高层次上对分析对象的数据提供 一个完整的、一致的描述，能够统一表示分析对象所涉及企业的各种数据及数 据间的联系。而不会分散到不同的数据库中或是因不同应用逻辑捆绑在一起。 2 、数据集成性：数据仓库根据决策分析的要求，将分散在各处的源数据进 行抽取、筛选、清理、综合等集成，因此数据仓库中的数据具有集成性。数据 仓库所需要的数据并不直接从业务发生地获取，而是从业务处理系统那里获取 数据，经过对数据的清理后加载进数据仓库，然后再进行某种程度的综合、概 括和聚集处理。 3 、数据的时变性：指数据仓库的数据随着时间推移而变化。一尘不变的数 据显然会影响决策分析的准确性，因此数据仓库必须能够不断地捕捉业务系统 中的变化数据，并追加到数据仓库中去，同时删除超过保存期限( 5 1 0 年) 的 数据，有些概括数据必须随着时间的变化而重新概括处理。 4 、数据的非易性：指数据仓库中的数据不经常进行更新处理。以支持不同 的用户在不同的时间查询相同的问题时，获得相同的结果。 5 、数据的集合性：数据仓库的集合性意味着数据仓库必须以某种数据集合 的形式存储起来，目前主要有采用多维数据库方式进行存储的多维模式、以关 系数据库方式进行存储的关系模式或两种相结合的混合模式。 6 、 支持决策作用：数据仓库的以上特点无不体现着它对决策分析的支持 作用。不同层次的管理人员均可利用数据仓库进行决策分析。 2 3 1 数据仓库的体系结构 数据仓库的体系结构可以用图2 5 来表示。由于数据库和数据仓库应用的出 发点不同，数据仓库将独立于业务数据库系统，但是数据仓库又同业务数据库 系统息息相关。也就是说数据仓库不是简单的对数据进行存储，而是对数据进 1 2 武汉理工大学硕士学位论文 行再组织“。 数据挖掘系统数据展现系统 彳丁t 丁t 丁彳t 数据数据数据数据 市场市场市场市场 uuuu r 獬燃燃蝌獭黝嬲甄蓠霸零嗍嘲懒 黪黛撅貔施搋端蕊虢缓纛箍锄撼巷蠡缆露筋蠡茹澎鳜漉施疵蕴轭缓皱例瓿毖趱纽麓勰虢霸渤缴缓盛施妫渤锄数、荔 l镧 数据 元数据 陲委 泷龇缸：翻；滋缓缪缓愁戮露缨霪翟戮缓露缫戮琵缀麓憩霪鬻霪缀匕蠡；。洳。巍滋池z 施懑 ” 竹一竹一 一 数据清洗转换 0 提取 部数据l 7 数据提取 7 l 仓库 l 、 z 业务操作型系统 lj 图2 5 数据仓库体系结构 2 3 2 数据仓库的数据组织结构 在数据仓库中，数据被分成4 种级别，分别是高度综合级、轻度综合级、 当前细节级、早期细节级。当前的数据总是首先进入当前细节级，然后根据应 用的需求，通过预运算将数据聚合成轻度综合级和高度综合级。比如在人保财 险公司保费购买额数据记录了每天某分公司保费收入，进行o l a p 分析时，常 常需要不同层次的数据颗粒度，因此可以通过预运算将数据综合成每“月”的 保费收入，还可以进一步聚合成每“年“的保费收入。 随着时间的推移，系统中的一些细节数据已经老化了，很少会被使用，此 时为了节省系统的存储空间，可以将这些老化的细节数据导出到备份的设备上。 1 3 武汉理工大学硕士学位论文 例如，我们只关心最近一年内报案立案，且在半年内核赔通过的案件。那么， 一年前报案的案件我们则将详细数据导出到备份的设备上。 在数据仓库中，细节数据可以聚合成轻度和高度综合级别的数据，比如按 “月”、“季度”、“年统计，需要说明的是轻度和高度只是一种相对的概念， 没有绝对的边界，并且在数据仓库中数据的综合程度常常有很多级别。 总的来说，数据仓库的这种组织方式的核心思想是在系统中保留最有可能 被用户使用的数据，而用户很少使用的数据则备份出系统。 2 3 3 数据仓库的开发设计 在创建数据仓库时，需要使用各种数据模型对数据仓库进行描述，数据仓 库的开发人员依据这些数据模型，才能开发一个满足用户需求的数据仓库。在 数据仓库的开发中要经历概念模型、逻辑模型与物理模型的三级模型开发 1 13 。 在数据仓库的开发设计过程中，一般有以下工作刀： l ：选择实现策略：一般有自顶向下、自底向上或两者联合使用等方法。自 顶向下在实际应用中比较困难，因为企业战略的应用范围很难事先确定，数据 仓库的应用机会往往超出企业当前的实际业务范围。而且在开发前就确定目标， 会在实现预定的目标后就不追求新的应用，使数据仓库丧失更有战略意义的应 用。该方法一般用于企业决策层和管理人员完全知道数据仓库的预定目标，而 且今后不再变化。自底向上策略一般从某个数据仓库的开始，常常用于一个集 市、一个经理系统或一个部门的数据仓库开发。在开发过程中，人员投入较省， 也容易获得成效。该策略一般在数据仓库应用目标或对决策过程影响不是很明 确时使用。两种策略的联合使用具有两种策略的优点，既能快速地完成数据仓 库的开工发与应用，还可建立具有长远价值的数据仓库方案。但在实际应用中 难以操作。 2 ：确定数据仓库的开发目标和实现范围，需要与企业管理者沟通，确定应 用范围和开发目标。在该阶段确认与使用数据仓库有关的业务要求，这些要求 只支持最主要的业务职能部门，使数据仓库的应用科学立即产生效果。首要目 标是确定所需要的信息范围，确定为用户提供决策帮助时，在主题和指标领域 需要哪些数据源。另一个重要目标是确定利用哪些方法和工具访问和导航数据。 用户要求的数据概括程度不同，将导致数据仓库的聚集和概括工具的需求不同。 用户从数据仓库中获取信息，应该有电子表格、统计分析器和支持多维分析的 1 4 武汉理工大学硕士学位论文 分析处理器等工具的支持。再一个目标是确定数据仓库内部数据的规模。在数 据仓库中不仅包含当前数据，而且包含多年的历史数据。如果要让数据仓库提 供对历史记录的决策查询，就必须支持对大量数据的管理。数据的规模不仅影 响决策查询的时间，还直接影响企业决策的质量。 3 ：确定需求：数据仓库的需求定义是在为下一步的分析设计做准备。它不 但要确定数据仓库必须的特征和功能，还需要明确指出使用的操作环境。数据 仓库的需要分析一般可划分为来自投资者的需求、来自设计的需求、来自开发 者的需求和来自最终用户的需求。在进行用户需求调查后，就可确定数据仓库 的开发主题，建立数据模型。 4 ：从数据模型开始，确定数据源，设计与业务处理系统的接口。 5 ：进行数据仓库体系结构设计与数据库设计。 6 ：数据仓库中间件设计，包括数据抽取、转换、复制和拷贝中间件、用于 数据库访问的网关中间件和对数据仓库进行监控的中间件。 7 ：数据仓库的测试：完成数据仓库设计后，需要对数据仓库进行各种测试， 包括单元测试和系统集成测试，以验证数据仓库的功能。 2 4e t l 技术 仓库将多个数据源的数据集中起来( 称为数据集市)