（计算机应用技术专业论文）企业数据整合系统的设计与研究.pdf

湖北工业大学硕士学位论文 摘要 在信息化建设的过程中，很多大中型企业先后引进、开发了许多业务管理信息 系统。由于历史和技术的原因，在各个系统的建设过程中，通常只是考虑了该系 统所涉及到的业务领域和信息资源，而并没有很好地从整个企业信息系统建设的 层面上考虑总体规划设计。由于不同的系统之间采用了相同或不同的基础平台、 开发方法、开发语言、数据组织架构及信息传递标准，造成了众多异构、封闭的 信息孤岛，使企业经常出现应用间信息无法交互和共享，造成了信息阻塞，无法 从全局上及时把握企业生产经营情况，严重影响了信息系统整体应用效益的发挥。 随着企业信息化技术的应用范围越来越广、要求越来越高，从整个企业层面上来 综合考虑信息资源的整合和有效利用，使各个封闭的信息孤岛之间建立有机的联 系，并在整合系统的基础上对系统的功能进行升级和拓展，已经成为一个噬待解 决的问题，因此开发和实施企业数据资源整合系统具有了现实的必要性。 本平台架构对异构数据源进行了有效的整合，构建了统一的数据整合平台，保 证分布式数据在平台中的一致性与完整性，建立了基于关键指标体系的分析平台 和业务处理平台，利用数据分析与挖掘组件，对整合后不同来源的数据，从不同 的角度处理和组织数据，并通过数据展现手段揭示信息之间隐含着的内在联系， 为企业管理层提供决策依据；在结合实际项目在数据平台及数据接口标准的基础 上，实现了用于企业决策分析的数据共享新系统，适应了企业快捷的全局及专业 数据分析及各系统间数据共享和交互的需求。本文的研究意义如下： 解决因为当前企业系统信息资源开发管理分散，基础数据存储零乱，标准不统 一，应用服务适用性单一，造成的信息难以共享，交互等问题；为同规模企业的 数据整合平台建设提供参考。文本结合某企业数据整合的实践，针对其具体环境 下的数据整合系统需求，设计并实现了一个数据整合方案；为企业提供基础数据 支持的同时，提供了决策分析与对数据访问、安全方面的管理，体现了该整合系 统的重要地位。本论文创新点是在于： 结合数据共享系统的特殊需求，给出了基于w e bs e r v i c e 的数据共享系统解决 方案，研究了系统体系结构、逻辑结构、信息结构模型和各组成功能模型。 关键词：数据整合，数据仓库，w r e bs e r v i c e 湖北工业大学硕士学位论文 a b s t r a c t m a n yl a r g e s c a l e o rm i d d l e s c a l ee n t e r p r i s e sd e v e l o p e da n di n t r o d u c e dl o t so f b u s i n e s sm a n a g e m e n ti n f o r m a t i o ns y s t e mi nt h ep r o c e s so fi n f o r m a t i o nd e v e l o p m e n t d u et oh i s t o r ya n dt e c h n o l o g y , i nt h ep r o c e s so fs y s t e md e v e l o p m e n t ，u s u a l l yi n s t e a do f g e n e r a lp l a n n i n ga n dd e s i g n i n go nt h ei n f o r m a t i o ns y s t e mc o n s t r u c t i o n ，t h eb u s i n e s s f i e l da n di n f c i r m a t i o nr e s o u r c e st h a tr e l a t e dt ot h es y s t e ma r eo n l yc o n s i d e r e d b e c a u s e o ft h es a m eo rd i f f e r e n tt e c h n o l o g y ，p r o g r a m m i n gm e t h o d ，p r o g r a m m i n gl a n g u a g e ， d a t as t o r a g ef o r ma n di n f o r m a t i o nt r a n s f e rs t a n d a r du s e db yd i f f e r e n ts y s t e m 1 0 t so f d i s p a r a t e s t r u c t u r ea n di s o l a t e di n f o r m a t i o ni s l a n d a sar e s u l t t h ei n f o r m a t i o no f d i f f e r e n ts y s t e mc a n ts h a r ea n di n t e r a c tt h a tr e s u l ti no b s t a c l e st h a tp r e v e n tt h e e n t e r p r i s e sg r a s pt h em a n u f a c t u r i n ga n db u s i n e s ss i t u a t i o nt i m e l ya n ds e r i o u s l yi m p a c t t h ea p p l i c a t i o nb e n e f i to ft h ew h o l ei n f o r m a t i o ns y s t e m a l o n gw i t ht h em o r ew i d e ru s e a n dt h em o r eh i g h e rd e m a n do fe n t e r p r i s ei n f o r m a t i o nt e c h n o l o g y , t h eg e n e r a l c o n s i d e r i n go fi n f o r m a t i o nr e s o u r c e si n t e g r a t i o na n de f f e c t i v eu s i n go nt h el e v e lo f w h o l ee n t e r p r i s ew h i c hc a nm a k ed i f f e r e n c e si s o l a t e di n f o r m a t i o ni s l a n db u i l d m u l t i l a t e r a lr e l a t i o nw i t he a c ho t h e r , a n dt h ef u n c t i o n su p d a t ea n de x t e n db a s e do nt h e i n t e g r a t i o ns y s t e m i s b e c o m i n g ai m p o r t a n t q u e s t i o n s o v e r a l l ，d e v e l o p i n ga n d i m p l e m e n t i n go f d a t ai n t e g r a t i o ns y s t e mi ne n t e r p r i s e si sv e r yn e c e s s a r y t h i sp l a t f o r ms t r u c t u r ei n t e g r a t eh e t e r o g e n e o u sr e s o u r c e se f f i c i e n t l y , a n de s t a b l i s h u n i f o r md a t ac o n f o r m i t yp l a t f o r mt h a tg u a r a n t e et h ec o n s i s t e n c ya n di n t e g r a l i t yo f d i s t r i b u t i n gd a t a t h es y s t e me s t a b l i s ha n a l y s i sa n db u s i n e s sp r o c e s s i n gp l a t f o r m b a s e do nk e yt a r g e ts y s t e m ，a sw e l la sd e a lw i t ha n do r g a n i z et h ei n t e g r a t e dd a t at h a t c o m ef r o md i f f e r e n ts o u r c e sb yu s i n gd a t am i n i n ga n da n a l y s i sc o m p o n e n t si no r d e rt o r e v e a l st h ei n n e rc o n n e c t i o nw h a tw o r ka sb a s i so fd e c i s i o n - m a k i n go ft h ed a t et h r o u g h t h ed a t ad i s p l a y ；b a s e dt h ea c t u a lp r o j e c t ，d a t ap l a t f o r ma n ds t a n d a r dd a t ai n t e r f a c e ， r e a l i z et h ed a t as h a r i n gs y s t e mu s e df o rd e c i s i o n m a k i n go fe n t e r p r i s et h a ta d a p tt ot h e q u i c ka n a l y s i so fg l o b a la n dp r o f e s s i o n a ld a t aa sw e l la sm a t c ht h er e q u i r e m e n to fd a t a s h a r i n ga n di n t e r a c t i n gb e t w e e nd i f f e r e n ts y s t e m t h es i g n i f i c a n c eo ft h i sp a p e ri sa sf o l l o w s ： d e a lw i t ht h ep r o b l e mo fd a t as h a r i n ga n di n t e r a c t i n gc a u s e db yt h ed i s p e r s i o no f m a n a g e m e n to fd e v e l o p m e n to fs y s t e m si n f o r m a t i o ni nn o w a d a y se n t e r p r i s e s ，d i s o r d e r o fb a s i cd a t a ，n o tu n i f i e ds t a n d a r da n dt h es i n g l ef u n c t i o no fa p p l i c a t i o ns e r v e r ；p r o v i d e t h er e f e r e n c ef o rt h es a m es c a l ee n t e r p r i s e t h i sa r t i c l eb a s e do n ac e r t a i nd a t a c o n f o r m i t yp r o g r a m m e r a c c o r d i n gt or e q u i r e m e n to fd a t ac o n f o r m i t yi n t h es p e c i f i c c i r c u m s t a n c e s t h i sa r t i c l ed e s i g na n dr e a l i z ead a t ac o n f o r m i t ys y s t e m n es y s t e m p r o v i d ee n t e r p r i s e sw i t ht h es u p p o r to ft h e b a s i cd a t a ，a tt h es a m et i m ep r o v i d i n gt h e d e c i s i o n m a k i n ga n da c c e s st od a t a ，i n s u r a n c em a n a g e m e n ta l lo fw h a tp r o v et h e i m p o r t a n c eo f t h i ss y s t e m t h i sa r t i c l e si n n o v a t i o n sa r e ： i l f u n c t i o n sm o d e l k e y w o r d s ：d a t ac o n f o r m i t y , d a t aw a r e h o u s e ，w e bs e r v i c e i i i 潮业j 棠大謦 学位论文原创性声明和使用授权说明 原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师指导下，独立进行研究工作所取 得的研究成果。除文中已经标明引用的内容外，本论文不包含任何其他个人或集体己经 发表或撰写过的研究成果。对本文的研究做出贡献的个人和集体，均已在文中以明确方 式标明。本声明的法律结果由本人承担。 学位论文作者签名柩蛾 日期讲年s 月万日 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，即：学校有权保留 并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本人授 权湖北工业大学可以将本学位论文的全部或部分内容编入有关数据库进行检索，可以采 用影印、缩印或扫描等复制手段保存和汇编本学位论文。 学位论文作者签名漉楚匀 日期：珈一g 年歹月v 日 指导教师签名： 仅弓杉 1 日期：o g 年爹月1 争日 湖北工业大学硕士学位论文 1 1 选题背景 第1 章引言 随着现代信息技术的飞速发展，新的经济模式对传统的企业应用系统都提出 了新的要求。目前，多数企业信息化建设项目都取得了很大的成绩，比如网络、 系统、邮件、门户建设，在企业管理工作中发挥了很好的作用。但是，这些成绩 距离管理现代化的要求目标还有较大的差距，企业随着市场的开发，面临越来越 大的竞争和挑战。现实情况是：在企业投入大量资金搞信息系统建设以后，发现 信息系统总不能完全满足企业的需求，很多信息系统建成以后都在自己的领域内 独立运转，跨部门、跨地区、跨行业、跨应用系统之间的信息交换、共享成为十 分普遍的迫切要求i l j 。 企业的信息系统建设主要集中在生产过程自动化和管理信息化上，解决具体 工作人员日常工作电子化的问题，很少进行经营决策信息系统和战略决策信息系 统的建设。企业信息系统不能有效管理企业零散信息，不能使信息系统间协同工 作，不能综合利用企业的数据资源，不能有效组织信息资源。诸如此类的问题， 在企业信息化的建设中屡见不鲜【2 j 。 面对大片分散的信息孤岛，如何去改变呢? 改变的途径当然不是推倒重来，因 为这不现实，代价也太大。目前迫切需要的，是在以往建设所打下的基础上，对 现有的系统加以有效的整合和提升，其核心和基础就在于将各系统的数据进行整 合。对分散异构的多数据源实现统一的访问，实时地、智能地将有价值的数据传 递给分析系统或其他应用系统进行信息的进一步加工。通过数据的整合，企业可 以降低投入成本，充分利用现有系统，达到最大的资源利用，从而提高企业人员 的工作效率，提升企业自身的综合能力，强化核心竞争力1 3 j 。 如何把有用的各种不同数据资源统一在一个信息平台上，使用户能够高效、 简明地操作各类信息，通过这些整合的数据可以为企业信息系统服务，决策分析 用户通过数据终端方便、有效地访问并获取数据，用以评价企业过去、现在的经 营和财务状况，预测市场未来发展趋势，已经成为一个重要的课题。 本文所研究的基于w e bs e r v i c e 的异构数据资源整合技术，给出了一个基于核 心数据平台的数据整合系统模型，适应了企业对数据整合的要求。 湖北工业大学硕士学位论文 1 2 研究意义 在信息通讯高速发达的时代，在竞争日益激烈的市场中，能否迅速做出更好 的决策关系到企业在市场中是苟且偷生还是繁荣兴旺。 企业需要对各种压力迅速做出反应，包括不断加剧的竞争、行业的无规律发 展、企业并购、产品和市场革新、传统系统的重组等。如何管理、利用、经营好 已有信息是企业在现代商业建设中面临的一个重大课题【4 1 。 数据整合是进行其它层次整合的基础，在系统整合中占据最为重要的地位， 数据整合并不是对企业原有技术和模式的颠覆，而是把企业中需要利用的资源整 合起来为相关业务服务【5 j 。 通过数据资源整合可以将整合好的生产经营数据置于核心数据平台中，可以 基于这个平台建立领导决策分析系统，不但可进行年、季、月度关键指标的综合 分析，还可以随时切换到不同的业务角度，或者随时调取旬、日业务数据，进行 关键点的细节深究。基于这个平台还可以对关键业务进行报警设置，对报警业务 进行深入分析。 本文的研究为以后的其它整合奠定了坚实的基础。因此本文的研究具有一定 的理论意义和应用价值。 1 3 国内外发展现状 国外的信息化建设开展的比国内早，据国家信息化办公室副主任杨学山介绍， 我国在网络、硬件等基础设施建设水平上与国外先进水平差距还不大，但是在信 息资源管理方面与国外的差距在2 0 年左右。如美国，英国，日本和加拿大等国家 早都建立了专门的数据资源中心和数据交换中心。当年，发达国家在信息化建设 中起步和发展过程中所遇到的问题，与当前我国目前信息化建设中出现的问题有 许多相似之处。 目前，国内外已经有很多数据整合的产品和解决方案，从产品的定位和主要 功能来看，大致可以分为以下几类： 1 以企业应用集成为目标设计的产品，在消息中间件的基础上，使用对象技术 和工作流合成进行业务数据的交换和共享，如i b mi n t e g r a t i o n ； 2 量身定制的专门的数据交换解决方案，它往往根据数据交换技术对安全性、 开放性、灵活性等特点的要求，专门定制了大量的适配器，更好的满足了不同应 2 湖北工业大学硕士学位论文 用的需求。如东方通公司的数据交换平台，它同时拥有包括数据库、文件、s o c k e t 、 o l a p 在内的大量的适配器，能够很好的兼容不同的应用系统，具有强大的集成能 力； 3 结构化数据整合。如“中关村数据平台 。它采用元数据管理形成的“虚拟 数据库 ，为用户屏蔽了下层分散异构的各种数据。虚拟数据库技术是物理数据经 由元数据定义映射而成的逻辑数据库，虚拟数据库技术不需改变原来的数据结构， 使得数据整合方案更简单经济；同时获得的是实时数据，更利于决策支持1 6 j ； 4 随着s o a p 和w e bs e r v i c e 技术的出现，在x m l + w e bs e r v i c e 技术基础之 上进行的数据的交换与共享。它的优点是简单通用，穿透能力强，具有在松耦合、 分布式系统之间的对象访问能力。 5 基于契约之上的数据交换与共享平台。类似网络上的协议，是建立在双方的 共同约定之上的，使从任意数据源的数据都能被标识，这种方式对可信数据交换 具有很大的潜力。 6 还有一些做统计或全文检索的公司对数据整合的研究也比较多，前者如中国 人民大学统计数据库研究室的t l s o f t 产品，后者如北京拓尔思公司( t r s ) 7 1 。 i b m 在去年提出了整合得到了非常好的市场反响，说明整合已经成为企业一种 迫切需要。其中认为在数据整合、人员整合和流程整合三大整合目标中数据整合 是需要完成的第一个关键步骤。没有数据整合其它的整合将难以为继成为空中楼 阁。而i b m 在数据整合方面的能力并不突出，因此就在不久前收购了数据整合的专 业公司a s c e n t i a l 之后才能够强化其数据整合市场能力，也为其整合战略和随时应变 战略充实了力量。i d c 在关于全球数据整合开销的调研结果中指出预期2 0 0 5 年的全 球数据整合市场规模将达至u 1 3 0 亿美元1 8 j 。 相比之下，国内的厂商在实力上较弱，竞争力不容乐观，尤其产品的标准性 方面做得很差，但是中国蓬勃发展的信息化浪潮对数据整合也有极大的需求和有 极为可观的市场，在中国的数据整合对企业的战略极其重要。 1 4 研究内容与论文组织 论文对国内外数据整合技术的发展现状以及发展趋势进行了深入地调查与研 究，了解了现有数据整合产品的不足，总结出一个基于核心数据建立的核心数据 资源整合平台的集成方式。核心数据平台是基于企业核心数据模型设计的，是一 个独立于应用系统、对整个数据整合过程进行集中控制和管理，用于数据共享和 交换的中间平台，其接口的数量与应用系统的数据成线性关系。借助这个平台扩 大了应用软件选择的范围，在信息共享、信息安全等方面作用突出，在数据交换 3 湖北工业大学硕士学位论文 过程中又可以避免点对点接口方案的种种弊端，方便维护和系统升级。一方面， 该平台整合来自于专业应用系统的数据，提供领导决策分析，成为企业经营活动 分析决策的支持平台；另一方面，该平台是应用系统间信息交换的中介平台，为 专业应用系统提供数据。 按照这个思路，本文共分了四章： 第一章，讲述了课题来源与选题背景、研究意义以及国内外发展动态。 第二章，对现在企业中对于数据整合的要求做了分析，结合实际情况，满足 企业的具体应用，整合系统需要设计了系统的总体架构，说明了该系统能够完成 的功能。 第三章，本章介绍了该系统的开发环境，所采用的技术。通过对相应技术的 介绍，说明了本系统的优越性和先进性。 第四章，结合实际项目需求，给出了企业数据整合系统的功能设计，实现环 境以及系统安全的设计，在模块划分的基础上，从总体上详细研究了该系统的实 现。 第五章，本章对要实现数据整合系统的过程中的关键问题给予了详细的实现 细节，对于其中存在的问题也提供了相应的解决办法。 最后是结论部分，对本文的工作进行总结，并提出工作中需要完善和进一步 发展的地方。 1 5 小结 本章侧重于数据整合系统当前发展的现状和意义。国内外应用整合的实践也 证明了数据整合在整个应用整合中所具有的基础性作用。但是当前这个问题一直 没有得到很好的解决，信息孤岛的现象还比较严重。数据整合的概念就是要解决 分散在各个数据源中数据的交换与共享问题，获取有价值的信息，实现企业对已 有数据资源的利用。通过对数据整合的研究与应用，不仅仅能为实际项目中的应 用集成提供基础支持，还能为今后相关研究铺平研究道路。 本文致力于一个良好的数据整合系统模型的研究，并结合当前实际项目中遇 到的各类具体需求，运用j a v a 技术对该模型进行了实现，解决了实际项目中所遇 到的问题，验证了模型的可行性。 4 湖北工业大学硕士学位论文 第2 章系统的需求分析与总体设计 2 1 企业数据建设的基本情况 在各行各业的信息化建设过程中，由于各类信息系统建设阶段所依赖的技术 局限性，积累了大量采用不同技术平台的异构数据。这些数据源所依赖的业务应 用系统、数据库管理系统甚至操作系统平台之间均存在不同，这些分散的、不同 的计算机信息系统支持了业务的发展要求，但是，也越来越成为制约信息化建设 和实现数据共享，难以为企业上层管理部门决策提供理论支持，严重影响了信息 系统整体效益的发挥，以及使信息化建设投资重复的重要因素。因此异构数据源 的整合成为信息化建设过程经常遇到的一个现实问题，使得充分利用先进的数据 整合技术，整合数据、共享信息，及时实现信息之间的通信，推动信息化向更高 层面发展成为必然1 9 j 。 因此，各业务系统间的互联互通，信息共享是信息化深入发展迫切需要解决 的问题。解决这些问题的关键在于如何在各系统间进行安全的、有效的数据交换 和共享。数据共享对应的互联性和开放性，为企业和各个政府部门带来了极大的 便利。 2 2 系统的实现目标 为实现企业应用系统问的数据共享与交互，基于上述情况分析，系统主要实 现以下的目标： 2 2 1 解决信息交互与共享问题 不容忽视的是为满足应用系统的数据需求，需要建立和维护大量的面向应用 的接口来实现信息交互。如果一直采用系统间直接点对点接口的集成方式，随着 应用系统的增加，接口的数量将呈指数级增长，接口维护的工作量和难度剧增。 因此，必须未雨绸缪，提前制定方案，避免上述情况出现，采用w e bs e r v i c e 技术 使得企业各部门、各单位跨互联网实现数据共享成为可能。 2 2 2 解决全局及专业数据分析问题 企业生产经营数据分散在不同的应用系统之中，很难将不同业务的数据放在 5 湖北工业大学硕士学位论文 一起进行全局性的生产经营分析，无法发挥这些数据信息的作用。从另一方面说， 从各专业角度进行生产经营分析，也需要相关的其他部门的业务数据，不但这些 数据难以获取，并且缺少必要的分析工具作支持，各部室的业务人员有相当一部 分工作时间都用在了统计报表制作上，不但耗费了大量精力，还不能满足及时性 的要求，因此实现快捷的全局及专业数据分析是一个亟待解决的问题。 2 3 系统的体系架构设计 数据以分布异构的形式分散在各部门系统应用中，数据整合系统的实现主要 解决的就是信息数据的整合，在企业的数据充分整合之后企业便可以进行相关的 处理包括商务智能知识管理，各部门系统中对数据的访问和使用等方面的工作。 很多行业的企业领导者已经认识到数据规范化数据整合的必要性。数据整合是共 享或者合并来自于两个或更多应用的数据，创建一个具有更多功能的企业应用的 过程【1 0 1 。 在企业数据整合领域，已经有了很多可以利用的成熟框架。下面首先对常见 框架进行简要的介绍。 1 ) 联邦数据库系统【1 1 】【1 2 】【1 3 】【1 4 】【1 5 1 是由参与联邦的半自治的数据库系统组成，目 的是实现数据库系统间部分数据的共享。联邦中的每个数据库的操作是独立于其 它数据库和联邦的。之所以叫“半自治是因为联邦中的所有数据库都添加了彼 此访问的接口。它在集成各个应用系统，提供统一、透明的全局操作的同时，仍 能保持各个应用系统局部应用的高度自治。它不采用一个全局的模式，各成员数 据库可以自由加入或退出整合框架，以及以不同的程度整合到整合框架中去。主 要由通信接口、数据字典、数据组装模块、数据映射模块和中央虚拟数据库组成。 联邦数据库是一种松耦合的数据整合，将用户对数据库的查询根据元数据字典信 息进行转换，然后再转发到相应的异构的数据库上，最后将各个站点的返回信息 进行集成返回给用户。这种方法的优点在于可以利用原有的库结构，不用为共享 库设计模式，但是它需要各个成员数据库有额外的处理能力，来完成与虚拟数据 库的数据交换，在数据量很大时效率较低。 其二，中间件方法通过统一的全局数据模型来访问异构的数据库、遗留系统、 w e b 资源等【1 6 】【1 7 】【1 8 】，中间件层位于异构数据源系统和应用系统之间，主要包括中 间件和包装器。中间件系统则主要集中为异构数据提供一个高层次检索服务，中 间件主要用于全局查询的处理和优化，它能够整合非数据库形式的数据源，有很 好的查询功能，自治性强，缺点在于它通常是只读的1 1 9 1 。 6 湖北工业大学硕士学位论文 基于以上分析，本系统数据整合方式决定采用核心数据平台的集成方式。核 心数据平台是基于企业核心数据模型设计的，是一个独立于应用系统、用于信息 交换的中间平台，其接口的数量与应用系统的数据成线性关系。借助这个平台扩 大了应用软件选择的范围。可以协调各数据源系统，向上为访问数据的应用提供 公共数据模式和数据访问的通用接口，各数据源的应用仍然完成它们各自的任务。 通过核心数据平台，可以对来自各部门的信息资源进行汇集、分发、管理、利用。 数据中心中存储的数据并不是各部门所有信息资源的总和，而是根据具体需要进 行提取，汇集来的数据在数据中心内可进行决策支持等二次开发利用。 本文给出的w e b 信息资源整合系统模型，逻辑上分为3 层体系结构： ( 1 ) 后台的源数据生成。通过数据抽取等方法将各数据源上数据转换为公共 x m l 数据文件形式。 ( 2 ) 中间层的数据整合。源数据通过数据整理后导入中间层关系数据库或数据 仓库。 ( 3 ) 前台的应用服务。最终是在前台实现面向用户的应用模式，提供查询、数 据挖掘和知识发现等附加功能服务。 7 湖北工业大学硕士学位论文 一 2 3 1 核心数据平台设计 图2 1 系统的体系架构 1 平台定位和作用 它是一个企业级的、面向业务分析和应用系统信息交互和共享数据平台。核 心数据平台基于企业数据模型设计而成，以支持全局和局部业务分析为目的，以 数据为工具描述企业生产、经营业务。它既有别于数据仓库，又有别于应用系统 的数据库。数据仓库面向主题设计，为决策分析方便存储大量不同颗粒度的统计 数据；而核心数据平台的数据是描述业务状态的基本数据，一般不会大量设置统 计数据等冗余数据。业务系统的数据库是为支持业务处理设计的，既包含了描述 业务状态的数据，也包括了描述业务过程的数据；而核心数据库一般只包括对业 务分析有用的业务状态及其结果的数据，很少包括描述业务过程的中间控制数据。 8 湖北工业大学硕士学位论文 一方面，该平台集成来自于专业应用系统的数据，成为企业经营活动分析的支持 平台，另一方面，该平台是应用系统间信息交换的中介平台，为专业应用系统提 供所需要的其他应用系统中的数据。将核心数据模型中包括的数据与单纯的系统 间交互的数据分区存储，以保证核心数据模型的纯洁性，方便以后的维护。 图2 2 核心平台结构图 基于核心数据平台，可以建立应用系统，根据企业需要建立物资、财务等分 析系统；并且各个部门业务应用在平台自己注册w e b 服务，向其他应用提供共享 的数据信息，实现信息交互。核心数据平台的作用有几个方面： 1 1 提供领导决策分析平台：整合好的生产经营数据统一存储在核心数据平台 中，可以基于这个平台建立领导决策分析系统，不但可进行年、季、月度关键指 标的综合分析，还可以随时切换到不同的业务角度，或者随时调取旬、日业务数 据，进行关键点的细节深究。基于这个平台还可以对关键业务进行报警设置，对 报警业务进行深入分析。 2 1 ) 应用系统间信息交换：目前很多企业一般采用应用系统间直接接口的方式 进行集成，在目前应用系统不多、开发商单一的情况下，开发和维护还比较方便。 一旦以后软件逐渐增多、开发商也多元化的情况下，系统间复杂的集成关系和接 口将非常难于开发和维护。核心数据平台系统定位于信息资源整合和部门信息之 间的交互。主要通过对各种通信方式的支持来达到控制数据流向、满足不同业务 系统间数据交换需求的目的。 ( 1 ) 元数据管理 这里所要管理的元数据是指各适配器向数据中心注册的元数据，元数据是为 了描述数据资源的文档定义形式。各业务系统与数据中心进行数据交换操作的每 9 湖北工业大学硕士学位论文 一个环节都需要有元数据的控制，元数据在数据整合具有重要的作用，正因为此， 元数据的管理也就非常重要了。 这里采用x m l 的s c h e m a 格式进行描述，描述的数据可能表示一个真实的对象， 也可能是表示一个事件、一个消息或者一个动作。各应用节点和数据平台进行数 据交换操作时，都指示有元数据参数，以表明要请求和操作的数据是什么。因此 元数据的管理就非常重要了。首先各应用通过数据代理注册需要共享发布出去的 数据的x m ls c h e m a 。数据平台收集各应用发布的s c h e m a ，并按照提供者和类型进 行存储。数据平台经过权限配置后，将向各应用节点发布已经共享给该节点的所 有元数据，发布是以w e b 服务的方式布的。应用代理节点可以使用模式浏览工具 浏览数据中心共享出来的元数据，日后根据这些定义形式式进数据交换请求。 ( 2 ) 适配器 适配器可看作是各应用节点系统在核心平台的代理，业务系统通过适配器与 数据中心进行交互完成数据交换工作。必须针对每个业务系统开发x m l 对象与各 业务系统内部千差万别的具体数据对象之间相互映射的组件。 首先，代理业务系统需要与其他哪些业务系统交换哪些数据，自己有哪些数 据可以共享，这些信息( 元数据) 需要由适配器注册到数据中心去。其次，当其 他业务系统需要代理业务系统的数据时，适配器应提供公开的数据访问接口，数 据访问接口应该完成由代理业务系统所能理解的特定数据格式到公共数据格式的 映射。最后，代理业务系统需要到其他业务系统抓取数据时，适配器要能为它向 数据中心发送请求，接收数据中心转发过来的数据，并将标准格式映射成代理业 务系统所能理解的特定数据格式；另一方面适配器通过系统管理、数据压缩、加 密、数据交换路由解析、断点续传等技术保证各系统之间安全、准确的数据交换。 如此说来，适配器应该实现如下四大功能： 注册元数据 完成x m l 对象与代理业务系统中数据对象之间的相互映射 为代理业务系统提供统一的数据访问接口 提供数据交换安全 ( 3 ) 数据交换控制服务 数据交换控制服务主要通过对各种通信方式的支持来达到控制数据流向、满 足不同业务系统间数据交换需求的目的，数据交换可以实现核心数据平台的数据 1 0 湖北工业大学硕士学位论文 采集与分发，提供对被交换信息进行打包、解包、过滤、审核、装载入库等数据 交换服务。一方面，数据交换负责从各分系统的中提取采集来的数据，将其导入 到核心数据平台的采集库中；另一方面，它负责将核心数据平台共享库中的数据 根据各部门的需要，分发出去，分为路由转发服务和发布订阅服务。 1 ) 发布i 3 i 弼n 务： 图2 3 数据交换控制原理图 主要提供一种非实时转发的数据交换方式。一个业务系统可以向数据中心发 布要共享或交换的数据，其他业务系统( 一个或多个) 可以订阅它们感兴趣的数 据。核心数据平台作为中转站会发布共享数据到共享数据库，而共享数据以服务 的方式接受访问。 2 ) 路由转发服务： 路由转发服务，是为满足业务系统间所要求的数据实时性高的要求，那么通 过这种方式就可以不在数据中心进行存储再转发，而是在相关业务系统之间直接 进行数据交换，提供实时的数据交换服务，为其它支撑平台和综合业务系统提供 数据支持服务。 2 平台与各业务系统数据库的联系 核心数据平台的数据来自于各应用系统数据库，它从各应用系统集成数据的 关系可以用下图来表示： 湖北工业大学硕士学位论文 3 核心数据库 一_， 图2 4 核心数据平台工作原理 从上图可以看出，业务应用系统数据库是核心数据平台的数据源，核心数据 平台从业务系统抽取所需的数据，进行整理、集成，并加载到核心数据库中。一 般情况下，核心数据库从生产管理系统提取数据之后整合，原则上并不改变原始 数据的值，只是在是数据格式、统计颗粒度、计量单位等方面的一种清洗，在保 存在核心数据平台以前使不同系统的数据具备可对比性，为上层应用服务。 因此，总的来说各专业应用系统数据库在各自系统内正常使用的同时，为核 心数据平台提供描述本专业业务状况、专业和综合经营生产分析等数据；核心数 据平台也作为数据交换中间平台为各专业应用系统提供其业务过程所需的其它业 务系统的数据，即为数据交换提供数据中转和流向控制服务。 3 数据整合的设计策略 数据仓库方式【2 1 】【2 2 】【2 3 】【矧抽取源数据，以后台方式收集数据、全部在本地缓存、 处理、合并，应用模式直接访问的是本地的数据，直接使用数据库管理系统的查 询执行引擎和语言，女 i s q l ，通过定期的数据抓取和比较来保证数据的及时更新。 整体查询的执行性能可以保证，并且无须设计和实现专用的查询语言和执行优化 引擎，应用开发工作量小，和在流行的数据库上开发一样。另外，存储在本地的 丰富数据资源还可以供数据挖掘等其它应用使用，并且由于数据在应用之前经过 了处理，使得返回给用户的数据更加规范化。 湖北工业大学硕士学位论文 核心平台采用数据仓库技术对分布异构数据源进行整合，通过数据抽取、清 洗、转换、装载等过程，按照不同的业务主题，即不同的分析需求，装载到数据 仓库中存储，方便数据共享；其次，应用各种分析工具，比如检索查询工具、多 维数据的o l a p ( 联机分析处理) 工具、统计分析工具以及数据挖掘工具等，将分 析结果以直观的图表形式展现在用户面前。这些分析工具具有很强的功能，比如 数据挖掘工具借助人工智能和高级统计方法技术，从大量数据中提取隐含的、全 面的和有用的信息，从而揭示数据的不明显模式、趋势或规则；多维数据的o l a p 分析工具，通过对多维数组采取切片、切块、钻取、旋转等各种分析动作，分析 数据，使用户能从多个角度、多侧面地观察数据，从而深入理解数据中包含的信 息。 清洗、转换、加载设计侧重于可扩展性，无论是抽取映射、加载映射和转换 的设置，还是整个数据集成平台的系统结构都要注重可扩展性和灵活性，要满足 以后不断接入的新系统的需要，满足以后企业信息系统发展的需要。 2 3 2 数据库的设计分析 在一个软件工程中，数据库的规划和设计在整个系统中占有非常重要的地位， 它不但起着存储各种信息，供统计、查询、分析等使用的作用，而且使各个子系 统之间的数据接口更为协调化。随着计算机技术的飞速发展，尤其是网络技术的 日趋完善，计算机信息管理系统逐步地从单机系统向分布式系统即多用户和网络 系统发展，数据库设计的合理性、规范性、适应性，数据库之间的关系及设置直 接关系到系统的优劣。 为了提高软件开发的质量和效率，针对企业信息一体化及应用集成平台研究 开发所采用的分布式网络软件环境，在数据库设计中遵循了以下原则： 1 ) 层次分明，布局合理 数据库系统必须层次分明，合理布局。数据信息应自下而上，逐层浓缩、归 纳、合并、减少冗余，提高数据共享程度。 2 1 保证数据结构化、规范化、编码标准化 在每一个数据库设计之前都要有一个充分的、详细的数据分析、数据格式及 较为统一的编码，为减少数据的冗余量，应尽量避免库结构的重复。 3 1 数据的独立性和可扩展性 1 3 湖北工业大学硕士学位论文 应尽量做到数据库的数据具有独立性，独立于应用程序，使数据库的设计及 其结构的变化不影响程序。 钔共享数据的正确性和一致性 应充分考虑数据资源的共享和业务分析需求，根据业务分析需要合理设计业 务模型，以建立数据仓库中事实表和维表的具体逻辑和物理结构以及实体对象。 采用数据库分区管理，将核心数据模型中包括的数据与单纯的系统间交互的数据 分区存储，以保证核心数据模型的纯洁性。 5 ) 减少不必要的冗余 建立数据系统后，应避免不必要的数据重复和冗余，但为了提高系统的可靠 性而进行的数据备份是必要的。 2 3 3 数据应用平台设计 1 数据维护 集成到核心数据平台的数据最终是在前台实现应用，提供查询、数据挖掘和 知识发现等附加功能服务。满足企业对共享数据的查询，业务范围数据定义的需 求，应用服务( 前台的应用服务) 具体功能如下： 1 ) 维护数据发布目录：为了方便查找和维护，应按照业务范围建立信息发布的 目录树，目录树可以有支持根目录、一级子目录、二级子目录等三级的层次结构， 在这三级的层级范围内，目录节点数不受限制，并且可修改并维护数据发布目录。 2 ) 定义并维护数据发布表：从核心数据库中选择要发布的字段，定义不同字段 问的关联关系，生成发布表，并将表发布到目录树的某一级节点下。 3 ) 定义并维护数据表的访问权限：数据发布表的访问权限将按照目录树节点进 行控制。 2 报表分析 报表分析是系统对业务数据进行分析和展现的平台，基于核心数据平台灵活 定义分析表，提供企业决策分析及各种业务报表服务。 设计将注重满足数据分析快速、灵活方面的需要。在分析平台中将建立专业 数据集市，在系统资源耗费较少时从核心数据平台向专业数据集市加载数据，这 样可以提高业务分析的效率。 在数据分析方面，将以交互式的数据挖掘为主，根据决策者的分析思路，不 1 4 湖北工业大学硕士学位论文 断灵活地实现数据格式和统计颗粒度的变换，以辅助决策者发现现在经营模式。 具体功能如下： 1 ) 灵活展现分析表的需求 这是数据分析平台的核心功能，其数据展现功能的灵活性表现在以下几个方 面： ( 1 ) 表钻取。在线变化数据表的聚集度。在数据允许的情况下，可以自由地将 数据表中数据的聚集度从详细级到汇总级，如从日数据转换到周、月、季、年的 数据，再如从装置数据转换到联合生产区、分公司等的数据；反之亦然。进行这 种转换时，数据表的维度标示自动随之变化，并且这种转换可以是按照维护聚集 度平滑的、也可以是跳跃性的，比如从日数据，跨过周、月、季，直接到年数据。 ( 2 ) 表转秩。在线对换数据表的行列，实现转秩。 ( 3 ) 转交叉表。将一个普通表变为交叉表。 ( 4 ) 表过滤。制定分析表中某元素的条件，实现表过滤。 ( 5 ) 表切片。将分析表中某元素单独列出为下拉列表，其余元素组成满足该元 素的条件的分析表，实现对原分析表的切片。 2 ) 灵活变化分析表展现方式的需求 分析表可以选择和在线重新调整不同的展现方式，可以是： ( 1 ) 以表的方式 ( 2 ) 以图的方式 ( 3 ) 以表和图共存的方式 3 ) 导出分析表的需求 准备好的分析表可以导出系统，另存为e x c e l 表、p d f 文件、t x t 文件的形 式。 2 3 4 系统安全设计 系统的安全性包括网络的安全性、系统资源的安全性、应用系统的安全性。 2 4 小结 本章对现在企业中对于数据整合的要求做了分析，结合实际情况，对于整合 系统需要满足企业的具体应用设计了系统的总体架构，说明了该系统能够完成的 湖北工业大学硕士学位论文 功能。 1 6