（计算机应用技术专业论文）数字化校园数据整合技术研究.pdf

摘要 校园网的建设是一个非常大的系统工程，涉及到各个方面的因素。由于校 园内各个部门建立的时间不同，因此就决定了各个部门数字化的水平不同。根据 提供的服务不同，校园网中有不同的数据形式，一般来说主要有o r a c l e ，f o x p r o ， s q ls e r v c r ，m y s q l ，s y b a s e 数据库，有的部门甚至用e x c e l 或文档存储数据。随 着i n t e m e t 网络技术的推广，许多厂家和设备供应商提出了基于b s 模式( 即 b r o w s e r s e r v e r ，浏览器及服务器模式) 的m s ( m a n a g e m e n ts y s t e m ) 管理系统， 以适应现代社会的信息管理。各厂商开发出的子系统，如b a 系统、报警系统、 照明系统等，这些是基于不同平台和不同语言的。但是对于一个大的工作环境而 言，这些m s 系统往往需要一些相同的数据，尽管各个系统的数据存储和表现形 式可能不太相同，但是其中有些数据往往是公用的，比如学校的财务数据，就可 能和其它缴费部门存在数据重复。 这些系统的不同集中表现在这些部门使用不同的数据存储格式。而这些部 门之间往往又是需要互相配合，互相沟通数据的。就以往而言，由于数据格式， 使用系统的不同，造成了这些部门数据沟通困难，因此有必要整合数据格式， 以便于各种数据沟通。数据整合的还可以减少不同部门之间的数据冗余，从而降 低存储成本，这也符合我国现在的“节能”要求。 该研究采用当前最流行的主流j 2 e e 架构，使用s t r u t s ，s p r i n g 主流j 2 e e 框 架，借助当今流行的中间件技术，整合不同数据资源，建立通用的数据源访问接 口，力图做到使校园网内数据充分共享，实现不同部门之间的数据交换。全面解 决了校园网数据整合问题。 关键词：数据整合：中间件；j 2 e e ；s p r i n g ；s t r u t s ；校园网 a b s t r a c t t h ec o n s t r u c t i o no fc a m p u sn e t w o r ki sav e r yl a r g ep r o j e c t , w h i c hi n v o l v e s m a n yo t h e ra s p e c t s b e c a u s et h ed e p a r t m e n t si ns c h o o la r ee s t a b l i s h e di nd i f f e r e n t t i m e ，m e i rd i g i t a ll e v e li sd i f f e r e n t d u et ot h ed i f f e r e n c eo ft h eg i v e ns e r v i c e ，t h e r e a r ed i f f e r e n td a t as t r u c t u r e si nc a m p u sn e t w o r k i ng e n e r a l ，t h e r ea l em a n yk i n d so f d a t a b a s e s f o re x a m p l e ，d i f f e r e n td e p a r t m e n t si nc a m p u sn e t w o r km a ys a v ei t so w n d a t ai no r a c l e ，f o xp r o ，m i c r o s o f ts q ls e r v e r , m y s q l ，s y h a s ea n de v e ne x c e l a si n t e r n e t i sg e t t i n gm o r ea n dm o r ep o l a r , m a n ys o f t w a r ep r o v i d e r sh a v ep r o v i d e dm a n yk i n d s o fm a n a g e m e n ts y s t e m s ，w h i c ha r eb a s e do nb s s t r u c t u r e h o w e v e r , t h e s e m a n a g e m e n ts y s t e m sa r ed e v e l o p e db yd i f f e r e n tl a n g u a g e s ，a n dc a l lo n l yb er u n o na s p e c i a lo s ，s u c ha sw i n d o w sx p b u ti nt h ec a m p u sn e t w o r k , t h e s es y s t e m sm a y r e q u i r et h es a m ed a t a f o re x a m p l e ，t h ef i n a n c i a ld a t ao f s c h o o lm a yn o to n l yb eu s e d b yt h ef i n a n c i a ld e p a r t m e n t ，b u ta l s om a yb eu s e db ym a n yd i f f e r e n td e p a r t m e n t si n s c h o o la sw e l l h lf a 魄t h ed i f f e r e n c eo ft h e s es y s t e m sd e p e n d so nm e i rd i f f e r e n td a t as t o r a g e m o d e b e c a u s et h ed e p a r t m e n t si ns c h o o lm a yc o m m u n i c a t ew i t he a c ho t h e r , w em u s t i n t e g r a t et h ed a t at h a tt h e yu s e d a t ai n t e g r a t i o nc a na l s or e d u c et h ed a t ar e d u n d a n c y a n dt h ec o s to ns t o r a g e ，s oi tc a l ls a v ee n e r g ya sw e l l s a v i n ge n e r g yw i l lb eal o n g p o l i c yi no u rc o u n t r yi nt h ef u t u r e t h i sr e s e a r c hi sb a s e do nt h em o s tp o w e r f u lj 2 e ef r a m e w o r k s ，w h i c hi n c l u d e s p r i n g ，s t r u t sa n dh i b e r n a t em i d d l e w a r e t i l i sr e s e a r c hw i l li n t e g r a t et h ed i f f e r e n t d a t aw h i c hb e l o n g st ot h ed i f f e r e n td e p a r t m e n t si nc a m p u sn e t w o r k , m a k eau n i f o r m u s e ri n t e r f a c e ，a n dm a k ed i f f e r e n td e p a r t m e n t si ns c h o o lt oc o m m u n i c a t ew i t he a c h o t h e re a s i l y t l l i sr e s e a r c hw i l ls o l v et h ep r o b l e mo fd a t ai n t e g r a t i o ni nc a m p u s n e t w o r k k e yw o r d s ：d a t ai n t e g r a t i o n ；m i d d l e w a r e ；j 2 e e ；s p r i n g ；s t r u t s ；c a m p u sn e t w o r k 4 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和取得的 研究成果，除了文中特别加以标注和致谢之处外，论文中不包含其他人已经发表 或撰写过的研究成果，也不包含为获得丞洼王些态堂或其他教育机构的学位或 证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文 中作了明确的说明并表示了谢意。 学位论文作者签名： 确西 签字日期： 。厂年。月怕 | 学位论文版权使用授权书 本学位论文作者完全了解丞洼王些丕堂有关保留、使用学位论文的规定。 特授权丞洼王些丕堂可以将学位论文的全部或部分内容编入有关数据库进行 检索，并采用影印、缩印或扫描等复制手段保存、汇编以供查阅和借阅。同意学 校向国家有关部门或机构送交论文的复印件和磁盘。 ( 保密的学位论文在解密后适用本授权的说明) 学位论文作者签名：柏每 导师签名： 签字日期：圹年k 月巧日 乃住幻 签字日期年p 月t ，晤 l 学位论文的主要创新点 一、针对校园网的网络环境，提出一种基于中间件的数据整合方 案。摒弃了常用的s q l 数据库操作语言而采用中间件提供的 统一的数据库方言，向用户隐藏了各种不同数据源的不同之 处。 二、针对校园网的安全问题，提出了一种模块分离的日志记录方 式。该日志记录方式能够最大限度的将日志记录模块和系统 分离，进一步降低由此带来的系统开销。 三、采用基于m v c 架构的框架结构编程，实现了控制器、视图 和模型层的完全分离，易于修改和维护，具有良好的可扩展 性。 第一章绪论 1 1 研究背景 第一章绪论 随着i n t e m e t 的普及，校园网的规模也随之越来越大，功能也越来越强。在 总结了高校校园网建设的经验后，我们发现目前校园网存在以下几个问题。 首先，根据提供的服务不同，校园网中有不同的数据存储形式。经过长时间 的信息化建设，目前学校内部已经形成了多个业务子系统，包括：人事管理系统、 教务管理系统、学生管理系统、科研管理系统等。各业务子系统之间在应用或数 据等层面上是彼此分离的，它们分别采用了不同的数据库系统以及使用了不同的 应用开发语言。各系统的业务逻辑不同，而且在数据库的建设上没有遵循统一的 标准。同时这些系统之间又往往又需要进行数据交换，比如：财务系统需要从人 事系统获取人事信息；教务系统要为学生系统和毕分办系统提供学生基本信息； 教务系统还要为人事系统提供教师授课信息，同时还要从人事系统获取教职工的 基本信息；另外，人事系统与科研系统、研究生系统之间都存在双向的数据交换， 等等川。就当前学校而言，一般来说学校各个部门主要使用o r a c l e ，f o x p r o ，s q l s e l v e r ，m y s q l ，s y b a s e 等数据库，有的部门甚至用e x c e l 或文档存储数据。 在这些数据库中，存在大量数据冗余，而由于数据库不同，往往又很难进行 数据迁移。数据中蕴藏的巨大信息资源得不到有效的挖掘和利用，信息资源的增 值作用不能够在管理决策中充分发挥眩1 。 其次，由于学校各个职能部门建立的时间不同，跨度很大，因此造成学校自 主开发出的b s 子系统，如职工管理系统，学籍管理系统等，往往是基于不同平 台和不同语言的。但是对于一个校园网整体工作环境而言，这些管理系统往往需 要一些相同的数据，尽管各个部门需要的数据存储和表现形式可能不太相同，但 是其中有些数据往往是公用的，比如学校的财务数据，就可能和其它部门的缴费 数据存在数据重复。因此，实际上，具有一套兼容性、扩展性极佳的m s 系统， 也是数据整合的重要前提。这套系统应该可以大大的降低数据整合大的难度与复 杂度。 综上所述，如何对校园网中各种数据资源进行有效的管理和分配，已经成 为高校校园网管理的一个重要课题。因此，笔者认为非常有必要对校园网中的不 同数据源，不同管理系统进行统一和整合。整合后的资源，应该是统一的，并且 可以根据用户权限进行实时访问的。 天津t 业人学硕1 ：论文 本文将探讨以中间件技术、j 2 e e 技术为基础，进行“数字化校园”建设的 资源整合思路，完成校园信息化建设。 1 2 国内外研究现状及存在的问题 1 2 1 主流企业数据集成技术介绍 企业数据集成的基本思想是对各种软件组件的数据存取进行集成。这样，用 户在存取数据时就可以绕过相应的应用软件，而直接获取该软件所创建并存储的 相应信息。其目的是为了在应用软件之间实现数据的重用和同步。如可以用数据 库网关来访问不同的数据库系统。网关负责将信息从各个数据库中取出，供另一 个应用程序使用。数据集成跳过显示界面与业务逻辑模块，直接进入应用软件的 数据结构和数据库来创建新的集成。这样的集成可能只需要简单访问软件所用的 数据库管理系统，也可能需要与应用程序所管理的文件或用户数据库进行更加复 杂的集成。从另方面来说，数据集成的作用在于为所有需要它的应用程序提供 对企业中全部数据的一致访问，而不管这些应用程序是以什么形式需要它，也不 受数据的格式、来源或位置的限制。在实现时，这项需求可能包括适配器和转换 引擎，不过它通常要比这复杂。而关键的概念往往是数据的虚拟化，这可能包括 数据总线的开发，企业中的所有应用程序都通过标准服务或接口从数据总线中请 求数据。因此，不管数据是来自电子数据表、本地文件、s q l 或d l i 数据库， 还是来自内存中的数据存储，都可以将数据提供给应用程序。永久存储中的数据 格式可能还不为应用程序所知。应用程序更不知道管理数据的操作系统，因而访 问u n i x 或l i n u x 系统中的本地文件的方式与这些文件放在w i n d o w s ，o s 2 或其 它系统中时访问它们的方式相同。同样地，数据的位置也是透明的；由于它是由 共同的服务提供的，所以是由访问服务而不是由应用程序来负责查询数据( 无论 是本地的还是远程的) ，然后按照请求的格式提供数据玛1 。 随着几十年来快速不断的i t 创新，企业在信息化建设中构建了各种各样的 应用系统，它们有一个共同点：基本上是以企业某个部门或基于一个或几个功能 为目标的设计。这些系统分布在不同的硬件平台和操作系统之上，使用不同的协 议进行通讯，在不同的界面上操作。这些系统被设计成自包含的“黑盒”系统， 只有很少或者根本没有方法来访问它内部的数据和商务流程。数据之间的交换性 能差，系统之间缺乏有效的协作，这些系统的部署，使企业难以摆脱“信息孤岛” 的困惑啪。 企业为了满足不断增长的客户和商业伙伴对实时信息的期望，不得不连接他 们的那些异构的系统来增加产出、提高效率以满足客户的需要。为使一个组织内 2 第一章绪论 部i t 系统互相通信，导致了企业应用集成( e a i ) 的发展。e a i 通过建立底层结 构，来联系横贯整个企业的异构系统、应用、数据源等。e a i 解决方案的起源可 以追溯到那些提供双向的解决方案以完成在企业内部的e r p 、c r m 、s c m 、数 据库、数据仓库以及其它重要的内部系统之间共享和交换数据的需要。e a i 技术 在今天被认为是企业获得成功的关键所在，将一个机构的所有的信息资源集成到 个无缝的、并列的、易于访问的企业资产中，这样可使一个功能强大的企业资 产运作起来就像个虚拟的单一系统5 1 。企业应用集成也可以集成多种的、分 布的互联网应用系统，称之为b 2 b 集成。比如连接到商务合作伙伴的各类应用 系统上，可以与上游的原料供应商、下游的分销商、大客户连成一体。这样就可 以让使者根据商业环境的变化很快地调整自己的策略，响应各种不断出现的商业 机会。这些商业机会可以改变企业运作流程，增强满足客户需求的能力，增加新 的合作伙伴，最终，可以连接成一个广泛的、自动化程度高的电子市场 ( e - m a r k e t p l a c e s ) 。 目前，越来越多的企业用户正在为应用集成所困扰，据统计，在绝大多数公 司，8 0 的i t 资源都花费在基础设施的开发、集成与维护方面，这就意味着只有 2 0 的r r 预算能够用于提升企业市场竞争力、为企业带来高价值的应用方面，这 不啻于一场噩梦! 这些基础设施会加重企业负担。这是因为企业不断增加的应用 分布在各种不同的平台上，使得不同系统之间的信息集成成为企业的沉重负担。 一方面，企业为了利用i t 技术来获取竞争优势，希望能够高效率部署各种应用， 包括新的w e b 应用、支持w e b 原有系统、在线交易、企业门户、移动与无线访 闯、业务流程自动化、与商业伙伴相连、实现商务智能等，另一方面，企业内部 应用体系过于复杂，各种各样的组件太多、基础架构不可靠、不可管理以及集成 基础架构需要很长的时间与昂贵的费用，这种复杂性使用户在i t 投资方面步履 维艰，使r r 技术在提高效率与降低成本方面的作用远远没有发挥出来。 1 2 2 当前领域存在的问题 因此，由于当前数字资源格式纷繁复杂，如何对众多的数据进行整合就成为 全球共同面对的问题。当前数据整合方案主要有一下不足： l 由于开发的各种m s 系统都是面向任务的，因此当后来的系统需要前面 的数据时，往往由程序开发者将所需要的数据转换和整合规则全部硬编码在程序 代码中。此种方案缺点显而易见，由此方案开发的系统没有任何的可维护性和可 修改性。随着岁月的积累，系统代码会越来越臃肿，最终会被弃之不用； 2 由于校园网是一个大的工作环境，就需要特别重视对整合数据的访问权 限控制。而在以往的数据整合方案中，虽然有权限控制，但是往往没有记录每次 天津丁业人学颐i ：论文 的访问的具体信息。即使记录了每次访问的信息，也大大的加大了重复的“记录 日志”代码量。笔者认为，对于校园网的资源的访问，必须做到“有账可查”， 对访问进行日志记录。但是，在r 志记录的同时，不应该增加系统的代码量和系 统开销。在本文中，本研究将会着手解决这一问题。 3 在以往的数据解决方案中，很多方案并不能解决数据的实时访问问题； 需要定时更新数据，或人工干预数据。本文也将解决这一问题。 4 在以往的数据整合方案中，很多系统是通过生成中间库、集中库的方式 来解决数据集成，这样既增大了系统开销，也容易形成新的数据孤岛； 5 已有的一些数据整合系统比较复杂，有的系统还依赖于特定的w e b 服务 器，如b e al i q u i dd a t af o rw e b l o g i c 。笔者认为，整合系统应该专有其职，而 不能依赖于特定的工作环境。 1 3 本文主要研究工作 本文的研究内容主要分为以下几个方面： l 比较分析当前的主流数据整合技术，经过综合对比，讲解为什么中间件方 案最适合校园网。 2 加强对数据访问的日志记录功能，提出基于切面的访问日志记录方式，大 大缩小了系统的复杂度。 3 比较“依赖注入”和“传统注入 的不同，分析“依赖注入的好处。 4 提出校园网数据整合的“前提架构”，使用成熟的j 2 e e 分层架构来剥离 数据层，便于数据整合。 5 比较当前数据整合中的不同的中间件技术，最终确定使用“关系一对象， 中间件来实现校园网的数据整合。 开发环境：m y e c l i p s e 6 5 ，s p r i n g ，s t r u t s ，h i b e r n a t e ，d o m 4 j 开发语言：i a v a 本文的结构如下： 第一章绪论简要介绍了校园网数据整合目前存在的一些问题和当前流行 的几种数据整合技术，并对本文的研究内容进行了大概介绍。 第二章当前主流数据库整合技术综述首先介绍了当前流行的主流关系数 据库，然后介绍并比较了几种流行的数据库中间件。 第三章m v c 设计模式与s t r u t s 框架介绍了m v c 架构的结构特征、优缺点 以及s t r u t s 、h i b e r n a t e 、s p r i n g 框架的工作原理和核心组件。 第四章系统总体设计与实现介绍了系统的总体架构和实现技术，详细介 4 第一章绪论 绍了系统的重点模块。从实际出发，详细介绍了数据整合和同志记 录在校园网设备管理系统中的应用。 第五章结论与展望总结了本文所做的工作，指出了设计和开发方面存在 的不足，并对今后的研究工作进行了展望。 第- 二章当前主流数据整合技术综述 第二章当前主流数据整合技术综述 2 1 数据整合综述 2 i ，l 数据整合的概念 数据整合是对各种异构数据提供统一的表示、存储和管理，这些功能在异构 数据整合系统中实现。数据整合屏蔽了各种异构数据间的差异，通过异构数据整 合系统进行统一的操作。因此整合后的异构数据对用户来说是统一和无差异的。 异构数据源整合1 就是在一个确定领域中，整合其存在的异构且自治的数 据源，使用户感觉到所查询的数据都具有单一的模式且存储在单个数据源中。数 据源集成系统最重要的特点就是为用户提供一个统一的 毒问界面，使用户能够将 注意力集中在要查询的内容上，而不是如何去得到数据的方法上。 由以上定义我们可以得出结论： ( 1 ) 数据整合就是把物理上不在一起的异构数据源在物理上或逻辑上进行整合 集中，从而实现数据共享和互访问操作。 ( 2 ) 作为数据整合的必要步骤，必须为用户提供一个统一的数据访问接口。这个 接口向用户隐藏各个异构数据源的不同，使用户完全觉察不到有不同的数据 源存在，从而能轻松的访问数据。 ( 3 ) 由于本文讨论的是校园网数据整合，因此结合校园网用户众多的特点，笔者 认为，对于整合数据的任何访问，都应该进行日志记录，以备查看。因此， 日志记录也是校园网数据整合的一部分。 2 1 2 传统数据整合方案介绍 ( 1 ) 数据的迁移和转换结合w e bs e r v i c e 技术 利用数据转换程序，对数据格式进行转换，从而能被其它的系统接收。这种 方法处理简单，己为大多数用户理解和接受。许多数据库管理系统d b m s 都自 带有一些数据转换程序，也为用户提供了方便：但这种方式当数据更新时会带来 不同步的问题，即使人工定时运行转换程序也只能达到短期同步，这对于数据更 新频繁而实时性要求很高的场合是不太适用。因此，这种结束目前一般结合w e b s e r v i c e s 技术使用。通过w e bs e r v i c e ，服务提供者把他们的数据源作为数据访问 服务( 一种w e b 服务，它允许提供一个数据集中服务) 来发布，然后这些服务 就可以在需要时被发现、被绑定，在使用后又被释放。因此，很多变化比如组织 7 天津t 业人学顾lj 论文 结构的变化、后端数据源的变化、数据结构和语义的变化等就可以被动态地管理， 并且可以潜在地减少维护费用。 ( 2 ) 使用中间件 中间件( m i d d l e w a r e ) 是位于客户端与服务器端之间的中介接口软件，是异构 系统集成所需的粘接剂。现有的数据库中间件允许客户端在异构数据库上调用 s q l 服务，解决异构数据库的互操作性问题。功能完善的数据库中间件，可以 对用户屏蔽数据的分布地点、数据库管理平台、s q l 方言，扩展特殊的本地a p i 等等差异。使用中间件的异种数据库集成常常有以下几种方法： 1 通用s o la p i 即在服务器端的所有应用程序都采用通用的s q la p l 访问数据库，而由不 同的数据库服务器提供不同的数据库驱动程序，解决连接问题。通用的s q l a p i 又可分为嵌入式s q l ( e s q l - - e m b e d d e ds q l ) 和调用级s q l ( c l i - - c a l ll a y e r i n t e r f a c e ) 。e s q l 是将s q l 嵌入到c 、p a s c a l 等程序设计语言中，通过预编译程 序进行处理，因而s q l 的所有功能及其非过程性的特点得到继承。c l i 则采用 一个可调用的s q la p i 作为数据存取接口，它不需要预编译过程，允许在运行 时产生并执行s q l 语句。由于c l i 更为灵活，现在应用较广，如微软公司的 o d b c 、b o r l a n d 的i d a p i 、s y b a s e 的o p e n c l i e n t o p e n s e r v e r 等等。常见结构如图 2 1 所示。 图2 - 1 功能说明图 2 通用网关 网关( g a t e w a y ) 是当前流行的中间件方案。在客户端有一个公共的客户机驱 第一二章当前土流数据整合技术综述 动程序( g a t e w a yd r i v e r ) ：在服务器端有一个网关接受程序，它捕获进来的格式 和规程( f o r m a ta n dp r o t o c o l ，f a p ) 信息，然后进行转换，送至本地的s q l 接口。 ( 3 ) 基于组件技术的一致数据访问接口 例如，m i e r o s o t 推出的u d a ( u n i v e r s a ld a t aa c c e s s ) 技术，分别提供了底层 的系统级编程接口和高层的应用级编程接口。前者定义了一组c o m ( 组件对象模 型) 接口，建立了抽象数据源的概念，封装了对关系型及非关系型各种数据源的 访问操作，为数据的使用方和提供方建立了标准：后者是建立在前者基础上的， 它提供了一组可编程的自动化对象，更适合于各种客户机服务器应用系统，尤 其适用于在一些脚本语言中访问各种数据源。 1 多数据库系统 在c i m s 环境下，从系统和规模上来解决异种数据库整合的方法为多数据库 系统。所谓多数据库系统就是一种能够接受和容纳多个异构数据库的系统，对外 呈现出一种集成结构，而对内又允许各个异构数据库的“自治性”。 多数据库系统不存在一个统一的数据库管理系统软件，采用自下而上的数据 集成方法，其主要解决异种数据库集成问题，可以保护原有的数据资源，使各局 部数据库享有高度“自治性 。多数据库系统一般分为两类： 全局统一模式的多数据库系统。 多个异构数据库集成时有一个全局统一的概念模式，它是通过映射各异构的 局部数据库的概念模式而得到。 2 联邦式数据库系统。 各个异构的局部数据库之间仅存在着松散的联邦式耦合关系，没有全局统一 模式，各局部库通过定义输入、输出模式进行彼此之间的数据访问。到目前为止， 没有商品化的多数据库系统，联邦数据库系统使用较多。因此，本文将详细介绍 下联邦数据库系统。 联邦数据库系统由异构分布且自治共享的成员数据库系统组成联邦用户提 交的查询事务不仅涉及本数据库的数据，而且涉及异地多数据库数据8 1 。一个 f d b s 的重要方面之一就是一个数据库系统( d b s ) 能够在加入一个联邦的时候 可以继续它的本地操作。成分数据库系统的集成可能被联邦的用户管理或者被 f d b s 的管理员和组分d b s 的管理员一起管理。集成的数量取决于联邦用户的 需要和组分d b s 管理员对加入联邦并且共享他们的数据库的期望。由多个d b s 组成的系统，f d b s 是其中一种特殊的类型，具有以下三个特点：分布式、异构 性和自治性。 9 天津t 业人学硕l ：论文 2 1 3 传统视图管理平台介绍 一个成熟的数据整合平台除了有数据集成的功能，还必须能够为用户提供统 一的视图来访问各个不同的数据源。这个视图必须对用户隐藏各个数据源的不 同。本文认为，进行数据整合的为用户提供数据的平台不仅要与数据源无关，而 且必须是与操作系统无关的，与w e bs e r v e r 无关的。只有这样，才能避免以前 的数据整合平台的缺点，才能真正做到“易修改性 、“易维护性”。 传统的数据整合视图平台分为三种： ( 1 ) 所需数据是虚拟的 当用户通过平台请求数据的时候，用户的请求会按照请求数据源的不同而被 平台划分为若干子请求，发送到不同的数据源；当数据返回时，平台又会将各个 数据源返回的数组组合到一起，然后返回给用户。 ( 2 ) 所需数据是存在与中间实体模块的 在这种结构中，往往有一个中间实体模块来存储各个数据源数据。这个中间 实体模块是可以定时获得各个子数据源的更新，从而与各个数据源数据保持一 致。当用户通过平台请求数据的时候，平台不需要从各个数据源读取数据，而只 需要从中间实体模块读取数据即可。 ( 3 ) 混合平台 混合平台就是将以上两种平台模式结合使用。其中经常更新的数据采用第一 种模式，而不经常更新，但是经常读取的数据采取第二种模式。必要时，可以将 部分数据的读取模式进行迁移。 2 2 主流商品化数据整合平台介绍 2 2 1 s q ls e r v e r 数据库整合平台 s q ls e r v e r2 0 0 5 带来了一个全新的企业级数据整合平台。此平台具有出色 的e t l 和整合能力，使得组织机构能更加容易地管理来自于不同的关系型和非 关系型数据源的数据。通过s q ls e r v e ri n t e g r a t i o ns e r v i c e s ( s s l s ) ，组织机构 能以整体的视角去考察它们的商业运营情况，从而能够更加具有竞争优势。 s q ls e r v e ri n t e g r a t i o ns e r v i c e s 替代了s q ls e r v e r2 0 0 0 中一个非常受欢迎 的功能模块数据转换服务( d t s ) 。但s s i s 并不是d t s 的简单升级，它是 s o ls e r v e r2 0 0 5 中的一个全新的组件，它提供了构建企业级数据整合应用程序 所需的功能和性能。无论是在轻量级的3 2 位系统中还是在高端的6 4 位架构中， 它的转换引擎的性能优势都是非常明显的。 l o 第二章当前主流数据整合技术综述 s q ls e r v e r2 0 0 5 具有如下特点： ( 1 ) 数据连接 整合不同的数据源和数据目标变得非常容易。除了那些常见的数据源，例如 文本文件、o l e d b 和a d o n e t ( 包括针对n e t 的o d b c ) ，在s s i s 中还简 化了访问s a p 中数据的方式。内置的对x m l 和w c bs e r v i c e s 的支持使得与面 幻服务的架构以及其它非标准数据源的整合变得非常轻松。用于数据装载的s q l s e r v e r 数据目标经过了优化，甚至s q ls e r v e rm o b i l e 数据库也能被直接定位。 由于具有整合元数据的能力和可共享的解决方案，报表服务的报表或者分析服务 的多维数据集都能通过s s i s 管道直接读取。 ( 2 ) 高效率转换 在s q ls e r v e ri n t e g r a t i o ns e r v i c e s 中包含了许多非常有效的组件，例如数 据和字符相互转化、计算列、用于分区和筛选的条件操作符、查找、排序、聚集 以及合并。高级组件简化了其它复杂的操作，例如缓慢变化维度的装载等。对 于某些自定义的需求，我们可以使用灵活和快速的v i s u a lb a s i c n e t 脚本来实 现，同时，开发人员可以毫不费力地编写和分发他们自创的可重用组件。 ( 3 ) 数据质量和数据挖掘 针对于数据的质量，f u z z yl o o k u p 和f u z z yg r o u p i n g 组件提供了不精确匹 配和消除重复数据的功能。数据挖掘功能通过训练己整合的数据得到模型，从而 为数据整合流程带来新的能力。为了保证数据质量，可使用预测模型来避免数 据的不完整和丢失，或者使用关联和聚集模型来找出异常的和不规则的数据。 ( 4 ) 可靠性 包可以通过配置来定制其在不同情况下运行的方式，例如针对不同的服务器 环境。使用数字签名来保证用于部署的包的安全性；运行一个简单的向导就能 完成已部署包的安装；检查点重启和对事务的支持：加上w m i 侦听器和灵活的 异常处理、事件驱动功能保证无人值守运行的可复原性；与s q ls e r v e r m a n a g e m e n ts t u d i o 的集成简化了在s q ls e r v e r 环境中对包的管理和监视。 综上，s q ls e r v e ri n t e g r a t i o ns e r v i c e s 的意义不仅仅是在与整合数据。它的 架构和基础结构使得能够在专门的软件提供商和特定的用户之间建立起非同寻 常的、动态的和形式多样的交流方式。s q ls e r v e ri n t e g r a t i o ns e r v i c e s 的基础 结构是可以非常容易地进行扩展并且功能非常强大，软件提供商们可以非常容易 地开发和分发他们制作的高级组件，与此同时，用户也能够尽情享受新想法、组 件和技术支持的在微软及其合作伙伴间活跃交流所带来的各种益处四1 。 天津- 丁业人学顾j ：论文 2 2 2b e aw e b l o g i cl i q u i dd a t a 数据库整合平台 b e al i q u i dd a t af o rw e b l o g i c 简化了对分散信息的访问和集中，为诸如 供给链管理、客户服务和支持、以及能够获取全面信息的决策支持系统等复杂应 用，提供实时的可视化手段。b e al i q u i dd a t af o rw e b l o g i e 这种产品使i t 部 门能够实时地从企业内部、外部的众多数据源轻松地集中数据，并根据业务用户 的不同需要对集中数据进行定制。 b e al i q u i dd a t af o rw e b l o g i c 提供一种经济高效、标准的方法来快速集 中和显示从任何数目的数据源( 包括w e bs c t v i c e s 、数据库、平面文件、x m l 文 件、各种应用和w e b 站点) 获得的逻辑视图。这样就使开发人员能够重复使 用跨应用的信息，而无需理会底层数据的复杂性。 b e al i q u i dd a t af o rw e b l o g i e 特点： ( 1 ) 实时的数据访问 1 全局的数据访问：凭借x m l 翻译器和优化的x m l 查询。 2 抽象数据视图：允许轻松访问共享的业务实体。 ( 2 ) 共享企业资产。 3 可重复使用的视图：数据视图以被定制和重复使用的服务的形式展现出 来。 4 充分利用专业技术资源：数据视图一旦被创建完成和发布之后，就可以 作为简单的服务供所有访问数据视图的开发人员多次共享，从而使对数 据的访问对开发人员来讲完全透明。 ( 3 ) 提升开发人员生产力 1 以w e bs e r v i c e s 形式共享和使用。 2 显着地减少编码量。 ( 4 ) 基于标准 b e al i q u i dd a t a 充分利用了b e aw e b l o g i cs e r v e r 的强大功能，采用所 有的j 2 e e 和x m l 标准，其中包括像x q u e r y 这样新的x m l 标准。遵循这些标 准能够很好地保护您的投资。 b e al i q u i dd a t af o rw e b l 0 9 i e 性能优势列表： ( 1 ) d a t av i e wb u i l d e r 一一种集成的设计环境，用于设计、开发和测试统一的 x m l 数据视图( 使用x q u e r y 语法定义) 。 ( 2 ) 分布式查询规划和优化一这些先进的功能用于有效地从不同的数据源集成 和转化数据。 ( 3 ) 实时访问多种数据源一随时响应从遗留、关系型、x m l 以及企业应用系统 集成数据的要求。 1 2 第二章肖前主流数据整合技术综述 ( 4 ) 安全访问一定义对视图和底层数据源的访问控制。 b e al i q u i dd a t af o rw e b l o g i c 能够赋予t y , j 项目非凡的价值： 1 门户开发。 2 应用开发和部署。 3 企业集成。 2 2 3 i b m 的数据库整合平台 ( 1 ) i b mw e b s p h e r ed a t a s t a g e 数据整合的核心内容是从数据源中抽取数据，然后对这些数据进行转化，最 终加载的目标数据库或者数据仓库中去，这也就是我们通常所说的e t l 过程。 i b mw e b s p h e r ed a t a s t a g e 为整个e t l 过程提供了一个图形化的开发环境。传 统的数据整合方式需要大量的手工编码，而采用i b mw e b s p h e r ed a t a s t a g e 进 行数据整合可以大大的减少手工编码的数量，而且更加容易维护。数据整合的核 心内容是从数据源中抽取数据，然后对这些数据进行转化，最终加载的目标数据 库或者数据仓库中去，这也就是我们通常所说的e t l 过程1 。 i b mw e b s p h e r ed a t a s t a g e 能够直接连接非常多的数据源，包括： 1 文本文件 2 x m l 文件 3 企业应用程序，比如s a p 、s i e b e l 、o r a c l e 以及p e o p l e s o f t 4 几乎所有的数据库系统，比如d b 2 、o r a c l e 、s q ls e r v e r 、i n f o r m i x 等 5 w e bs e r v i c e s 6 w e b s p h e r em q ( 2 ) i b m 的d b 2 r e l a t i o n a lc o n n e c t r e l a t i o n a lc o n n e c t 是i b m 在数据集成方面的又一个产品，它和d b 2 通用数 据库版本7 e e 或者e e e 一起工作，通过合并和管理其它关系数据库系统或者d b 2 中的数据来对商业数据性能进行优化。它可以查询和抽取以下几种数据库中的数 据信息： 1 i n f o r m i xd a t as o b r c e s 2 o r a c l ev 7 ，v 8 ，v 9 id a t as o u r c e s 3 s y b a s ev 1 0 ，v 11 , a n dv 1 2 ( m i c r o s o f tw i n d o w sn ta n da i x ) 4 m i c r o s o f ts q ls e r v e rv 6 5 v 7a n d2 0 0 0d a t as o u r c e so nw i n d o w sn t 2 2 4j b d i 数据整合平台 j b d i 是一个国产的跨平台数据抽取、转换、集成、装载的通用软件系统， 天津t 业人学硕? l ：论文 可运行于多种软硬件平台，支持海量数据处理和多语言字符集，可实现不同类型 数据库间的数据互通。j b d i 完全通过参数文件来实现系统处理流程配置，同时 提供灵活的外部编程接口以支持复杂的应用。 青鸟数据整合平台j b d i 主要可应用于如下的几个领域： 1 商业智能系统( b i ) 2 企业应用集成( e a i ) 3 企业数据迁移( e d m ) 青鸟数据整合平台( j b d i ) 包含了一系列工具：数据抽取( j b d ie x t r a c t ) 、 文件装载( j b d it x t l o a d ) 、数据转换( j b d it r a n s f e r ) 、数据加载( j b d i d w l o a d ) 、数据质量检查( j b d iq u a l i t y ) 、代码维护( j b d ic o d e m a n a g e r ) 、总控管理中心( j b d ia d m i n ) 等。这些工具既可以组合起来作 为企业级数据整合平台，也可以单独使用。 2 2 5c e n d p 2 0 中关智能数据平台 c e n d p 2 0 是c e n g r p 2 0 套件中的一个产品。c e n g r p 2 0 是一个企业智能套 件，是一个基于企业级应用和应用整合与支持的平台软件。它包括以下五个产品： 1 c e n e p 2 0 ( 中关企业门户平台) 2 c e n d p 2 0 ( 中关智能数据平台) 3 c e n e a l 2 0 ( 中关应用整合平台) 4 c e n c m s 2 0 ( 中关内容管理平台) 5 c e n b p m 2 0 ( 中关流程整合平台) c e n d p 2 0 具有强大的数据展现功能，可以将访问到的数据进行分析、整理， 并将结果以报表方式展现。此外，它还提供虚拟数据库技术。虚拟数据库是物理 数据经由元数据定义，映射而成的逻辑数据库。通过使用虚拟数据库，可以在不 改变原来数据结构的基础上，使得数据整合方案更简单经济，同时获得实时数据， 有利于支持管理决策。 2 3 以上几种数据整个平台的比较 以上几种数据整合平台都是面向企业级别的，因此功能非常之强大。但是由 于商业的原因，很多平台仅仅对自己的数据库系统支持最好，有的平台是作为对 其它产品的增值服务提供的，还有的平台依赖于特定的w e b 服务器。笔者认为， 作为校园网数据整合，并不一定要面向企业级别。而且，整合系统应该完全独立 于各种平台，以备以后的系统修改维护。 1 4 第三章m v c 架构、中间件技术、s p r i n g 技术介绍 第三章m v c 架构、中间件技术、s p r i n g 技术介绍 3 1m v c 设计模式 3 1 jm v c 的结构 m v c 是m o d e