（管理科学与工程专业论文）异构数据库集成及其应用的研究.pdf

哈尔滨理工大学管理学硕士学位论文 异构数据库集成及其应用的研究 摘要 随着计算机网络和数据库技术的不断发展，陆续出现了各式各样的数据 库管理系统。一个大型的企、事业单位，常有很多分支机构，由于工作的侧 重点不同，各分支机构可能使用不同的数据库管理系统来管理数据，这样各 机构之间就需要有大量的信息交换网络上存在着大量异构的数据库，它们 的异构性表现在多个方面，如数据的类型不同，数据的表示不同，管理数据 的软件不同，以及系统运行的环境不同。随着企业合作和政务电子化的发 展，许多信息系统需要访问这些异构数据库中的数据。因此，需要一种新的 系统框架来解决多个异构数据库的信息集成，其前提是必须对用户透明，并 保持本地数据库的自治性。 可扩展标记语言x m l 具有很强的结构和语义表达能力；利用x m l 进 行数据集成具有很好的扩展性。x m l 已经成为i n t e m e t 上企业应用的标准 数据交换格式，它的可扩展性使得建立不同数据源数据集成的通用模型交得 容易。利用x m l 建立异构数据库集成模型的关键是建立x m l 与数据库之 间的映射关系。目前x m l 有两种映射方法是非常普遍的：一种是基于模板 的映射方法；另一种是基于模型的映射方法。以上两种方法都存在着一些局 限性，第一种方法只支持扶关系数据库到x m l 文档的单向映射，第二种方 法对x m 巳文档的结构有一些限制。 本文在研究现有的基于x m l 的数据映射算法和模型的基础上，对传统 的异构数据集成技术进行了比较分析。提出了一种基于元素树的数据映射方 法，该方法可以高效地实现x m l 文档与关系型数据的相互转换。以齐齐哈 尔大学校园一卡通项目为背景，着重从数据库应用的角度出发，目的是为了 解决学校与银行以及校内各部门之间所存在的异构数据库之问的关联数据查 询和共享。 关键词异构数据库；映射；元素树；数据集成 竺玺童矍三奎茎兰垩耋罂圭兰竺兰耋 t h er e s e a r c ho f h e t e r o g e n e o u s d a t a b a s e i n t e g r a t i o na n da p p l i c a t i o n a b s t r a c t w i t h 也ec o n t i n u a l d e v e l o p m e n to fc o m p u t e rn e t w o r ka n dd a t a b a s e t e c h n o l o g y , av a r i e t yo f d a t a b a s em a n a g e m e n ts y s t e m ( d b m s ) h a sb e e n p r e s e n t e di ns u c c e s s i o n al a r g e - s c a l ee n t e r p r i s eu s u a l l yh a sl o t s o fb r a n c h 0 f f i c e sa n dt h e ym a yu s ed i f f e r e n td b m st om a n a g ed a t ab e c a u s eo fd i f f e r e n t k e ye m p h a s i si nw o r k s ol a r g en u m b e r so fi n f o r m a t i o ne x c h a n g e sa r ew a n t e d a m o n gd i f f e r e n to f f i c e s ，t h e r ee x i s tav a r i e t yo fd a t a b a s e sw h i c h 眦 h e t e r o g e n e o u si nt h a tt h e ys t o r ed i f f e r e n tt y p e so fd a t a , r e p r e s e n td a t ad i f f e r e n t l y , u s ed i f f e r e n ts o f t w a r et om a n a g et h ed a t aa n dl a i no nd i f f e r e n tc o m p u t e rh a r d w a r e w i t ht h ef a r t h e rd e v e l o p m e n to fb u s i n e s sc o l l a b o r a t i o na n dg o v e r n m e n t - a f f a i r e l e c t r o n i c a lp u b l i s h i n g ，t h ei n f o r m a t i o ns y s t e m so f t e nr e q u i r e sa c c e s st od a t a f r o mm u l t i p l es u c hd a t a b a s e s t h e r e f o r e ，an e ws y s t e ma r c h i t e c t u r ei sr e q u i r e dt o m a k et h ei n f o r m a t i o n s h a r i n gf r o mm a n yh e t e r o g e n e o u sd a t a b a s e s 。i na t r a n s p a r e n tw a y , w h i l ep r e s e r v i n gt h e i ra u t o n o m y x m lh a sas t r o n gc a p a c i t yo fd e s c r i b i n gs t r u c t u r a la n ds e m a n t i cs t r u c t u r a l i n f o r m a t i o n ；d a t ai n t e g r a t i o nc o u r s eh a sab e t t e re x p a n s i b i l i t y 、】i r i t ht h eu s eo f x m l x m lh a se m e r g e da st h ed o m i n a n ts t a n d a r d d a t ae x c h a n g ef o r m a tf o r i n t e m e t - b a s e db u s i n e s sa p p l i c a t i o n s t h ee x t e n s i b i l i t yo f x m la l l o w st h ec r e a t i o n o fg e n e r i cm o d e l st h a ti n t e g m t ed a t af r o md i f f e r e n ts o u r c e s 啊k e yt or e a l i z e i n t e g r a t i o no fh e t e r o g e n e o u sd a t a b a s e s0 nx m li s t oe s t a b l i s ham a p p i n g a p p r o a c h a tp r e s e n t t h e r ea r et w om a p p i n ga p p r o a c ho nx m ld o c u m e n t t h e o n ei sb a s e do nt e m p l a t e t h eo t h e ri sb a s e do nm o d e l t h et w oa p p r o a c h e se x i s t s o m el o c a l i z a t i o n ，t h ef i r s to n eo n l ys u p p o r t sm a p p i n gf r o mr e l a t i o n a ld a t a b a s e s t 0x m l ，t h es e c o n dh a ss o m er e s t r i c tt ox m ld o c a u n e n t t i l i st h e s i s b e g i n s w i t ha c o m p a r e o nt r a d i t i o n a l a p p r o a c h e s o f h e t e r o g e n e o u sd a t a b a s e si n t e g r a t i o n w ea n a l y z e dt h ep r e s e n ta l g o r i t h m sa n d m o d e l so nt r a n s f o r m a t i o no fx m ld o c u m e n ta n d0 t h e rf o r m a td a t a , p r e s e n t e d 匝 i i 竺玺鎏登三奎兰! 塞：罂圭兰堡兰兰 a p p r o a c hb a s e do nd t de l e m e n t - t r e e i t h ea p p r o a c h , t h ee l e m e n t - t r e ei su s e d t h em a p p i n gb e t w e e nx m ld o c u m e n ta n dc o l u m n si nt h ed a t a b a s e sp r o v i d e db y t h eu s e rq u i c k l y i no r d e rt or e s o l v eq u e r ya n ds h a r i n go fa s s o c i a t e dd a t aa m o n g t h ee x i s t i n gh e t e r o g e n e o u si ns c h o o l ，b a n ka n de a c hb r a n c ho f f i c ei ns c h o o l ，t h i s p r o j e c ta t t a c h e sm d s ti m p o r t a n c et ot h ea p p l i c a t i o no fd a t a b a s et a k i n gt h ei t e m c o n c e r n i n go n e c a r d - t h r o u g hs y s t e mi nc a m p u so fq i q i h a e ru n i v e r s i t ya st h e b a c k g r o u n d k e y w o r d s h e t e r o g e n e o u sd a t a b a s e , ；m a p p i n g ；e l e m e n t t r e e ；d a t ai n t e g r a t i o n m - 哈尔滨理工大学硕士学位论文原创性声明 本人郑重声明：此处所提交的硕士学位论文异构数据库集成及其应用的研究，是本 人在导师指导下，在哈尔滨理工大学攻读硕士学位期间独立进行研究工作所取得的成果。 据本人所知，论文中除已注明部分并不包含他人已发表或撰写过的研究成果。对本文研究 工作做出贡献的个人和集体，均已在文中以明确方式注明。本声明的法律结果将完全由本 人承担。 作者签名：刁癌；炙日期：一哆) 年月矽日 哈尔滨理工大学硕士学位论文使用授权书 异构数据库集成及其应用的研究系本人在哈尔滨理工大学攻读硕士学位期间在导 师指导下完成的硕士学位论文。本论文的研究成果归哈尔滨理工大学所有，本论文的研究 内容不得以其它单位的名义发表。本人完全了解啥尔滨理工大学关于保存、使用学位论文 的规定，同意学校保留并向有关部门提交论文和电子版本，允许论文被查阅和借阅。本人 授权哈尔滨理工大学可以采用影印、缩印或其他复制手段保存论文，可以公布论文的全部 或部分内容。 本学位论文属于 保密口，在年解密后适用授权书。 不保密口 ( 请在以上相应方框内打) 作者魏墨芭褪 导师签名： 日期：一噼歹月拶日 一 日期：夕声“7 。日 ， 哈尔滨理工大学管理学硕士学位论文 1 1 论文背景 第1 章绪论 信息系统集成是企、事业信息化发展的必经阶段，即使在充分进行信息系 统规划的单位，由于时间的变迁，人事的变更，不可避免存在大量的冗余数 据，形成了若干“信息孤岛”现象，如何解决这些问题是每个单位都不得不面 对的“显然，信息系统集成就是为了解决。信息孤岛”现象，充分达到数 据共享，它的效果好坏直接影响到管理效率和效果，对信息化的发展有着重要 影响随着信息化进程的发展，我国企、事业的信息化也进入了新的发展阶 段，如何在日益激烈的竞争中获得更多竞争优势，这要求企、事业单位必须提 高管理效率、加快管理决策速度。信息系统集成的核心内容是数据的集成，将 这些存在于信息孤岛中的数据有效的集成在一起，从而方便管理决策的制定和 提高管理的效率。由于企、事业长期发展存在大量的异构数据库，如何进行这 些数据的集成，是企事业单位不得不面对的现实问题。“1 。 在信息化时代和全球经济竞争的新环境下，尤其是企业电子商务的蓬勃发 展，数据资源的共享已经成为一个热门话题。很多企业需要将d b m s ， m i s ，o a 数据集成起来，构成企业管理决策的网络信息平台。以往的信息集 成系统，由于集成后的信息并不能用一种标准化的数据形式来表现，而是一种 系统自定义的数据格式，严重影响了各系统之间的信息交换，且实现过程复 杂，成本较高，很难得到广泛的应用，因此迫切需要一种新的数据集成系统。 这种系统不仅能集成传统的数据库中的结构化数据，而且还可以集成在w e b 上应用日益广泛的半结构化数据和非结构化数据，不仅可以集成传统数据，而 且可以集成多媒体数据，不仅可以集成己有数据源中的数据，丽且可以集成不 断涌现的新数据源中的数据。这就要求数据集成系统必须具有可扩充性，可以 实现数据的“即插即用”，这是传统数据集成技术很难实现的“。 目前很多数据库产品使用转换器( g a t e w a y ) 实现互操作，例如o r a c l e 的 d e d i c a t e dt r a n s p a r e n tg a t e w a y 和s y b a s e 的o m n is q lg a t e w a y 以及s q ls e r v e r 的d t s ，但转换器只能连接两个数据库系统，局限性较大。目前研究较多的是 多数据库系统，多数据库的集成问题早在7 0 年代中期即被提出，开始采用全 局模式的集成方法，后来m c l e o d 等人提出了联邦式数据库系统的概念，由于 哈尔滨理工大学管理学硕士学位论文 缺乏必要的标准，联邦数据库系统只能在一定的限制条件( 鲡对加入联邦系统 的d b m s 和各d b m s 间的互操作加一定的限制) 下实现，难以实现各种数据源 的灵活的数据集成。因此，联邦式数据库目前还不能成为一神通用的数据集成 方法。 x m l ( e x t e n s i b l em a r k u pl a n g u a g e 可扩展标记语言) 技术的出现使得对各种 不规则信息、规则信息的标准化描述成为可能，并正在逐步成为h n c m e t 中描 述数据的标准，在讧l 技术上建立企业信息集成平台，是一种信息技术发展 必然的趋势”。x m l 作为一种可扩展标记语言，其自描述性使得x m l 本身非 常适用于异构应用间的数据交换，而且这种交换不以预先规定的数据结构定义 为前提，因此具备很强的开放性和广阔的应用前景。而现有的几乎所有大型应 用系统都是和数据库相关联的，所以以x m l 为中间载体进行数据交换和信息 共享必然要和数据库相联系；同时，基于x m l 的数据交换，实现数据库的 x m l 数据双向存取，才能将x m l 数据同具体应用程序集成，进而使之同现有 的业务规则相结合，最后真正实现基于x m l 的分布式数据交换与信息集成。 所以，x m l 技术和数据库技术的结合就成为一种趋势，在x m l 文档和数据库 之间实现数据的双向传输是x m l 技术应用研究的热点之一，基于x m l 的数 据库应用也迅速发展起来。 1 2 研究的主要内容 1 2 1 问题的提出 x m l 能够描述不规则数据，能够从不同的来源集成数据。将多个应用程 序所生成的数据纳入同一个) m l 文件并传送到客户机上，被解析出来的x m l 数据可以在本地被编辑或操纵。因此，把) 函几作为集成层的数据描述工具和 转换工具，来构造数据集成的中间件，不仅能适合w e b 发展的需要，还将简 化w e b 数据源集成系统的实现。系统实现框架如图1 1 所示。在此模型中，用 户对信息的访问和操作不是直接作用于各数据源，而是通过x m l - e n a b l e d 的 “虚拟数据库( v d bv i g t u a ld a t a b a s e ) ”来实现。通过x m l ，可以集成和统一来 自不同或异质数据源的信息，还可以为不同类型或持有不同设备。 在图1 一l 中系统分为三层结构，由下至上各层的基本服务功能如下： 信息源层，处于最底层，是系统的数据提供者，在此应该包括各种类型的 哈尔滨理工大学管理学硕士学位论文 数据库、文件、多媒体信息等。 x m l 中间件层，提供必要的数据转换功能或工具，进行数据与x m l 格式 的相互转换，将x m l 数据存储到数据库中，并维持x m l 数据空间与各异构 数据源之间的映射关系。 应用层，即用户界面层，根据具体的应用和用户计算环境，采用合适的信 息访问技术或应用软件。 用户应用程序一 1 【 x v l lf n a b l e di a f o r m a t i 血a 勘纠 iii 嚣l i = l 一j w - a p p 曹 ()c j(二 分散、异构的数据源p ，ljl + 一应用j 和 一中问j l p 一信息谖层一 图1 - 1 基于x m l 的数据集成框架 f i g u r e l - it h ef r a n l eo f d a t ai n t e g r a t i o nb a s e dx m l 图1 - 1 所示的模型中，应用层和信息源层从实现角度来看，相对比较简 单。x m l 中间件层在数据管理上我们采用“虚拟集中”的方式进行，也即所 有数据的变化请求均需通过x m l 中间件层进行存取访问，而中间件层并不存 储具体的数据，只存储所有数据的集成模式。具体的来讲，每个异构信息由 一个传统数据源和一个。外套( w r a p p e r ) ”构成，它通过一个x m l 接口( 引擎) 作为底层d b m s 或其它数据源的包装。在不改变服务器中源d b m s 或其它数 据源的前提下，只需用一种统一的可扩展语言x m l 为各种服务器做一件外观 统一的“外套( w r a p p e r ) ”，就可构成一个“虚拟数据库服务器”，为系统提供虚 拟数据库服务。 在x m l 中间件层，主要涉及两个问题：一个是针对每个数据源的 w r a p p e r 即完成某种类型数据源与数据库之间的双向映射：另一个是x m l - e n a b l e d 的集成数据( 虚拟数据库) 公共模型建立及管理。 哈尔滨理工大学管理学硕士学位论文 异构数据库与x m l 之间的双向殃射目前有两种模型是非常普遍的，一种 是被许多中间件包在转换x m l 文档成关系数据库数据所使用到的模型，就是 将x m l 文档当成一个单独的表( t a b l e ) 对象或者一系列表对象。另一种普遍的 数据模型是x m l 文档中的对象树，在这种模型下，元素通常对应于一个对象 或者属性。这种模型可以直接映射成面向对象的数据库，当然借助传统的对象 一关系映射技术和对象视图也可以映射成关系数据库。以上两种方法都存在着 一些局限性，第一种对x m l 文档的格式要求较严，第二种则牵涉到面向对象 的数据库，总体上较为复杂”1 。本文利用规定x m l 文档格式和内容的d t d ， 结合以上两种方法，实现x m l 文档和关系数据库的双向映射。 1 2 2 论文的研究内容 1 基于元素树的数据映射方法本文在研究了己有的数据映射的基础 上，主要探讨了如何实现数据库与x m l 文档之间的双向映射，提出了基于元 素树的数据映射方法。 2 研究了针对关系数据库的x d w r a p p e r 系统 3 校园一卡通异构数据库解决方案针对齐齐哈尔大学校园一卡通建设 过程中的异构数据库问题设计相应的解决方案。 1 2 3 论文组织 本文在第二章中研究了异构数据库系统及现有的数据库集成方法。第三章 介绍被广泛运用的可扩展标记语言x m l 。第四章分析了两种现有的x m l 和数 据库的转换方法，并详细地论述了基于元素树的数据映射方法。第五章研究有 关x m l 文档与结构化数据转换的模型。第六章研究齐齐哈尔大学校园一卡通 中的异构数据库集成解决方案。 哈尔滨理工大学管理学硕士学位论文 2 1 概述 第2 章异构数据库系统 企业在发展过程中积累了大量数据，并为存储和管理这些数据不断投资。 然而，由于实施数据管理系统的阶段性，技术性以及其它经济和人为因素的影 响，以至即使在一个单独企业，采用的数据管理系统也大不相同，从简单的文 件数据库到复杂的网络数据库，它们构成了企业的异构数据源。尽管这些数据 管理系统能够满足数据存储和管理要求，但是在许多情况下，为完成一项工 作，企业应用可能需要访问分布在网络不同位置上的多个数据管理系统中的数 据而原有的某数据管理系统并不能提供这种支持，需要一个强大的系统能够 集成存在于分布数据源的数据。 不仅如此，随着生存环境的不断变化，企业在把握机遇的同时也面临着许 多挑战。网络的发展使企业逐渐从一个孤立结点发展成为不断与网络交换信息 和进行商务活动的实体，企业数据集成也从企业内部集成走向了企业问集成。 现在的企业比以往任何时候都需要将内部数据进行发布和交换，这必然导致越 来越多的企业应用需要访问各种异构数据源，并且这些数据源可能分布在网络 上任何地方。为了满足这种需求，必须有一种系统能够支持异构数据源的数据 集成。 2 1 1 异构数据库系统与异构数据整合集成模式 异构数据库系统是相关的多个数据库系统的集合，可以实现数据的共享和 透明访问，每个数据库系统在加入异构数据库系统之前本身就已经存在，拥有 自己的d b m s 咖。异构数据库的各个组成部分具有自身的自治性，实现数据共 享的同时，每个数据库系统仍保有自己的应用特性、完整性控制和安全性控 制。 异构数据库系统的异构性主要体现在以下几个方面： 计算机体系结构的异构。各个参与的数据库可以分别运行在大型机、小型 机、工作站、p c 或嵌入式系统中。 基础操作系统的异构。各个数据库系统的基础操作系统可以是u n i x ， l i n u x ，w m d o w sn t 等。 哈尔滨理工大学管理学硕士学位论文 d b m s 本身的异构。可以是同为关系型数据库系统的o r a c l e ，s q ls e r v 盱 等，也可以是不同数据模型的数据库，如关系、层次、网络、面向对象型数据 库共同组成一个异构数据库系统。 异构数据库集成的目的是实现不同数据库之间的数据信息资源、硬件设备 资源和人力资源的合并和共享。为企业综合应用系统提供集成的、统一的、安 全的、快捷的信息查询、数据挖掘和决策支持服务。为了满足这个需求条件， 整合、集成后的数据必须保证一定的集成性、完整性、一致性和访问安全性。 1 集成性各种原先孤立的业务信息系统数据经过整合、集成后，应该 达到查询一个综合信息不必再到各个业务系统进行分别查询和人工处理，只要 在集成后的数据信息仓库中就可以直接访问到，即整合、集成后的综合信息仓 库的数据是各异构业务数据的有机集成和关联存储( 整合、发掘出各业务数据 间的内在关联关系) ，而不是简单、孤立的堆放在一个数据库系统里。 2 完整性包括数据完整性和约束完整性两方面。数据完整性是指完整 提取数据本身；约束完整性，约束是指数据与数据之问的关联关系，是唯一表 示数据问逻辑的特征。保证约束的完整性是良好的数据发布和交换的前提，可 以方便数据处理过程，提高效率。 3 一致性不同业务信息资源之间存在着语义上的区别。这些语义上的 不同会引起各种不完整甚至错误信息的产生，从简单的名字语义冲突( 不同的 名字代表相同的概念) ，到复杂的结构语义冲突( 不同的模型表达同样的信 息) 语义冲突会带来数据集成结果的冗余，干扰数据处理、发布和交换。 整合、集成后的数据应该根据一定的数据转换模式和商业规则进行统一数 据结构和字段语义编码转换。 4 访问安全性由于数据库资源可能归属不同的单位，各业务数据系统 有着各自的用户权限管理模式，访问和安全管理很不方便，不能集中、统一管 理，所以保证在访问异构数据源数据基础上保障原有数据库的权限不被侵犯， 实现对原有数据源访问权限的隔离和控制，就需要设计基于整合、集成后的综 合信息仓库的统一的用户安全管理模式来解决此问题。 针对异构数据源的整合和集成需求，可以采用数据仓库技术和数据抽取工 具来实现，但由于数据仓库系统的昂贵的投资费用、项目实施周期长、项目成 功率风险大等原因制约了数据仓库在中、小型企业或数据积累少的企业解决异 构数据源整合和集成需求的应用；有些数据库管理系统自带的数据转换工具， 能低成本地解决异构数据源整合和集成问题，但在具体项目实际应用过程中， 也具有一定的局限性。数据库集成中关键的一点就是以局部数据库模式为基 哈尔滨理工大学管理学硕士学位论文 础，建立全局的数据模式或全局外视图。这种全局模式对于建立高级的决策支 持系统尤为重要。 异构数据整合与集成模式框架如图2 1 所示： 数 据 蠢 询 爨 致 鼍 岸 层 传输层 上t 因圈因一圜 iiii 崮豳囱由 图2 - 1 异构数据库系统的框架图 f i g u r e 2 - 1f r a m eo f h e t e r o g o u sd a l a 弧s y s t e m 此异构数据源整合与集成模式使得企业能够多种业务应用系统、多种异构 数据源并存，并实现异构数据源的动态及时、互访和信息的挖掘及综合利用， 即保护了企业的原有信息化投资，又提供了应用系统由旧向新、系统平台由低 向高平滑过渡，能够满足企业低成本、阶段性、可扩展性信息系统建设的需 要。 同时能够满足企业低成本投入，又能实现所需信息服务目标，并支持更多 异构数据源的整合和集成模式和平台需要进一步探讨和研究开发。 2 1 2 异构数据库分类 单一的集中式数据库为应用程序提供一个集中的同构的数据视图。其中的 数据是按照数据库中数据定义语言d d l 定义的模式( s c h e m a ) 构造起来的，并 哈尔滨理工大学管理学硕士学位论文 且它们是按照数据操纵语言d m l 定义的操作符操作的。 对于己经存在的各种数据库，人们必须要处理它们在系统( 如d b m s ) 一级 的异构及语义一级上异构( 如模式) ，同时还要考虑到它们是分布式的数据库， 管理及访问异构的数据库还必须考虑到要通过w w w 连接这些异构的数据 库，将它们组织成联邦数据库( f c d e r a t c dd a t a b a s e ) 以及多数据库系统( m u l t i d a t a b a s e ) 或构造数据仓库( d a mw a r e h o u s e ) 。不管方法是如何实现的，它们共同 的一点就是要使组件数据库( c o m p o n e n td a t a b a s e ) 保持其自治性，即其局部定 义、局部应用及与其它数据库交换数据的局部策略应能保持不变。 传统上，异构数据库是以模式的类型、数据共享的广度及它们支持的访问 数据的工具划分的。 异构数据库中的模式有以下两种： 局部模式。局部数据库的d d l 表达的组件数据库的模式。 全局模式。用共同的d d l 所描述，它提供了一个所有组件数据库统一的 视图。 因此，异构数据库系统中的每一个数据库在向其它数据库输出其模式的界 面时，能向其它数据库提供其模式的一个子集，同时每一个数据库也能输入其 它数据库输出的用其局部d d l 表述的模式。异构数据库系统中的全局模式可 以是各局部数据库输出的模式的松散的集合( 松散耦合) ，也可以是一个完全整 合的模式( 紧密耦合) 。异构数据库系统中的局部视图既可以是输入模式的松散 集合，也可以是所有输入模式紧密耦合而成的。如，联邦数据库有全局模式， 可以提供给用户一个统一的视图从而使用户与组件数据库分离；数据仓库中由 全局模式定义的数据库中充填的数据则由组件数据库提供：多数据库系统则是 一些组件数据库的松散集合而没有全局模式。 异构数据库系统中数据共享可有几个层次： 在组件数据库中连接指定的数据项； 组件数据库中模式相关的数据项： 数据库之间单一的数据项连接( 如：超链接h y p c r t c x t ) 并不要求遵从相互关 联的数据库的模式。而对模式相关的数据项，数据的连接必须与这些相关的模 式中的约束保持一致，就如集中式数据库中的参照完整性约束一样。 异构数据库系统中数据访问方式可划分如下： 在组件数据库中浏览数据； 查询一个集中的数据仓库； 查询多数据库系统； s - 哈尔滨理工大学管理学硕士学位论文 在组件数据库中浏览数据通常基于w w w 超链接。从一个数据库中的数 据项跳转到另一个数据库中的数据顶，这不要求模式上的相关约束。查询数据 仓库就相当于查询一个单一的数据库其组件数据库的数据是按照数据仓库的 全局模式对外部表现的。查询多数据库系统时是将一个全局查询分解为对各组 件数据库的局部查询，并将各局部查询提交各组件数据库实现。作为一种选 择，也可以为异构数据库系统构造一个多数据库查询语言，从而允许直接对组 件数据库的各元素提出查询。 异构系统集成就是要求异构环境下两个或两个以上的实体，尽管它们实现 的语言、执行的环境和基于的模型不同，但它们可以相互通信和协作，以完成 某一特定的任务。这些实体包括应用程序、对象、系统运行环境等。互操作提 供了不同系统之间，应用程序之间信息的有意义的交换。 2 1 3 异构数据库的几个技术问题 异构数据库集成一般应考虑如下几方面技术问题： 1 全局数据模式及全局查询语言因为集成使用的各局部数据库( l d b ) 的 模式可能互不相同，通过建立全局数据模式，使用户感觉就像使用一个单一数 据库一样，从而使用户透明地使用异构数据库。全局查询语言包括数据定义语 言d l ) 和数据操纵语言( d m l ) ，它们是对应于全局模式的。 2 识别数据匹配性由于相同的对象在不同的d b m s 中也可能有诸如类 型、长度等的不同，因而在集成局部数据库管理系统时，要识别这些不匹配的 数据，并在全局数据字典中标识它们。 3 全局数据字典描述整个网上数据库的定义及分布情况，包括全局表 对应的局部表名、局部表存在的结点名等，它是全局查询的基础。 4 查询分解及翻译从客户端发出的全局数据查询被分解成对各局部数 据库的子查询，再由相应的l d b m s 完成局部查询。因为l d b m s 的查询语言 与全局查询语言可能有较大的不同，因此分解出的子查询必须翻译为各 l d b m s 的查询语言。 5 查询优化网上传输的速度是制约查询效率的关键因素，而各l d b m s 的查询方式、速度的不同又使处理变得更为复杂。特别是对涉及到多个 l d b m s 的连接查询提高处理效率尤为重要。 6 查询结果处理对于来自各l d b m s 的局部查询结果要进行汇总，并 按一定格式进行存储和显示。 哈尔滨理工大学管理学硕士学位论文 7 安全控制当异构的d b 被集成到联合使用的系统中以后，要保证原 来某一系统中的保密数据不能被非授权的用户访问，被纳入到全局模式的各局 部数据库不能被其所在场所的用户随意修改。 8 数据转换包括单结点上不同数据库的转换，网上任意两个结点上不 同u ) b m s 间数据库的转换。 2 2 异构数据库系统的数据共享 对于异构数据库系统，一是实现数据库转换；二是实现数据的透明访问。 实现数据集成应当达到两点“”： 2 2 1 数据库转换 数据库转换是将数据库转换成用户熟悉的等价模型，然后根据需要再装入 数据，使用户利用自己熟悉的数据库系统和熟悉的查询语言方便地使用以实现 数据共享。在转换的过程中，有时要想实现严格的等价转换是比较困难的，且 有时对某一用户是语义等价的，面对另一用户却非语义等价，所以在源数据库 和目标数据库两种模型之间可能存在各种语法和语义上的冲突，这些冲突可能 包括“： 格式冲突；同一种数据类型可能有不同的表示方法和语义差异，这时需要 定义两种模型之间的交换函数。 命名冲突：即源模型中的标识符可能是目的模型中的保留字，这时就需要 重新命名。 结构冲突：两种数据库系统之闻的数据定义模型不同，如分别为关系模型 和层次模型，那么需要重新定义实体属性和联系，以防止属性或联系信息的丢 失。 总之，在进行数据转换后，一方面源数据库模式中所有需要共享的信息都 转换到目的数据库中，另一方面这种转换又不能包含冗余的关联信息。 数据库转换工具可以实现不同数据库系统之间的数据模型转换，需要进一 步研究的问题是：如果在数据库转换的同时也进行数据定义模式转换和数据转 换，就可能引起同一数据集合在异构数据库系统中存在多个副本，因此需要引 入新的访问控制机制。在保证各个参与的数据库自治、维护其完整性、安全性 的基础上，对于异构数据库系统提供全局的访问控制、并发机制和安全控制。 如果数据库转换只进行数据定义转换，不产生数据的副本，那么在新的目 窒玺堡翌三查兰箜矍茎竺圭兰竺兰吝 的数据库定义模型的框架下访问数据，实现上仍是对源数据库系统中数据盼访 问。这时利用新的数据库系统中的数据处理语言实现的事务，不能直接访问源 数据库，必须进行事务级的翻译才可以执行。目前，主要有以下几种数据转换 方式： 1 使用软件工具进行转换一般情况下，数据库管理系统都提侠将外部文 件中的数据转移到本身数据库表中的数据装入工具。比如o r a c l e 提供的将外部 文本文件中的数据转移到o r a c l e 数据库表的数据装入工具s q ll o a d e r ， p o w e rb u i l d e r 中提供的数据管道( d a t ap i p e l i n e ) 。 这些数据转移工具可以以多种灵活的方式进行数据转换，而且由于它们是 数据库管理系统本身所附带的工具，执行速度快，不需要o d b c 支持，在机 器没有安装o d b c 的情况下也可以方便地使用。 但是，使用这些数据转换工具的缺点是它们不是独立的软件产品，必须首 先运行该数据库产品的前端程序才能运行相应的数据转换工具：通常需要几步 才能完成，且多用手工方式进行转换。如果目的数据库不是数据转换工具所对 应的数据库，数据转换工具就不能再使用。 2 利用第三方数据库的转换如果是大型数据库，因为数据量相对要庞大 得多，如果缺少工具软件的支持，这时就必须借助其他较小的桌面数据库如 a c c e s s 等。即在实现两个具体数据库之间的转换时，依据关系定义、字段定 义，从源数据库中读出数据通过中间数据库灌入到目的数据库中。如图2 - 2 所 示： 图2 - 2 利用中间数据库的转换 这种利用中间数据库的转换办法，所需转换模块少，且扩展性强，但缺点 是在实现过程中比较复杂，转换质量不高，转换过程长。 3 设置传递变量的转换借助数据库应用程序开发工具与数据库连接的强 大功能，通过设置源数据库与目的数据库两个不同的传送变量，同时连接两个 数据库，实现异构数据库之间的直接转换。这种办法在现有的数据库系统下扩 哈尔滨理工大学管理学硕士学位论文 展比较容易，其转换速度和质量大大提高。如图2 3 所示： 4 通过数据库组件的转换利用d e l p h i 等数据库应用程序开发技术，在配 置完o d b c 后可直接利用d e l p h i 自带的d a t a p u m p 工具来完成数据转换“”。源 数据库与目的数据库通过组件来存取数据信息，实现异构数据库之间的直接转 换。通过组件存取数据，关键是数据信息的类型问题，若源数据库与目的数据 库对应的数据类型不相同，必须先进行类型的转化，然后双方才能实施赋值。 图2 - 3 设置传递变量的转换 f i g u r e 2 - 3t r a n s f o r mb ys e t t i n gt r a n s f e r 2 2 2 数据的透明访问 若在异构数据系统中实现了数据的透明访问，用户就可以将异构分布式数 据库系统看成普通的分布式数据库系统，用自己熟悉的数据处理语言去访问数 据库，如同访问一个数据库系统一样，我们称之为数据库访问的透明性。比如 把异构数据库系统中所有的非关系型局部数据库均转换为关系数据库系统，从 而非关系数据库用户就可以用关系数据处理语言访问所有的局部数据库系统。 但目前还没有一种广泛使用的数据定义模型和数据查询语言，实现数据的透明 访问可以采用多对一转换、双向的中间件等技术。 异构数据库实现数据访问方法如下： 1 对于d b m s 系统一级异构的网络环境下的数据库目前主要有3 种解 决方法，它们都基于客户服务器体系结构： 公共数据库网关( c o m m o nd a t a b a s eg a t e w a y ) 公共协议( c o m m o np r o t o c o l1 公共编程接口( c o m m o np r o g r a m m i n gi n t e r f a c e1 公共数据库网关是一个转换器，客户通过它可以访问异种数据库。 哈尔滨理工大学管理学硕士学位论文 o r a c l e ，s y b a s e ，s q ls e r v e r 等大型数据库厂商都有自己的网关产品。 采用数据库网关可以较为满意地解决数据库的互操作问题。通过网关，可 以把第三方的开发工具连接到自己的数据库产品上；用户无需废弃现有的应用 程序，就可利用网关把它们与新的数据库技术互联起来，从而保护己有的投 资。但是，n 个异构数据库组成的复杂系统中，要实现任意两个数据库的互操 作，就必须提供n ( n - 1 心个网关，而且数据库网关价格昂贵，这在实际应用 中是很难投入使用的。而且，有些异构数据库间的数据格式、语法或语义的转 换是行不通的，利用数据库网关访问远地异构数据库不易达到完全透明。有人 认为数据库网关是连接异构数据库实现互操作的权宜之计，一旦统一的应用界 面标准被广泛采纳，就不再需要网关。但是，随着“完善”标准的出现，符合 这些标准的数据库产品未必就能实现互操作。由于竞争的需要，各个厂商为保 证其产品具有强于其它产品的功能，必然在自己的产品中加入独有的特征，从 而产生新的不兼容性，为互操作造成障碍。 采用公共协议指对客户和服务器间通信的格式和协议以及数据库语言进行 标准化；这是一种最理想的解决异构数据库系统集成的方法，目前比较典型的 有s a g ( s q la c c e s sg r o u p ) 规范和m m 的分布式关系数据库体系结构( d r d a ) 在这些方法中，采用开放界面进行开发一如利用s y b a s c 公司的o p e n c l i e n t o p e ns e r v e r ，o r a c l e 的o c i 等，操纵数据库的效率比较高，但编程量较 大。 公共编程接1 2 1 包括客户应用编程界面( c a n ) 和服务器应用编程界面 ( s a p d c a p i 是一组过程库，通常以d l l 方式驻留在客户工作站上，一个 c a p i 通常可以装载后端专用的驱动程序，以访问不同的数据源。s a p i 提供一 个应用编程界面，控制服务器与客户应用请求和目标数据库之间的交互。 m i c r o s o f t 公司采用公共编程接口o d b c ( o p e nd a t a b a s ec o n n e e l i v i t y ) o d b c 是m i e r o s o rw i n d o w s 的开放式服务体系结构( w i n d o w so p e ns e r v e r a r c h i t e c t u r e ，w o s a ) 的数据库部分，是一个用于访问多种数据库的统一的界 面标准。o d b c 实际上是一个数据库访问库，但是只提供一个统一的应用编程 接t ( a p i ) ，利用o d b c 可以免除应用程序随数据库的改变而改变的痛苦， 0 d b c 通过使用数据库驱动程序获得数据库独立性，驱动程序所提供的标准接 口允许应用程序开发者和驱动程序提供者在应用程序和数据源之间传递数据。 2 对于数据结构及语义一级上异梅的数据库对于这一阃题，早期的工 作一般是通过定义一个概念模型或元模型来实现集成，直接将异构的数据模式 转换到一个统一的模式上，但过程复杂，收效不大。因为在转换过程中可能不 堕堡堡塞三盔兰! 垩兰堡圭耋竺丝兰 得不最终抛弃一些组件数据库，以建立共同的全局名、数据结构、属性值及策 略。且所有现存的组件数据库上的应用程序也必须进行转换，以遵守新的集成 后的各个元素。这一转换过程通常代价巨大而且并不一定能具体可行、操作并 维护f 更新、重组) 一个大型的数据库，就其本身固有的特性来说，也比对一个 小型的数据库操作和维护要复杂得多。 近来，对这一问题的研究主要方法大致划分两大类一紧密耦合与松散耦 合。紧密耦合方法建立在数据库模式的集成之上。这样建立的异构数据库系统 具有一个集成的全局模式。如m u l t i b a s e ，m e r m a i d ，a d d s ，d a t a p l e