（信息与通信工程专业论文）基于消息队列的自治异构信息查询系统的研究与实现.pdf

国防科学技术大学研究生院学位论文 摘要 传统的集中式数据库过分强调数据的集中管理而忽略了分布式应用的需求， 越来越不 能满足数据共享和互操作的需要。 在不影响分布的多个数据库独立性的基础上， 如何充分 利用现有的网络和数据资源， 实现对各种数据高效合理的共享已经成为信息系统应用的迫 切需求。 当前， 多数据库系统是解决自 治异构数据库互操作最成功也是应用最广泛的方法 之一。 在此应用背景下， 本文对自 治异构信息查询方法及关键技术做了 深入的 研究， 设计 并实现了一个基于消息队列的自 治异构信息查询系统。 本文深入的研究了多数据库查询技术，提出了一种新的多数据库查询系统的实现方 法。 这种方法以数据中央服务器为中心， 避免了传统解决方法的局限性， 提高了系统的可 靠性。 论文在深入研究了多数据库异构消解的基础上， 提出了一种通过x m l 元数据进行 异构消解的方法， 实现了多数据库的透明查询。 本文设计与实现了一种基于d o m技术的 合并x ml文档的方法，解决了数据汇集的问题。这种方法通过d o m来操作x ml数据 文档，具有较高的性能和可操作性。 本文在所做研究的基础上设计与实现了 一个自 治异构信息查询系统。 该系统以数据中 央服务器为中心， 通过消息队列中间 件来传递查询请求和结果。 系统基于x m l 元数据进 行异构消解， 采用d o m技术实现数据汇集， 屏蔽了后台的多个局部数据库的异构性， 提 供给用户一个统一的查询界面， 较好的 解决了 分布式信息查询的问 题。 论文还根据实际 应 用的需求对用户经常会涉及到的查询方式进行了 归纳研究， 对其中的同 音查询、 模糊音查 询都提出了相应的解决方法，有效地提高了系统的可用性。 关键词:多数据库、消息队列、中间件、x m l 一一一_ 第 i页 国防科学技术大学研究生院学位论文 ab s t r a c t t h e t r a d i t i o n a l c e n t r a l i z e d d a t a b a s e s y s t e m c a n t s a t i s 勿t h e d e m a n d o f d a t a s h a r in g a n d i n t e r o p e r a b i l i t y m o r e a n d m o r e , b e c a u s e i t i g n o r e s t h e d e m a n d o f t h e d i s t r i b u t e d a p p l i c a t i o n s a n d e m p h a s i z e c e n t r a l i z e d m a n a g e m e n t o f t h e d a t a e x c e s s i v e l y . i t h a s a l r e a d y b e e n in g r e a t d e m a n d s t h a t h o w t o s h a r e t h e d a t a e f f i c i e n t l y b y u t i l iz i n g t h e e x i s t i n g n e t w o r k a n d d a t a r e s o u r c e s f u l l y o n t h e b a s i s o f n o t i n fl u e n c i n g t h e i n d e p e n d e n t c h a r a c t e r i s t i c s o f t h e d i s t r ib u t e d d a t a b as e s . a m u l t i d a t a b a s e s y s t e m i s o n e o f t h e m o s t s u c c e s s f u l a n d e x t e n s i v e m e t h o d s o f r e s o l v i n g t h e i n t e r o p e r a b i l it y a m o n g a u t o n o m o u s a n d h e t e r o g e n e o u s d a t a b a s e s . h a v in g r e s e a r c h e d t h e q u e ry m e t h o d s a n d k e y t e c h n o l o g y o f a u t o n o m o u s d a t a b a s e s y s t e m u n d e r t h i s a p p l i c a t i o n b a c k g r o u n d , t h e p a p e r d e s i g n s a n d i m p l e m e n t s a p r o t o t y p e s y s t e m b a s e d o n me s s a g e q u e u e . t h e p a p e r r e s e a r c h e s t h e q u e ry m e t h o d s o f m u l t i d a t a b a s e d e e p l y a n d g i v e s a n e w s o l u t i o n o f q u e r y s y s t e m o f m u lt i d a t a b a s e . t h e m e t h o d a v o i d s t h e l i m i t a t io n o f t h e t r a d i t io n a l s o l u t i o n a n d i m p r o v e s t h e d e p e n d a b i l i t y o f s y s t e m i n w h i c h a d a t a c e n t e r s e r v e r w o r k s a s t h e c e n t e r . h a v i n g r e s e a r c h e d h e t e r o g e n e i t y e l i m i n a t i o n o f m u l t i d a t a b a s e , t h e p a p e r g i v e s a s o l u t i o n t h a t d a t a h e t e r o g e n e i t y i s r e s o l v e d b y x ml a n d r e a l i z e s t r a n s p a r e n t q u e ry . t h e p a p e r a l s o d e s i g n s a m e t h o d o f m e r g e n c e o f x ml f i l e s b as e d o n d o m t e c h n o l o g y a n d r e s o l v e s d a t a m e r g e n c e . t h e p a p e r d e s i g n s a n d i m p l e m e n t s a q u e ry s y s t e m o f a u t o n o m o u s a n d h e t e r o g e n e o u s i n f o r m a t i o n . t h e s y s t e m a d o p t s a n e w k i n d o f fr a m e w o r k s c h e m e , i n w h i c h a d a t a c e n t e r s e r v e r w o r k s a s t h e c e n t e r . d a t a h e t e r o g e n e i t y a n d t h e m e r g e n c e o f q u e ry r e s u l t s a r e r e s o l v e d b y x m l . t h e q u e ry a n d d a t a a r e t r a n s m i t t e d b y m e s s a g e q u e u e m i d d l e w a r e . t h e s y s t e m r e s o l v e s t h e q u e r y o f d i s t r i b u t e d i n f o r m a t i o n b y m a s k i n g t h e h e te r o g e n e i t y o f t h e l o c a l d a t a b a s e s a n d o f f e r i n g a u n i f i e d q u e r y i n t e r f a c e t o t h e u s e r . a c c o r d i n g t o t h e d e m a n d o f t h e a p p l ic a t i o n s , t h e p a p e r a l s o d e s c r i b e s t h e q u e ry m e t h o d s t h a t u s e r s a r e o ft e n i n v o l v e d a n d p u t s f o r w a r d t h e c o r r e s p o n d i n g s o l u t i o n k e y wo r d s : m u l t i d a t a b a s e , m i d d l e w a r e , m e s s a g e xml 一 一一一一一 第 “页 独创性声明 本人声明 所呈交的学位论文是我本人在导师 指导下进行的 研究工作及取得 的 研究成果。 尽我 所知， 除了 文中 特别 加以 标注和致谢的 地方外， 论文中 不包含 其他人已 经发表和撰写过的 研究 成果， 也不 包含为获得国防 科学技术大学 或其它 教 育 机构的 学 位或证书而 使 用过的 材料。 与我 一同 工 作的同 志 对本 研究 所 做的 任 何贡献均已 在论文中 作了 明 确的 说明并 表示 谢意。 学 位论文 题目 :基于消 息队 列 的自 治异 构 信息 查 询系统 的 研究 与 实 现 、， 、 、 ， _ 二二二夕 、又 淞_ 。 ._ 、。 、 _ 学 位论文 作者签 名: 乏 六 戈 书 汤/日 期:飞 亏 年 ， 2 月 ， 之 日 学位论文版权使用授权书 本人完全了 解国防科学技术大学有关 保留、 使用学 位论文的 规 定。 本 人授权 国防 科学技术大学可以 保留 并向国家有关部门 或机构送交论文的复印 件和电 子 文 档， 允 许 论文 被查阅 和借阅 ; 可以 将 学 位 论文的 全 部 或部分内 容编 入有关 数 据 库进行检索，可以 采用影印、 缩印 或扫 描等复制手段 保存、汇 编学 位论文. ( 保密学 位论文在 解密 后适用本授权书。 ) 学 位论文 题目 :蒸于 消息队 列的自 治 异 构 信息 查询系 统的 研究 与实 现 学位论文作者签名: 作者指导教师签启: 二公年 一 箕 辱 全一 日 期 : -, ,7 0 3年 1 月 2 日 日 期: a b 3年 刀月t .z u 国防科学技术大学研究生院学位论文 图目录 图 1 - 1 mi n d的结构价 、 图2 - 1 md b s 的体系结构 图2 - 2数据中央服务器示意图 图2 - 3自 治异构信息查询系统结构 图2 - 4消息队列在系统中的应用 ， 图2 - 5 全局查询的分解. . . . . . . . 图2 - 6数据库集成的模式结构 图 2 - 7 c / s 结构. ， ， 卜. ， ， 二 . 图2 - 8 c / s 和b / s 的结合 图3 - 1 中间 件的 应用 图3 - 2 m q s e r i e s t作原理 图4 - 1 查询结果的汇集合并 图4 - 2 x ml 文档合并算法流程图 图 5 - 1 系统架构示意 图 5 - 2本地查询工作流程 图 5 - 3系统工作流程. 图5 - 4条件查询界面. 图5 一 5 同音查询算法流程 图 5 一 6综合查询界面. . 二 2 . 7 ， ， 9 1 0 1 1 1 2 1 3 1 5 1 7 2 2 2 5 4 4 4 7 4 8 4 9 5 0 5 2 5 4 5 4 一一 一一 第 3而 国防科学技术大学研究生院学位论文 表目录 表 2 - 1 j 2 e e和.n e t对比. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ， . ， ， “ 表 5 - 1消息的数据结构 表 5 - 2字典库结构 . . 1 9 51 5 - 3模糊音表 . 5 - 4同音查询 表表 表 5 一 5综合查询 表 5 - 6综合查询界而说明. . . . . . . . . ，. . ， t . . 表 5 - 7浏览查询， ， . 表 5 - 8模糊查询. . 表 5 - 9批量查询 表 5 - 1 0混合查询 . . _ 二 5 2 二 ， . 5 3 . . . . . . . . . . . . 5 3 . . 5 4 . . 5 5 _ . . . ._ . . . 5 5 二 . 二 5 6 一 ，. 5 6 ， 二 _ . 5 6 第 4页 国防科学技术大学研究生院学位论文 第一章 绪论 1 . 1课题背景及来源 计算机技术的飞速发展，给信息产业带来了前所未有的繁荣和辉煌。随着计算机在实 际工作中的广泛应用，整个社会己 经步入了一个信息时代， 人们对数据的需求和利用也越 来越广泛。如何更加高效安全的共享和管理数据成为了一个p -t a 需解决的问题。 数据库系统的出现满足了人们的这种需求。数据库系统在当今各种计算机上已经成为 一种重要的应用程序系统，是信息处理的重要工具和组成部分，其理论和技术都己 经达到 相当成熟的阶段。数据库对分散存储的数据集中统一管理，减少了数据冗余，消除了数据 不一致的隐患，提高了 存储和查询效率， 极大地促进了 工作效率的提高0 % 随着信息时代的飞速发展，传统的信息系统己经发生了巨大的变化，具体表现在信息 的存储、传递、 发布以 及获取方式等各个方面。 数据资源往往具有分布的、 层次化的特点。 由于传统的数据库过分强调了数据的集中而忽略了数据分布性的特定需求，逐渐显示出很 多不足之处。 分布式信息 ( 数据)集成一直是数据库研究领域及其它相关领域一个非常热门的 研究 课题。信息集成系统可以 称为数据集成系统、信息搜集系统或中介系统。信息集成系统为 多 个自 治异构数据源的查询提供了一个统一界面， 方便用户进行集中查询。系统根据一定 的方法将用户的查询请求自 动分解或转换成对应每一个数据源的查询请求，然后将各个查 询结果合并成一个最终的完整结果提交给用户。对用户来说，系统背后的多个数据源是透 明的.用户好像只是在同一个数据源进行交互。 如何在不影响分布的多个数据源独立性的基础上，充分利用现有网络和数据资源而实 现信息的 共享和操作是数据库领域的一个重要研究课 题. 多数据系统( m d b s , m ai d a t a b a s e s y s t e m s ) 是数据库系统领域中一个新兴的研究热点，它主要通过一些新的计算机技术， 如 c o r -b a , d c o m、 通讯中间件等技术来集成己 有的系统开发新的应用。 所谓多数据库系统 就是一种能够接受和容纳多个异构数据库的系统，对外呈现出一种集成结构，而对内又允 许各个异构数据库的“ 自 治性” 。 多数据库系统表现为一种对多数据库系统进行管理的软件， 用户通过多数据系统对一组自 治的数据库进行管理，并提供透明查询， 在已 经存在的数据 库系统之上为用户提供一个统一的存取数据的 环境。 本课题来源于某国家机关共享信息采集应用系统。该国家机关部门 在工作中积累了 大 量的业务数据，这些数据存储在各个地市的多个数据库中，如何充分共享和使用这些数据 成为了一个垦需解决的问题。该课题的目的是研究面向分布式应用的自治异构查询系统的 体系结构模型，并结合实际应用的需求设计与实现一个自治异构信息的查询系统。用户通 过该系统可以透明查询各个数据库中的信息， 达到信息共享的目的。 第 1页 国防科学技术大学研究生院学位论文 1 .2课题的 研究现状 随着数据库技术不断的发展，数据库的应用越来越广，各种各样的数据库分布在不同 地方。越来越多的用户希望能够同时访问和处理来自多个数据源的数据，以达到信息充分 共享的目的。网络技术的飞速发展为用户交互访问和处理分布的自治异构数据源中的数据 提供了有效地支持。多数据库系统是目前解决自治异构数据源互操作的最成功也是应用最 广泛的方法之一。多数据库系统屏蔽了已有的各种数据源系统不同的访问方法和用户界面， 通过定义公共数据模型和单一的查询语言对用户提供一个统一的公共访问接口，实现了对 多个自 治异构数据源的透明查询。 当前的多数据库的研究大多集中于中小规模的异构数据库系统方面，研究工作一般需 要解决异构数据库的数据模型、查询处理和事务处理方面差异性等方面的问题。而针对大 规模集成的多数据库系统集成系统，由 于实现难度较大，目 前在这方面进行研究的人员较 少。 多数据库的研究一直是数据库领域内的研究热点。国内 外众多的 研究机构在这方面已 经开展了大量的研究， 其中土耳其中东科技大学的mi n d , 美国的密歇根一迪儿波恩大学同 加拿大沃泰卢大学共同开发的c o r d s ，斯坦福大学的t s i mmi s等项目在技术上都是比较 先进的。国内主要由东南大学、东北大学和复旦大学等院校进行相关研究。 m i n 。是由i b m公司资助土耳其中东技术大学 ( m e t u )的a . d o g a c , f . o z c a n 等人 研究的一个基于c o r b a的多数据库项目， 主要利用了面向对象的技术， 开发了两个基本的 组件:全局数据管理器 ( g d m)和本地数据管理器 ( l d m) ，结构如图所示。 c en t li j巨en t 沙 - _ 二 - 一 丁 一 cl i e n t l d ml d m 图 1 - 1 m i n d _ l d b 的结构 叫。仁阳 tll 全局数据管理器接在接收到用户的查询请求之后根据系统的输出模式对查询进行优化 和分解，并将分解的查询发送给本地数据管理器，本地数据管理器根据本地数据库 ( l d b ) 对查询进一步优化，并在查询完成后将查询结果提交给全局数据管理器，由全局数据管理 器把查询结果汇集合并后返还给用户。 m i n d系统设计了 全局的集成模式， 使用对象查询语言书写全局查询， 还提出了 几种查 询优化的技术。 mi n d系统对多数据库查询处理给出了一些实现技术， 但缺乏一套形式化的 - - - - - - 一 ， ， ， ， ， ， ， 一 - - ， ， 第 z页 国防科学技术大学研究生院学位论文 定理和理论对这些算法进行描述。 并且因为系统的通讯层是构建于c o r b a之上， 所以该系 统仅局限于高速局域网的环境中使用。 东南大学研制的g a l a x y 也是一个基于c o r b a的分布式异构数据源集成系统。它使用 对象集成模型 ( o i m) 作为数据集成的公共模型， 对象集成查询语言 ( o i q l ) 作为查询语 言。 o i q l在s q l语言的 基础上增 加了 一 些 用于完 成对象之间 的导 航式查 询以 及对一 些 集 合类型对象查询的功能扩展语句。g a l a x y 系统对查询优化没有考虑太多。 东北大学在基于c o r b a的多数据系统s c o p e / c i ms 中，采用了对象查询语言 作为全 局查询语言，提出了基于模式集成语义的查询处理规则和路径表达式的查询处理方法。它 的研究目的主要是为了满足现代集成制造系统 ( c i m s , c o n t e m p o r a r y i n t e g r a t e d m a n u f a c tu r in g s y s t e m s ) 环境 下的 信息 集 成的 需 求， 因 而 对查 询 计划的 生 成和查 询 优 化没 有 进 行 太 多 研 究 2 1 随 着自 身 的 发 展， x m l 凭 借 其良 好的 可 扩 展 性 和自 描 述 性、 形 式 与内 容 的 分 离 以 及 对 多语种的支持等特点， 迅速成为集成异构数据源的首选方法。 x ml 在多数据库系统信息集 成方面的应用正在成为一个研究热点。 1 .3课题的研究内容及成果 自 治异构信息查询系统往往具有跨地域、 跨系统平台、跨数据库系统平台和跨数据库 等特点，因此整个系统设计的出发点就是要能够屏蔽这些异构模式， 满足全局用户透明查 询 的 需 求 。 因 为 用 户 面 对 的 是 多 个 数 据 库 ， 除 了 异 构 消 解 ， 还 需 要 解 决 数 据 汇 集 的 向 题 。 系统的构建应该遵循准确、迅速、安全、可靠的原则。 课题主要研究内容及主要成果如下: i . 自 治异构信息查询系统的研究 由于自治异构数据查询系统的自 身特点，决定了查询方法的特殊性。论文系统的研究 了自 治异构信息查询技术，并在深入了 解多数据库的工作机制和原理的基础上，对整个查 询系统模型的深入剖析，设计并实现了一种查询系统的构建方法。系统以数据中央服务器 为中 心， 基于消息队列传递各种信息。 这种方法避免了 传统多数据库获取信息相对困难的 缺点， 提高了 系统的可用性和工作效率。 2 . 中间件的应用研究 自治异构信息查询系统中的信息传递是基于消息队列中间件进行的，因此文中对中间 件技术在分布式系统中的应用做了 探讨和研究。本文分别详细讨论了消息队列技术的优秀 代 表m q s e r i e s 和m s m q p 1 的 基 本 概 念 、 特点 、 使 用、 管 理、 编 程 应 用 等 方 面， 并 结 合 实 际 应用的需求分析比较了各自的特点。 3 .数据异构消解 第 3页 国防科学技术大学研究生院学位论文 =史巴，巴=，=巴=竺竺=， 自 治 异 构 信 息 查 询 系 统 为 了 实 现 用 户 的 透 明 查 询 ， 必 须 要 将 各 个自 治 的 独 立 数 据 库 的 模 式 统 一 成 一 个 全 局 数 据 模 式 ， 这 就 是 异 构 消 解 的 问 题。 本 文 深 入 的 研 究 了 基 于x m l 元 数 据完 成异 构 消 解的 方 法， 设 计了 一 种x m l 元数 据 模式 来 存储各 个局 部 数 据 库同 全 局数 据 模 式的各种转换关系，实现了用户对多个数据库的透明查询。 4 . x ml合并汇集数据 在自 治异构信息系统中，用户从多个数据库中获取信息，系统需要将来自多个局部数 据库的查询结果进行数据汇集，最终提交给用户一个完整的查询结果。 本文设计并实现了 一种基于d o m技术来合并x m l 文档的算法，并将其应用到x m l 文档集成器中来完成数 据汇集。 在系统中首先将每个局部数据库给出的查询结果转换成x m l 文档， 然后通过x m l 文档集成器汇集合并成一个完整的x ml 文档后提交给查询用户。 课题设计并实现了一个基于消息队列的自 治异构信息查询系统。系统具有以下几个特 点: .系统采用b / s 和c / s 结合的多层分布式体系结构， 避免了使用单一体系结构的 缺陷 提高了系统的实用性 消息对列中间件的应用对系统中信息的传递提供了一个安全可靠的解决方案，克服 了网 络情况复杂的负面因素， 提高了 整 个系统的可靠性。 系 统 通 过x m l 元 数 据 进 行 异 构 消 解 和 基 于x m l 进 行 数 据 汇 集， 增 强了 系 统 的 可 扩 展性。 在总结了实际应用中用户查询数据需求的基础上，设计并实现了一些查询功能模 块。这些功能模块促进了查询用户的实际工作，提高了工作效率。 1 .4论文组织 本文共分六章 各章的内 容和组织如下: 第一章 绪论。主要介绍课题的研究背景、内容，成果以 及论文的组织结构。 第二章 自 治异构信息查询系统的 研究。 在本章中， 首先对自 治异构数据库的概念 做了 阐述，在深入分析现有分布异构信息查询方式的基础上提出了一种新的查询方法，并对多 数据查询中需要解决的异构消解，数据汇集都做了详细的论述。 第三章 基于消息对列中间 件的数据传输。 本章首先介绍了 消息队列中间件的一些基本 概念， 并结合在系统中的应用对其工作原理作了 深入的分析， 最后结合消息队列中间 件在 系 统中 的 应用 对m q s e r ie s 和m s m q的 各自 特点 进行了 深入比 较。 第四章 基于x ml的异构消解和数据汇集。 本章在介绍了x ml的基本概念之后， 详细 阐述了通过x ml元数据进行异构消解和基于x ml进行数据汇集的方法。 一一一 一一一一 第 4百 国防科学技术大学研究生院学位论文 第五章 自 治异构信息查询系统的实现。本章给出了 一个基于消息队列的自 治异构信息 查询系统的架构方案，详细介绍了 系统的工作流程和原理，并对实际应用中的查询需求进 行了总结归纳，分别设计和实现了解决方法。 第六章 结束语。对论文的工作进行总结，并对未来的工作做了展望。 一 一卜- - -一 ， 第 5页 国防科学技术大学研究生院学位论文 第二章 自治异构信息查询系统的研究 随着计算机的广泛应用，在越来越多的机关企业中，计算机己经成为一个重要的信息 管理工具。某国家机关部门在工作当中积累了大量的数据，这些数据分散存储在各个部门 的数据库中， 但由于整个机关缺乏必要的长期规划和工作中自 身不断的调整完善.导 致了 不同时期开发的信息系统在信息的表示方面存在着一些语法和语义的差异。如数据库 a是 o r a c l e 数据库， 它的某个表对人员身高进行描述的单位是m ; 而数据库b是m s s q l s e r v e r , 它的表对人身高描述的单位是c m 。这些数据异构导致了整个部门的数据信息处于一种 “ 无 序 ” 的 状 态 ， 使 得 各 个 信 息 系 统 之 间 的 数 据 交 流 与 共 享 很 不 方 便 。 从 另 一 个 角 度 来 看 . v 个业务部门都有自己特定的需求，所以 仅仅用一个统一模式来定义所有数据是不现实的， 这本身也违背了数据分布式应用的需求。因此，如何在保证各个分布数据源的自 治性的基 础上对数据进行方便的共享和交流成为了一个pa需解决的问题。 自 治异构信息查询系统就是为了实现对这些分布在各个地方的局部数据库的共享信息 进行集中查询而设计的。 整个系统围绕数据中央服务器来构建， 将各个局部数据库有机的 整合为一个统一的系统，用户能够通过系统透明的查询多个数据库的共享信息。 下面对设计和实现系统所研究的体系结构及一些关键技术进行详细论述。 2 . 1自 治异构信息查询系统的体系结构 2 . 1 . 1多数据库集成技术 多数据库系统简单的说就是由 一组独立发展起来的局部数据库组成，并在这些局部数 据库之上为用户建立一个统一的数据访问 层，使得用户像使用一个单独的数据库系统来使 用这些局部数据库。目前，多数据库系统是解决自 治异构数据库互操作最成功也是应用最 广泛的方法之一。 多数据库系统和传统的分布式数据库系统有所不同，其根本区别在于全局概念模式定 义的不同。 传统的分布式数据库系统属于全局逻辑集成方式， 全局概念模式给出了 整个数 据库的概念视图;而多数据库系统属于松散集成方式， 全局概念模式只表示每个局部数据 库管理系统所共享的那部分的局部数据库的集合。因此，多数据库系统中的 全局数据概念 不同于传统分布式数据库系统的情况，后者的全局数据库等于各局部数据库的并集， 而前 者为该并集的子集。 在多数据库中甚至可以 没有全局概念模式。 多数据库系统主要采用自 下而上的数据集成方法，因为异构情况在前而集成要求在后， 而分布式数据库系统主要采用自 上而下的数据集成方法，全局数据库是各个子库的井集。 多数据库系统主要解决异种数据库集成问题，可以保护原有的数据资源，使各局部数据库 第 6页 国防科学技术大学研究生院学位论文 巴 二 二 二 二 二 二 二 二 巴 巴 二 二 巴 二 二 二 = = 二 = = = 二 享 有 高 度“ 自 治 性” ， 而 分 布 式 数 据 库 系 统 是 在 数 据 的 统 一 规 划 下， 着 重 解决 数 据 的 合 理 分 布 和 对 用户 透明 的问 题i4 1 t 5 1 多 数 据 库系 统一 般分 为 有 全 局 统 一 模 式的 多 数 据 库 系 统 和 联 邦 式 数 据 库 16 1系 统 两 类 。 第 一种多数据库系统在集成多个异构数据库时生成一个全局统一的概念模式，它是通过映射 各异构的局部数据库的概念模式而得到口而联邦式数据库系统在各个异构的局部数据库之 间仅存在着松散的联邦式祸合关系，没有全局统一模式， 各局部数据库通过定义输入输出 模式进行彼此之间的数据访问。 一 般来说，多 数据库系统有以 下几 个特点 7 1 8 1 , i 多数据库系统对局部数据库不做任何改动，即设计自 治性。多数据库系统对于局部 数据库来说就像一个应用程序或一个新的用户。 2 .多数据库系统不能妨碍局部数据库原有的工作模式，即在局部数据库上如果应用程 序只使用本地资源则依然可以运行，但如果要访问多个局部数据库的资源就需要通 过多数据库系统来运行。 3 .数据源之间不进行数据转换和迁移。 4 .多数据库系统中使用一种统一的 数据库语言， 用户就像是面对一个数据库一样访问 多 数据库 系统背后存 在的多 个局部 数据库。 5 多数据库系统对用户屏蔽了各个局部数据库异构的 操作环境， 包括数据库版本、 操 作系统，网络协议等等，使用户完全感觉不到背后多个局部数据库的 存在。 多数据库系统可以视为一种c l i e n t / s e r v e r 结构， 多个客户端与多数据库系统交互， 通过 多数据库系统对多个局部数据库进行各种操作。多数据库系统管理所有全局数据库的控制 信息， 包括全局模式、 全局事务的提交和控制等。 每一个局部数据库通过一个驱动器( d r i v e r ) 与多数据库系统连接，这个驱动器与局部数据库位于同一个节点。多数据库系统与驱动器 之间的通信构成一个通信子层c s s c o m m u n i c a t i o n s u b s y s t e m) . 多数据库系统 ( md b s ) 的体系结构如图所示。 从体系结构可以看出，多数据库系统对 局部数据库 ( l d b . l o c a l d a t a b a s e )没有做任何改动，因此局部数据库的独立性和自治性 没有受到任何影响。用户可以对局部数据库进行直接访问，局部数据库上原来的应用程序 依然可以直接运行于局部数据库之上。 图 2 - 1 m d b s 的休系结构 一 碑 . . 月 . . . . ， ， ， ， ， 一 ， ， _ 第 7页 国防科学技术大学研究生院学位论文 巴 二 二 二 二 二 二 二 巴 竺 ， 二 二 二 二 巴 二 二 竺 竺 ， 二 二 二 二 二 二 二 二 巴 竺 二 二 二 二 二 二 = =二 -=一一二 多 数 据 库 信 息 的 集 成 方 式 总 的 来 说 可 以 分 成 两 种 9 1 . 1 .数据仓库法或实体化方法 这 种 方 法 是 通 过 设 立 一 个 数 据 仓 库 ， 把 各 个 i d b 的 数 据 集 中 复 制 到 数 据 仓 库 中 。 这 种 工 作 方式的 优势是 可以 方便的 管理 和 组织 信息， 利于 信息的 获取， 数据的 一 致性 也可以 得 到 较好的 控制。 但这种方法也存在一些缺陷，比如查 询数据 缺乏时 效性，因为数据仓库的 是由 各个l d b的数据汇集而成，如果当l d b中 更新数据时l d b和数据仓库之间没有数据 同步，就很容易带来查询数据不准确、不全面的负面影响;数据仓库的性能容易成为整个 系统的 瓶颈，因为当l d b数量较多时，如果每个l d b数据都大量增加就会导致数据仓库 的数据量激增，对数据仓库的性能提出了苛刻的要求，带来了硬件维护和成本上的问题; 此外，这种方法容易造成数据冗余。 2 . 虚拟法或被动方法 这种方法是通过一个集成系统来建立虚拟的集成视图来实现数据的透明查询。其优点 是不需要复制大量数据，充分保证了数据查询的时效性;各个l d b独立维护和使用，即使 在网络阻塞或发生故障的情况下，独立运作的各个l d b也可以正常工作，并不影响本地用 户的查询要求;数据分布式存储，安全系数相对较高。但由于数据分布存储在各个 l d b , 如果用户需要综合全面的信息，需要从各个l d b查询数据，然后统计汇总，这是一个比较 复杂的处理过程，如果全部操作在客户端完成比较困难，对于一般用户来说信息获取相对 复杂和困难。 以 上两种解决方法都有各自 的优缺点，实际应用中， 用户可以 根据实际需求来做出 选 择。 数据仓库法将各种分布式数据集中 存储，比 较适用于不太强调各个局部数据库自 治性 的实例。当强调各个数据库的自 治性时，虚拟法就更加符合用户的需求。 2 . 1 . 2自 治异构信息查询系统的构建 根据应用的实际需求，系统的构建应该遵循两个原则: 获取全局数据准确、迅速和高效; 能保证各个l d b 组织和运作的相对独立性. 通过上一节的论述，可以得知当强调各个l d b自治性的时候，虚拟法是更好的解决方 法。 但由于数据集成是一个比较复杂的操作，完全在客户端完成比较困难，这也是虚拟法 的一个主要缺点。为了克服这个缺点，本文设计了一种新的方法来构建查询系统:在虚拟 法的基础上， 增加一个数据中央服务器，由 它专门处理全局用户的查询请求和数据集成， 客户端只负责查询结果的显示，这样就大大减轻了客户端的负担。系统通过数据中央服务 器转发用户的查询请求，并与各个l d b建立连接、查询并获取结果，然后将查询结果汇集 合并之后提交给查询用户。这种工作方式避免了 虚拟法的客户端集成信息困难的缺点，在 保证了信息获取的方便、 快捷和准确可靠的基础上， 还强调了各个l d b的自治性和独立性， 是一个相对理想的解决方法。 第 s页 国防科学技术大学研究生院学位论文 需要说明的是，当用户只查询本地数据库的 信息时， 只需要同 本地的l d b建立数据库 连接即可，而不必发送查询请求到数据中央服务器。 这种处理方式既满足了全局用户的需 求，也兼顾了l d b的本地用户的需求，避免了数据中央服务器不必要的开销。数据中央服 务器提供了数据访问服务的访问 接口，全局用户的查询请求通过它转发到各个 l d b 。它从 物理上隔绝了用户同真正数据库 ( 各个l d b )的联系，安全性系数相对较高。 数据中央服务器在系统中的应用如图所示。从图中可以看出，全局查询用户的查询请 求通过数据中央服务器转发给各个l d b ， 各个l d b给出的查询结果也是经过数据中央服务 器汇集合并之后才提交给查询用户。 -冷1|大于入洲 早人介朋- nwerae 朴丫炙 图 2 - 2数据中央服务器示竞图 2 . 1 . 3自 治异构信息查询系统的 逻辑层次 自 治异构信息查询系统的工作流程可以 抽象为五个层次: 1 ， 表示层 系统对全局查询用户提供了一个统一的方便简洁的查询界面， 用户可以通过此界面提出 查询请求，并获取对应的查询结果。 2 .全局逻辑控制层 全局逻辑控制层是系统的核心所在，系统通过此层对全局查询用户屏蔽了各个物理数 据库的异构，实现了对多个异构数据源的透明查询。当用户提交查询请求时，系统根据对 全局数据模式将用户的操作变换成对相应各局部数据模式的操作并将局部查询请求传送到 数据查询层，包括查询分解、查询翻译等步骤。此外该逻辑层还要实现安全控制、查询结 果转换和查询结果汇集等功能。 3 . 通讯层 通讯层负责数据中央服务器同各个局部数据库之间的数据交流， 包括转发用户的查询 请求和查询结果的传送等等。通讯层的具体实现是通过消息队列中间件来完成的。消息队 列中 间 件为 分布式环境下的 程序间的 信息传 递提供了 灵活， 快速， 简单和可靠的 解决 方 案， 并且为开发人员提供了 丰富的编程接口， 将开发人员从具体的网络编程中 解脱出来，使其 不再关心底层的网络细节，大大简化了信息传递的实现。 第 ，页 国防科学技术人学聊f 究生院等：位论文 ! = ! = ：! ! ! ! = = = ：! ! ! ! = ! = ! = ! = = ! = ! ! ! = = ! = ! ! = = = = = ! ! = ! = ! ! 1 2 = 需要说明的是，当用户只查询本地数据库的信息时，只需要同本地的l d b 建立数据库 连接即可，而不必发送查询请求到数据中央服务器。这种处理方式既满足了全局用户的需 求，也兼顾了l d b 的本地用户的需求，避免了数据中央服务器不必要的丌销。数据中央服 务器提供了数据访问服务的访问接口，全局用户的查询请求通过它转发到各个l d b 。它从 物理上隔绝了用户同真正数据库( 各个l d b ) 的联系，安全性系数相对较高。 数据中央服务器在系统中的应用如图所示。从图中可以看出，全局查询用户的查询请 求通过数据中央服务器转发给各个l d b ，各个l d b 给出的查询结果也是经过数据中央服务 器汇集合并之后才提交给查询用户。 图2 2 数据中央服务器示意图 2 1 3 自治异构信息查询系统的逻辑层次 自治异构信息查询系统的工作流程可以抽象为五个层次： 1 表示层 系统对全局查询用户提供了一个统一的方便简洁的查询界面，用户可以通过此界面提出 查询请求，并获取对应的查询结果。 2 全局逻辑控制层 全局逻辑控制层是系统的核心所在，系统通过此层对全局查询用户屏蔽了各个物理数 据库的异构，实现了对多个异构数据源的透明查询。当用户提交查询请求时，系统根据对 全局数据模式将用户的操作变换成对相应各局部数据模式的操作并将局部查询请求传送到 数据查询层，包括查询分解、查询翻译等步骤。此外该逻辑层还要实现安全控制、查询结 果转换和查询结果汇集等功能。 3 通讯层 通讯层负责数据中央服务器同各个局部数据库之间的数据交流，包括转发用户的查询 请求和查询结果的传送等等。通讯层的具体实现是通过消息队列中间件来完成的。消息队 列中间件为分布式环境下的程序间的信息传递提供了灵活，快速，简单和可靠的解决方案， 并且为开发人员提供了丰富的编程接口，将开发人员从具体的网络编程中解脱出来，使其 不再关心底层的网络细节，大大简化了信息传递的实现。 第9 页 ，学 国防科学技术大学研究生院学位论文 4 数据查询层 数据查询层在接收到逻辑控制层的局部查询命令后对局部数据库进行查询，然后把查 询的结果返回到逻辑控制层。系统是通过一些运行在各个局部数据库上的代理程序来完成 这些功能的。 5 数据库层 数据库层是共享使用的自治异构数据信息的集合。 图2 - 3 自治异构信息查询系统结构 在系统的设计中，全局逻辑控制层位于中央数据服务器。数据中央服务器统一对从全 局查询用户在客户端提交的查询进行分析、分解、翻译，并对从各个局部数据库返回的查 询结果进行处理。系统通过x m l 元数据记录全局模式与局部模式之间的转换规则、各个数 据库节点的信息、查询翻译规则、结果处理规则以及各个数据库的数据类型转换规则等， 解决了异构数据库系统的模式转换问题、库之间的类型转换问题、结构冲突问题。这些问 题将在下面的章节进行详细地论述。 2 2 自治异构信息查询系统的查询机制 2 2 1 查询方法的研究 设计一个实用的自治异构信息查询系统，在考虑复杂性的同时，还必须要考虑实际应 用中网络的通信状况，以提出切实可行的方案。在数据查询方面，已有的解决方案往往是 直接与局部数据库建立数据库连接来获取查询结果。这种方法的优点是获取数据简单易行， 但数据中央服务器直接与局部数据库建立远程数据库连接的开销很大，并且对网络的稳定 第1 0 页 国防科学技术大学研究生院学位论文 = = ! ! ! ! = = ：- ! = ! = = ：! ! ! = ! = = ! ! ! ! = ! = ! ! = = ! = = = 2 = ! = ! ! = ! = ! ! ! = ! = ! = = = ! ! ! ! = ! ! 性要求苛刻。在实际应用中，自治异构信息系统的网络环境复杂，容易因为网络的不稳定