（计算机应用技术专业论文）基于异构数据库集成技术的医院管理系统研究.pdf

重庆大学硕士学位论文中文摘要 摘要 在医院的信息化建设过程中，各个部门的信息系统通常采用不同的数据库和 技术来构建，如门诊系统，临床信息系统，病房管理系统，医学影像管理系统， 行政管理系统等。这些系统资源大多是相互独立的应用系统，就像一个个f 言息孤 岛”，由不同的数据提供商提供的异构数据库，系统运行环境不同，各自有着不同 的处理对象、操作方法和专用客户端。在各个环节之间存在着数据交流和部门协 同的问题。往往病人看病需要跑很多地方，为了方便病人，提高医院的管理水平， 我们考虑设计一个医院管理信息系统来连接彼此分散的各个应用系统，实现从这 些异构的数据库中获取和管理动态数据，提高信息资源整体使用效率，达到资源 共享的目的。 异构数据库集成是医院管理系统建设过程中需要解决的主要问题。在己经存 在的多个异构的、分布的数据库之间实现信息共享，首先需要在这些异构的数据 库系统基础上建立一个操作平台，用户才能实现同时对多个异构的数据库系统进 行透明访问。同时在医务网络系统中，各信息系统的数据库都是相互独立的实体， 都具有相对的独立性、自主性，为了保证数据共享的安全性，本方案采用b s 模 式来为用户提供服务。 本系统设计成三层结构：应用层、管理层、数据层。其中管理层是系统的核 心层，实现数据的访问、查询操作。它向下协调各数据库系统，向上为访问集成 数据的应用者提供统一数据模式和数据访问的通用接口。本文重点介绍了数据查 询流程以及管理层中使用的中介器、包装器、元数据等核心技术。查询处理是信 息集成系统的关键技术，文中讨论了查询优化处理问题。 在上述理论基础之上，提出了医院管理系统中异构数据库集成的系统框架， 并对系统的设计方案进行了详细的介绍。本方案使用x m l 技术、中间件思想， 很好地解决了不同模式之间的数据转换和系统的查询处理等问题。 关键词：异构数据库，集成，中间件技术，x m l ，查询优化 重庆大学硕士学位论文英文摘要 a b s t r a c t t h ei n f o r m a t i o ns y s t e mo fe v e r yd e p a r a n e n ti l lh o s p i t a lo f t e na d o p td i f f e r e n t t e c h n o l o g ya n df r a m e w o r kt ow o r ki nt h ep e r i o do fh o s p i t a lc o n s t r u c t i o n , s u c ha s o u t - p a t i e n t 蛳cs y s t e m , c l i n i li n f o r m a t i o ns y s t e m , w a r da d m i n i s t r a t i o ns y s t e m , m e d i c a li m a g ea d m i n i s t r a t i o ns y s t e m , l e a d e ra d m i n i s t r a t i o ns y s t e ma n ds oo n m o s t o ft h es y s t e m s 躺i n d i v i d u a l s op a t i e n t sw o u l dg om a n y # a c e sf o rc u r i n g w e 撇 c o n s i d e r i n gf o rd e s i g n i n gah o s p i t a li n f o r m a t i o na d m i n i s t r a t i o ns y s t e mt ol i n ke v e r y i n d i v i d u a ls ”t e l n ，s oa st oa c q u i r ed y n a m i cd a t af b md a t a b a s e i t sc o n v e n i e n tf o r h o s p i t a lt oi n c r e a s et h ee f f i c i e n c ya n d s h a r en 葛a 旺慨 h e t e r o g e n e o u sd a t a b a s ei n t e g r a t i o n ( h d i ) i st h em a j o rp r o b l e mo fo u rp r o j e c t w ew o d dt oe s t a b l i s ha l lo p e r a t i o np l a t f o r mb a s e do nh c t e r o g e n o o n sd a t a b a s ea t 丘蹴 t h eu 翱璐c 雒o p e r a t et h ep l a t f o r mt ov i s i tm a n yh e t e r o g e n e o u sd a t a b a s e sa n ds h a z e i n f o r m a t i o ns tt h es , q m et i m e e v e r yd a t a b a s eo fi n f o r m a t i o ns y s t e mi si n d i v i d u a la n d i n d e p e n d e n ti nm e d i c a ln e ts y s t 弛t h ep r o j e c tp r 撕d eb sm o d e ls c r v i t o 璐a 鸟s o a st og u a r a n t e et h ed a t as h a r i n gs a f i y t h es y s t e mc o n s i s t so ft h r e es f f u c t o r ei n c l u d i n ga p p l i c a t i o nl a y e r , m a n a g e m e n t l a y e ra n dd a t al a y e r t h em a n a g e m e n tl a y e ri st h eo o o fs y s t e m ) i th e l pu s e 招t o s h a r ed a t a , i n q u c s t i n ga n do 螂r a t i o n t h ef o c u so f m ya r t i c l ei n t r o d u c et h ef l o wo f d a t a q u e r ya n dt h et e c h n o l o g yo f m e d i a t o r , w r a p p e r , m c t a d a t a i nm m m g e m e n t l a y e r q u e r y p r o c e s s i n gi st h ek e yt e c h n o l o g yo fi n f o r m a t i o ni n t e g r a t i o ns y s t e m , w ed i s c u s s e dt h e p r o b l e mo f o p t i ：m m n gq u e r yp r o c e s s i n g i nt h i sa r t i c l e ，w ed e s i g n e daf r a m e w o r ko fh o s p i t a lm a n a g e m e n ts y s t e mb a s e d o nh d ia n dw eg a v et h ed e t a i l so fd e s i g np r o p o s a l t h i sp r o j e c ta d o p tt h ex m l t e c h n o l o g ya n dm o d i a t o ri d e at os o l v et h ep r o b l e mo fd a t at r a n s i t i o na n dq u e r y p r o c e s s i n gi nd i f f e r e n tm o d e l s ， k e yw o r d s ：h e t e r o g e n e o u sd a t a b a s e , i n t e g r a t i o n , o p t i m i z i n gq u e r y x m l 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取 得的研究成果。据我所知，除了文中特别加以标注和致谢的地方外，论文 中不包含其他人已经发表或撰写过的研究成果，也不包含为获得重迭太堂 或其他教育机构的学位或证书而使用过的材料。与我一同工作的同志对本 研究所做的任何贡献均已在论文中作了明确的说明并表示谢意。 学位论文作者签名：磊恚勺 签字日期：似7 年明加日 学位论文版权使用授权书 本学位论文作者完全了解重麽太堂有关保留、使用学位论文的 规定，有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许 论文被查阅和借阅。本人授权重麽态堂可以将学位论文的全部或部 分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段 保存、汇编学位论文。 保密() ，在年解密后适用本授权书。 本学位论文属于 不保密( v ) 。 ( 请只在上述一个括号内打“4 ”) 学位论文作者签名： 狂自 j 导师签名： 签字日期： 加口 年r 月2 口日签字日期： 易 月 步 可甲f 年 罗叩 重庆大学硕士学位论文1 绪论 1 绪论 1 1 问题的提出及研究意义 随着社会生活信息化、网络化的到来，使信息技术向当今社会全面渗透。推 进医疗部门办公自动化、网络化、电子化及全面信息共享己经是大势所趋。 近年来，我国各地医院办公信息化进度十分迅速，各级医院几乎都已经开发 或者正在开发自己的办公网络信息系统，但由于医院各职能部门工作侧重面的差 异以及构建自身信息系统的时间、规模等多方面的不同，这些办公网络信息系统 大都采用不同的数据库系统产品，如f o x p r o ，o r a c l e , s y b a s c ，m ss q ls a v a 等。而 且大部分数据库系统都是相互独立的实体，各部门不希望外来用户随意操作或控 制自己的数据库，要求保持对本地数据库的控制权【l 】。但随着医院部门工作管理 力度的不断深入和服务质量需求的不断提高，以及信息技术的进步，这些由不同 核心技术构建的信息系统就像一个个信息孤岛”，各自有着不同的处理对象、操 作方法和专用客户端，在各个环节之间存在着数据交流和部门协同的问题，因此， 各职能部门之间的信息共享和数据交换逐渐成为当前实际工作中的迫切需求。 医院管理系统开发中存在的问题是：各职能部门一般都有各自成熟的网络信 息系统，随着信息化程度的提高，各部门之间的信息资源共享成为实际工作中提 高工作效率的迫切需要。但是，由于医院各部门采用的数据库系统产品的差异， 使得它们之闻不能直接互相访闯对方的数据资源，基于异构数据库集成的医院管 理系统的研发目的就是为了将各部门的管理系统连接起来，形成一个大的医务网 络，从而达到各部门数据资源的共享。 1 2 国内外研究动态 异构数据库的集成是一个很有研究价值，但也非常复杂的研究课题。近2 0 年来，国内外学者从各个不同层面、采用不同的方法和技术对这个领域的相关课 题进行了研究，并得出了不少有益的结论，也建立了一些原型系统。但是一方面 由于各数据源的分布性、自治性和异构性等特点带来的困难，另一方面也由于技 术条件的限制，目前并不存在一个通用”的解决方案，离实用的商业化水平还相 距甚远【2 】。 1 2 1 异构数据库集成的研究现状 对信息支持的要求推动着异构数据库技术的研究发展。从二十世纪八十年代 后期开始，国内外大量的大学、公司、机构都在进行异构数据库的研究和探索， 相继有许多科研成果开始出现。进入九十年代后期，随着新的设计思路的出现， 重庆大学硕士学位论文l 绪论 异构数据库的设计方法也开始有了新的发展，一些数据库公司开始将其成果转换 为产品。 o m i n d 是i b m 公司资助的土耳其中东技术大学( m e t u ) 的a d o g a c 、 e o z c a n 等人研究的一个d e co b j e c tb r o k e r 的多数据库管理系统，使用c o r b a 来处理系统级的异构性和分布性。利用面向对象的技术，开发了两个基本的组件： 全局数据管理器( g d m ) 和本地数据管理器( l i ) m ) 。他们对查询处理也做了一 些有益的研究，并提出了几种查询优化技术，比如基于代价的优化技术。m i n d 系 统给出了多数据库查询处理的一些实现技术，但并没有给出一套形式化的定义和 理论对这些算法进行描述【3 】 ( 墓y r s i m m i s 是斯坦福大学的一个研究多数据库系统的实验室的产品。 t s i m m i s 采用自描述对象模型，在t s i m m i s 中，这种模型被称为对象交换模型 ( o b j me x c h a n g em o d e l ，0 e m ) 。o e m 是一个信息交换模型，它并不关心对象是 如何存储的，而是指明对象是如何发送和接收的。在i s i m m i s 中，没有模式和对 象类的概念，即没有必要定义对象的结构，每个对象实例本身就已包含了它自己 的模式。信息并不用o e m 存储，o e m 用于处理逻辑查询，然后返回查询结果。 o e m 采用一种称为m s l ( m e d i a t o rs p e c i f i c a t i o nl a n g u a g e ) 的查询语言。中间件 和封装器用m s l 描述，而且这些组件可以通过m s l 规格说明自动生成。t s i m ms 不提供数据的概念表示法，中间件在信息源上计算视图。t s i m m i s 提出信息访 问与集成是缠绕在一起的，在未看到样本前，系统可能并不清楚怎么合并信息， 而且碰到某个意外的数据，集成策略可能会改变 4 】。t s i m m i s 需要较多的人工干 预，自动化集成程度低。 东南大学研制的g a l a x y 是一个基于c o r b a 的分布式异构数据源信息系 统，该系统旨在以“即插即用方式集成来自不同数据源的数据，使用对象集成模 型( o i m ) 作为数据集成的公共模型，对象集成查询语言( o i q l ) 作为其查询语 言。o i q l 在s q l 语言的基础上增加了一些构造符，用于完成对象之间的导航式 查询以及对一些集合类型对象的查询。g a l a x y 可以查询数据库、i n t e r n e t 数据等信 息源，但对查询优化考虑得并不多。 1 2 2 医院管理系统建设现状 1 9 7 4 年，国外发达国家将计算机应用于医院管理，逐步建起了医院管理信息 系统；到8 0 年代末，医院信息系统的建设从局域网发展到广域网，单机应用变成 网络应用，从一般的数据处理发展到临床支持工程；9 0 年代，医院管理系统已经 广泛普及，开始做临床模型，并有了示警系统；目前国外已把重点完全放在了临 床支持上。为了支持医院信息系统建设向标准化发展，美国批准了一项医疗保险 改革和医疗电子商务标准化立法，该立法规定了可以用广域网来处理资料，医院、 2 重庆大学硕士学位论文i 绪论 医生和病人都可以在网上传输医学资料，而且为了方便大夫远程会诊，除了文字 资料以外还有大量的影像资料，真正把纸张操作变成为电子化操作。该标准还规 范了医疗、保险公司的资料申报和银行清算等电子商务标准条件，统一了编码， 规定了编码机的标准是什么、怎么用、覆盖到什么领域。涉及到美国卫生部门的 财务管理司、国家统计的标准化机构、票证管理机构和美国国家标准管理局和牙 科学会等等。 我国的医院信息管理建设则刚刚起步，和国外相比有着相当大的差距，医学 领域的信息专家们认为我们要整整落后1 0 年。中国医学科学院肿瘤医院计算机室 曹德贤主任在记者采访时指出我国正在做医院信息管理系统的基础工作：全国有 1 万6 千所医疗机构，信息化系统初具规模的医院不到1 3 ，真正将病人挂号、医 生开处方、划价、收费、药品处理，住院、转科、住院处的管理、后勤管理以及 大型仓库管理等等整个医院活动都纳入网络中的完整系统还没有。从八五攻关开 始我国就是在研究管理系统，即以病人活动为中心、人财物管理为重点，但还未 发展到以临床支持为重点。虽然我国没有国外小型机向大型机转型的问题，我们 现在建设的医院管理信息系统和采用的信息技术跟进国际水平的速度很快，但我 国在应用上不够，缺少可靠的数据系统。美国的生物信息学网站是2 4 小时更新， 可以通过关键字查找内容，而目前我国虽然有些机构和商业网站已经开始尝试做 文献搜集，但更新太慢、检索方式单一，因此我们在这方面还需要相当长的积累 【5 】。 1 3 本文的研究内容 由于医院信息化建设的阶段性特征，使得医院各部门存在不同数据库并存的 现象，那么异构数据库间的信息怎么有效地交流与共享问题就变得日渐突出。 异构数据库集成系统的信息源种类很多，系统不仅要能够集成信息还应该集 成信息互操作，并为用户提供各种查询和搜索服务。异构数据库集成的医院管理 系统的关键就是解决异种信息源集成的问题。对普通用户而言，希望屏蔽掉各种 层次的异构特性，他们不必知道各物理数据库系统的分布，不必知道各物理数据 库的结构组成，也不必自己去进行数据转换和结果汇总，只需要通过简便的全局 查询得到一个综合结果，这就是异构数据库联合使用技术主要的研究内容。这种 技术是一个既与各种数据库有密切联系，又有别于各种数据库的新的研究领域。 它的研究目标是对地理上分布的多个异构数据库，在尽可能不影响其本身自治性 的基础上，构造具有用户所需要的透明性的全局数据库，以支持对各种数据库的 全局应用和各异构数据库之间的灵活的信息交换和共享【6 l 。 本课题的目标是要研究分布式环境下的异种信息源集成系统的体系结构框架 重庆大学硕士学位论文1 绪论 和信息表示，设计一个具有全局数据库管理功能的信息集成系统。该系统能够对 物理上分散的异构信息源进行信息集成，把异构信息源中的数据集成为一种统一 的数据格式。本论文基于中问件的技术思想，对异构数据库的查询进行了抽象， 并给异构数据库用户提供了一个通用的接口，实现了这部分软件的复用，提高了 数据库开发的效率；另一方面x m l 统一格式的查询结果也可以供不同应用程序 和系统等共享。 本课题的主要研究内容如下： 首先，在详细分析了异构数据集成策略的基础上提出了b s 模式的集成模型。 其次，结合医院管理背景和数据集成的特点，提出一种基于x m l 技术和中 间件思想的异构数据库集成的系统框架结构，并论述各模块的具体实现过程。 最后，实现了一个基于中间件技术的医院管理系统。中间件主要由中介器、 包装器，元数据三部分构成。在用户提交了一个查询后，由中介器将用户查询翻 译成一个或多个子查询；然后这些子查询由相关的包装器发送到后台数据库进行 查询操作；最后中介器接着将包装器发送回来的各个数据源的查询结果进行综合 处理，并返回给用户【7 1 。 4 重庆大学硕士学位论文2 异构数据库集成系统概述 2 异构数据库集成系统概述 异种数据库集成系统的目标就是处理多种数据信息。保持多种信息的一致性， 快速方便地集成结构化、半结构化甚至是非结构化的信息。 2 1 异构数据库的特征 异构数据库系统是对分布式数据库系统的继承和发展，二者既有相同之处又 有区别。分布式数据库系统与异构数据库系统最根本的区别在于：分布式数据库 系统拥有单一的逻辑数据库，这个数据库可以在物理上分布，但只有一个d b m s 为其服务，提供一致的查询与更新，严格的说，各个分布子系统必须是同构的。 而异构数据库系统则是有多个异构的、自主的数据库系统为基础，通过一定程度 的集成而构成的一个分布式的数据库系统。 异构数据库的特征则可以从三个方面说明【卅： 分布性：异构数据库系统的各个组成部分是分布在不同位置的各种数据库 系统，系统通过通讯网络建立各个部分之间的连接。系统的数据保存在分布的数 据库系统中，这些数据可以以各不相同的方式保存，没有严格的逻辑要求。 异构性：异构数据库系统的异构性主要有两方面构成： 1 ) 数据库管理系统( d b m s ) 的异构 由于组成系统的各个数据库系统可以不同，因此形成了d b m s 的异构，这种 异构实质上可以分为以下三个方面：结构的区别：根据不同的方法论，d b m s 采 用不同的数据模型和数据结构，反映在物理上的存储方法也可能不同；查询规则 的不同：不同的数据模型造成了不同的规则，不同的规则又直接影响数据库功能 的实现。一个d b m s 因此可以是适应型的或是被动型的；查询语言的不同：不同 的数据模型，必然要造成不同的数据类型，所采用的数据操作机制也不同，即使 支持相同的标准，但不同d b m s 采用的查询语言也有所区别。 2 ) 语义的异构 与d b m s 的异构不同，语义的异构是由于数据库的使用人员对数据的定义、 作用以及描述的二义理解造成的。由此可能造成的异构情况有：命名的异构：由 于不同应用需求及方法论，对相同的现实世界实体及其属性采用不同的命名方法， 造成命名的冲突；数据存储种类的异构：相同或相似的现实世界数据，存在着表 达的多样性，因此表现在不同数据库系统中存储方式也不同，这些不同可以是数 据类型、范围、精度以及组成部分的异构。因此，在一个数据库中可以采用整型 表达的数据，很可能在另外一个数据库中采用字符串表示即，而在第三种数据库 5 重庆大学硕士学位论文 2 异构数据库集成系统概述 中则变为某种对象的一个属性；关系表达的异构：因为不同环境及需求，先是世 界中两个事务之间的关系可以从多方面理解，由此而造成在数据库中关系户表达 的异构，这种异构与该数据库系统采用的数据模型也密不可分，最可能出现的情 况就是数据的分割和组合以及关系连接的不同；数据遗漏及冲突：不同的应用对 数据对象的不同侧面要求不同，很可能在某个领域内非常必需的数据在另外一个 环境中却可以忽略，或者实际上是另外一种数据，所以数据的遗漏和冲突在所难 免。 自主性：构成异构数据库系统的各个子系统具有各自的自主性，这些自主 性体现在它们拥有对自身系统内各种资源的使用权利，包恬设计、执行、修改等， 同时，它们拥有与其它系统的交互的权利，包括加入、退出、通讯、提供服务等。 它们有权利接受外来的服务请求，也有权利拒绝或者请求服务的权利。但是，在 这些权利与承诺的系统义务之间，必须有一个有机结合【。 2 2 异构数据库集成方法 异构数据库集成可以通过转换和标准化来实现。在异构数据库系统集成中要 解决平台和网络的透明性、数据模型的转换、模式转换和集成、分布式事务管理 等问题。 当前异构数据库系统集成主要采用三种策略：公共编程界面、公共数据库网 关和公共协议，它们都是基于客户服务器体系结构的，这样可以综合各种计算机 协同工作，各尽其能，也可实现对计算机应用系统的规模优化和规模缩小化。公 共编程界面包括客户应用编程界面( c a p 0 和服务器应用编程界面( s a p d ；公共数 据库网关( ( o a t e w a y ) 是一个转换器，客户通过它就可以访问异构数据库；公共协 议是指对客户和服务器间通讯的格式和协议0 3 a p , f r a m ea n dp r o t o c 0 1 ) 及对数据库 语言进行标准化。这是一种最理想的解决异构数据库系统集成的方法。 这三种策略在异构数据库系统集成中可以配合使用，并不互相排斥。从各种 数据库产品所提供的异构数据库集成的主要机制来看，g a t e w a y 和a p i 是当今集 成异构数据库的主要方法。当前一些主要的大型数据库厂商的新版本d b m s 几乎 都采用了客户机服务器( c s ) 体系结构，强调对分布式功能的支持。它们都具有访 问异构数据库的能力，实现了异构集成，它们的不足之处是，其集成通常都是单 向的、主从式的，一种产品一般只提供从自己的d b m s 访问异 句数据库的机制和 产品【1 l 】 下面将简单介绍异构数据库和数据的集成结构与方法 虚拟视图法 采用虚拟视图法实现的数据集成系统，当用户向该系统提交查询请求时，系 6 重庆大学硕士学位论文2 异构数据库集成系统概述 统根据命令操作数据源中的数据，所以称这种方法为l a z y 方法。采用虚拟视图法 集成数据源主要有两种体系结构，一种是联邦数据库系统，另一种是m e d i a t e d 系 统。 联邦数据库系统 联邦数据库系统( f e d r a t e dd a t a b a s es y s t e m , f d b s ) 是由参与联邦的半自治的 数据库系统组成，目的是实现数据库系统间部分数据的共享。联邦中的每个数据 库的操作是独立于其它数据库和联邦的。之所以叫“半自治”是因为联邦中的所有 数据库都添加了彼此访问的接口。联邦数据库系统分紧藕合f d b s 和松藕合f d b s 两种【1 2 1 。 1 ) 紧藕合f d b s 有一个或几个统一的模式，这些模式可通过模式集成技术半 自动生成，也可通过用户手工构造。要解决逻辑上的异构，就需要领域专家决定 数据库模式间的对应关系。由于模式集成技术不易添加删除联邦数据库集成系统 中的数据库，所以紧藕合f d b s 通常是静态的，且很难升级。 2 ) 松藕合f d b s 没有统一的模式，但它提供了一些查询数据库的统一语言。 这样f d b s 中的数据库更具有自治性，但必须用户解决所有语义上的异构。由于 松藕合f d b s 没有全局模式，所以，每个数据库都要创建自己的联邦模式”。 f d b s 中实现互操作最常用的方法是将每个数据库模式分别和其它所有数据 库模式进行映射，如图2 1 所示。这样联邦中需要建立n ( n - 1 n 。模式映射规则，但 当参与联邦的数据库很多( n 值很大) 时，建立映射规则的任务变得不可行了。所以， 联邦数据库集成系统适合于自治数据库的数量比较小的情况，而且希望数据库能 够保持独立”，允许用户单独查询，数据库间能够彼此联合回答查询的情况。对 于网络上越来越丰富的数据源，f d b s 显然不是一个很好的解决方案。 图2 1 联邦数据库系统结构 f i g2 1t h e 酬玎l a a l r eo f f v c h a t c dd a t a b a s es y s t e m 重庆大学硕士学位论文2 异构数据库集成系统概述 中介( m e d i a t i o n ) 系统 m e d i a t e d 系统通过提供所有异构数据源的虚拟视图来集成它们，这里的数据 源可以是数据库、遗产系统、w e b 数据源等等。该系统提供给用户一个全局模式 ( 也叫m e d i a t e d 模式) ，用户提交的查询是针对该模式的，所以用户不必知道数据 源的位置、模式及访问方法。 m e d i a t i o n 体系结构与紧藕合联邦有如下不同之处： 1 ) m e d i a t e d 系统可以集成非数据库数据源。 2 ) 基于中介器( m e d i a t o r ) 的系统中的数据源的查询能力可以是受限的，数据源 可以不支持s q l 查询。 3 ) m e d i a t i o n 系统中的数据源是完全自治的，这就意味着很容易向系统中添加 t 刚除数据源。 4 ) 由于m e d i a t e d 系统中的数据源是自治的，所以对系统中数据源的访问通常 是只读的，而f d b s 支持读写访问。 图2 2 中介系统结构 f i g2 2 t h es h u c 嘶eo f m e d i a t o r 图2 2 所示的是典型的中介系统体系结构。该系统的主要部分是中介器和针 对每个数据源的包装器( w r a p p e r ) 。这里中介器的功能是接收针对全局模式生成的 查询，根据数据源描述信息及映射规则将接收的查询分解成每个数据源的子查询， 再根据数据源描述信息优化查询计划，最后将子查询发送到每个数据源的包装器。 包装器将这些子查询翻译成符合每个数据源模型和模式的查询，并把查询结果返 回给中介器。中介器将接收的所有数据源的结果合并成一个结果返回给用户。 数据仓库法 该方法需要建立一个存储数据的仓库，由e t l ( e x t r a e t , t r a n s f o r ma n dl o a d ) 工 具定期从数据源过滤数据，然后装载到数据仓库，供用户查询【”】。与虚拟视图法 3 重庆大学硕士学位论文 2 异构数据库集成系统概述 相对应称这种方法为e a g e r 方法。数据仓库体系结构图2 3 所示。 图2 3 数据仓库系统结构 f i g 2 3t h es t r u g t u r eo f d a t ew a r e h o u s e 与虚拟视图法相似的是用数据仓库集成异构数据源也需要异构统一的数据视 图，但不同的是e t l 工具过滤得到的数据存储到仓库中。而与传统的数据库不同 的是数据仓库中主要存储的是历史和汇总数据，用于决策支持，主要供分析或执 行等人员使用，而且为避免数据仓库与数据源中数据出现不一致，通常不允许用 户对数据仓库进行更新。 由于数据仓库系统的昂贵的投资费用、项目实旌周期长、项目成功率风险大 等原因制约了数据仓库在中、小型企业或数据积累少的企业解决异构数据源整合 和集成需求的应用；有些数据库管理系统自带的数据转换工具，能低成本地解决异 构数据源整合和集成阀题，但在具体项目实际应用过程中，也具有一定的局限性。 数据集成在很大程度上是基于这两种相对的方法。数据仓库和虚拟数据集成 系统主要的不同是“e a g e r 和1 配旷的对抗。如上所述，数据仓库方法需要建立一 个存储数据的仓库，定期对数据源中的所有信息进行预处理，形成符合仓库模式 的信息，然后下载数据到数据仓库。对数据源中信息的预处理及数据仓库的更新 主要是通过e t l 工具。这种方法的主要好处是查询处理性能高，但主要缺点是 数据可能不是最新的，如果仓库模式设计成静态的，当有新数据源加入或已有数 据源发生变化时对仓库的修改代价比较高，而且创建数据仓库比较费时费力，通 常需要6 、1 8 个月的时间。 虚拟视图集成方法用于数据仓库不实用或不能解决的情况，例如：用户只需 9 重庆大学硕士学位论文 2 异构数据库集成系统概述 访问数据源中一小部分数据、数据频繁更新、需要实时数据、提供数据方只能处 理有限的查询或全局模式本身经常改变的情况i l5 1 。在完全的虚拟数据集成中，全 局模式是一个逻辑的或虚拟的实体，系统根据数据源相关信息将针对该模式的查 询在系统运行时动态重写成针对每个实际数据源的查询，中介器通过包装器获得 数据，然后整合，返回给用户。在实际的数据集成解决方案中多采用虚拟视图集 成的方法，该方法定义了一个或多个中介模式( m e d i a t e ds c h e m a o ) ，通常指全局模 式。这些模式是用来查询数据，而不是存储数据，数据仍保存在局部数据源中。 当用户向集成系统提交一个查询，系统会将该查询翻译成针对各个数据源的查询 集，然后将结果整合返回给用户。应用这种解决方案得到的查询结果是最新数据。 而且x m l 的出现使得对各种数据信息的标准化描述成为可能，使系统更易于适 应数据源问的不同。 虚拟视图集成优于数据仓库之处是： 1 ) 它能够集成那些只允许对数据进行有限访问的数据源；支持数据的实时视 图；能够同时描述中介模式的多个版本。 2 ) 适合集成系统中的数据源数量很大，而且数据源更新频繁，不可预知用户 需要查询什么信息的情况。虽然虚拟视图集成方法要以一定的性能作代价，因为 每次查询都要连接数据源，如果有些数据源实际位置距中介器很远，则可能出现 响应延时，但是创建数据集成系统很快，而且在中介器中增用缓存策略可解决这 一问题，优化系统性制1 6 1 。 2 3 异构数据库集成问题分析 异构数据库集成一般应考虑以下几方面技术问题【1 6 】： 全局数据模式及全局查询语言( g l o b a ld a t am o d e la n dg l o b a lq u e r y l a n g u a g e ) 因为集成使用韵各局部数据库( l d b ) 的模式可能互不相同，通过建立全局数 据模式，使用户感觉就像使用一个单一数据库一样，从而使用户透明地使用异构 数据库。全局查询语言包括数据定义语言( d d l ) 和数据操纵语言( d m l ) ，它们是 对应于全局模式的。 识别数据匹配性( g e c o g n i z i n gd a t a 工n c o m p a t i b i l i t y ) 由于相同的对象在不同的d b m s 中也可能有诸如类型、长度等的不同，因丽 在集成局部数据库管理系统时，要识别这些不匹配的数据，并在全局数据字典中 标识它们。 全局数据字典( g l o b a ld a t ad i c d o n a r y ) 描述整个网上数据库的定义及分布情况，包括全局表对应的局部表名、局部 l o 重庆大学硕士学位论文2 异构数据库集成系统概述 表存在的结点名等，它是全局查询的基础。 数据转换 包括单结点上不同数据库的转换，网上任意两个结点上不同l d b m s 间数据 库的转换。 查询分解及翻译( q u e r yd e c o m p o s ea n dq u e r yt r a n s l a t i o n ) 从客户端发出的全局数据查询被分解成对各局部数据库的子查询，再由相应 的l d b m s 完成局部查询。因为l d b m s 的查询语言与全局查询语言可能有较大 的不同，因此分解出的子查询必须翻译为各l d b m s 的查询语言。 查询优化( q u e r yo p t i r m a t i o n ) 网上传输的速度是制约查询效率的关键因素，而各l d b m s 的查询方式、速 度的不同又使处理变得更为复杂。特别是对涉及到多个l d b m s 的连接查询提高 处理效率尤为重要。 查询结果处理( p r o c c s s i n gq u e f ) r c s u l 0 对于来自各个d b m s 的局部查询结果要进行汇总，并按一定格式进行存储和 显示。 安全控制( s e c u r i t yc o n u 0 1 ) 当异构的d b 被集成到联合使用的系统中以后，要保证原来某一系统中的保 密数据不能被非授权的用户访问，被纳入到全局模式的各局部数据库不能被其所 在场所的用户随意修改。 重庆大学硕士学位论文3 中间件和x m l 技术 3 中间件和x m l 技术 x m l 与中间件无疑是近几年两种热门的技术。随着x m l 及其相关技术、应 用的发展，x m l 已经成为了万维网重要的信息发布标准和表示技术之一，越来越 多的应用之间通过x m l 来进行数据交换。x m l 的跨平台性和强适应性很快得到 了中间件研究领域的肯定，并因此而产生了大量的相关研究和相关产品。同时， 随着x m l 技术影响的不断扩大，大量而向x m l 的应用层出不穷，客观上对基于 x m l 的中间层服务和工具提出了大量需求，一些厂商和个人也纷纷投入到x m l 服务和工具的开发中来，基于x m l 技术的中间件系统的研究也应运而生。 3 1 中间件技术 计算机系统最初阶段多是单机系统，多个用户通过联机终端来访问。随着网 络的出现，产生了客户，服务器的计算服务模式，多个客户端可以共享数据库服务 器和打印服务器等。 随着计算机和网络技术的飞速发展，许多软件需要在小同厂家的硬件平台、 网络协议异构环境下运行，应用的规模从局域网发展到广域网，应用范围而向三 层和多层体系结构的分布式环境。在分布式环境中，无论是硬件平台还是软件平 台都不可能做到统一，而大规模的应用软件通常要求在软硬件各不相同的分布式 网络上运行中间件产生以前，应用软件直接使用操作系统、网络协议和数据库 等开发，开发者不得不直接而对许多复杂棘手的问题，如操作系统的多样性、繁 杂的网络程序设计和管理、复杂多变的网络环境、数据分散处理带来的不一致性 问题等等，耗费了大量的时间和精力，因此开发者迫切需要一种基于标准的、独 立于计算机硬件以及操作系统的开发和运行环境，于是产生了中问件技术【l ”。 中间件的定义 为解决分布异构问题，人们提出了中间件( m i d d l e 啪) 的概念。虽然中间件不 是新的名词，但到目前为止，还没有一个十分确切的概念，现在大家普遍接受的 就是i d e 的描述性定义：中间件是一种独立的系统软件或服务程序，分布式应用 软件借助这种软件在不同的技术之间共享资源，中间件位于客户机服务器的操作 系统之上，管理计算资源和网络通信。也就是说中问件是一类软件，而不是一种 软件；中间件不仅仅实现互连，更重要的是还要实现应用之间的互操作；中间件 是基于分布式处理的软件，最突出的特点是其网络通信功能。它为当今的大型分 布式企业级应用找到了一个标准的平台，能够把大型企业分散的系统有机地组合 重庆大学硕士学位论文3 中间件和x m l 技术 在一起，实现大型企业应用软件系统的集成。 中间件与应用软件的最大区别在于：中间件的设计充分考虑了通用性，并提 供了标准化的程序开发接口a p i ，能够被其他软件调用和进行二次开发。在具体 实现上，中间件是一个用应用程序接口定义的分布式软件管理框架，具有强大的 通信能力和良好的可扩展性。中间件在分布式系统中的位置如图3 1 所示。 图3 1 中间件在系统中的位置 f i 9 3 1t h e l o c a t i o n o f m e d i a t o r i n t h es y s t e m 中间件的分类 传统中问件通常提供通信和事务处理功能，包括数据访问中间件，远程过程 调用中间件，面向对象、组件的中间件，基于消息的中间件等多种类型，相关技 术规范也日趋成熟。 而目前，随着电子商务的兴起和企业信息化建设的深入，中间件已不再仅仅 实现客户机服务器的互连，还实现应用之间的互操作，也就是数据和应用的集成。 从系统层次的角度，可以把当前的中间件软件从下至上依次归纳为四类：传 统通信中间件、应用服务器，企业应用集成中间件和业务过程管理工具，其中前 两种又合称为基础中间件，因为它们通常支撑单个应用系统或解决单一类问题， 与平台软件，如操作系统、数据库管理系统等，结合紧密；后两种属于应用中间 件的范畴，更多用于系统整合，与行业应用系统联系紧密。应用中间件通常会与 多个应用系统打交道，位于系统中较高的层次，并大多基于底层中间件运行【l 明。 传统中间件发展时间较长，作为基础平台软件，具有一定的通用性，实现技 术也较为复杂。该类别中囊括了多种实现机制，相关标准也比较完备。由于是高 层中间件运行的基础，因而仍然占据主体地位。应用服务器在企业信息化建设中 得到了广泛应用，是设计、开发、部署、运行和管理i n t e m e t 电子商务的平台。 企业应用集成中间件帮助企业集成各种新老应用程序，使它们能够跨平台互通， 在企业资源规划中扮演着重要角色。正是应用服务器和企业应用集成中间件的出 重庆大学硕士学位论文3 中间件和x m l 技术 现改交了中间件的作用，使其从一个联结分布式应用各组成部分的通信工具，变 成一个集成工具，从而也提升了中间件的地位和重要性。据预测，未来几年增长 率最高的中间件将集中在应用服务器和应用集成中间件上。 中间件的特点 根据中间件的技术特征和它的作用，中间件具有以卜特点：可满足大量应用 的需要；运行于多种硬件和o s 平台；支持分布式计算，提供跨网络，硬件和o s 平台透明性的应用或服务的交互功能；支持标准协议；支持标准接口。 随着中间件在我国信息化建设中的广泛应用，中间件应用需求也表现出一些 新的特点：可成长性：i n t e m e t 是无边界的，中间件必须支持建立在i n t e m e t 之上 的网络应用系统的生长与代谢，维护相对稳定的应用视图；适应性：环境和应用 需求不断变化，应用系统需要不断演迸，作为企业计算的基础设施，中间件需要 感知、适应变化，提供对多种环境的支持；可管理性：领域问题越来越复杂，r r 应用系统越来越庞大，其自身管理维护则变得越来越复杂，中间件必须具有自主 管理能力，简化系统管理成木；高可信性：支持大规模的并发客户访问，提供 9 9 9 9 0 , 6 以上的系统可用性以及安全、可信任的信息服务。 这些新的应用特点对中间件技术的发展提出了新的挑战，也决定了中间件技 术未来几年的发展方向，为了解决上述问题，中间件技术呈现出丰富多彩的格局。 中间件的优越性 世界著名的咨询机构s t a n d i s hg r o u p 在一份研究报告中归纳了中间件的十大 优越性：缩短应用的开发周期、节约应用的开发成本、减少系统初期的建设成木、 降低应用开发的失败率、保护已有的投资、简化应用集成、减少维护费用、提高 应用的开发质量、保证技术进步的连续性、增强应用的生命力。 具体地说，中间件屏蔽了底层操作系统的复杂性，使程序开发人员而对一个 简单而统一的开发环境，减少程序设计的复杂性，将注意力集中在自己的业务上， 不必再为程序在不同系统软件上的移植而重复工作，从而大大减少了技术上的负 担。 中间件带给应用系统的，不只是开发的简便、开发周期的缩短，也减少了系 统的维护，运行和管理的工作量，还减少了计算机总体费用的投入s t a n d i s h 的 调杏报告显示，由于采用了中间件技术，应用系统的总建设费用可以减少5 0 2 皇 右。在网络经济大发展、电子商务大发展的今大，从中间件获得利益的小只是r r 厂商，r r 用户同样是赢家，并且是更有把握的赢家。 其次，中间件作为新层次的基础软件，其重要作用是将不同时期、在不同操 作系统上开发应用软件集成起来，彼此像一个大衣无缝的整体协调工作，这是操 作系统、数据库管理系统本身做不了的。中间件的这一作用，使得在技术不断发 1 4 重庆大学硕士学位论文 3 中间