【毕业学位论文】（Word原稿）农业科学数据中心异构数据库的访问研究管理科学与工程硕士论文

密级 论文编号： 中国农业科学院 学位论文 农业科学数据中心异构数据库的访问研究 I 摘 要 目前，中国农业科学院农业科学数据中心数据库已经多达 65 个。由于这些数据库在数据结构方面的异构性，给数据库的访问带来了很大的困难 解决农业科学数据中心异构数据访问问题提供理论和策略支持。 论文借助于管理信息系统方法 ，综合运用数据库技术和信息技术，首先对中国农业科学院农业科学数据中心的数据情况、异构数据库的环境、异构数据库访问模式弊端进行了详细的分析，结合对国内外中间件技术发展的研究，通过对不同访问模式的选择与比较，提出了在数据中心采用中间件技术来透明访问异构数据库的构想。然后在此基础上，设计了一个基于 异构数据库访问中间件方案，并逐一论述了各个模块的设计和实现过程，最后通过农业科学数据中心中的具体实例来对该方案进行了验证。 本文的方案屏蔽了底层数据库系统之间以及数据结构的异构性，同时在最大限度保护农业科学数据中心的用户资源的情况下，实现了透明访问异构数据。 该项研究为科学数据共享及相关系统的建设提供了科学分析的基础，在农业领域，为解决透明访问异构数据库问题提供了解决思路，对于规划和管理数据中心及其系统，具有重要的参考价值和现实意义 . 关键词 : 数据中心 ,数据访问 ,解决方案in of 5. It is of of in of to to To of of to in is to a on of of of is in of of of to of of in is of of to to is by on of to to in is of to a of of to on ML is of to is of at it to to of of in of of is to of to is it of to 录 第一章 引 言 . 1 题的提出 . 1 究目的、意义及目标 . 2 内外研究现状 . 3 究内容和研究方法 . 5 究特色与创新点 . 6 文的组织 . 7 第二章 农业科学数据中心异构数据库数据访问分析 . 8 业科学数据中心数据情况分析 . 8 业科学数据中心异构数据库访问模式分析 . 10 业科学数据中心异构数据库访问模式的选择 . 11 构的选择 . 11 法的选择 . 13 间件技术分析 . 13 间件技术特点 . 14 间件的分类 . 14 间件的发展趋势 . 15 间件的实现技术 . 16 间件技术的比较分析 . 16 业科学数据中心透明访问中所涉及的问题分析 . 17 第三章 农业科学数据中心访问异构式数据库的方案设 计 . 20 计目标 . 20 统分析 . 20 决异构模式问题分析 . 20 现系统的技术关键 . 21 运作流程分析 . 23 统架构 . 24 统特色 . 27 统设计总结 . 27 第四章 农业科学数据中心异构数据库中间件结构的实 现 . 29 局库的实现 . 29 建全局库 . 29 态实现全局库 . 31 间件的实现过程 . 31 实现 . 32 询解析模块 . 32 据合并模块 . 34 实现 . 35 据库操作模块 . 35 式转化模块 . 36 章总结 . 38 第五章 访问农业科学数据中心异构数据库的方案验证 . 39 试环境 . 39 试方法 . 39 试系统的设计和 实现 . 40 户端 . 40 务器端 . 41 统运行流程图 . 41 统运行界面 . 43 统运行效率 . 44 第六章 总结与展望 . 45 V 结 . 45 望 . 46 参考文献 . 47 致谢 . 55 作者简历 . 56 中国农业科学院硕士学位论文 第一章 引言 1 第一章 引 言 本章概要性的介绍该课题的研究背景，国内外在异构数据库研究方面现状，涉及的概念以及该研究的目的、意义和研究内容、特色等，最后阐述了该论文的组织情况。 题的提出 国家农业科学数据中心是由科技部“科技条件大平台”支持建设的九个数据中心试点之一。中心建设由中国农业科学院农业信息研究所主持，中国农业科学院部分专业 研究所、中国水科院等单位参加。该中心立足于农业部门，通过集成、整合、引进、交换等方式汇集国内外农业科技数据资源，并进行规范化加工处理，分类存储，形成一个可提供快速共享服务的网络体系。 根据农业科学技术发展的学科需要和现有的资源情况， 国家农业科学 数据中心 重点整合作物科学、动物科学和动物医学、农业科技基础数据、农业资源与环境、农业生物技术与生物安全、农业信息与科技发展、水产科学、热作科学等科学数据。 目前已 整合和链接的数据库 65 个，数据量 27些数据库已全部实现网络化共享。 同时，农业科学数据中心还研发 了基于 元数据的农业科学数据共享软件系统，该系统实现了网络化的元数据管理以及农业 科学 数据维护、审核、发布和安全管理。 在农业资源信息共享体系中， 数据中心成立了专门的数据处理小组和数据质量控制小组，并 组根据农业科学数据的业务特点 ， 制订了数据整理、加工、质量控制、制作、归档、发布的业务流程规范 ，负责数据库的标准化处理和网络发布， 采用元数据和链接来整合数据，然后对这些整合过的数据库进行透明访问。 但是，当前，随着农业数据的不断增加，异构数据库越来越多，这些异构数据库主要体现在：数据库存储采用不同的数据库管理系统（ ，比如中心数据有的是用 储的，有的又是用 储的，还有的是 ； 农业科学数据中心的许多重要数据库中数据的结构模式也不相同，如 采用相同的数据库管理系统，可是在定义一些字段上又存在着不同 。这些问题的存在导致了异构数据共享困难，搜索信息的难度增加。 现有的 B/S 结构的网络应用系统由于 展迅速，用户访问量也大量的增加，已不能很好的满足要求。如何更好的发挥整个系统的性能，是目前急需解决的问题。 根据目前异构数据库的研究现状，本论文将 科技部“科技条件大 平台”支持建设的九个数据中心试点之一 为分析的案例，通过对农业科学数据中心情况以及数据中心中异构数据访问存在的问题等方面的分析研究，结合国内外中间件技术的发展现状，根据本项目的特点和需求，以农业信息网络化、数字化共享为目标，以先进性、成熟性、安全性、开放性和可扩展性作为系统的设计原则，构筑一个解决方案的理论框架，为解决数据中心异构数据访问问题提供理论和策略支持。 中国农业科学院硕士学位论文 第一章 引言 2 究目的、意义及目标 究的目的 本研究针对目前农业科学数据中心数据库的访问现状而提出，目的在于解决当前中国 农业科学院农业信息研究所农业科学数据中心中出现的异构数据库的访问问题，使得用户不必知道数据库中数据的具体存放位置，对于各种不同的数据库的访问 ,都可视作为是对一种数据库的访问 ,而不必关心数据库的类型、结构以及与其它细节，实现透明访问。在数据库不断增加以及不影响数据库系统和应用系统的情况下，对现有的系统进行改善，使信息管理系统具有广泛的适用性。本文研究的目的是构筑一个基本的理论框架，为数据中心数据访问提供理论支持和策略支持。 究的意义 当前农业科学数据中心课题中，中国农业科学院农业科学数据中心的数据 库已经多达 65 个，这么多的数据库，许多数据库的 据库管理系统）本身并不相同，有的是用 储的，有的又是用 储的，还有的是 。这就构成了数据库的异构性，同时，随着农业数据的不断增加，在信息共享中，给访问带来了较大的困难，如何屏蔽底层的数据库系统之间的异构性，实现用户的透明访问，是摆在我们面前的一个难题。本研究 立足中间件模式，引进中间件思想，根据目前数据库中间件发展现状，结合数据中心的具体情况，对传统数据库中间件的可重用性、可移植性等方面进行了改 进，同时基于 术，对数据中心的数据进行进一步的访问集成，构造一个利用数据库中间件来透明访问农业科学数据中心异构数据库的设计思想和方案， 解决当前科学数据中心的异构数据库访问的难点，具有重要的创新和现实意义。 究的目标 总体目标： 通过本研究，对信息管理与信息管理系统的理论知识有深入的了解，利用信息管理以及信息技术相关的知识和方法对数据库进行有效的管理，屏蔽各种数据库的异构性 ,实现对数据中心中用不同的数据库管理系统存储的数据库进行数据交流和信息共享 , 最大限度地保护用户资源，透明地访 问异构网络、计算机平台，实现异构数据库之间的连接、数据交换和数据共享，无缝地联合使用异构信息源中的大量信息。 具体目标： 本研究的具体目标是针对数据中心中由数据结构差异导致的异构数据库访问情况，根据数据库中间件发展现状和农业科学数据中心现状，采用中间件模式，对传统数据库中间件的可重用性、可移植性等方面进行了改进，构造一个基于 数据库中间件来透明访问异构数据库的设计思想和方案，为农业科学数据中心访问异构数据库提供新的思路。 中国农业科学院硕士学位论文 第一章 引言 3 内外研究现状 构数据库访问研究现状 对 异构数据库系统 进行透 明访问，这个研究 国外早在 80 年代中期就已开始，国内随后也开始了相应的研究。早期的解决方案多采取多数据库 (联邦数据库（ 方式，并研发了多个实验性的系统。著名的有 司数据库技术部开发的 司开发的 ,美国南加州大学开发的 。由于多数据库或联邦数据库的解决方案是将所有的局部模式一次集成为一个单一静态的全局模式，具有难以加入新的数据源、难以满足集成用户的多视角要求等缺陷，从 90 年代起，国际上提 出了异构数据源集成系统的 种解决方案采取三层软件结构，最上层是应用，中间层称为 协调器 ，用以冲突消解和执行查询，下层称为 包装器 ，用以封装和转化局部数据源。从 90 年代起，国际上的多数据源集成系统多采取 架，著名的有 学的司的 国 究所的 。由于异构数据源集成系统还有一些难题尚未完全解决（如语义冲突的消解，查询优化等），国外研发的系统基本上都带 有实验性质或是针对具体的项目和应用，商业化的产品虽然也有少数几个（如 但都不是很成功。 当前关于异构数据库理论的研究大体分为两大类，一类是建立全局模型解决异构数据库的使用，采用这种方式需要建立全局数据模型或者从不同数据源导出全局数据模型，通过全局模型将异构数据源转化逻辑上单一的数据库系统，这类研究的文献见（ 1990,998）。如 出基于数据复制技术的异构数据库联合使用，建立全局数据模型，通过数据复制技术将不同系统的数据复制到新 的数据库系统中（ 998）。然而由于各个异构数据库要保持自制，没有通用解决数据冲突的方法，建立全局数据模型很困难。 第二种研究方法是不建立全局数据模型，采用这种研究方法是将异构数据库混合使用而不建立全局数据模型，这类研究的文献见（ 990, 991）。 现在随着 术的发展 ， 异构数据库的使用逐渐成为热点， 人研究了 异构数据库的解决方案，提出 构数据库访问模型，这种模型在 异构数据库系统上建立 间件，通过它提供一致、透明的数据访问（ . 关于数据库透明访问的研究 ,国外学术界和产业界已做了不少的工作 ,研究并推出了一些基于不同实现策略的支持数据库透明访问的产品。其中具有代表性的如 关 , 。从表面上看 ,这些产品都较好地解决了数据库类型透明性和位置透明性的问题 ,实现了数据库透明访问的目标。但如果用对于数据库透明访问的优化性能准则、简化配置准则、确保安全准则来衡量 ,便会发现它们均存在一定的 缺陷。 例如 ,然能够为客户应用提供透明访问 ,但它要求客户方的用户 (系统管理员 )事先在客户系统上建立数据源与服务器地址、类型的映射关系 ,并安装所需数据库驱动程序。当数据库服务器的地址或类型发生变化时 ,该服务器的所有客户都必须及时了解这些变化并对客户系统的配置做出相应更新。并且 ,当增加新类型的数据源时 ,还必须在所有客户方安装新的驱动程序。这中国农业科学院硕士学位论文 第一章 引言 4 样的静态配置显然增加了系统管理的负担。 又如 ,持了一个全局的企业数据目录 ,将各部门的数据元素与分布式实体对应。正是这种全局映射不仅对用户隐藏了基础数 据的位置 ,同时隐藏了其他差别 ,如命名约定和数据类型。 关包括一个 言分析器 ,智能的分布优化器 ,全局目录以及访问模块。全局目录通过一种名字映射支持位置透明性 ,而访问模块则提供了对其它数据源的访问。然而 ,关把提供数据库互操作性的所有功能都集成在自己身上 ,完成包括对所有客户请求的 法分析、目录服务、优化编译等在内的一系列工作。这种包揽一切的管理方式无疑增大了 关的处理负载 ,使其成为网络通信的一个瓶颈。同时由于针对每一种关上都必须有 相应的语法分析器及访问模块 ,也加重了它对运行环境的负担。另外 ,增加一种新的数据库系统 ,都必须修改 关本身 ,也影响了它的可扩展性。 最后 ,以上产品均未涉及数据库互操作性带来的安全性问题。 国内异构数据库研究大多数针对特定领域，特定环境进行研究，研究的目的大多数解决某一具体问题。理论研究较多，通用产品较少。 九十年代初， 中国科学技术大学 与中科院数学所合作开发了第一个国产化关系数据库管理系统 数据库管理系统本身从设计到实现有深入的研究；独立完成了 成开发环 境，目前正在开展中科院知识创新项目的研究。 进入九十年代后期，随着新的设计思路的出现，异构数据库的设计方法也开始有了新的发展，一些数据库公司开始将其成果转换为产品，这些产品功能尚不完备，或者只能使用与某些特定的数据库连接，总体来说，还不尽人意。如东大阿尔派的 邢艳辉 ,2000 ,该系统支持 准，提供 接方案 ,是国内目前唯一商业化的软件 ;东南大学的联邦数据库管理系统采用紧凑的联邦数据库模型，实现了不同数据库的接口问题，并在分布式查询优化方面作出了很多工作 ;北京理工大学 的 统从其结构而言经历了三个阶段，从最初的 构进化到三层结构，然后又从三层结构转向基于 动态分布式结构目前， 以通过 接口连接当前流行各种数据库系统，但查询效率有待提高。 间件技术研究现状 中间件 (基础软件的一大类，属于可复用软件的范畴 (李冰颖 ,2004)。中间件是处于应用软件和系统软件 (操作系统，网络协议，数据库管理系统等 )之间的一个软件层，它屏蔽了环境底层的复杂性，提供给应用开发 者统一的，功能强大的应用程序接口，使应用开发者只专注于业务逻辑的开发，快速地开发出可靠、高效的分布式应用。 目前国际较为流行的三种中间件技术为 :织制定的 准、 准和 司的 外典型的对象中间件产品包括 司的 司的 中间件 张立明 ,2003) (李冰颖 ,2004)。在国内，国防科技大学、北京大学、北航、中科院软件所、东南大学等大学和院所很早就投入到中间件 技术的研究中，并形成了一系列的成果。国内在 术（国防科技大学与中创软件）、消息中间件技术（中科院软件所）、应用服务器（北京大学）、 航）等方面在技术上基本中国农业科学院硕士学位论文 第一章 引言 5 与国外保持同步发展的水平。国产中间件已经形成了比较完整产品体系，例如，中创软件、中和威推出了基于 准的通信中间件产品；中创软件、金蝶软件、东方通科技等公司分别推出了遵循 范的应用服务器产品；中创软件、中科院软件所、东方通科技推出了消息中间件产品；中创软件推出了符合 准的企业应用集成套件 从采用基于 术的中间件来集成异构数据库或异构信息的角度来看，目前，相关研究主要集中在国外 (周竞涛 ,2002)。 美国政府在 1998 年通过 划开始支持 于中间件的信息集成系统 ) 到 转化 (998)，在 2000 年，该系统的研究再次受到 划和助，并以研究基于 间件信息集成系统 (统 )为主，其中 , 等人主要研究了以 成视图对异构数据的包装和查询，并提出了相应的代数体 系结构。 (,2000) 学和 同研究和实现了 间件系统。该中间件系统支持对象关系数据的 布，支持基于 系数据视图，采用了 D W 001)模式转化算法，以 目标模式，但不支持主外键等约束的描述，也不支持多表关系约束的转化。 (J. 000)。 研究利用中间层结构集成和查询 据源的问题 (001)。 学研究了基于 码自动部署和数据交换 间件 (000)。 相比之下，在利用基于 术的中间件来集成异构数据库或者异构信息方面，国内还没有公开的相关研究。 究内容和研究方法 究内容 研究内容 : 本文把 科技部“科技条件大平台”支持建设的九个数据中心试点之一 心 作为分析的案例。研究内容包括两大部分： 1）农业科学数据中心异构数据库访问情况分析； 2）中间件体系结构的建立、实现。第一部分主要是分析农业科学数据中心数据情况以及数据中心中异构数据访问模式存在的问题，包含数据中心数据环境情况、异构数据库的数据库访问模式分析。通过国内外中间件的发展现状以及相关的系统分析比较，第二部分提出了农业科学数据中心异构数据库透明访问中间件系统。根据本项目的特点和需求，以农业信息网络化、数字化共享为目标，以先进性、成熟性、安全性、开放性和可扩展性作为系统的设计原则，构造一套实用的访问异 构数据库的中间件系统解决方案。 技术路线 :见图 1国农业科学院硕士学位论文 第一章 引言 6 访问中间件 数据源 图 1术路线图 究方法 以管理科学与系统建设的相关理论方法为指导，分析、探讨农业科学数据中心异构数据库的访问情况以及当前中间件系统的现状，为解决农业科学数据中心异构数据库的访问方案提供科学分析依据 ; 以信息管理科学与系统科学的相关理论为指导，在广泛收集资料和重点实例调查的基础上，运用系统分析的相应方法，明确农业科学数据中心 的异构数据库的访问模式选择和管理策略 ;在此基础上对农业科学数据中心异构数据库的访问提出解决方案，为推进农业科学数据中心的数据共享进程提供参考和借鉴。 究特色与创新点 首先详细分析了数据中心异构数据库的环境、数据中心访问模式的弊端，通过对访问模式的比较，在分析了国内外中间件技术以及对数据访问集成研究的重点的基础上，设计采用中间件技术来透明访问异构数据库的方案，在农业科学数据中心，为解决透明访问异构数据库问题提供了解决 思路。文中采用具体的实例对方案进行验证，体现了其实际意义。这项研究为农业科学数据务器 户 解 抽取数据转换格式 结果集成 中国农业科学院硕士学位论文 第一章 引言 7 中心科 学数据共享及相关系统的建设方面提供了科学分析的基础，具有重要的参考价值。 关于数据库集成、中间件技术等方面，国内外有不少研究，但对农业科学数据中心来说，目前农业数据共享体系中所采用的数据访问模式存在很大的弊端，在农业数据不断增加且维护压力逐渐增大的情况下，不改变原有的应用系统，通过在应用逻辑层与数据层添加一层中间件的模式，应用中间件技术，对农业异构数据库进行透明访问，为实现信息共享和交流提供更为优越的解决方案，对于规划和管理农业科学数据中心及其系统，具有重要的创新价值和现实意义。 文的组织 本论文 的章节安排如下 : 第一章为引言。 第二章主要分析了农业科学数据中心异构数据库数据情况，并对当前存在的问题和访问模式进行了讨论。接着给出了中间件技术的一个概述，阐述了中间件的定义、分类，发展以及中间件技术的实现技术等。最后分析了应用中间件访问异构数据库中涉及的问题。 第三章给出了农业科学数据中心访问异构式数据库的方案设计，提出一个基于 描述了该中间件模型体系结构中各组件的功能特性。 第四章详细描述农业科学数据中心异构数据库访问中间件系统中各个模块的具体实现过程。 第五章通过具体的实例来对本文设计的方案进行验证。 第六章总结了本论文的研究工作，并给出了进一步的展望。中国农业科学院硕士学位论文 第二章 农业科学数据中心异构数据库数据访问分析 8 第二章 农业科学数据中心异构数据库数据访问分析 本章首先对农业科学数据中心的数据情况进行了详细的分析，针对数据中心 B/S 模式访问数据库的弊端，论文立足中间件模式，在应用逻辑层与数据层之间加入一层，引进中间件思想，实现对异构数据的透明访问。接着详细阐述了中间件的分类、发展、中间件的技术实现和几种中间件的比较等，最后对利用中间件技术访问异构数据库中涉及的问题进行了分析。 业科学数据中心数据情况分析 目前， 农业科学数据中心 整合 已 整合和链接 65 个数据库，数据量 有 27其中包括作 物科学、动物科学和动物医学、农业科技基础数据、农业资源与环境、农业生物技术与生物安全、农业信息与科技发展、水产科学、热作科学等科学数据 ，这些数据库已全部实现网络化共享。 农业科学数据中心的数据库异构主要体现在数据结构和数据类型方面，即数据源在存储模式上的不同。一般的存储模式包括关系模式、对象模式、对象关系模式和文档嵌套模式等几种，在数据中心，关系模式为主流存储模式。但是，即便是同一类存储模式，它们的模式结构也存在差异。比如 采用的数据类型与 采用的数据类型并不完全一致。 农业科学数据中心典型的异构数据库系统环境如下图 2示 : 图 2业科学数据中心异构数据库系统环境 基于 基于 基于 基于 农业数据中心 基于 未来可能添加的新系统 其它方式 中国农业科学院硕士学位论文 第二章 农业科学数据中心异构数据库数据访问分析 9 从图 2以看出，整个系统处于一种分布的、动态的环境之中。对系统的整合不仅仅需要把现有的系统合理地融合到一起，更重要的是向用户提供一种方便的使用方式，使得用户能够透明、有效、安全地访问数据中心的有效资源。 目前农业科学数据中心数据的 ，这些不同的数据库以及同一数据库厂商的不同版本的数据库产品之间对数据类型的定义是有差别的，在实现对数据中心的异构的数据