（管理科学与工程专业论文）基于xml的网络环境下数据库共享发布技术研究.pdf

国防科学技术人学研究生院学位论文 摘要 随着信息技术的发展 特别是互联网应用的推广 关键 权威机构的数据 库信息封闭性已成为严重的问题 大大地影响了信息化的发展 信息有效利用和 行业 或机构 关键信息的一致性 鉴于此 本论文提出了网络环境下数据库共 享与集成一体化解决方案 该方案通过四个步骤来实现数据库共享与集成 数据 库概貌发布 e r 模式共享需求描述 需求发布并提交到数据库 信息提取与集 成 通过查新和分析国内外相关技术 本论文重点研究数据库共享与集成中的需 求描述模式和交互协议 提出了语义化e r 模式需求描述思想 同时在分析了 x m l 的特点后 共享和集成方案中的交互协议均采用x m l 语言来制定 考虑 可扩展性 所有技术均采用j a v a 实现 归纳起来 本论文所做的工作主要有 提出基于x m l 的数据库共享与集成方案 用x m l 统一描述和发布数据库概貌信息 提出可视化语义e r 模式共享需求描述方式 提出了 种通用的s q l 语法验证模型 分析了数据库共享与集成方案中的安全策略 关键词 舅s 燃q l型墼毳毳蠢妻模犁辫集成兰曼塑萎孟塞描述骏证模型一葆作映射模型 一 里堕坠兰堡查叁耋丝圣竺堕童堡篁兰 a b s t r a c t w i t ht h ed e v e l o p m e n to fi n f o r m a t i o nt e c h o n o l o g y e s p e c i a l l yt h ep o p u l a r i z i n g o fi n t e r n e t t h eo b t u r a t eo fd a t a b a s e so fi n s t i t u t i o n sw i t h p i v o t a l c a n o n i c a l i n f o r m a t i o nt u r n st oas e r i o u s p r o b l e m t h i s e n c u m b e r st h e d e v e l o p m e n t o f i n f o r m a t i o nt e c h e f f e c t i v e l yu s i n go fi n f o r m a t i o na n dc o n s i s t e n c yo fe s p e c i a l l y i n f o r m a t i o nb e t w e e n i n s t i t u t i o n s c o n s e q u e n t l y i nt h i sa r t i c l e w ep r o p o s e as e r i e so f s o l u t i o n so fd a t a b a s e s s h a r i n g a n di n t e g r a t i o nu n d e ri n t e r n e t t h es o l u t i o n sa r e c o m p o s e d o ff o u r p a r t s r e l e a s i n g o fd a t a b a s e p r o f i l e d e s c r i p t i o n o fs h a r i n g r e q u i r e m e n t r e l e a s i n go fr e q u i r e m e n t d i s t i l l i n ga n di n t e g r a t i o no fi n f o r m a t i o n b y s u m m i n gu pt h e r e s e a r c ho fr e l a t e t e c h o n o l o g y w e f o c u so u rr e s e a r c ho nt h e d e s c r i p t i o np a t t e r no fs h a r i n gr e q u i r e m e n ta n de x c h a n g ep r o t o c a l w ep r o p o s et h e i d e ao fe rd e s c r i p t i o np a t t e mo fr e q u i r e m e n to nt h es a m et i m e b va n a l y s i s e dt h e c h a r a c t e r i s t i co fx m l w eu s ex m lt ob u i l dt h ep r o t o c a lo fd a t as h a r i n ga n d i n t e g r a t i o n f o re x p a n s i b i l i t y w ea c h i e v ea l lt h ei d e ab a s e do n j a v a t ob ec o n c l u d e d t h em a i nw o r kd o n ea r e p r o p o s e s o l u t i o n so fd a t a b a s e ss h a r i n ga n di n t e g r a t i o nb a s e do nx m l d e s c r i b ea n dr e l e a s ed a t a b a s e p r o f i l eb vx m l p r o p o s e t h ei d e ao f s e m a n t i ce rd e s c r i p t i o np a t t e l t lo f r e q u i r e m e n t p r o p o s e t h em o d e lo f c o m m e n s q ls y n t a xv e r i f i n g r e s e a r c ht h es t r a t e g yo f s e c u r i t yi nd a t a b a s es h a r i n ga n di n t e g r a t i o n k e y w o r d s d a t a b a s ep r o f i l e d a t a b a s es h a r i n gd a t a b a s ei n t e g r a t i o n e r d e s c r i p t i o np a t t e r ns q lv e r i f i n gm o d e l o p e r a t i o nm a p i n g m o d e l 国防科学技术大学研究生院学位论文 第一章绪论 1 1 引言 信息化是促进社会进步的重要手段之一 8 0 年代以来 以计算机技术 通 讯技术 网络技术为代表的现代信息技术 使人类对信息资源的利用进入了高效 专业化 多样化 共享化的现代方式 信息已成为生产力发展的重要核心和国家 的战略资源 面对世界范围内掀起的信息高速公路浪潮和数据库共享的大形势 对我国在充分利用信息资源提出了严峻得考验 一方面 人们在生产 生活中已 经离不开信息 从投资建设到国土规划 从兴修水利到防震减灾 从治理污染到 防治沙化 从生态保护到提高农业效益 从提高国民素质到精神文明建设 都离 不开信息的流通 另一方面由于管理体制 科研体制 历史渊源等原因 已有的 数据信息掌握在少数部门手中 数据得不到充分利用 无法进行全社会的数据库 共享 为获取信息 人们经常不得不重复研究 不仅造成了有限资金的浪费 而 且数据的科学性 完整性 权威性得不到保证 这种现象的出现和蔓延 不能适 应科学发展的客观规律和社会发展的可持续性原则 长此以往 会在一定程度上 使我国的科学研究更加落后于世界 更可怕的是数据封锁现象将直接影响我国可 持续发展战略的科学制定 影响到我国可持续发展战略的实施 在社会信息化 过程中 信息资源剧增 各类信息内容呈爆炸性的增长 庞大的信息资源和昂贵 的信息成本 使得人们无法独立生产所需要的数据 而必须通过共享来获取资源 和必要的信息 而且 可持续发展的基础信息量又非常庞大 从一开始 它就是 信息高速公路上的重要信息和资源 所以 数据库共享与发布应用迫在眉睫 同时 随着网络信息的大量涌现和广泛的应用 以及j a v a 技术 w e b 技术 网络技术 数据库技术的发展 网络应用的重心也正逐步从信息的发布转向信息 的交流和共享 对网络上可用信息的处理是当今面临的一个大的问题 例如 在 i n t e m e t 上 信息主要以文档和数据库两种基本的形式存在 数据库存储数据的 方式有利于应用程序对信息的有效检索 文档信息主要表现为h t m lw e b 页 然而 要想对庞大的网络信息 特别是挂接在网络上的数据库 进行处理 或者 应用程序间的互操作信息的交换 还需要将信息抽象为另外的一个层次 当前对 网上信息的一种重要的管理就是信息搜索 但是各种信息搜索引擎 1 8 1 主要是针 对h t m lw e b 页文档 而并没有深入到数据库中 而实际上网上信息的交流和 处理往往是需要深入到数据库中信息的 1 采用x m l 技术势在必行 x m l 1 9 的出现似乎为上述问题的解决提供了转机 x m l 是w e b 上新兴的 对有格式的数据进行描述 传输 操作的语言 在信息表现和信息交换上越来越 受到欢迎 为i n t e m e t 注入新的活力 x m l 重点描述的是文档的内容 特长在于 描述层次结构的数据 或赋予原本杂乱的信息一种清晰的结构 x m l 的诞生为 电子数据共享交换和发布提供了新的思路 x m l 充分利用了现有的网络资源 第1 页 国防科学技术大学研究生院学位论文 通过定制d t d s c h e m a 可以方便灵活地体现新的商业规则 无论从技术还是成本 上 x m l 都更容易流行 x m l 本身只是一种数据定义规范 而与具体应用无关 因此 常见的网络 架构 通信协议 加密协议都可与x m l 相结合 从而构成多样化的网络解决方 案 通常两个企业用户间的x m l 数据传输共享可采用 点对点 的方式 每个 用户既是客户又是服务器 对于接收到的x m l 数据 可以通过翻译软件转化为 本系统默认的数据格式 也可在i 0 端口处仅对x m l 数据作合法性检验 然后 直接分流至本系统中各应用解析后处理 当企业与企业间的数据传输存在多对多 的现象时 可采用x m ls e r v e r 的集中管理方式 各企业用户将其对应的 d t d s c h e m a 上载至x m l s e r v e r 由其统一实现不同d t d s c h e m a 之间的x m l 数据转化 对于企业间一些通用的商业事务信息 目前大多已建有相应的x m l 国际标准 这些国际标准是完全开放的并经过验证的 因此可以放心地用于x m l 电子数据交换的中间格式 如o f x 开放式金融交换方式 便是一种描述计算 机中财务数据的x m l 国际标准 通过o f x 可以方便地实现不同财务软件 如 m sm o n e y 和q u i c k e n 之间的数据交互及与银行 证券交易所等金融机构的数 据交换 在数据库共事与集成工程中使用x m l 是由x m l 的特性来决定的 采用 x m l 以及相关的技术会减少异构数据库所带来的问题 我们总结这些特性具体 如下 1 1地理分布特性 x m l 通过w e b 上的远程过程调用机制提供分布式支 持 例如s o a p 简单对象访问方法 结合x m l 和h t t p 协议构成远 程调用机制 s o a p 通过制定一些x m l 词汇来描绘参数 返回值和例 外 另外 数据库共享还需要提供仓q 建 发送 读取交互文件的功能函数 x m l 不提供这些函数 但是可以在基于x l 的调用机制层次以上建 立中间件来实现这些功能 2 异构数据结构和语言 分布式数据结构和语言是多种多样的 参见文 献1 2 0 1 x m l 为异构数据结构提供方便的 自解释的中间语法 可以 将不同结构的数据转换为这个中间语法 d o m 正是提供访问语法的方 法 3 异构数据特征的表现和语义 x m l 提供了一种方便的方式来附带元数 据 这样就可以描述数据的表现特征和语义 这些描述可以让用户屏 蔽掉一些表达的细节 详见文献 2 4 1 4 异构模式 d t d 2 1 提供了描述x m l 结构的方式 共享者之间通过建 立标准的d t d 来减少交互的差异 使得数据库共享变得容易 如何建 立和利用这些标准请参见文献 2 2 2 3 5 对象标识 x m l 对数据元素的标识方法的改进 可以排除各种以往误 解对象的情况 另外 x m l 可以将所有的不确定的估计附带在子元素 中 这样接受者就可以做进一步处理 6 数据值一致性 多数的数据 致性维护策略都是依赖于该数据所附带 的元数据 时间戳或特性文档 x m l 可以方便的注释 而且 x m l 为不确定的值提供一个可选的集合 第2 页 里堕型茎堇垄奎堂壁壅竺堕堂垡笙苎 2 本文研究方向 本文的研究方向是在上面分析的一些迫切要解决的问题的基础上提出的 同时我们考虑了技术选型 我们的研究定位在基于x m l j a v a 等技术和标准上解 决数据库共享和集成中的一些问题 同时对比了国内外相关的研究 借鉴了相应 的部分研究思想和模式 总结了一些新的需求 在避免重复研究的前提下 提出 了我们的侧重点 在这里我们首先明确几个论文中的概念 数据库共享发布 数据库共享发布是指享有专有数据的国家机构 企业部 门或者是集成系统的一个子系统通过一种标准 为有享用这些信息权限的客户方 提供访问和利用这些数据的接口和方式 使得信息得到充分的利用 数据库集成 数据库集成重点指在不同的企业 机构 子系统之间 在特 定的商业规则之下达到数据自动交换的标准和过程 传统的e d i 电子数据交换 是一种成熟的数据库集成标准 并已发展成为集计算机软硬件技术 商业规则 安全保密等于一体的标准体系 本文中 我们认为数据库集成是数据库共享发布的更高层次 数据库共享 是我们研究的重点 在数据库共享发布中已经提供的利用数据信息的接口 进而 制定一些交换协议 就可以达到数据库集成的目的 1 2 相关研究背景和意义 从一般角度来讲 数据库共享技术长期以来就有了各种针对性的研究 比 如 1 研究异构数据源之间的共享机制 2 提出了邦联数据库解决方案 3 提出 了在w e b 上浏览面向对象数据库的方法 1 国内外传统共享技术的研究 从广义上来讲 自从六 七十年代电子商务出现 便尝试实现商务数据在 不同贸易伙伴的计算机系统间自动交换 以后演变而成的e d i e l e c t r o n i cd a t a i n t e r c h a n g e 便是一种成熟的数据库共享与集成技术 时至今日 e d i 已发展成 为集计算机软硬件技术 商业规则 安全保密等于一体的标准体系 并在企业高 端的b 2 b 应用中起着骨干作用 不过 经过几十年的发展 e d i 虽然在技术上目趋成熟 但始终无法得到 广泛的商业应用 这说明其本身存有较大的局限性 具体而言有如下几点 1 费用高昂 需租用专用的v a n 定制一对一转换系统 增加了企业信 息处理成本 2 覆盖面低 采用封闭的专用增值网络 因此只能与有限的贸易伙伴连 接 3 e d i 标准的结构灵活性差 不能随着与其对应业务环境的变化相同步 4 e d i 报文的传输有限制 只能使用指定的网络协议和安全保密协议 1 5 e d i 标准基于传统商业事务规则 由于社会发展 规则的进步 有许 多商务应用已无法用早期的e d i 标准去规范化表示 当前在网络上进行渠道合作和信息共享的方法多种多样 总结起来主要有 第3 页 国防科学技术大学研究生院学位论文 以下5 种 1 使用转换软件或中间件 使各个公司在部署新的应用时 可以把公司 以前遗留下来的信息资源加以充分应用 2 建立私有网络 以对合作者之间的数据流进行集成 借助电子数据交 换 e d i 以及x m l 技术来处理数据 3 在私有网络或者外部网上 使用供应链软件来连接合作者 通常这样 的方法被用来进行一对一的连接 4 把基于i n t e m e t 的贸易交换当成一个连接的平台 为买卖双方提供一个 共同的电子市场 5 利用已经建立好的e d i 连接 这样的办法可能显得比较笨重 但它能 提供确实可靠的的服务 可以说随着x m l 技术的出现 x m l 的特点为数据库数据库共享和集成方 式带来了新的研究方向 各个国家科研机构也逐步开展了相关的研究 如参考文 献 4 1 和 6 2 国内外基于x m l 的共享技术研究 当前 国内外对x m l 文本语言的重视越来越高了 x m l 技术于1 9 9 7 年底 开始兴起 是w 3 c 工作组制订的数据描述语言 最大的特点是标准化 w 3 cx m l 工作组成员来自a d o b e h p m i c r o s o f t n e t s c a p e s u n 等i t 业内顶尖公司 并 得到i b m o r a c l e 等大力支持 广泛的基础保证了标准的统一 为x m l 的发展 奠定了基础 当前i n t e m e t 分布式应用中也相继采用了x m l 技术 并将x m l 应用于三 层结构 1 1 1 2 数据层 功能层和表示层 数据层中 数据的存储仍然采用数 据库 功能层运行于w e b 服务器上 利用数据库的存储和x m l 的交换特色 实 现主要的应用逻辑 表示层运行于客户端的浏览器上 实现应用的人机接口 相 关的x m l 应用例子还有f 1 3 1 2 0 0 0 年由u n c e f a c t 和o a s i s 发起的e b x m l 7 是一个以开放的x m l 标准为基础的电子商务的基础结构 随着e b x m l 的广泛应用拓展出一个统一的 全球性的电子交易市场 使每一个加入e b x m l 体系的成员能够在一个所有成员 共享的 安全的和规范协调的环境下实现全球通用的电子商务信息交互 2 0 0 0 年1 0 月由i b m a r i b a 和m i c r o s o f t 提出了统一描述 发现和集成 u n i v e r s a ld e s c r i p t i o n d i s c o v e r ya n di n t e g r a t i o n u d d l 技术1 5 1 这项技术的目的 是为了促进商业性w e b 服务的互操作能力而推出的一项计划 按照u d d i 规范 架构起来的u d d i 注册中心将作为在i n t e m e t 这个广泛信息操作网络空间中的商 务信息的集散地 他为商务信息注册提供了黄页伯页 绿页三个层次的服务注册 u d d i 的核心竞争力是为所有规模的企业 尤其是大机构提供管理他们的供销商 务网络的更佳手段 以及获得更多的渠道以接触潜在的商业伙伴 u d d i 面临的 问题是 如何促使商家能够主动进入u d d i 注册中心并发布他自身的信息 以及 如何使得用户发布的服务信息是可扩展升级的 并且能够包含实现细节的发标 1 9 9 9 年提出的与前面两个由权威机构和业界领导企业主导的规范相对照 的是x m l e d i 7 这是一个从民间发起的 为推广x m l 在电子商务中的应用 而出现的一个技术增长点 x m l e d i 本身融合了五种概念 x m l e d i r e p o s i t o r y t e m p l a t e 和a g e n t 这也是创造下一代电子商务的共同基石 e b x m l 和u d d i 第4 页 国防科学技术大学研究生院学位论文 也同时体现了x m l e d i 所关注的视点 因为他们都是为发展下一代电子商务而 涌现出来的规范和技术 他们和x m l e d i 的宗旨是相同的 在比较了u d d i e b x m l 和x v i l e d i 后 我们看出他们的使用目标是不同 的 尽管他们都使用了x i v i l 格式作为信息描述的手段 但是他们描述的信息的 层次也是不同的 关心的重点也不同 e b x m l 和x m l e d i 是相同层次的标准 他们关注于商务流程的模型化 关注于如何使用x m l 来传输商务信息 进行商 务流程处理 而u d d i 则关注这些实现了e b x m l 和x m l e d i 的应用程序的互 操作 关注如何使用x m l 来完成彼此的互操作 以及如果使应用程序获得互操 作的能力 1 9 9 9 年1 2 月 r o n a l db o u r r e t 在 篇专著中提出了 x m l 与数据库 9 介绍如何通过数据库存取x m l 数据 将x m l 数据划分为以数据为中心 d a t a c e n t r i c 和以文档为中心 d o c u m e n t c e n t r i c 两类 介绍了如何将x m l 的结 构和数据映射为关系数据库或内容管理系统 2 0 0 0 年r o n a l d b o u r r e t 又随即发表了 x m l d a t a b a s c p r o d u c t s 1 0 1 将数 据库产品分为中间件 支持x m l 的数据库 x m l 服务器 支持x m l 的w e b 服务器 内容管理系统和d o m 接口 分别介绍各个类型目前的主要软件产品 对数据库与x m l 之间影射转换技术的研究也相继出现 当然 这些研究还 是处于起步阶段 各种技术还很不成熟 这其中有对于数据库结构到x m l 文档结构的映射技术的研究 1 4 1 归纳起 来主要分为两大类 1 模板驱动映射 数据库结构和x m l 文档结构之间没有预定义的映射 关系 而是在模板中嵌入数据库执行指令 该指令由数据转换中间 件来处理 2 模型映射 为x m l 文档结构建立数据模型 该数据模型显式或隐式 地映射数据库结构 因为数据从数据库到x m l 文档的转换限制到单 一模型 该映射通常利用面向对象映射技术将x m l 直接映射为关系 数据库 3 研究背景总结 从以上的情况来看 传统的数据库共享与集成技术由于诸多的限制 并不 能得到广泛和灵活的应用 我们研究的基于x m l 的数据库信息共享与集成技术 是一个新兴的模式 国内外已有相应的研究 但是并没有提出完善的一体化解决 方案 各种研究都只是针对特定的方面解决特定的问题 本文中 我们所关注的 是信息共享的需求描述模式和交互接口 相关技术的逐步突破和实现必然对政府 机构 企业 商业 军事产生很好的社会效益和经济效益 1 3 问题的提出和本论文的主要思想与实现方式 网络环境下的数据库共享发布 以及数据库集成 都是需要多个分布在数 据库服务器和数据需求者工作站上的功能组件相互协作完成的 在我们的方案 中 用于数据库共享和集成的功能组件主要包括四个 数据库概貌提取发布 e r 模式需求视图生成 需求视图发布 信息提取与集成 这四个功能组件之间相互 第5 页 垦堕坠兰垫奎叁兰堡垒竺堡兰篁篁圣 协作来完成数据库共享与集成使命的过程是 1 数据库服务器利用概貌提取组件发布数据库概貌 将这个概貌以 x m l 接口形式发放给共享用户 2 共享用户利用e r 模式需求视图生成组件插述共享需求 3 共享用户发布需求视图 提交到数据库服务器方 4 数据库服务器方利用信息提取与集成组件驱动数据库并返回结果 x m l 文件 5 共享用户针对返回结果做进一步处理 6 针对集成 还要制定 些集成计划和集成交换协议 正如引言中所描述 在整个共享发布一体化解决方案中面临着很多的分解 关键问题 这些问题是本文论述和解决的重点 1 x m l 在共享方案中的地位 x m l 具有结构化和语义化的特征 宣于采用各种语言接口来解释和理解 所以我们采用它来描述一些接口和概貌信息 在共享方案的各个子系统之间 我 们以x m l 为中介 数据库服务器数据库共享的方式也是以x m l 为基础 即最 终发布的共享信息是我们设定的特定格式的x m l 文档 2 用户需求的描述 共享方案中的另外一个问题就是用户通过何种方式描述自己的需求 我们 给出了两种方法 一种是用户直接提交s q l 语句 然后得到查询的结果 以x m l 格式返回 同时返回描述x m l 文档结构的d t d 文件 这是一种简单的方式 这种方式要求用户对数据库的概貌结构比较清楚 另外一种是语义e r 模式需求 视图动态生成模式 这也是本文讨论和要实现的核心内容 数据库服务器首先将 数据库概貌发布给用户 用户这时在数据库服务器概貌的基础上利用我们设计的 e r 模式可视化视图生成工具方便直观地描述自己的需求 生成描述需求的视 图 然后将这个需求视图提交给数据库服务器 得到类似于前一种方法的x m l 文档 然后做进一步处理 3 数据库安全和完整性保证 由于我们的共享方案是在网络环境下的 网络的开放性必然会带来安全性 问题 采用数据库共享方案的企业或者说政府机构一般都处于很重要的地位 数 据库中的数据都是关键的 权威的 这些信息的损坏和泄漏可能会造成严重的后 果 所以安全性必须得到保证 共享是在一定程度上 对特定用户的共享 所以 我们前面所指的数据库概貌描述也是数据库完全概貌的一个视 v i e w 针对不 同角色的用户 具有不同的概貌视 而且 用户必须经过授权后才能正常提交自 己的需求返回正常的结果 同时由于在x m l 规范中并不提供对数据的保密措施 因此 一且含有商业或机密信息的x m l 文档被别有用心的人直接得到 泄密几 乎是必然的 要设计一个基于x m l 传递数据的商业或机密共事方案 x m l 信 息安全是非常关键的问题 这也是文中研究问题之一 4 异构数据源 除了上述的一些关键问题 在方案实施中还要面临异构数据源问题 我们 要提供从数据库概貌提取 解析 利用 到用户需求描述 需求提交一系列方案 面临的数据库管理系统必然不会统一 这也带来诸多问题 我们必须对这些问题 予以处理 5 数据库集成 数据库集成是很多企业和政府部门的目标 在数据库集成的数据交换中 第6 页 国防科学技术大学研究生院学位论文 不但要有完善的集成接口和计划 还要由交换双方建立严格的交换协议 并需保 证交换的数据符合本协议 这样才能保证数据库集成的正确提交 鉴于跨平台的考虑 与x m l 的紧密结合 与网络的联系 我们的整套方案 中一致采用j a v a 语言开发和设计 在我们的方案研究基础上 我们开发设计了基于s q l 的简单数据库发布系 统原型 数据库概貌管理系统原型 语义e r 模式需求视图生成与发布原型 这 些原型都是方案中的关键设计 我们设计的原型也很好的验证了我们方案的可行 性和有效性 在以上问题的解决和方案的设计过程中 结合以往国内外的研究 我们总 结了本文研究的难点和创新点如下 1 基于语义化x m l 发布数据库信息 共享与集成中的所有交换协议和 接口均用x m l 定义 要考虑可扩展性和标准性 2 一种用x m l 概貌 p r o f i l e 文件来统一描述异构数据库基本信息 我们的方案中的共享用户描述需求时需要这个概貌文件中的信息 3 数据库动态e r 图抽取的实现以及e r 模式视图生成方式的设计 4 提出了一种通用的s q l 语句合法性验证模型 1 4 论文结构 本论文共有七章 核心章节是第五 六章 论文第二章提出了直接基于s q l 的x m l 动态发布方案 论述了方案的基 本思想 整体框架和关键算法 同时也介绍了我们最终实现的系统原型 第三章提出了第二种数据库共享发布方案 可视化e r 模式下基于x m l 的数据库s q l 视图动态发布方案 这是本论文重点分析和设计的方案 第三章 从整体上分析了这个方案的基本思想 关键技术 第四 五 六章分别是对这个 方案的详细设计中各个关键技术的分解阐述 也是本论文的核心部分 第四章论述了异构数据源下e r 图动态生成技术 包括数据库概貌的提取 管理 e r 图动态规划 并设计了原型系统 第五章论述了语义e r 模式下需求视图的动态生成技术 这是本论文的核 心章节之一 这里分析建立了两个重要的模型 s q l 语法的e r 图操作映射模 型 以及基于代数学理论的s q l 语法验证模型 第六章论述了基于x m l 的网络环境下一体化数据库共享发布与集成方案 这也是本论文的核心章节之一 包括发布的接口 数据库共享的模式 数据库集 成的模式以及数据库共享中安全问题的解决 第七章是对本论文的研究工作和成果的总结 并对下一步工作做了展望 第7 页 国防科学技术人学研究生院学位论文 第二章数据库直接基于s q l 的x m l 动态发布方案 本章提出了一个简单的数据库共享发布方案 重点论述了始传壹接基予 s q l 条件将数据库信息自动发布为x m l 文档 但它也是我l f 体他共享方案的 一个组成部分 这么说是因为 在我们整个一体化共享方案的操作波瑕中 其中 一个环节就是用s q l 驱动数据库返回x m l 文档 参见 l 3 中四个功能组l 牛之 间相互协作来完成数据库共享与集成使命过程的步骤4 这正是我们本牵提出 的简单方案所要解决的问题 在本文的方案中我们所有的交互协议都是以x m l 为基础的 x m l 属于元 标记语言 根据这一特性 角户只授在x m l 的文档类型定义文件中定义一系列 有意义的标记 产 主的x m l 文档就可以很容易地被理解 并可按照任意的条件 进行奁询和检索 交互 甚至计算机自动处理 而相应的检索引擎f 1 8 1 和处理可 戳是通用的而不必局限于其体应用 并深入数据库 x m l 是沟通网络上原始信 怠 特剐是数据痒信息 与w e b 应用之间的一个桥梁 2 1 方案的基本框架和核心算法 在共享发布方寨中 x m 乙在数摄库中嚣应用与驱动模式需簧借助三矮黎构 来实现 在这葶申架构下 有一个l 弋理狸廖运撂予串阕层 中闻件 它是这个方 案的核心 采用数据库接口技术靼操佟x m l 的d o m 技术 中潮件代理程 芋访 问数据库管理系统中的数据劳输出x m l 文档 弋理程廖超着桥梁鹩作用 实际 上 它是一种夜共享应用层与底层数据层之闽传递数据懿工具 始果再剿嬲c s s 或x s l 技术 x m l 还可以实现基予w e b 浏览器的多梯式显示 表瑟上着 这 种机制同传统的三层架构没有什么区别 但实际上是不鄹的 因为此时在传输过 程中的数据都已经是x m l 格式了 通过中间层的代理程序 可获取的数攫 柬源 以不必局限予某台困定的数 据库服务器 而可以是分布予企业内 甚至于遍及全球各地的数撰库服务器 另 外 借助于x m ls c h e m a 开发者就能更为精确地描述和交换数攒 困瑟大大地 提高这种应用的效率 这三层结构如图2 1 所示 闰2 1 基于x m l 的数据库发布三层结构 第8 页 国防科学技术人学研究生院学位论文 在这个三层结构中 最底层的叫做数据层 由不同来源的数据库构成 数 据库是存储原始数据的最有效的方式 普通的应用系统一般会以数据库为后台基 础 然而数据库这一层难以共享和交换 那么就引出了第二层 存储层 存储层 实际上包括了将数据层数据转化为x m l 存储的中间件和x m l 存储 这 层为 构建动态的w e b 网站以及交互的网络应用奠定了基础 只要某个站点或者是应 用提供了相应的x m l 接口 就能解释和处理这些x m l 文件 对x m l 的具体 处理取决于应用层的具体应用 它可以是依据x m l 文件和x s l 文件将存储发 布到w 曲网站上 也可以是利用x m l 文件的相应数据做一些业务处理 数据共 享或者是集成数据库 本方案中所面临的主要问题和关键算法是 1 建立关系数据库和x m l 的映射关系 2 处理关系数据库中的各种数据类型 3 设置x m l 文件的属性以及配置模式文件 2 2 关系数据库信息提取技术 x m l 是一种通用性极强的数据传送交换格式 但尽管对它的希望很高 x m l 这种格式在数据存储和访问方面与数据库相比只达到普通甚至低劣的程 度 所以现在我们绝不是抛弃 s q l 关系数据库 为迅速而可靠地查询复杂数 据进行了调整 我们是要在分析x m l 和关系数据库之间的共性 联系 区别 和各自的优势的基础上 让这两种技术在信息处理中各尽所能 功能互补 所以 本节所研究的重点是x m l 与关系数据模型之间的关系究竟是怎样的 更具体 地说 有什么好的设计方法可以用于同时利用x m l 和关系数据库 包括两者 之间的转换问题 2 2 1 关系数据库模型和x m l 关系数据库由一组实体 表 组成 其中每个实体 表 都由一个固定的列 又称为字段 的集合组成 每个实体中有数量不定的行 或者记录 存在 典 型的关系数据库的结构如图2 2 所示 h y p o t h e t i c a lr e l a t i o n a ld a t a b a s em o d e l 图2 2 典型的关系数据库模型 第9 页 国防科学技术人学研究生院学位论文 除了具有主键以外 表通常还有一些辅键 辅键与其它表中的主键对应 例如在图2 2 中 b o o k s 表具有a u t h o r i d 和p u b l d 两个辅键 它们分别充 当a u t h o r s 和p u b l i s h e r s 表的主键 可以对各个表之间的关系加以约束 侈l j 如 可以规定对于b o o k s 中存在 的每 行都必须存在一个p u b i d 这个p u b l d 对应于p u b l i s h e r s 表中某一 行的p u b l d 如果一个出版商可以通过这种方式 持有 多本书籍 就称之为 一对多关系 另一方面 如果一个作者拥有多本书籍 一本书又有多个作者 就 称为多对多关系 为了更加全面 也可以定义一个主键必须恰好与一个辅键匹配 的一对一关系 r d b m s 的作用是强化了这些类型的规则 x m l 从某种程度上来说是个混合物 x m l 可能与数据建模中的对象数据 库最为相象 因为它同样也是由节点组成的 并且每个节点都可以包含异类数据 另一方面 节点异类的程度大部分取决于用于定义x m l 文档结构的特定d t d 或模式 作为一种传送格式 x m l 非常丰富 只要d t d 模式正确 它足以 完整地表示对象或层次结构 可以说x m l 在表示关系数据库方面不太自然 x m l 的确能够充分地表示 来自r d b m s 的所有事物 它可以直接表示每个表 虽然比实际r d b m s 的表 示要冗长得多 例如 可以用下面的清单中的d t d 来表示图2 2 中示例数据库 中的b 0 0 k s 表 e l e m e n tb o o k s b o o k p e l e m e n td a t e 饼p c d a t a p 当然可以使用模式进行更丰富的分类 但这里的核心问题是说将特定的 r d b m s 表表示为x m l 没有任何困难 您也可以同样轻松地以x m l 表示可能执行的任何特定联接 实际上 表 示查询结果是对r d b m s 最重要和最普通的x m l 用法 特定的联系者或请求 者通常不需要完整的数据集 而只是其中一些特殊的已过滤和已结构化的部分 s q l 中的g r o u pb y 和s o r t 子句所顾及的比本专栏示例所演示的更具有 结构性 但x m l 节点层次结构也可以表示它们的结果 影响x m l 功效的因素在于r d b m s 的核心是实体间的关系 特别是各个 表之间存在的一组约束 约束的实施是使r d b m s 如此有效和强大的根源 虽 然的确有为了沟通目的而以x m l 表示约束集的可能性 但是x m l 没有实施 这种约束的固有机制 d t d 和模式是不同的 更有限的约束种类 如果没有约 束 就只有数据 而没有数据模型 处理事情就有些过于简化了 某些x m l 建议者提倡将r d b m s 类型的约束添加到x m l 中 而其他 人则建议以更深奥一些的方式将x m l 构建到r d b m s 中 我认为这些是从 符合玄妙术语 9 类型的思考模式中产生的极其不可取的想法 一些主要的 r d b m s 供应商已花费了许多年的努力使关系问题恢复正常 特别是在最大化性 第l o 页 国防科学技术大学研究生院学位论文 能方式方面恢复正常 我们无法只是快速地将一组强健而可靠的关系约束添加到 实际上与另一种建模范例很接近的x m l 的表示中 而且 x m l 的冗长和格式 方面的松散从本质上说 与r d b m s 最大化性能 从较小的范围来说 还有可 靠性 所使用的策略是背道而驰的 例如固定的记录长度和紧凑的存储格式 换 句话说 我们可以继续发展x m l 并会为它所许诺的通用数据传送共享机制而 感到兴奋 但必须要将后端数据存放在为它设计的数据库 例如s q ls e r v e r 或 o r a c l e 上 这样才是充分和合理的利用这两种技术 2 2 2r d b m s x m l 的信息提取 明确了上面r d b m s 与x m l 的之间的关系后 我们就要着手于图2 1 中的 中间件的开发 开发一个访问数据库的x m l 应用系统需要同时借助x m l 编程 接口和数据库编程接口 前者用于对x m l 文档的解析 定位和查询 所需技术 包括x m ld o m 和x q l 2 5 后者则是用于访问数据库 如数据库中数据的更 新和检索等等 需要利用的技术有o d b c j d b c a d o 等 j a v a 是操纵x m l 的最有力的工具 而且j a v a 的跨平台特性和x m l 的平台 无关性使得他们的结合开发成为一种趋势 我们的中间件就是基于j a v a 设计的 另外 x m l 文档的模式 如d t d 和x m ls c h e m a 以及数据库的模式对 于开发此类应用也是必不可少的 为了使发布的数据更加具有实用价值和可扩展 性 我们将这些描述信息转化到x m l 存储中 我们自己设计的中间件为 x m l b u i l d e r 开发环境为j b u i l d e r x m l b u i l d e r 的设计结构如图2 3 所示 这里 首先为发布指定了条件 这个条件是一个s q l 语句 如s e l e c t f r o m t a b l e l ls e l e c t f r o mt a b l e 2w h e r ef i e l d l c o n d i t i o n l 这样的语句的组合 如果没有 指定s o l 条件 那么中间件默认情况下会将数据库中的所有的数据发布为x m l 图2 3x m l b u i l d e r 中间件模型结构 中间件的第一步就是要获得数据库的模式信息 这些是由数据库的元数据得 来的 包括数据库中表 视图的结构 表各字段元素的类型属性等等信息 根据 这些信息来进一步确定发稚的内容和x m l 模式内容 特别是当没有指定发稚条 件的时候 这些信息存放在d t d 文件中 如下表描述了一个d t d 的片段 笫i l 页 里堕型堂垫查 人堂婴壅生堕堂垡笙壅 由于x m l 中处理不同类型的数据有不同的标准 所以中间件需要根据不同 的数据库中元素的类型来进行相应的处理 我们针对不同的数据类型建立相应的 控制类 x m l b u i l d e r 工程提取数据库信息中的关键算法和类有 j d b c b i n a r y t y p e 类 j d b c b i t t y p e 类 j d b c b l o b t y p e 类 j d b c c h a r t y p e 类 j d b c c l o b t y p e 类 j d l 蔸d a t e t y p e 类 j d b c i n t t y p e 类 l d b c g o n g b i n a r y t y p e 类 j d b c t i m e t y p e 类 5 9 b c r i n y i n t t y p e 类 j d b 洲u m t y p e 类 1 数据库基本信息类 d a t a b a s e 联接数据库 提交查询语言 返回查询 结果 2 数据库类型处理类 j d b c t y p e 接受查询的结果 针对多种不同类型 的数据提交下一级类进行处理 3 3x m l 属性类 x m l p r o p t i e s 负责接受j d b c t y p e 处理后的数据并设置 所有的x m l 文件的属性 4 x m l 输出类 x m l o u t p u t 负责控制文件输出到外部接口 当然 这里只是介绍了几个关键的类 还有关于编码 样式选择等辅助类 这里不作详细说明 x m l p r o p t i c s 通过附加的x m l 属性配置文件来设置 然后用x l v i l o u t p u t 类 中的d o m 接口来将信息发布为x m l 文件 x m l b u i l d e r 默认情况下是根据数据 库中表名 字段名来设置x m l 文件中的标记 作为解释x m l 数据的语义 我 第1 2 页 国防科学技术大学研究生院学位论文 们也可以在程序中将不同的表名 字段名映射到我们指定的标记 使得标记的语 义更加恰当 这在下一节 2 3 介绍 我们将x m l b u i l d e r 实施到数据库上的一个结果如图2 4 所示 浏览器中在没 有样式情况下的默认的显示方式是树型结构 图2 4 浏览器中显示的默认x m l 效果 2 3x m l 文件的配置与发布 我们整个发布系统最终发布的接口是x m l 文档 这个文档是作为共享的结 果 用户用来直接浏览或者是交互使用 所以这个文档的类型定义是很关键的 比如其中的各个实体 各个实体的属性 还有x m l 的其他一些属性 这些接i i 的配置是正常的显示和交互的基础 2 3 1x m l 配置文件 我们的方案中采用了配冕文件的方式定义x m l 的结构 这个文件存储在文 件系统中 当然我们提供了管理这个文件的接口 对于一批应用可以使用相同的 配置文件 当然配置文件的设置只是默认的选项 用户在具体生成发布的时候还 可以临时定义这些配置 配置文件的基本格式如下 节选 d r i v e r c l