（计算机应用技术专业论文）基于xml的网络数据交换研究与实现.pdf

浞 g 摘要 1 i 州平台、不 ，q 刚络之间的数据交换对中小型企业之间的电子商务中有着t 一分 眶婴的意义。本文在当前国内外电子数据交换( e d i ) 研究的基础之上，给出了一 种新的基于x m l 的网络数据交换架构，它利用x m l 作为标准的数据交换格式实 现了不同网络和平台之间的数据交换，为企业之问的电子商务提供了一种基于 x m l 的解决方案；在深入研究x m l 查询和作为数据交换标准的x m l 数据格式的 压缩方法的同时，提出了一种把传统的文本压缩算法和x m l 内容与结构分别编码 相结合的新压缩算法。 关键词ix m l 数据交换数据压缩 j建 1llf a b s t r a e t d a t ae x c h a n g ea c r o s sd i f f e r e n tp l a t f o r m sa n dh e t e r o g e n e o u sn e t w o r k si so fg r e a t s i g n i f i c a n c e f o rt h ee - c o m m e r c ea m o n gs m a l la n dm e d i u ms c a l ee n t e r p r i s e s ( s m e s ) b a s e do nt h es t u d yo fe l e c t r o n i cd a t ai n t e r c h a n g e ( e d i ) a th o m ea n da b r o a d ，t h i sp a p e r p r e s e n t san e wx m l b a s e da r c h i t e c t u r eo fd a t ae x c h a n g e s ，w h i c hh a v ei m p l e m e n t e d d a t ae x c h a n g ea c r o s sd i f f e r e n tp l a t f o r m sa n dh e t e r o g e n e o u sn e t w o r k sw i t hx m la sa s t a n d a r d d a t a e x c h a n g ef o r m a t ，a n dp r o p o s e d a nx m l b a s e ds o l u t i o nf o rt h e e - c o m m e r c ea n a o n gs m e s a tt h es a m et i m e ，t h ep a p e ra l s od e e p l ys t u d i e do nt h ex m l q u e r ya n dt h ec o m p r e s sm e t h o do fx m l t h a ti st a k e na st h es t a n d a r df o r m a to fd a t a e x c h a n g e ，a n di n t r o d u c e da n e wc o m p r e s sa l g o r i t h mt h a tc o m b i n e dt h et r a d i t i o n a lt e x t c o m p r e s sa l g o r i t h m w i t ht h es e p a r a t e l ye n c o d i n gs t r u c t u r ea n dd a t ao f x m l k e y w o r d s ：x m l d a t ae x c h a n g ed a t a e o f n p r e s s l 第一章绪论 第一章绪论 1 1 课题背景及意义 随着i n t e r n e t 的迅猛发展，网络应用的范围和领域也越来越广。各企业、各 部门、各团体以及个人都在以不同的方式、不同的介质以及不同的操作系统和 、卜台加入到i n t e r n e t 中去。网络间的信息交互和数据交换也急剧猛增，其数据量 和数据结构的复杂度也都相应提高，这使得h t m l 作为传统的超文本标记语言， 由于其自身固有的语法上的局限性，已经不能够满足企业间和网络间的信息交 互和数据交换的需求。因此从1 9 9 6 年开始，w 3 c ( w o r l dw i d ew e bc o n s o r t i u m ) 开始发展一种全新的可扩展标记语言x m l ( e x t e n s i b l em a r k u pl a n g u a g e ) 并于 1 9 9 8 年2 月正式发布x m l l0 版本。由于x m l 所具有的优点和特性，现在她 已经成为了网络发展中的一项关键技术，并逐渐成为了网络间信息交互和数据 交换的一种标准和格式。 加入至u i n t e r n e t 中的企业数量越来越多，而i n t e m e t 的快速、方便的特点也越 来越为众多的企业所认同。这对传统的商业模式产生了巨大的影响。使其向新一 代的商业模式电子商务转变。原先在传统商务中所遇到的时间、空间和距 离等诸多问题在电子商务中都消之于无形。传统商务中的买方和卖方的的绝大 多数的商务活动( 需求、定货、支付款项和服务等等) 在电子商务中只需要很 短的时问( 甚至是瞬间) 即可完成。而传统商务中许多繁琐冗杂的信息交互也 在电子商务中转化为网络间的数据交互而变得快速、简单了。因此，电子商务 随着网络的飞速发展给企业之间的商务活动带来了无限的商机和广阔的发展空 间。 其实，早在2 0 世纪6 0 年代就出现了电子数据交换( e l e c t r o n i cd a t a i n t e r c h a n g e e d l ) ，e d i 是在不同种类的系统之间进行商业交易的电子数据交换 标准，它通常定义为“内部组织之间、计算机和计算机之间结构化的事务数据 交换”。e d i 主要支持电子商务中商家到商家0 3 u s i n e s s t o b u s i n e s s ) 的交易，这就 是传统的电子商务。商家采用e d i 的方法能快速、节省而安全的发送定单、提 货单、发票、进出口许可证等商业信息。e d i 广泛应用于金融、保险、关贸、 海关、税务和仓储等。时至今日。e d i 已经发展成为集计算机软硬件技术、商 j 规则、安全保密等于一体的标准体系，并在企业高端的b 2 b 中起着骨干作用。 图1 1 为一个典型的e d 通讯模型图。 基于x m l 的网络数据交换研究与实现 图l - 1e d i 的工作沉程圈 e d i 框架包括三个主要部分：( 1 ) 信息格式标准。为了使计算机能够处理进 行交换的数据，必须有标准的信息格式。企业、公司和他们的商业伙伴通过这 一标准格式来交换数据。目前占主导地位的信息格式为a n s ia s cx 1 2 和 u n e d i f a c t ：( 2 ) 转换软件。发送信息的计算机必须利用转换软件从本地的 数据仓库提取要传送的信息并把它们格式化为标准e d i 信息格式。当然转换软 件亦需把标准的信息格式转换为对本地组织有用的格式。( 3 ) 通讯网络。e d i 信息主要通过三种方式交换数据：直接连接( d i r e c tl i n k ) 、v a n ( v a l u ea d d e d n e t w o r k s - 增值网络) n - ! m e m e t 。i n t e m e t - e d i 的形式使中小企业只需通过浏览器 和i n t e m e t 连接就可执行e d i 交换。 e d i 将新的电子信息技术与商业活动较好的结合起来，尤其对于那些信息吞 吐量大，复杂度高，安全性、可靠性、完整性、及时性要求很强的高端b 2 b 应 用有着独特的优势。不过，经过几十年的发展，e d i 虽然在技术上同趋成熟， 但始终无法得到广泛的商业应用，这说明其本身存有较大的局限性，具体而言 有如下几点： 1 ) 费用高昂，需租用专用的蝌，定制一对一的转换系统，增加了企业 信息处理成本； 2 ) 覆盖面低，采用封闭的专用增值网络，因此只能与有限的贸易伙伴进 行连接； 第一章绪论 3 ) e d i 标准的结构灵活性差，不能随着与其对应的业务环境的变化而进行 棚膨的同步变化； 4 ) e d i 报文的传输有较多限制，只能使用指定的网络协议和安全保密协议； 5 ) 脱行的l 、九i i l ! 、搬文、e d i f a c t x1 2 等标准无法满足实际需求时则没有 j e 他解决方法； 6 ) e d i 标准是基于传统商业事务规则的，由于社会的发展，规则的改进， 有许多商务应用已经无法用早期的e d i 标准来规范化表示。 x m l 的诞生为电子数据交换提供了新的思路，e d i 的缺陷正是x m l 应用的 k 处，x m l 充分利用了现有的网络资源，通过定制d t d s c h e m a 可以方便灵活 地体现新的商业机制和规则，无论从技术上还是成本上，帆都更容易使i 乜了 商务实现和普及。 ) 甜几本身只是一种数据定义规范，而与具体应用无关，因此，常见的网络 架构、通信协议、加密协议都可以与讧l 相结合，从而构成多样化的b 2 b 解 决方案。通常两个企业用户间的x m l 数据传输可采用“点对点”的方式，每个 用户既是客户又是服务器，对于接收到的x m l 数据，可以通过翻译软件转化为 本系统默认的数据格式，也可在i o 端口处仅对x m l 数据作合法性检验，然后 直接分流至本系统中各应用解析后处理。当企业与企业间的数据传输存在多对多 的现缘时，可采用x m ls e l w e r 的集中管理方式，各企业用户将其对应的 d t d s c h e m a 上载至x m ls e r 、，e r 由其统一实现不同d t d s c h e m a 之间的 x m l 数据转化。对于企业间一些通用的商业事务信息，目前大多已建有相应的 x m l 国际标准，这些国际标准是完全开放的并经过验证的，因此可以放心的用 于x m l 电子数据交换的中间格式。如o f x ( 开放式金融交换方式) ，便是一种 描述计算机中财务数据的x m l 国际标准，通过0 f x 可以方便地实现不同财务 软件( 如m sm o n e y 和q u i c k e n ) 之间的数据交互及与银行、证券交易所等金融 机构的数据交换。 x m l 的诸多优点不仅使之成为未来的标准网络标记语言，而且也使之成为 标准的数据交换格式，这使得x i v l l 能够在电子商务中作为x 1 2 和e d i d a c t 的 斡代格式。，就目前的电子商务发展情况来说，由于不同的企业所使用的操作平台 羽数捌席各不相同，而不同的数据库所支持的数据格式又干差万别，这就使得各 们【k 庄进行i 删络数据交换及电子商务活动时所使用的数据格式很不统一，从而造 戊了许多企业之间进行电子交易的难度。如果能够实现数据在x m l 格式和不同 的数据库之间进行自由转换，那么企业之间以及网络间的数据交换就都可以统一 到x m l 格式上来，这样不仅解决了企业间电子商务中所出现的数据交换格式不 统一的问题，而目为实现跨平台、跨网络的数据交换提供了一个强大的工具。本 i 嗽题【l i 址引坩这。哺况丽捉山了基fx m l 的网络数据交换的研究和实现办法。 堪十x m l 的m 络数据交换圳究0 实现 1 2 现有技术及发展状况 随着x m l 的逐渐普及，越来越多的信息和数据都采用了x m l 文档的格式 米表示，建立在x m l 之 二的应用程序也越来越多。网此，刘j 二x m i ，这j ：1 1 1 迂梢 数揣的研究也逐渐深入，从x m l 刚刚兴起州的m 绕4 边 i 1 火技术的叫宄发燧 到对其底层支持的关系代数及顶层扩展接口的研究。就其作为一种数据交换的 格式来说，目前的大部分工作主要集中在以卜两个方面： 一是把x m l 文档作为一种数据库来看待，在x m l 文档之上利川! 仁结构化 ( s e m i s t r u c t u r e ) 数据的特点来实现如同对数据库一样的索引、查询、更新、删除 等操作。在这方面的研究之上，出现了许多类似于结构化查询语毒s q l 的x m l 布询语j i ，如x q l 、x m q i 。、q u l l 、筲讲0 。，j 力【f j ，x m i 。 i 口i i 紧 密相关的研究就是x m l 数据和关系数据库之间的相互转换，它在本质上是研究 x m l 模式和关系数据库模式之间的相互转换。由于关系数据库是一种结构化、 类型化的数据模型，而x m l 数据则是一种半结构化的在x m l 模式中支持类型 化的数据模型，因此这两者之间的转换比较困难，尽管现在已经出现了些实 现该功能的工具，如x m l - d b m s ”、u s o f t 等。但它们都需要要通过在x m l 文档的模式和数据库模式之问建立一种影射关系来实现数据在x m l 文档和关 系数据库之间的转换。随着在这两个方面研究的深入，x m l 的查询和数据转换 的合二为一的趋势成为必然，从而出现了象s i l k r o u t e 和v x m l r 这样的l ， 它在对查询的处理过程中根据查询的要求实现x m l 文档中的部分数据向火系 数据库中的转换。这种查询与转换相结合的方法不仅非常灵活和通用，而且避 免了在两种模式之间手工建立影射的过程，使得x m l 文档与关系数掘库之间的 转换变成了一种动态而高效的过程。 对于x m l 查询、x m l 文档与关系数据库之间的转换以及查询刷转换棚结合 的研究这三者之间的关系和流程结构，我们可用如下框图来描述： 冷 g 图1 2 盘询与转换流程幽 数捌库 。 面 、 第一章绪论 ；刈j x m i ，作为种牧扒交换格式的研究的另一个1 i 璎方向就足天 ： x m l 文档数据的压缩研究。同所有其它在网络问进行交换的数据格式一样，由 j i 受到网络带宽的限制，为了更好地让x m l 格式的数据在网络中进行交换，有 必要对x m l 格式的数据进行压缩。在这方面的研究上，现在已经出现了许多比 较。爻川i 内l 。jb ，如m i l l a u l 3 ”、x m i l l 3 8 1 【3 9 l 、g z i p 4 6 1 等。它们都是无损压缩，因 为绎过无损压缩的x m l 数据在解压缩之后不会丢失数据，而且保留了原有的结 阳和克。静h 。 火多数无损压缩技术都是基于这样的两个模型：静念模型和模式模型。在静 态模型；h 输入数据q j 的每个字符都楸据它在数据中出现的可能性而分配给 相应的码米进行编码。相反，基于模式的压缩模型能够识别在输入数据中的重 复：芦符串，对于这些重复的字符串或者用指向该字符串第一次出现的指针来代 替，或者用影射字符串到编码的字典中的索引来代替。 埘于无损压缩的分类还可以基于这两种模型：适应模型或非适应模型。在适 逦模式t 1 1 ，假设对于输入数据在压缩前没有任何信息，统计数据是在编码过程 中进行动态收集和更新的。另一方面，非适应模式实质上是对输入的数据进行 两次过滤：第一次过滤时收集统计数据，而在第二次过滤时进行编码。 1 i 关于文本j k 缩的算法很多，但大多数压缩技术都是基于以下几个算法之 ：哈夫曼编码，算术编码、l z 7 7 或l z 7 8 编码。哈夫曼编码和算术编码技术 采j i j 静态模型，m l z 7 7 和l z 7 8 编码却是基于模式模型。对于哈夫曼和算术编 码装而有之适应和非适应模型的特点。但l z 7 7 和l z 7 8 是适应模型的。 在哈夫曼编码中，输入数据中最经常出现的字符被分配给较短的码，而较少 出现的字符被分配给较长的码。构造较长码是为了不让较短码以前缀出现( 也 l jl | 自| 1 j 前缀编码) 。在特殊情况下，要构造一个树，输入字母表的字符形成树的 子。倒中的连接用0 或1 进行标记，一个字符的编码就是通过在哈夫曼树中 从树根到对j 龌于该字符的叶节点的遍历所得到的标记顺序。 哈犬曼编码的一个局限就是每个字符都被编码成个整数的位，这意味着编 码可能经常比字符本身所需的位还长。例如，一个出现概率为0 9 的字符从信息 论的角度来考虑最少可以用0 1 3 5 位来进行编码，但在哈夫曼模式中需要一个完 孵的f t 求进行编码。而算术编码则改变了这一缺点，输入数据的压缩模型由两 个旺也 i _ ( ：坩史数之问的问n ( x ，y ) 来表示，这晕o x l k f i i t , j t 究机 构所认同，对它的研究也逐渐深入。从企业解决方案的角度来说，x m lf 1 为此 中的一项关键技术，前面所述的两个研究方向都必将融为一体。 1 3 目标与任务 随着电予商务和x m l 技术的成长和发展，x m l 技术在电子商务t l i l _ l q 关键和 核心地位越来越为各企业及研究机构所认间，许多企业都提出了适合一j 水企业n 0 基于x m l 技术的电子商务逻辑体系结构。但从当前的电子商务的发展状况和现 有的x m l 技术的水平来看，x m l 技术与电子商务的结合还远远没有达到成熟 的程度，而其中一个最关键的因素就是各企业所提出的基于x m l 技术的逻辑体 一 “琢结构都是针剥其企业自身韵情况而进行定制的，没有形成一个统一的标准。雨 加上各企业所使用的网络结构、系统操作平台和企业数据库都各：- 1 c4 、口州，从而叭 碍了x m l 技术与电子商务的完美结合。因此，本课题的目标就是在目l 讨刚内外 电子数据交换( e d i ) 研究的基础上提出一种新的基于x m l 技术的刁j 同网络、 不同企业间的数据交换架构，把对x m l 数据的查询、转换和压缩集成在一个体 系架构之下，实现x m l 格式的数据与底层的企业数据库之间的数据转换，并对 x m l 格式数据的压缩算法进行深入研究。 本论文后面的几个章节的内容安排如下：第二章简单介绍了一下x m l 及其 紧密相关的一些技术，然后在第三章中介绍x m l 技术与网络数掘交换，它主要 侧重于x m l 与j a v a 及关系数据库之间的关系并对x m l 与关系数据瞒；之me t j 影 射关系进行了研究。第四章是本论文的重点，主要介绍了基于x m l 的网络数据 第一章绪论 交换的关键技术实现。它首先对基于x m l 的网络数据交换进行模型设计，提出 了种新的将对x m i 数据查询、转换和压缩集于一起的体系结构，然后分查询、 转换和压缩三个小节对各技术细节进行介绍。在x m l 查询部分引入了入算予， 介绍了从x m l 查询语句n - 结g j 化查询语句s q l 的转换技术；住x m l 与关系数 据库的转换部分详细介绍了转换的模型和算法，最后对x m l 数据的压缩进行了 深入的研究，提出了一种把传统的压缩算法与x m l 格式数据的内容与形式相分 离的特点相结合的新的压缩算法模型。在最后一章中对本论文进行了一下总结和 分析，指出了在本论文基础之上未来的研究方向。 基于x m l 的网络数据交换研究与实现 第二章相关技术介绍 2 1x m l 介绍 2 i 1 x m l 简介 x m l ( e x t e n s i b l e m a r k u p l a n g u a g e ，可扩展的标 己语言) 是一种标记语言， 她是s g m l ( s t a n d a r dg e n e r a l i z e dm a r k u pl a n g u a g e ，标准通用标记语言) 的一 个子集。x m l 将文档的内容和格式分离，并且在文档t j 描述文小的结构信息， 即它包含明确的规则来决定指定的文档从那里开始和从那里结束。x m l 也是一 种数据描述语言，她被设计成向w e b 提供结构化信息和数据的- - 4 十格式，并允 许用户定义自己的标记，而这些标记与他们的文档相关，因而具有可扩展性和 有效性。因此，她提供了一种能够对内容、语意和结构进行编码的数据标准和 格式。 螭j 二x m l 的网络数据交换_ ! j f 究j 实脱 这里我们要注意一下u r i 和我们通常所见到的u r l 的区别。u r l 足u 1 1 i 1 1 0 1 7 1 1 1 r e s o u r c el o c a t o r ( 统一资源定位符) 的缩写，它是对网络资源的一种引用。 虽然u r l 已被广泛理解并被广泛支持，但x m i 。规范使用的是更为通川的统资 源标识符( u n i f o r mr e s o u r c ei d e nl i f i e r ，u r i ) 。u r l 划1 ：定位j 1 1l l i t 2l 上 的资源是更为通用的架构，它更为注重资源而不太注重位置。从理论上泌，u r i 可找 h 镜像文档的最为近似的副本或是找出已经从一个站点移动到另站点的 文档。而被当前的软件所唯一支持的一种u r i 正是u r l 。 2 2 5x h t m l x h t m l 最早叫做”h t m li nx m l ”，是一种基于x m l 的超文本标记语言， 也就是说，将以前用s g m l 定义的h t m l 改为用x m l 重新定义。从这个意义 上讲，x h t m l 实际上是x m l 的一种应用。表面上看，在x h t m l 中，其标记 仍旧延用以往的h t m l 的标记，各元素和属性的名称和用法也几乎不变，只不 过由于改为用x m l 定义，就必须严格按照x m l 语言规范来处理了。 在h t m l 中引入x m l 规范就成了x h t m l ，因此它同x m l 一样具有非常 灵活的特点，它具有以下优点： 可伸缩性x h t m l 可以根据用户的需要和浏览器的处理能力选川适合的 d t d ，单是从这一点来看，就充分体现了一种时下比较流行的理念科技以人 为本”。x h t m l1 o 的标准中定义了三个d t d ，它们分别是：严格式( s t r i c t ) 、 过渡式( t r a n s i t i o n a l ) 、分帧式( f r a m e s e t ) ，每一种都有不同的应用。 可扩展性正如x h t m l 字面上所体现的那样，x h t m l 具有定的扩展性， 这要归功于名称空间( n a m e s p a c e ) 的引入。有了名称空间，用户可以在x h t m l 文档中任意添加自己需要的标记，两个比较典型的例子是：m a t h m l 和s v g 。 m a t h m l 和s v g 作为x m l 的一种具体应用，可以灵活地嵌入x h t m l 文件中， 将使得x h t m l 增色不少。现在，前者已经成为w 3 c f 式推荐标准，而后者 一 也即将成嬲垂议推荐标准。一 1 一 可重用性x h t m l 的推出原本是作为x m l 的过渡标准，因为x m l 尚处于 一个不断完善阶段，还有大量的工作需要去做，因此，短时间内将很难推出一 个宄全支持x m l 的浏览器，即使声称支持x m l 的i e 5 0 目前也只是提供部分 的支持。而在这过渡期内，运用x h t m l 完全可以达到既定目标。另一方面， x h t m l 从根本上讲，也是一种规范的x m l ，即使将来x m l 彻底替代了 x h t m l ，我们也大可不必为自己的x h t m l 文档为x m l 浏览器域其它丛丁 x m l 的工具所不容。 为了很好地发挥x h t m l 的优点，满足各种不同的需要，还有许多工作要做， i 二；j w ，w 3 c 证在进行x h t m l 相关标准的制定t 作。有关的标准确：h t m l 的 模块化( m o d u l a r i z i n gh t m l ) 、子集与扩展性( s u b s e t s a n de x t c n s i b i l i t y ) 、 文档配筒文件( d o c u m e n tp r o f i l e s ) 。届时，随着x h t m l l 1 规范的推出，x h t m l 文档的编辑者和浏览器能按实际需要去套用不同组合的d t d 。 以上简单介绍了一些与x m l 紧密相关的技术，x m l 要想充分发挥其作用和优 点，就必须同上面的技术紧密结合。当然还有其它许多技术都从某些方面同x m l 技术们关，这疆不再加以介绍。 2 3x m l 应用 x m l 作为互联网上的一种新技术，其应用非常广泛，现在它已经渗透到了 ! j ：联网的各个角落。人们已经普遍认识到x m l 的作用和其巨大的潜力，并将 应用到互联网的各个方面。就当前对于x m l 的应用来说，大致可以分为以下 几类： 设计标记语言在这方面的应用是x m l 设计的初衷。我们可以把x m l 作为 一种元语言来定义新的标记语言。这方面最为典型的应用就是在化学领域内所 定义的c m l 和数学领域内的m a t h m l 等专业领域内的标记语言。 数据交换把x m l 作为一种数据格式进行交换。这足口前x m l 最为流行、 最有前途的一种应用。现在x m l 已经成了一种替代电子数据交换的格式广泛 应用于电子商务中。从技术上说，电子商务是通过互联网传输和交换商务数据， 并能根据商务数据进行人工或自动处理。x m l 的可扩展性和自相容性等特点， 使它成为数据交换的有力工具。电子商务首先出现的类型是企业消费者，该类 型电子商务的信息是直接呈现在浏览器中，供人们阅读，因此侧重于表现的 h t m l ，语苦在其中起到了巨大作用。随着比较购物和个性化要求以及企业企业 类型i 乜f 商务的出现，人们要求计算机能够理解数据的语义，j 斫且能够将数据 和表现的分离开来，这时h t m l 就显得力不从心。x m l 弥补了h t m l 的巨大 缺