已阅读5页,还剩84页未读, 继续免费阅读
(计算机应用技术专业论文)面向web的xml数据管理技术研究.pdf.pdf 免费下载
版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
摘要 w e b 作为一个全球化信息空间,蕴含着具有巨大潜在价值的信息和知识,尽管目前有大量的研究1 i 作关注于w e b 数据的管理和使用,但是,现有的技术还不能让用户满意。 x m l 为w e b 提供了一致的数据模型和描述语言,已成为表示w e b 中多样性数据的事实标准,可以 预见w e b 上的数据将主要以x m l 形式存在。研究x m l 数据的管理技术,可以为w e b 数据的管理提供 新的解决途径和方法,对基于w e b 的应j 二| ;i 领域( 例如:电子商务、供应链管理、信息检索等) 具有重耍 的应用价值。 论文研究了x m l 数据管理的相关技术,通过分析x m l 的数据特点,提出一个面向w e b 的x m l 数据管理方案,并对其中涉及的关键技术,如存储设计、元数据提取策略、索引技术等方面进行了深入 研究,期望对推进本领域的技术发展作一点贡献。 论文的主要内容包括如卜几个方面: 1 提出了一个面向w e b 的x m l 数据管理系统w o x d m s 的设计方案。针对w e b 上多样化的数据 和多种应用,设计了x m l 数据引擎,包括x m l 关系数据库接口、x m l 一数据仓库系统接口、 x m l 一面向对象系统接口和x m l 搜索引擎等四个组成部分,通过这些接口技术,实现了对x m l 数据的管理,并为w e b 中各种信息系统之间的信息交流和知识共享提供了接口。 2 在分析现有的x m l 数据的关系存储技术的不足后,本文将系统开销引入x m l 数据的关系存储 设计中,提出了一种基于开销估算的x m l 数据存储方案。把根据存储开销和查询开销设计数据 库模式的方法作为研究x m l 的关系存储的新思路,改变了以往根据事先设计的固定规则设计关 系模式的静态方法。为x m l 数据在关系数据库系统中的存储提供了一条灵活有效的动态设计方 法。 3 提山了一种智能的数据模式优化方法。通过人工智能技术中的遗传方法的白适应性和自治性, 根据应用需求和系统负载情况,调整数据模式,提高了数据库中模式寻优的自动化程度,为人 工智能技术在数据库的应剧提供了一个新的切入点。 4 提出了一种基于语法规则的x m l 模式抽取方法。在分析了x m l 数据语法特点的基础上,采用 c h o m o s k y 自下向上语法分析的方法,提山了一种下推自动机模型实现信息抽取。这种方法不但 能够快速、准确地提取元数据信息,而且容错性强,能够处理不完整x m l 数据片断。该方法同 样适用于类似x m l 的其它自描述数据的模式获取技术。 5 提出了面向w e b 的x m l 数据的检索方法。该方法结台文本内容和结构信息,为x m l 文件设计 了增强的索引结构,同时,改进了传统的排序方法和检索方案,提高了查洵的精度和壹询结果 的合理性。 关键词:w e b ,x m l ,数据模式,信息检索,数据仓库,面向对象 i v a b s t r a c t a st h og l o b a li n f o r m a t i o nm a t r i x ,w w wc o n t a i n sa l lk i n d so fd a t a ,i n c l u d i n gs t r u c t u r e d ,s e m i s t r u c t u r e d a n dn os t r u c t u r e dd a t am u c hr e s e a t c hh a sf o c u s e do nt h es i u d yo fw e bd a t am a n a g e m e n t ,h o w e v e r , i t sc u r r e n t s t a t u si ss t i l lf a rf r o l ns a t i s f a c t i o no f w 曲u s e y s x m lh a sb e c o m et h ed ef a c t os t a n d a r dt or e p r e s e n td a t ai nw w w a n di tp r o v i d e sau n i f o md a t am o d e l f o rw e bd a t a i ti sr e a s o n a b l et oi m a g i n et h a tm o s to f t h ed a t ao nw 曲w i l lb ei nx m l a st h er e s u l t ,r e s e a r c ho n x m l p l a yac r u c i a lr o l ei n w e bd a t am a n a g e m e n ta n di ti si m p o r t a n tf o rs o m ew e ba p p l i c a t i o n s ,s u c ha s e - c o i d i n e r c e ,d a t a b a s ea p p l i a t i o n sa n di n f o r m a t i o nr e t r i e v a l t h ed i s s e r t a t i o nf o c u s e so nx m l d a t am a n a g e m e n ti s s u e s t h em a i nc o n t r i b u t i o n so ft h i sp a p e ri n c l u d e t h ef o l l o w i n g 1 t h i sd i s s e r t a t i o nr e v i e w st h es t a t eo f x m l d a t am a n a g e m e n ti nt h ew e b a f t e ra n a l y z i n gs e v e r a lp r o b l e n i s , w 曲o r i e n t e dx m ld a t an a a l a a g e m e n ts o l u t i o nw o x d m s i sp r e s e n t e d i nt h i ss o l u t i o n ,x m l - r e l a t i o n a l e n g i n e x m l o b j e c t o r i e n t e di n t e r l a c e ,x m l d a t a w a r e h o u s e i n t e r f a c ea n dx m ls e a r c he n g i n ea r e d e s i g n e dt oi m p l e m e n ti n f o r m a t i o ni n t e r c h a n g i n ga n dk n o w l e d g es h a r i n g t h i ss o l u t i o np r o v i d e san o v e l a n de f f e c t i v ea p p r o a c ht ox m l d a t as t o r a g ea n dx m li n f o r m a t i o nr e t r i e v a li nt h ec o n t e x to f w e b 2a f t e rs e v e r a lm e t h o d so fx m l d a t as t o r a g ea r ed i s c u s s e d ,t h i sd i s s e r t a t i o nt a k e sw o r k l o a d ( o rc o s t ) i n t o a c c o u n tf o rs t o r i n gx m ld a t ai nr d b m s t h i sd i s s e r t a t i o np r e s e n t sac o s t d r i v e na p p r o a c ht od e s i g n d i f f e r e n td a t as c h e m aa c c o r d i n gt ou s e r s r e q u i r e m e n ta n di ti sd i f f e r e n tf r o mm e t h o d s ,w h i c hd e s i g nx m l s t o r a g eb yd r e d e f i n e dr u l e s t h ea d v a n t a g eo ft h i sa p p r o a c hi se a s i l yt o c r e a t eas p e c i f i cm a p p i n gf o r d i 圩e r e n tu s e r s 3 a ni n t e l l i g e n tm e t h o dt oa u t o m a t i c a l l yt u r nt h ed a t as c h e m aa c c o r d i n gt ot h ew o r k l o a di sp u tf o r w a r d g e n e t i ca l g o r i t h m ( g a ) i st h em e a n st op r o v i d eag e n e r i ca n d r o b u s tm e t h o df o rg e t t i n gt h em i n i m u mc o s t f o r ma l lp o s s i b l ed a t as c h e m a t a k i n ga d v a n t a g eo fg a ss e l f - a d a p t i v ea n ds e l f - a d j u s t a b l ef e a t u r e s ,t h i s m e t h o di r e p r o v e st h e1 e v e lo f a u t o m a t i cd a t a b a s es c h e m ad e s i g n 4b a s e do nx m lc h a r a c t e r sa n dc h o m o s k yg r a m m a rt h e o r y , t h i sd i s s e r t a t i o np r e s e n t sx g r a m m a ra n d d u s h d o w na n t o m a t o nm o d e lt oe x t r a c ts t r u c t u r ei n f o r m a t i o nf r o mx m l d a t aw i t hh i g hp e r f o r m a n c e t h i s a p p r o a c hi sa l s os u i t a b l ef o re x t r a c t i n gs c h e m af r o mx m l d a t as t r e a ma n di n c o m p l e t ex m ls e g m e n t e x p e r i m e n t ss h o w i t se f f e c t i v e n e s sa n de f f i c i e n c y 5 t h i sd i s s e r t a t i o np r e s e n t san e wm e t h o dt oq u e r yx m l d o c u m e n td a t a b a s eb yc o n t e n ta n ds t r u e t t t r e1 1 1 e t a g si nx m ld a t ao ro t h e rs t r u c t u r e dd o c u m e n tc a r lb er e p r e s e n t e db yah i e r a r c h i c a lc o n c e p tr e l a t i o n s h i p t oa t h i e v em o r e p r e c i s e s e a r c h r e s u l t s ,t h i s w o r kc o m b i n e si n f o r m a t i o nr e t r i e v a l t e c h n i q u e s , s e m i - f i :t r u c t u r e dd a t aq u e r ya n dp r o x i m a t es e a r c h t h ek e yi d e a so fo u rm e t h o da r eas i m i l a r i t yf u n c t i o n t h r o u g hs t m c t u r eh i e r a r c h y i nx m l d o c u m e n t t o g e t h e rw i t he n h a n c i v ei n d e x t h e m e t h o di se v a l u a t e do n t h ee n c a r t ae n c y c l o p e d i a a n ds h o w st h a ti tp r o v i d e sm o r ea c c u r a t ea n ds h o r t e ra n s w e r st h a nt r a d i t i o n a l d o c u m e l l tr e t r i e v a lf o rq u e r i e s k e y w o r d s :w e b ,x m l ,s c h e m a ,l n f o m a a t i o n r e t r i e v a l ,d a t aw a r e h o n s e ,o b j e c t ,o r i e n t e d v 东南大学学位论文 y 5 7 9 1 5 3 独创性声明及使用授权的说明 一、学位论文独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究一l 作及取得的研究成果。尽我所知, 除了文中特另 j 1 j d 以标注和致谢的地方外,论文中不包含其他人已经发表或撰写过的研究成果,也不包含 为获得东南人学或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任 何贡献均已在论文中作了明确的说明并表示了谢意。 二、关于学位论文使用授权的说明 签名:王晓丛 日期: 2 0 0 3 年2 月 尔南大学、中国科学技术信息研究所、国家图书馆有权保留本人所送交学位论文的复印件平电子文 档,可以采用影印、缩印或其他复制手段保存论文。本人电子文档的内容和纸质论文的| = l 容相一致。除 在保密期内的保密论文外,允许论文被查阅和借阅,可以公布( 包括刊登) 论文的全部或部分内容。论文 的公布( 包括刊登) 授权东南大学研究生院办理。 签名:王嗑硷 导师签名 h 期: 2 0 0 3 年2 月 东南大学博士论文 第一章 第1 章绪口 w h i l ew ec a r lt a k ea saf a c t w e bc h a n g e se v e r y t h i n g ”,w ea r g u et h a t ,”x m li st h em e a 1 s ” f o rs u c ha c h a n g e t om a k eas i g n i f i c a n t s t e pf o r w a r d w et h e r e f o r er e g a r dx m l r e l a t e d r e s e a r c h a st h em o s t p r o m i s i n g a n d c h a l l e n g i n gd i r e c t i o nf o rt h ec o m m u n i t y o f d a t a b a s er e s e a r c h e r s 1 1 1 背景 s t e f a n oc e r i c e r i 1 认为“如果承认w e b 改变了世界这个事实,我们认为x m l 是推动这种发展向前跨越的手 段。因此,与x m l e t 关的研究对数据库研究者来说,最有挑战性的、也是最有前途的研究内容。” 计算机和网络技术的发展,改变了我们生活的方方面面,我们已经步入一个信息社会,信息资源极 大丰富f 2 1 。w o r l d w i d e w e b ( 万维网,也简称为w e b ) 作为一个全球化信息空间,蕴含着具有巨大潜在 价值的信息和知识,面对如此丰富多彩的信息,试图通过传统的数据管理技术来管理这些格式亡1 由、内 容多样的信息已经变得很凼难 3 】,w e b 数据管理技术已成为w e b 应用发展的一个“瓶颈”。 要实现对w e b 数据的有效管理,首先需要有一种适当的数据模型去描述w e b 数据。由于w e b 数据的多 样化等特点,很难通过关系、层次、网状等传统的数据模型来描述。x m 哳准的提出和发展,为w e b 中 多样化的数据提供了一个统一的描述语肓,随着x m l 规范的推广和普及,可以预见大量的w e b 信息将以 x m l 的形式存在和交流,从而使利用x m l 实现w e b 数据管理成为可能 6 ,7 ,8 ,9 。研究面r 自3 w e b 的x m l 数据 管理,最为严峻的挑战有两个方面 6 :其一,如何高效地存储数据;其二,如何快速地查找信息。研究 这两方面的问题止是本论文课题的主要内容。 目前,数据库是数据管理的主要工具,一直在数据管理中发挥着重要作用。在1 9 9 8 年的一份关于未 来数据库研究方向的报告 4 中,数据库专家指出,迄今为止数据库对w e b 的贡献甚微。虽然把w e b 数据 库化是不可取的,也是不可能的,但是合理地结合数据库技术和w e b 技术为w e b 数据管理服务 5 】,不仪 是可能的,而且是必要的。s t a n f o r d 大学的j e n n i f e r w i d o m 教授认为“i b e l i e v ed a t a b a s e s t y l e t e c h n o l o g y a p p l i e d t o x m lc a r l p l a ya n i m p o r t a n tr o l e i na l lo f t h e m 7 1 ”。因此,从数据库的角度,研究高效的w e b 数据 管理,对推动w e b 应用发挥着举足轻重的作用。在考虑如何更有效地存储x m l 数据时,我们的思路是充 分利用数据库技术已经取得的丰硕成果,结合x m l 的特点,研究一种新的、有效的,而且也是切实可行 的存储策略。 根据存储空间和应用需求有效地存储x m l 数据很重要,快速地从海量数据中查找到x m l 信息也同样 重要。传统的信息检索技术已经被数据库、信息检索、多媒体和网络等领域的专家r 泛研究,现有的计 算机检索系统一般都是利用词汇索引 1 0 ,对整个大型数据库进行搜索。但是,这些信息检索系统一般 是把整个文本看作是一个字符流,并未很好解决带有结构信息的文本检索问题。x m l 文档包含内容和结 构双重信息,我们将探索一种新的索引策略,充分利用结构信息,实现对x m l 文档的检索。 目前,有关x m l 的数据管理技术已经成为目前的研究热点。在本课题的研究中,我们充分研究了 x m l 数据管理的相关问题,借鉴了数据库、人工智能、信息检索等领域的相关技术,提出一个面向w e b 的x m l 数据管理的解决方案,深入研究了该方案中的关键技术,同时还对x m l 数据管理系统的实现作 了探索。 本章内容是这样绍织的:首先,作为研究x m l 数据管理的基础,我们将简要地回顾数据管理的发展 以及相关的技术;然后,我们指出由丁w e b 的发展,对数据管理技术提出的挑战,以及x m l 为w e b 数据管 理带来的希望;随后,介绍本论文的研究目标、研究思路和主要研究内容;最后,介纠论文的组织结构。 东南大学博士论文 第一章 1 1 1 数据管理技术的发展 众所周知,数据( d a t a ) 是描述事物的符号,数据中包含了信息( i n f o r e l a t i o n ) 和知识( k n o w l e d g e ) , 数据是信息的载体,信息是数据的山涵,通过对数据的有效管理可以获取有用的信息 5 】。虽然从严格的 意义上数据与信息是有区别的,但在下面的叙述中只要不是特别关注它们的确切含义,我们将不加区别 地交替使削数据或信息,我们认为数据和信息都表示对用户具有潜在价值的字符流。 在计算机应用领域,数据管理是指通过计算机管理大量的、持久的、共享的数据,满足用户的各种 信息需求,负责管理这些数据的整个生命周期( 从产生、使用、改变直至删除) 的所有活动,确保数据 的安全性、完整性、致性、可用性等5 。数据管理的目标就是满足用户的各种信息需求。早在二十世 纪五十年代,当计算机用于选票处理或被图书馆等部门用于存储和管理文档时,数据管理就吸引了人”j 浓厚的兴趣,一直是计算机科学技术领域中- - i 重要的技术和主要的研究课题。 从上个世纪6 0 年代开始,有关数据管理的研究,包括数据模型、索引结构、查询优化等方面的研究, 就取得了丰富的成果,先后经历了文什系统、网状数据库系统、关系数据库系统、后关系数据库系统等 发展阶段。数据库是现阶段数据管理的主要形式,其中,关系数据库是主流,现行的大部分数据管理系 统基本上都是关系型数据库系统。随着计算机的广泛应用,对数据库技术提出了新的要求,演绎数据库、 空间数据库、实时数据库等都是为了满足特定应用的需求在关系数据库的基础上发展起来的:面向对象 数据库则是为适应管理复杂数据类型的需要而发展起来的,成为语义丰富、表达比较自然的新一代数据 库系统;而i n t e r n e t 的迅速发展,特别是w e b 技术的发展和x m l 规范的提出,面向w e b 的x m l 数据 管理技术便提到日程上来了。 1 1 2 万维网技术发展为数据管理带来的挑战 w e b 起源于1 9 9 0 年,创始人是欧洲粒子物理研究所的t i m b e m e r s l e e 1 1 等,最初是为了便于世界 各地的物理学家交流研究成果。w e b 将计算机网络技术和超媒体技术融合起来,在很短时间内就被各个 领域的用户广泛接受,信息量呈指数式增长。虽然w e b 为信息发布和信息共享提供了条件,但是由于 w e b 中海量和多样化数据不同于传统的数据模型,很难通过传统的数据库技术实现w e b 数据的管理,这 就给基于万维网( w e b ) 的信息管理带来了新的挑战,需要在传统技术的基础上开展针对w e b 数据特点 的研究和探索。 从数据形式方面来看,w e b 中的数据 1 2 具有如下特点: 1 半结构的或无结构的:w e b 页面通常仅有有限的结构,或者根本就没有结构,即使具有一些结 构信息,也是着重于格式方面,而不是关于内容的。所以,从内容上看,w e b 中数据不同于关 系数据库系统中规范的关系数据,w e b 中的数据是半结构的或者无结构的: 2 非规范化:w e b 的开放性和用户的随意性使得w e b 上的数据几乎是无所不包,无奇不有,从内 容到形式都没有什么规范可言; 3 机器难以自动处理:由于格式及内容表示的随意性,计算机很难对其进行自动处理。 正是由于w e b 数据的这些特点,传统的数据管理技术显得无能为力,而w e b 上不断涌现的大量新应 用( 例如电子商务、供应链等) ,又迫使人们对w e b 上的数据实施有效的管理,这就必须重新考虑数据 模型、查询语言、查询优化、数据存储、数据发布等数据管理问题,以便满足越来越多的w e b 应用需求。 有关的w e b 技术的研究主题主要包括以下几个方面: tw e b 数据的管理,特别是半结构化数据的管理技术; 2 w e b 数据的信息抽取,例如结构或者模式的抽取; 3 w e b 数据的检索技术: 4 w e b 数据的鹰询语言; 5 w e b 的数据集成问题; 2 东南大学博士论文第一章 6 面向w e b 的数据仓库技术: 7 w e b 中的数据发布搜术; 8 w e b 环境中的分布式计算问题; 9 w e b 中的信息安全问题; 1 0 w e bs e m a n t i c s ,有关语义网等问题。 可见,关于w e b 技术的研究涉及到计算机科学的各个领域。本论文将着重研究w e b 环境中数据管理的 若于关键技术,主要包括w e b 中x m l 数据的存储及检索技术等。 1 2 x m l 为w e b 数据管理带来新的希望 力维嘲联盟( w o r l d w i d e w e b c o n s o r t i u m :简称w 3 c ) 新近制定的x m l 规范【i3 已经成为一个研究热 点,x m l 是网络应用发展的产物,是w 3 c 推荐的取代h t m l 的网络语言。x m l 为w e b 提供了一致的数 据模型和描述语言,使得从语法上规范化地表示w e b 数据成为可能,通过研究x m l 数据的管理技术,可 以为基于w e b 的数据管理提供新的途径和方法。很多学者认为,x m l 作为一个手段和方法将推动l 圳络 技术和社会进步。 x m l 的提出,主要基于以下目的: 1 国际化的信息发布的标准,可以独立于各种平台和系统。 2 允许各行各业定义平台独立的协议规范来交换数据,支持电予商务等网络应用。 3 实用化。用户可以通过方便简单的软件处理数据,不需要昂贵的专业软件。 4 个性化。允许用户以自己喜欢的方式显示数据,数据内容与显示方式分离。 5 提供元数据。比如信息的来源和其它说明信息等,这些都是关于数据的解释和描述。 山于x m l 自描述的灵活性和可扩展性,越来越多的系统采用x m l 作为建模语言和接口语言,各行各 业提出了基于x m l 的专业标准,例如,数学x m l ,化学x m l 、医学x m l 等,x m l 已经越来越被普遍 麻用。1 = 一代因特网一网格,也把x m l 作为w e b 的描述语言和接口语言。 冈此我们队为x m l 数据管理技术的研究是现代化数据管理技术的核心之一。对新一代w e b 技术的 发展及w e b 信息的丌发利用,具有重要的理论意义和广阔的应用前景。 1 3 面向w e b 的x m l 数据管理技术 查 询 能 力 高 低 无结构半结构结构化数据结构化程度 图1 1 数据结构化程度和查询能力的坐标图 按照系统的查询能力、数据类型的复杂程度和系统应用等情况,我们可以把i r 系统、关系数据库系 统r d b m s 和x m l 数据管理系统进行总结,如图1 - 1 的坐标图所示。其中,区域4 的多媒体数据库系 3 一 东南大学博士论文 第一章 统中管理包括声音、图像等媒体数据和相应的元数据,多媒体数据库的查询能力较弱,主要是基于元数 据的查询,目前正在研究基于多媒体内容的查询。多媒体数据库系统不是本文的研究热点,在此,不做 详细讨沦。 对于区域1 和2 ,信息检索( i n f o r m a t i o n r e t r i e v a l ,简写为i r ) 系统和关系数据库系统( r a t i n n a l d a t a b a s e m a n a g e m e n ts y s t e m ,简写为r d b m s ) ,已经被广泛地研究。x m l 数据管理系统除了需要i r 系统( 区 域1 ) 的简单的关键字查询外,还需要d b m s ( 区域2 ) 的完整性检查、约束机制、恢复机制、版本管 理等传统的数据库系统具有的功能 1 4 。我们深入分析了数据库系统、x m l 数据管理系统和信息检索系 统,表格1 - 1 阐述了上述三种数据管理系统在数据结构、数据模型、查询能力等方面的不同。 表1 - 1 三种数据管理系统的比较 关系数据库系统x m l 数据管理系统信息检索系统 数据结构 结构化的半结构化的无结构的 维数 二维( 关系模型)多维结构一维( 字符流) 数据模型 概率模型、向量空间 关系型层次结构 模型等 查询能力 强强一般 查询语言的性质准确查询和近似鸯询 准确s q l 查询 相似( s i m i l a r ) 查询 ( a p p r o x i m a t es e a r c h ) 查询的匹配性 准确匹配包含准确匹配和部分匹配部分匹配 数据的及时更新 支持支持不支持不支持 l 事务管理 支持支持不支持 可读性 一般强强 索引传统的数据库索引技术以 传统的数据库索引技术 及新的索引方法( 如模式倒排表 ( 如b - ”e e ,位图索引等) 索引,路径索引等) 由于特殊的数据模式特点和特殊的查询需求,x m l 数据管理不同于关系数据库系统和信息检索 系统,需要针对x m l 数据管理的特点进行分析,研究一些特殊的机制来管理和使用x m l 数据,不 能简单套1 = | j 图2 - 1 中区域l 和2 的技术。 x m l 的数据管理技术已经受到数据库界、信息检索领域、网络等领域学者的注意,人部分研究关注 于数据模型、查洵语言、存储技术、索引技术、数据发布技术等,在这些方面,学者们进行了程度不同 的深入研究。我们把这些研究按照内容不同,归纳为以下几大类: 1 x m l 数据管理系统:主耍研究x m l 数据的存储、索引、查询语言、查询重写、奄询优化、版 本管理等相关的技术。按照系统实现方式不同,可以把这些数据管理系统分为两类:n a t i v e 方式 和e n a b l e d 方式。n a t i v e 方式的x m l 数据管理系统( 例如:d b x m l 、t a m i n o 1 6 系统、s t m , f o r d 大学的l o r e 1 7 ,1 8 1 系统) ,从头开始设计数据管理的各个功能模块,包括数据模型、底层存储方 案、查询、优化、前端应用r 具等;e n a b l e d 方式,建立在传统的数据管理系统( 主要是关系数 据库系统) 的基础之上,利用传统的系统提供的强大功能,发计针对x m l 数据特点的存储、衍 询等技术。现有的犬部分支持m 。数据存储的数据库系统,都是属于e n a b l e d 方式,通过实现 4 东南大学博士论文第一章 x m l 数据引擎,为x m l 数据管理服务。 2 x m l 发布( p u b l i s h i n g ) 技术:主要研究从已有的数据源中,自动产生x m l 格式的数据的技术, 以及怎样在现有的数据源的基础上,对外提供x m l 的接口。很多数据库厂商都在他们的数据库 产品中,提供了x m l 信息发布的解决方案。到目前为止,已经有一些比较成熟的原型系统和产 品,例如s i l k r o u t e 1 9 ,2 0 ,2 1 和i b m 的d b 2e x t e n d e r 2 2 】。s i l k r o u t e 是一个动态的x m l 接口, 它把关系数据库中的数据映射成符合d t d 描述的x m l 数据,返回x m l 格式的查询结果: s h a n m u g a s u n d a r a m 等设计实现的i b m 的d b 2e x t e n d e r ,实现d b 2 关系数据库对发布x m l 数据 的支持。无论是s i l k r o u t e 还是d b 2e x t e n d e r ,其中的核心思想都是在关系数据库中。计算x m l 视幽,把关系数据封装成x m l 格式的数据。 3 基于x m l 规范的接口协议:由于x m l 的自描述性,可以方便地定义各种复杂格式的协议标准。 这些利用x m l 描述的协议不但可以实现平台独立性,方便网络交互,而且可以通过简单的软件 实现解释和存储。例如:s o a p ( s i m p l e o n e c t a c c e s s p r o t o c 0 1 ) 就是利用x m l 实现的跨平台的 接口协议。利用x m l 的白描述性,语义网的研究者也正在研究有关x m l 数据的自动处理技术。 4 x m l 在数据集成方面的应用:由于x m l 几乎可以描述任何数据类型,从简单的整型到复杂的 对象类型,所以,x m l 是一种较理想的数据集成的工具,可以描述现有的信息系统中的多样化 数据,成为异构数据源集成的接口语言。例如:b i z t a l k ( h t t p :b i z t a l k c o m ) 专门讨论x m l 在数 据集成应用中的作用和各种解决方案。 5 内容管理( c o n t e n tm a n a g e m e n t ,简称c m ) :内容管理系统是集成现有的数据库系统、文什系统、 网络技术、工作流技术( w o r k f o l o w ) 、数据流技术( s t r e a m i n g ) 、多级存储管理技术等,以一致 的方式管理和查询数据,包括文本数据、多媒体数据、关系数据、x m l 数据等。鉴于x m l 是 一个公认的数据交换模式,内容管理系统把x m l 作为数据描述语言,在很大程度上,内窖管理 系统的技术都是关于x m l 的技术。代表产品有x y e n t e r s e 公司的c o n t e n t x m l ,i b m 的c m 2 3 , m i c r o s o f t 的c n l s e r v e r 产品等。 不难发现,在上述的面向w e b 的x m l 数据管理技术中,涉及到数据库技术、网络、多媒体等多个 领域。缝于现有的大部分数据都存放在数据库( 主要是关系数据库) 中,数据库为麻用提供了存储和奄 询平台,无论是数据发布、数据集成、接口等都与数据库密不可分,研究e n a b l e d 方式的x m l 数据管理 方案,已成为研究重点。 1 4 面向w e b 的x m l 数据管理中遇到的主要问题 止如上节介绍的,目前,已经出现了很多有关x m l 的研究,这些研究为一些面向w e b 的x m l 应 用提供了各种解决方案。其中,数据发布技术、x m l 描述的接口协议等都已经比较成熟,但是,关丁 x m l 数据的高效管理技术方兴未艾,数据库界的研究者一直在努力探索高效的x m l 数据管理方案,虽 然取得了一些进展,但是,仍然存在各种各样的问题,需要研究新颖的、高效的策略。 现有对x m l 数据管理的研究主要包括x m l 存储研究 2 4 ,2 5 ,2 6 ,2 7 ,2 8 ,2 9 ,3 0 ,3 l ,3 2 ,3 3 】,x m l 查询语 言 3 4 ,3 5 ,3 6 ,3 7 ,3 8 ,3 9 ,4 0 ,4 1 以及x m l 索引 2 8 ,3 6 ,3 9 ,4 2 ,4 3 的构造等方面的研究:l 一作。通过认真分析和深 入的研究,我们将现有方法中存在的问题分为以下几类: 1 已有的存储方法不能满足应用多样性的需要。 虽然对x m l 数据的存储已有多种解决方案但是,通过文件系统、关系数据库或者对象数据库等现 有的技术实现的x m l 数据管理系统,很难让用户满意。我们从以f jr 个方面详细分析x m l 数据的存储 管理中存在的问题: 1 )文件系统是一个简单的存储x m l 数据的方式,但是由于文件系统不提供查询处理、数据完整性 和一致性管理等辅助功能,对x m l 数据的任何操作,必须每次都把x m l 数据解释成对象模型 ( 如d o m ) ,然后才能在内存中处理,所以,查询效率低,维护不方便。 2 、面向对象数据模型f 4 5 ,a 6 是最类似x m l 数据模型的一种已有的数据模型,理沧上,面向对象数 据库在支持x m l 数据应用方面具有优势,他们都存在层次结构、对象、路径等概念,但是,目 5 东南大学博士论文 第一章 前的面向对象产品还不够成熟完善,所以,很少的研究建立在对象数据库基础上。 3 )由于关系数据库的稳定性、高效性、使用的广泛性,目前的大部分研究集中于通过关系数据库 存储x m l 数据 4 7 ,4 8 。大部分支持x m l 存储的产品,主要是通过把x m l 数据分解成关系数 据存放在关系型的数据库中。例如,s q l s e r v e r2 0 0 0 ,o r a c l e ,d b 2 等产品都部分支持x m l 数 据的存储和检索。把x m l 数据存放到关系数据库中,实现x m l 模式到关系的映射是n p 完 全的,到目前为止,还没有公认的最优方案。现有的大部分的对x m l 存储技术的研究,主要是 通过把x m l 文档固定地分解成关系数据,存放在关系型的数据库中,通过关系的连接( j o i n ) 操作实现x m l 模式的重现,例如e d g e 表、b i n a r y 表和u n i v e r s a l 表等方式。但是,套用一个固 定的通用模式设计的系统,性能很难令用户满意,数据库专家s t e f a l - 1 0 c e r i 指出f 1 :“虽然把x m l 中的元素映射到关系的表中看起米不是高效的方法,但是,从长远来看,成功的解决方案仍然 是采用关系数据存储x m l 数据。我们期望能建立一种灵活的存储技术,例如,物理数据模型能 够按照x m l 数据特点来定制。”这就需要一种灵活的存储技术,根据x m l 数据特点设计台适 的存储方法,并且还耍能够根据查询的开销决定存储方案。根据具体用户和应用的需求设计数 据模式,这个问题是我们研究的重点。 4 )纯的x m l 数据库产品。这种方案从底层设计针对x m l 数据模型的数据管理系统,实现存储和 查询等相关功能。斯坦福大学的l o r e 系统 4 9 ,是一个针对半结构化数据的存储方案,建立在 o e m 模型基础上;当x m l 出现后,通过o e m 和x m l 之间的转换,l o r e 成为一个针对x m l 的数据存储方案,l o r e 设计了许多针对半结构化数据的特殊索引和查询机制。虽然l o r e 在数 据模型、查询优化等方面都进行了探索,但是,系统性能、功能完备性等方面有待进一步完善 和提高。所以,这种纯的x m l 数据管理系统很难在短期内就达到可以与关系数据库媲美的性能 和功能。而且,由丁现有的大部分系统采_ l = | j 关系数据库,为了与已有系统的兼容,大部分研究 集中在以关系数据库为基础,增加x m l 数据管理的功能,这是很自然的。 这个方向已经被v l d b 列为近期关注的研究热点,有关这方面的研究要求从数据库核心技术开始, 强凋x m l 的存储和查询需求,根据用户的实际需求设计特定的存储策略,满足多样化的应用需求, 优化数据库引擎,提高系统性能,为x m l 数据管理服务。 2 传统的设计流程不能满足x m l 数据存储的要求 传统的数据库设计的基本任务是:根据实际应用的信息需求、处理需求和数据的支撑环境,设计数 据模式( 包括外模式、逻辑模式和内模式) 。数据库设计的基本流程如图1 - 2 所示。其中,信息需求表示 需要的数据及其结构,是对数据库的内容和结构的要求;处理需求表示需要进行的信息处理,例如t 资 计算、成绩统计等。 传统的设计是:根据应剧的需求,从现实世界中收集适当的数据,并将它们组织成合理的数据模 式,在数据内容上、处理性能上力求满足用户的应用需求。但是,由于x m l 数据是已经存在的, 其基本内容和结构关系是不能改变的,所以,设计的任务变为:根据已有的x i v i l 数据和对数据的 查询需求,设计有效的关系数据模式。因此,x m l 数据在关系数据库中数据模式的设计流程不同 于传统的流程。 我们认为这种不同主要表现在以r 两个方面: 1 )目标不同:传统的设计主要是针对某一类应用来收集数据和组织数据,所以,系统的目标是最 大限度地满足应用需求,根据需求来组织必须的数据:x m l 数据的关系存储主要是解决x m l 数据的存储问题,不需要搜集数据,所以,x m l 数据存储的目标是针对x m l 数据来设计存储 模式; 2 )设计流程不刷:一般来说,传统的系统根据应用需求,先从总体上,设计概念模式,进而设计 逻辑模式和物理模式如图1 - 2 所示。由于x m l 数据的关系存储设计的山发点是x m l 数据, x m l 数据的模式复杂,要把x m l 数据存放到关系中,必颁根据用户的需求和系统的情况t 例 如:d b m s 性能、查询需求、x m l 数据本身的特点等信息) ,探索“x m l 一关系映射”的有效 方法,把x m l 数据映射到关系模型中,所以进行“x m l 一关系映射”的分析是x m l 数据 6 东南大学博士论文第一章 库设计的特殊需求。 鉴丁e 述原因,x m l 数据存储设计流程不同于传统的设计,论文将探索合理的x m l 数据管理系 统的设计方法。 3 在设计阶段,智能化程度低 目前,数据库系统的设计几乎都是建立在经验的基础上,图1 - 2 中,在需求分析、概念设计、逻辑 设计、物理设计等各个阶段,都要凭借有经验的专家和大量的启发式规则
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 七年级科学《生物的结构与生殖》单元整体教学设计
- 高二英语北师大版选择性必修一 Unit 1 Relationships Lesson 1 Teachers 教学设计
- 初中九年级数学与函数有关的定点交点最值问题专项复习教学设计
- 高中美术鉴赏第一课美术鉴赏及其意义教学设计
- 小学四年级道德与法治教学设计:蛇年话年俗 传承年味浓
- 九年级物理二轮复习教学设计:简单机械核心模型与实战突破
- 小学二年级道德与法治《传统游戏我会玩》活动化教学设计
- 高三生物二轮复习坐标图类情境分析专题教学设计
- 小学二年级美术《虾和蟹》教学设计
- 七年级英语一般将来时假期计划语法教学设计
- 黑龙江省龙东十校联盟2027届高三上学期11月期中质量测试语文试卷(含答案)
- GB/T 7251.3-2026低压成套开关设备和控制设备第3部分:由一般人员操作的配电板(DBO)
- 欧盟电池护照EU2023-1542数据架构全解:唯一标识访问权限与数据更新合规指南
- 钢筋弯曲机使用安全要求培训
- 2026年秋季开学时间管理课:做时间的主人课件
- 考研政治马克思主义基本原理核心知识点系统梳理框架
- ISO 14001-2026《环境管理体系 要求和使用指南》变化与应对行动说明表(雷泽佳编制-2026A0)
- (物理)2027版高中《基础自测小纸条》必修2(默写+背诵版)
- 2026年河北省中考英语试卷(含答案)
- 低压电缆头制作安装施工方案及技术措施
- 2026年中国东航行测笔试题库
评论
0/150
提交评论