论文-XML在数据库应用中的性能问题初探.doc

毕业设计(论文)题 目: XML在数据库应用中的性能问题初探 专 业:_年级:_学 生: 学号:_ 指导教师:_ _完成日期: 年 月 日摘 要本文围绕将XML用于数据库应用中所遇到的问题，尤其是性能问题，进行了一些讨论。并通过一个试验程序，具体考察了XML和关系数据库在处理较大规模数据（1万条记录以上）时性能上的差异。最后，对于XML在这个领域内的应用，给出了一些探讨性的结论。关键词: XML 数据库 性能 Web目 录第一章 XML技术简介 41. 引 言 42. XML简介 4第二章 XML技术与数据库应用 51. Internet时代数据库技术所面临的问题52. XML在数据库应用中的性能问题 5第三章 XML与关系数据库处理对比 61. 测试程序与试验平台62. 试验的结果63. 硬件、软件环境的影响 7 4. XML文档的处理方式与数据库管理系统操作只之间差别 7第四章 XML文档在装载和转储时的开销 7结束语 8参考文献 9致 谢 词 9第一章 XML技术简介1. 引 言XML技术自出现以来，发展非常迅速，在许多领域内得到广泛的支持而有着广阔的应用前景。例如电子数据交换、电子商务等等更是把XML作为一种基础性、支柱性的技术来看待。然而，应该指出，XML本质上是一种描述性的标记语言，是一种更好地表示信息的手段。同时，这也意味着XML可以是用于信息存储和管理的一种方式，正如同传统的数据库技术一样。数据库技术及其应用系统诞生于60年代。随后，经历了从层次数据库、网状数据库到关系数据库以及面向对象数据库的发展，数据库及其管理系统已成为计算机信息系统中的重要基础和支柱。90年代以来，Internet和Web的飞速发展使人类社会的信息量以指数膨胀，而对信息管理和信息交换的需求更是空前强烈和迫切。这时，已在传统的商业和事务处理等领域内趋于成熟的数据库技术，面临着许多新的问题和挑战。（注：本文中关于数据库技术的讨论侧重于关系数据库）XML的一个重要特点是它的结构性，即它可以方便有效地表示结构化数据，这就使得XML可以作为表示和存储数据的手段。因此，目前有不少将XML用于数据库应用的研究正在进行中。本文即是在这个方向上做了一些初步的探索，尤其关注于XML在数据库应用中的性能问题。2. XML简介XML推荐标准1.0版发布于1998年2月，之后，迅速在全球掀起了XML应用的浪潮。简要地讲，XML是一种描述型的标记语言，与HTML同为SGML（标准通用标记语言，一种功能十分强大但也非常复杂的标记语言，是ISO-8879国际标准）的一种应用。设计之初，XML的目标之一是取代HTML为新出现的复杂的Web应用提供标准的Internet语言。然而，由于XML在可扩展性、可移植性和结构性等方面的突出优点，它的应用范围早已突破了HTML所达到的范围。今天，XML在很多领域中崭露头角，这其中包括传统的数据库技术的范畴。例如，人们开始考虑用XML文档来存储、组织和管理Internet上浩如烟海的庞大信息资源。但是，XML是否能够胜任所有这些场合？这正是本文要探讨的一个问题。下面先对XML作一个简要的介绍。一篇XML文档由标记和内容组成。XML中共有六种标记：元素（elements），属性（attributes），实体引用（entity references），注释（comments），处理指令（processing instructions）和CDATA段（CDATA sections）。其中，元素是标记的最常见的形式，由尖括号分隔，和人们熟悉的HTML中的标记看起来没什么两样。大多数元素标识它所包含的内容的性质。XML与HTML最大、也是最显著的不同是XML文档中引入了“文档类型声明”（Document Type Declarations）。DTD使文档可以与分析器交流关于它的内容的元信息。元信息包括：被允许的标注的次序和嵌套，属性值和它们的类型以及默认值，可能引用到的外部文件的名字和它们是否包含XML可能包含的一些外部数据（非XML）的格式，以及可能遇到的实体。DTD的出现，赋予了XML文档可扩展性、结构性和可验证性。正因为如此，XML具备了类似于数据库的一些性质，人们可能利用XML来组织和管理信息。与此同时，又可以与HTML一样在浏览器中方便地表示，在Internet上高效地传递和交换。考虑到与HTML的兼容，DTD并不是XML文档必须的成份。具有DTD的XML文档称作“Valid”，否则就是“Well-formed”。目前，处理XML文档的方式主要有SAX与DOM两种。SAX（Simple API for XML）是一种基于流的、以事件处理方式工作的接口。DOM（Document Object Model）则是在对XML文档进行分析后，在内存中建立起一个完整的树的结构，然后在此基础上进行各种操作。简单地比较来看，SAX对系统资源要求低，速度快，但对文档的操作是只读的；DOM的处理能力强大，但要求大量的系统资源，尤其是对于大的文档。第二章 XML技术与数据库应用1. Internet时代数据库技术所面临的问题在这里我们并不会去过多地探讨数据库技术本身，而只是指出数据库技术在Internet应用、Web应用中所面临的问题。同时，这也解释了将XML用于数据管理的原因和动机。传统数据库的应用领域主要是针对商业与事务处理。Internet时代到来以后，Web改变了许多东西，正如它给数据库技术提出了一个必须面对的重要问题：即如何有效地存储和管理Web上以指数增长着的数据（文档），使它们既能被高效地操作和维护，又能在Web这个平台上方便地表示和交换。当前，典型的问题有（当然这绝不是全部）：1. 将现有数据库中数据转换成适于Internet和Web的形式，需要相当的工作量。时至今日，虽然从CGI，Server API，Scripts到Java等等出现了许多解决方法，并且已在实际应用中取得了很大的成就，但仍有问题存在。2. 传统数据库中的数据以二进制码的形式存储，并且不同的数据库管理系统有各自的专有格式，这既带来了表示上的困难，更是进行交换的一大障碍。而随着网络和Internet的发展，数据交换的能力已成为新的应用系统的一个至关重要的要求。当然，我们也已经看到，数据库技术正在积极地吸收和利用Web方面的新技术。当前主流的数据库产品都宣布了对XML的支持。但是，数据库管理系统（DBMS）与XML的这种捆绑是否能够充分发挥效率，还需要在实际中检验。本文中，我们将从另一个角度来试验，即，完全基于XML来实现数据管理和操作。2. XML在数据库应用中的性能问题这里，我们通过一个简单的例子来考察XML在处理典型的数据库应用时的表现。我们所要管理的信息是一个名单，每个记录是一个名字，包含姓（LASTNAME）和名（FIRSTNAME）两个字段。这个名单在关系数据库中就是一张再简单不过的表了，而在XML中，我们需要下面这样一个DTD：!DOCTYPE DOCUMENT 一个记录则这样表示：FranklinTom至此，我们就有了一个存储名单的XML文件，类比于数据库中的一张表。但是，处理XML文件却远不象用SQL操纵数据库那么简单。由于SAX对XML文档的处理是只读的，我们必须采用DOM来完成查询、插入、修改等各种操作。这里，我们使用Java语言，利用Microsoft的MSXML包，来实现这个程序。第三章 XML与关系数据库处理对比1. 测试程序与试验平台在这个小测试程序中，我们只实现了对应最基本的数据库操作的几个功能。然后，作为对照，在Oracle系统中建立了包含同样数据的一张表，用SQL*Plus对表进行操作。需要说明的是，试验在时间测量上是比较粗略的，采用秒表测算从命令提交到结果返回的时间差。由于我们主要侧重的是数据库与XML之间的相对比较，而不是各自的绝对数值，所以这样做基本可以满足要求。试验的平台是：Oracle系统运行于Sun SPARC Station 20，Microsoft Java 虚拟机运行于Pentium 233 PC上。2. 试验的结果如下:操作Oracle/SQL*PlusMSXML/JavaInsert 10 records1秒1-2秒Delete 10 records1秒1-2秒Update 10 records1秒1-2秒Select1秒1-2秒表1 关系数据库和XML处理100条记录时的性能比较操作Oracle/SQL PlusMSXML/JavaInsert 100 records1秒16秒Insert 1000 records1-2秒17秒Delete 100 records1秒19秒Delete 1000 records1-2秒22秒Update 100 records1秒20秒Update 1000 records1-2秒22秒Select1秒22秒表2 关系数据库和XML处理10000条记录时的性能比较从上表可以看出，XML在处理规模稍大的数据时比关系数据库系统要慢很多。设想在一个Web站点上，这样的响应速度肯定是无法接受的。但是，在对上面的数据作出解释时，我们也要考虑这样一些因素：3. 硬件、软件环境的影响:首先，在这个试验中，对比的双方使用了不同的计算机，不同的操作系统。其次，处理XML文档所使用的编程语言Java和接口库MSXML的性能问题，都有可能对最后的结果产生影响。4. XML文档的处理方式与数据库管理系统操作数据表的方式之间的差别:试验中对XML文档的处理方式是在每次操作前将其装载，然后对内存中的树结构进行操作，最后将结果写回磁盘上的文件。DTD在每次装载的时候都要被分析（本试验中还只是一个最简单的DTD），而向文件系统转储的时候更是要根据文档的结构决定适当的标记。这些操作是相当费时的，而数据库管理系统对表的操作显然不是这样。第四章 XML文档在装载和转储时的开销考虑到XML文档在装载和转储时的开销，我们又进行了另外一个试验，结果如下表。操作100条记录1000条记录10000条记录仅仅装载和转储2秒3秒15秒仅装载N/AN/A5秒表3 不同规模的XML文档在装载和转储操作上的开销表3说明：1. XML文档的装载和转储时间随着文档内容的增加而显著增加。2. 转储比装载的开销更大。3. 与前面的表2结合，可以看出，对XML文档进行处理的时间大部分都花在装载和转储上了。因此，在本试验中，考虑到一些影响比较的因素，我们仍可以说，处理和操作XML文档的开销要显著地大于关系数据库系统中类似的表。其中，对XML文档进行装载和转储的开销占了很大的比例。XML文档的长度对其处理开销有非常明显的影响。这还是在内存足够的情况下，如果内存不足而使用磁盘交换空间的话，估计会是完全不可忍受的。结束语通过本文的讨论和试验，对于将XML用于数据库应用的情况，我们可以有这样几点结论：1. XML文档不适于处理较大规模的数据（1万条记录以上）。2. 由于以DOM方式装载和转储XML文档开销很大，处理XML文档时一定要尽量减少这种操作。3. XML文档与关系数据库系统相比，应该说，它的一个优势是它存储数据的形式是可读的，即人可以直接阅读和编辑XML文档，而数据库中的表不通过数据库管理系统是无法访问的。所以，我觉得，XML文档适合于在编辑器中人工编辑，而在一个由许多用户并发地访问且可能修改的环境中，性能会成为严重的问题。很显然，这正是数据库技术所擅长的场合。无论如何，XML正在迅速地发展和不断地完善中，前景非常光明。例如，正在开发和标准化之中的XML查询语言（XQL）即是针对XML在数据库方面的应用。在这个领域内，还有很多问题有待我们去研究和解决。参 考 文 献1World Wide Web Consortium, “Extensible Markup Language (XML) 1.0 W3C Recommendation 10-February-1998” /TR/1998/REC-xml-199802102Microsoft Inc., “Microsoft SDK for Java 4.0 Documentation” http:/msdn.microsoft.c