大数据库技术现状及其发展趋势.doc

实用标准文档数据库技术现状及其发展趋势 院系：生命科技学院 班级：农学122班 文案大全目 录一、引言1二、数据库技术的基本概述2三、数据库技术发展历史31.第一代数据库系统32.第二代数据库系统33.第三代数据库系统4四、当今主流数据库技术发展状况41信息集成42传感器数据库技术53网格数据管理64移动数据管理65微小型数据库技术76. 数据加密技术71）数据加密方法82）基于公钥的加密算法8五、数据库技术在今后的发展趋势91.性能与易用性仍是数据库完善的必经之路92.搜索是数据库的未来之路93.开源数据库有望走向应用主流104.未来数据库发展主要趋势10四、结束语11数据库技术现状及其发展趋势内容摘要：由于数据库技术在特殊领域的应用和其他相关学科技术的发展，促使数据库技术不断创新、发展。本文阐述了一些新的数据库技术及新一代数据库技术的发展方向。关键词：数据库 信息集成 网格数据管理 移动数据库 数据加密技术 发展趋势一、引言1数据库技术是计算机科学的重要分支，主要研究如何安全高效地管理大量、持久、共享的数据。数据库的研究始于20世纪60年代中期，从诞生到现在，在不到半个世纪的时间里，形成了坚实的理论基础、成熟的商业产品和广泛的应用领域，目前数据库成为一个研究者众多且被广泛关注的研究领域。随着信息管理内容的不断扩展和新技术的层出不穷，数据库技术面临着前所未有的挑战。面对新的数据形式，人们提出了丰富多样的数据模型（层次模型、网状模型、关系模型、面向对象模型、半结构化模型等），同时也提出了众多新的数据库技术（XML 数据管理、数据流管理、Web 数据集成、数据挖掘等）。在Web 大背景下的各种数据管理问题成为人们关注的热点。本文讨论目前数据库研究领域中最热门的几个研究方向的发展现状、面临的问题和未来趋势。二、数据库技术的基本概述数据库技术是信息系统的一个核心技术。是一种计算机辅助管理数据的方法，它研究如何组织和存储数据，如何高效地获取和处理数据。是通过研究数据库的结构、存储、设计、管理以及应用的基本理论和实现方法，并利用这些理论来实现对数据库中的数据进行处理、分析和理解的技术。即：数据库技术是研究、管理和应用数据库的一门软件科学。 数据库技术是现代信息科学与技术的重要组成部分，是计算机数据处理与信息管理系统的核心。数据库技术研究和解决了计算机信息处理过程中大量数据有效地组织和存储的问题，在数据库系统中减少数据存储冗余、实现数据共享、保障数据安全以及高效地检索数据和处理数据。 文案大全数据库技术研究和管理的对象是数据，所以数据库技术所涉及的具体内容主要包括：通过对数据的统一组织和管理，按照指定的结构建立相应的数据库和数据仓库；利用数据库管理系统和数据挖掘系统设计出能够实现对数据库中的数据进行添加、修改、删除、处理、分析、理解、报表和打印等多种功能的数据管理和数据挖掘应用系统；并利用应用管理系统最终实现对数据的处理、分析和理解。数据库技术涉及到许多基本概念，主要包括：信息，数据，数据处理，数据库，数据库管理系统以及数据库系统等。 数据库技术是现代信息科学与技术的重要组成部分，是计算机数据处理与信息管理系统的核心。数据库技术研究和解决了计算机信息处理过程中大量数据有效地组织和存储的问题，在数据库系统中减少数据存储冗余、实现数据共享、保障数据安全以及高效地检索数据和处理数据。数据库技术的根本目标是要解决数据的共享问题。三、数据库技术发展历史数据模型是数据库技术的核心和基础，因此，对数据库系统发展阶段的划分应该以数据模型的发展演变作为主要依据和标志。按照数据模型的发展演变过程，数据库技术从开始到现在短短的30年中，主要经历了三个发展阶段：第一代是网状和层次数据库系统，第二代是关系数据库系统，第三代是以面向对象数据模型为主要特征的数据库系统。数据库技术与网络通信技术、人工技能技术面向对象程序设计技术、并行计算技术等相互渗透、有机结合，成为当代数据库技术发展的重要特征。 1.第一代数据库系统第一代数据库系统是20世纪70年代研制的层次和网状数据库系统。层次数据库系统的典型代表是1969年IBM公司研制出的层次模型的数据库管理技术IMS。20世纪60年代末70年代初，美国数据库系统语言协会CODASYL(Conference on Data System Language）下属的数据库任务组DBTG(Data Base Task Group）提出了若干报告，被称为DBTG报告。DBTG报告确定并建立了网状数据库系统的许多概念、方法和技术，是网状数据库的典型代表。在DBTG思想和方法的指引下数据库系统的实现技术不断成熟，开发了许多商品化的数据库系统，它们都是基于层次模型和网状模型的。 可以说，层次数据库是数据库系统的先驱，而网状数据库则是数据库概念、方法、技术的奠基者。 2.第二代数据库系统第二代数据库系统是关系数据库系统。1970年IBM公司的San Jose研究试验室的研究员Edgar F. Codd发表了题为大型共享数据库数据的关系模型的论文，提出了关系数据模型，开创了关系数据库方法和关系数据库理论，为关系数据库技术奠定了理论基础。Edgar F. Codd于1981年被授予ACM图灵奖，以表彰他在关系数据库研究方面的杰出贡献。 20世纪70年代是关系数据库理论研究和原型开发的时代，其中以IBM公司的San Jose研究试验室开发的System R和Berkeley大学研制的Ingres为典型代表。大量的理论成果和实践经验终于使关系数据库从实验室走向了社会，因此，人们把20世纪70年代称为数据库时代。20世纪80年代几乎所有新开发的系统均是关系型的，其中涌现出了许多性能优良的商品化关系数据库管理系统，如DB2、Ingres、Oracle、Informix、Sybase等。这些商用数据库系统的应用使数据库技术日益广泛地应用到企业管理、情报检索、辅助决策等方面，成为实现和优化信息系统的基本技术。 3.第三代数据库系统从20世纪80年代以来，数据库技术在商业上的巨大成功刺激了其他领域对数据库技术需求的迅速增长。这些新的领域为数据库应用开辟了新的天地，并在应用中提出了一些新的数据管理的需求，推动了数据库技术的研究与发展。 1990年高级DBMS功能委员会发表了第三代数据库系统宣言，提出了第三代数据库管理系统应具有的三个基本特征： 应支持数据管理、对象管理和知识管理。必须保持或继承第二代数据库系统的技术。必须对其他系统开放。四、当今主流数据库技术发展状况31信息集成随着Internet 的飞速发展，网络迅速成为一种重要的信息传播和交换的手段，尤其是在Web 上，有着极其丰富的数据来源。信息集成系统的方法可以分为：数据仓库方法和Wrapper/Mediator 方法。在数据仓库方法中，各数据源的数据按照需要的全局模式从各数据源抽取并转换，存储在数据仓库中。用户的查询就是对数据仓库中的数据进行查询。对于数据源数目不是很多的单个企业来说，该方法十分有效。另一种方法是Wrapper/Mediator 方法。该方法并不将各数据源的数据集中存放，而是通过Wrapper/Mediator 结构满足上层集成应用的需求。这种方法的核心是中介模式（mediatedschema）。信息集成系统通过中介模式将各数据源的数据集成起来，而数据仍存储在局部数据源中，通过各数据源的包装器（wrapper）对数据进行转换使之符合中介模式。用户的查询基于中介模式，不必知道每个数据源的特点，中介器（mediator）将基于中介模式的查询转换为基于各局部数据源的模式查询，它的查询执行引擎再通过各数据源的包装器将结果抽取出来，最后由中介器将结果集成并返回给用户。Wrapper/Mediator 方法解决了数据的更新问题，从而弥补了数据仓库方法的不足。不过，这种框架结构正受到来自3 个方面的挑战。第1个挑战是如何支持异构数据源之间的互操作性（interoperability）。另一个挑战是如何模型化源数据内容和用户查询。第三个挑战是当数据源的查询能力受限时，如何处理查询和进行优化。2传感器数据库技术随着微电子技术的发展，传感器的应用越来越广泛。根据传感器在一定的范围内发回的数据，在一定的范围内收集有用的信息，并且将其发回到指挥中心。当有多个传感器在一定的范围内工作时，就组成了传感器网络。传感器网络由携带者所捆绑的传感器及接收和处理传感器发回数据的服务器所组成。传感器网络中的通信方式可以是无线通信，也可以是有线通信。在传感器网络中，传感器数据就是由传感器中的信号处理函数产生的数据。信号处理函数要对传感器探测到的数据进行度量和分类，并且将分类后的数据标记时间戳，然后发送到服务器，再由服务器对其进行处理。传感器数据可以通过无线或者光纤网存取。无线通信网络采用的是多级拓扑结构，最前端的传感器节点收集数据，然后通过多级传感器节点到达与服务器相连接的网关节点，最后通过网关节点，将数据发送到服务器。传感器节点上数据的存储和处理方法有两种：第1 种类型的处理方法是将传感器数据存储在一个节点的传感器堆栈中，这样的节点必须具有很强的处理能力和较大的缓冲空间；第2 种方法适用于一个芯片上的传感器网络，传感器节点的处理能力和缓冲空间是受限制的：在产生数据项的同时就对其进行处理以节省空间，在传感器节点上没有复杂的处理过程，传感器节点上不存储历史数据；对于处理能力介于第1 种和第2 种传感器网络的网络来说，则采用折衷的方案，将传感器数据分层地放在各层的传感器堆栈中进行处理。传感器网络越来越多地应用于对很多新应用的监测和监控。新的传感器数据库系统需要考虑大量的传感器设备的存在，以及它们的移动和分散性。因此，新的传感器数据库系统需要解决一些新的问题。主要包括：传感器数据的表示和传感器查询的表示、在传感器节点上处理查询分片、分布查询分片、适应网络条件的改变、传感器数据库系统等。3网格数据管理网格是把整个网络整合成一个虚拟的巨大的超级计算环境，实现计算资源、存储资源、数据资源、信息资源、知识资源和专家资源的全面共享。目的是解决多机构虚拟组织中的资源共享和协同工作问题。按照应用层次的不同可以把网格分为3 种：计算网格，提供高性能计算机系统的共享存取；数据网格，提供数据库和文件系统的共享存取；信息服务网格则支持应用软件和信息资源的共享存取。高性能计算的应用需求使计算能力不可能在单一计算机上获得，因此，必须通过构建“网络虚拟超级计算机”或“元计算机”获得超强的计算能力，这种计算方式称为网格计算。它通过网络连接地理上分布的各类计算机（包括机群）、数据库、各类设备和存储设备等，形成对用户相对透明的虚拟的高性能计算环境，应用包括了分布式计算、高吞吐量计算、协同工程和数据查询等诸多功能数据网格保证用户在存取数据时无须知道数据的存储类型（数据库，文档，XML）和位置。涉及的问题包括：如何联合不同的物理数据源，抽取源数据构成逻辑数据源集合；如何制定统一的异构数据访问的接口标准；如何虚拟化分布的数据源等。信息网格是利用现有的网络基础设施、协议规范、Web 和数据库技术，为用户提供一体化的智能信息平台，其目标是创建一种架构在OS 和Web 之上的基于Internet 的新一代信息平台和软件基础设施。4移动数据管理越来越多的人拥有掌上型或笔记本电脑，或者个人数字助理（PDA）甚至智能手机，这些移动计算机都将装配无线联网设备，用户不再需要固定地联接在某一个网络中不变，而是可以携带移动计算机自由地移动，这样的计算环境，我们称之为移动计算（mobile computing）。研究移动计算环境中的数据管理技术，已成为目前分布式数据库研究的一个新的方向，即移动数据库技术。与基于固定网络的传统分布计算环境相比，移动计算环境具有以下特点：移动性、频繁断接性、带宽多样性、网络通信的非对称性、移动计算机的电源能力、可靠性要求较低和可伸缩性等。移动计算以及它所具有的独特特点，对分布式数据库技术和客户/服务器数据库技术，提出了新的要求和挑战。移动数据库系统要求支持移动用户在多种网络条件下都能够有效地访问所需数据，完成数据查询和事务处理。通过移动数据库的复制/缓存技术或者数据广播技术，移动用户即使在断接的情况下也可以继续访问所需的数据，从而继续自己的工作，这使得移动数据库系统具有高度的可用性。此外，移动数据库系统能够尽可能地提高无线网络中数据访问的效率和性能。而且，它还可以充分利用无线通信网络固有的广播能力，以较低的代价同时支持大规模的移动用户对热点数据的访问，从而实现高度的可伸缩性，这是传统的客户/服务器或分布式数据库系统所难以比拟的。目前，移动数据管理的研究主要集中在以下几个方面：首先是数据同步与发布的管理。其次是移动对象管理技术。5微小型数据库技术随着移动计算时代的到来，嵌入式操作系统对微小型数据库系统的需求为数据库技术开辟了新的发展空间。微小型数据库技术目前已经从研究领域逐步走向应用领域。一般说来，微小型数据库系统（a small-footprint DBMS）可以定义为：一个只需很小的内存来支持的数据库系统内核。微小型数据库系统针对便携式设备其占用的内存空间大约为2MB，而对于掌上设备和其他手持设备，它占用的内存空间只有50KB 左右。内存限制是决定微小型数据库系统特征的重要因素。微小型数据库系统根据占用内存的大小又可以进一步分为：超微DBMS（pico-DBMS）、微小DBMS（micro-DBMS）和嵌入式DBMS 3 种。微小型数据库系统与操作系统和具体应用集成在一起，运行在各种智能型嵌入设备或移动设备上。微小型数据库技术目前已经从研究领域向广泛的应用领域发展，各种微小型数据库产品纷纷涌现。尤其是对移动数据处理和管理需求的不断提高，紧密结合各种智能设备的嵌入式移动数据库技术已经得到了学术界、工业界、军事领域和民用部门等各方面的重视并不断实用化。6. 数据加密技术4我们经常需要一种措施来保护我们的数据，防止被一些怀有不良用心的人所看到或者破坏。在信息时代，信息可以帮助团体或个人，使他们受益，同样，信息也可以用来对他们构成威胁，造成破坏。在竞争激烈的大公司中，工业间谍经常会获取对方的情报。因此，在客观上就需要一种强有力的安全措施来保护机密数据不被窃取或篡改。数据加密与解密从宏观上讲是非常简单的，很容易理解。加密与解密的一些方法是非常直接的，很容易掌握，可以很方便的对机密数据进行加密和解密。1）数据加密方法 在传统上，我们有几种方法来加密数据流。所有这些方法都可以用软件很容易的实现，但是当我们只知道密文的时候，是不容易破译这些加密算法的。最好的加密算法对系统性能几乎没有影响，并且还可以带来其他内在的优点。例如，大家都知道的pkzip，它既压缩数据又加密数据。又如，dbms的一些软件包总是包含一些加密方法以使复制文件这一功能对一些敏感数据是无效的，或者需要用户的密码。所有这些加密算法都要有高效的加密和解密能力。 幸运的是，在所有的加密算法中最简单的一种就是“置换表”算法，这种算法也能很好达到加密的需要。每一个数据段（总是一个字节）对应着“置换表”中的一个偏移量，偏移量所对应的值就输出成为加密后的文件。加密程序和解密程序都需要一个这样的“置换表”。事实上，80x86 cpu系列就有一个指令xlat在硬件级来完成这样的工作。2）基于公钥的加密算法 一个好的加密算法的重要特点之一是具有这种能力：可以指定一个密码或密钥，并用它来加密明文，不同的密码或密钥产生不同的密文。这又分为两种方式：对称密钥算法和非对称密钥算法。所谓对称密钥算法就是加密解密都使用相同的密钥，非对称密钥算法就是加密解密使用不同的密钥。非常著名的pgp公钥加密以及rsa加密方法都是非对称加密算法。加密密钥，即公钥，与解密密钥，即私钥，是非常的不同的。从数学理论上讲，几乎没有真正不可逆的算法存在。例如，对于一个输入a执行一个操作得到结果b,那么我们可以基于b，做一个相对应的操作，导出输入a。在一些情况下，对于每一种操作，我们可以得到一个确定的值，或者该操作没有定义（比如，除数为0）。对于一个没有定义的操作来讲，基于加密算法，可以成功地防止把一个公钥变换成为私钥。因此，要想破译非对称加密算法，找到那个唯一的密钥，唯一的方法只能是反复的试验，而这需要大量的处理时间。 rsa加密算法使用了两个非常大的素数来产生公钥和私钥。即使从一个公钥中通过因数分解可以得到私钥，但这个运算所包含的计算量是非常巨大的，以至于在现实上是不可行的。加密算法本身也是很慢的，这使得使用rsa算法加密大量的数据变的有些不可行。这就使得一些现实中加密算法都基于rsa加密算法。pgp算法(以及大多数基于rsa算法的加密方法)使用公钥来加密一个对称加密算法的密钥，然后再利用一个快速的对称加密算法来加密数据。这个对称算法的密钥是随机产生的，是保密的，因此，得到这个密钥的唯一方法就是使用私钥来解密。 五、数据库技术在今后的发展趋势1.性能与易用性仍是数据库完善的必经之路 关系型数据库所以升级缓慢，其中一个主要原因就是没有关键的技术革新，各大厂商所做的主要工作都是在对自己的产品进行锦上添花式的不断完善。这一发展方向就是使数据库向着需求更少的方向增强。所谓需求更少是指数据库以更少的相对资源消耗、更高的性能运行，并且随着技术的不断进步，数据库变得更加智能，维护和使用将更加简单。这是数据库技术在完善过程中的必经之路。 在这一方面，Oracle数据库一直走在前列，从Oracle9i开始，Oracle一直致力于是数据库软件更加自动化，在这一原则的支撑下，Oracle不断实现了诸如自动PGA管理、自动SGA管理、自动段空间管理（ASSM）、自动存储管理（ASM）等等新特性，这些新特性切实降低了DBA的工作量，使得数据库的管理更加简单；而IBMDB2也一直在加强这方面的功能，IBM的SMART技术（Self-ManagingAndResourceTuning-自我管理和资源调优）正是在这些方面的增强。在DB2V9中IBM同样推出了一系列的自动化特性，包括自动数据库管理功能、自动统计数据收集等功能，但是这些特性相较Oracle而言是来之甚晚的，所以在2006年IBM主推的是XML这一重大改进。 然而一项新的技术能否得到用户的认可还需要时间去检验。根据Oracle公司在2006年10月举行的OpenWorld大会上公布的统计数据，自Oracle10g发布以来，仅有约一半的用户升级到Oracle10g，其他用户仍然维持在原来的版本运行；所以IBM的Viper能否最终得到用户的认可取得成功，还有待检验。 2.搜索是数据库的未来之路 随着数据库技术的不断完善，用户数据的不断积累，用户的需求也不断提高，在此之上，更高级的应用应运而生，这包括已经成熟的数据仓库应用、广为接受的商业智能（BI）应用、以及方兴未艾的SOA等。当数据库能够容纳几乎所有数据之后，我们必然面临的一个问题是如何快速获得我们需要的数据。 当用户访问数据库时，怎样减少用户的等待，快速返回用户需要的数据是所有数据库都需要解决的问题。这也就需要另外一项高级增强-面向搜索的增强，从某种意义上说面向需求的增强-数据分析和挖掘也正是这个方向上的高级应用之一。目前各数据库在这一方面都不够完善，我们相信在未来，数据库能够容纳和存储各种数据之后，必然向快速搜索和查询方面进行增强。 微软公司在2006年12月发布的Vista操作系统中，已经将搜索框加入到开始菜单的最初始位置，让用户最先接触到搜索，最快的找到用户的数据；2006年，Google获得了飞速发展，Google带给我们的最大便利就是快速的获取数据。无论在Vista或者Google之后，都存在着关系型或非关系型数据库的支持，微软或Google的搜索技术代表了一种潮流，如何快速找到需要的数据已经越来越为用户所关心。3.开源数据库有望走向应用主流和Linux 操作系统渐入佳境一样，开放源代码的数据库系统正走向应用的主流。目前主要的开源数据库产品包括MySQL、MaxDB 和PostgreSQL。在MySQL5.0版本升级之后，MySQL 数据库越来越象SQL Server 等大型数据库，并逐渐从开源圈子向企业级市场拓展。凭借廉价优势，MySQL 的市场正在扩大。除了开源数据库厂商成为市场焦点外，甲骨文、Sun 和微软老牌厂商也纷纷拥抱开源。开源数据库软件正在以其低成本得到越来越多用户的认可，并迫使主流厂商推出免费版应对。费用低且性能佳的开源数据库使得中小型企业使用数据库成为可能，使中小型企业能以较低的成本来构建强大的各种数据库应用。在引入数据库后，又会在使用过程中不断地发展新应用，从而推动企业的信息化，形成一个良性的发展过程。在这个过程中，开源数据库恰好扮演了一个引入者和助力者的角色。未来，在中小企业用户市场的拉动下，开源数据库有望走向应用主流。4.未来数据库发展主要趋势 进入21世纪，数据库的发展将会偏重于应用，还会为新型应用提供多种结构数据的支持。 数据库技术发展的主要趋势：1.XML/RDBMS混合数据将在未来得到快速的发展 2.数据集成和数据仓库将向内容管理过渡 3.主数据管理将会在未来的一至两年里成为一个新的热点 4.数据仓库将在内容展现和战术性分析方面发展 5.数据库的管理除了更加自动化之外，将会提供更多基于Internet环境的管理工具，完成数据Internet化之后的数据库管理Internet化 6.PHP