分布式数据库系统综述

分布式数据库系统综述姓名学号

专业

学院分布式数据库系统综述摘要随着计算机网络的出现，社会进入信息时代，全球信息量越来越大，而任何信息处理都离不开数据库技术，这就对数据库的信息储备提出了更高的要求。本文对分布式数据库系统的传统研究方向进行了总结，涉及移动分布式数据库、异构分布式数据库、数据仓库和非关系型数据库，并调研了数据库系统领域最新的研究进展。一、引言分布式数据库的研究已有四十余年的历史。在早期的研究中，分布式数据库被理解为一个具有统一全局模式的分布数据管理系统，向用户提供对一组同构、分布且逻辑相关的本地数据库的透明访问，也就是说，分布式数据库可以看作一个逻辑上集中的数据库。本文以分布式数据库概念为基础，从移动分布式数据库、异构分布式数据库等几个方面综述其主要特性和研究内容，并调研了最新的数据库领域顶会，对目前主要的研究方向进行了介绍。二、移动分布式数据库随着无线技术和分布式数据库技术的发展，在移动通信领域中出现了一项新技术一一移动计算。移动计算环境促进了无线技术与分布式数据库应用的融合，形成了移动分布式数据库系统。随着5G技术的开发与应用，未来的时代将会是移动商务和移动生活的时代。移动计算环境逐渐成为分布式数据库技术新的应用环境，移动计算环境下的分布式数据库系统也就应运而生。下面介绍移动终端的主要特点和移动式数据库的主要研究方向。2.1移动终端的特点（1）移动性及位置相关性移动终端可以在无线通讯单元内及单元间自由移动，而且在移动的同时仍然可以保持通讯连接；此外，应用程序及数据查询可能是位置相关的，这要求移动数据库系统支持这种移动性，解决过区切换问题，并实现位置相关的处理。（2）联网多样性在整个移动计算空间中，不同的时间和地点联网条件悬殊。因此，移动数据库系统应该提供充分的灵活性和适应性，提供多种系统运行方式和资源优化方式，以适应网络条件的变化。（3）安全性移动终端的可移动性也给其带来了安全隐患，在使用公共网络时，移动终端可能会出现信息的盗取；甚至可能出现整个移动设备的丢失。所以，移动计算机的安全性并没有那么高。2.2移动数据库的研究方向（1）查询处理在移动终端的使用过程中，其联网的选择具有多样性，其中宽带连接是主要方式，但其宽带市场也有很多不同；在没有无线网的地区，还需要购买网络，有些网络费用价格昂贵。这两点也是查询优化要考虑的两个方面，要将两点进行综合，寻找出适合用户的最佳方式。（2）移动事务处理在移动数据库中，事务的处理能力和容量都在不断进步当中。所以，移动数据库所面临的事物处理不会比传统计算机所面临的简单，甚至会更加复杂。这就需要相关研究者在对移动数据库进行研究时，对其各方面的性能进行完善。（3）安全移动数据库的移动性给其带来了很大的安全隐患。很对黑客会通过无线网络去盗取移动终端里面的数据，对其内部程序进行篡改，冒充其地址进行违法犯罪活动。如何增强移动数据库的安全性，也是未来研究的重中之重。三、异构分布式数据库异构分布式数据库是指在不同地方已经存在的异构数据库，在保证各个数据库自身的安全和自主性的基础上，在它们之间构成一种透明、信息共享的通道，这就可以将这些异构数据库统一放入一个分布式数据库。在异构分布式数据库中，各个数据库的信息都可以被查阅，且不需将所有信息放在一个地方，这大大节省了信息储备空间，增加了信息访问量。这种异构分布式数据库可以根据其透明程度分为联邦数据库和多数据库。联邦数据库和多数据库的主要区别是是否建立一种全局模式，联邦数据库将各个数据库建成了一种统一模式，在这个模式当中，各个数据库之间都有高度的访问透明度；在多数据库当中，各个数据库之间并没有单独的访问通道，它只为访问者提供一个统一的访问通道，当访问者要对各个数据库同时进行访问时，则需要用户自己进行设置。异构分布式数据库与传统的数据库相比，研究方向主要有以下几个方面。（1）统一模式在异构分布式数据库中，各个数据库之间存在差异。为了消除数据库之间的差异，构建统一的访问渠道，在构建异构分布式数据库当中必须要注意采取统一的数据模式。只有这样，各个数据库之间的数据才能进行查阅。这种统一的数据模式被称为公共模式。这种公共模式的建造或选取都应遵循几个原则：一是要有很强的语言表达能力，只有这样各个数据库之间的语言模式才能进行自由转换，避免数据信息的丢失；二是简便的操作，这会使得人们更容易接受这种公共模式。（2）模式信息收集这种模式的信息收集功能主要存在于联邦数据库当中，它主要是要将各个不同的数据库中的信息输出模式进行收集，在收集完毕后，就可以允许用户通过一个渠道查看统一的数据库成员信息的输出模式。（3）语言统一这种语言的统一主要是针对于多数据库而言的，因为在多数据库中并没有建立一种全局模式，它只为用户对各个成员数据库信息的查询提供一个渠道。在这种情况下，为用户提供一种可以访问多数据库的语言是非常重要的，它可以允许人们在一个界面之内同时与多个成员数据库进行互动。但它也有一个缺点，它需要用户清楚知道数据库成员及其输出模式。（4）联邦全局查询处理在联邦数据库当中，用户的信息查询是进行全局查询的，这就意味着在使用这种数据库查询资料时，会给用户带来一定的困难。（5）全局事务处理及其并发控制分布式数据库的异构性和独立性是造成其全局事务处理和并发控制的一个重要原因，当然在数据库的全局事务处理当中，对其全局数据可串性的研究也是非常令研究人员感到棘手的问题。在现存的分布式数据库当中，有的是可以实现数据库内部数据的可串性，但与此同时它的数据并发控制则不会得到很好的控制。所以如何有效解决数据库研究中其全局事务处理和并发控制中的问题，实现全局数据课可串性，是未来数据库研究中的重要方向。四、数据仓库分布式数据库通常要在数据访问需要和追求数据完整性需要二者之间保持平衡，而且使用数据的用户常常与数据源完全分离。为了支持管理决策者的决策过程，需要提供正确的细节或综合数据。数据仓库（DW）和联机分析处理（OLAP）技术是决策支持系统的重要组成部分，需要对现有数据进行归纳、分析和推理，从而为决策提供支持。数据仓库是“面向主题的、集成的、非易失的、随时间变化的数据的集合，用以支持经营管理中的决策”。数据仓库的这些特点决定了它与传统的面向事务处理的数据库有着本质区别。数据仓库的四个特点如下所示。（1）面向主题主题是一个抽象的概念，是在较高层次上对操作层数据进行综合、归类、分析和利用的抽象，逻辑定义为某一宏观分析领域所涉及的分析对象。面向主题是指数据的一种组织方式，它是在较高层次上对分析对象的数据作一个完整的、一致的描述，并统一的刻画分析对象所涉及的数据项及数据项之间的联系。（2）集成性数据仓库中的数据经过统一和综合。数据经过统一之后，消除了来自不同数据源的数据之间存在的矛盾与冲突。数据综合是对数据源数据进行汇总和计算。（3）非易失性数据仓库中的数据是非易失的，即指数据仓库中的数据是相对稳定的，一般只供查询，是不可更新的。数据更新只有定期的数据加载或转载。（4）变化性数据仓库中的数据随时间而增加（加载）新的数据内容，随时间而删除或转载过期（5〜10年）的数据内容。数据仓库中的数据大都与时间有关，将随时间而进行重新综合。所以在数据仓库中，关系的键一般都包含时间项，表明数据的时间性。使用这样的数据才能够对相应主题的历史发展和未来变化趋势，给出有效的数据信息以提供辅助决策支持。数据仓库是一个庞大复杂的系统，如何对它进行有效正确的管理已经成为数据仓库研究的重要课题。它包括许多内容：资源管理、查询调度、数据组织、视图管理、前后端功能分割、元数据组织等，尤其是当数据仓库正在调入或刷新大量实视图和索引时发生了故障，系统应如何建立检查点，如何恢复，这都需要做进一步的深入研究。系统的可用性是衡量系统好坏的重要标准。如果一个系统不能随时为用户提供服务，那么它的可用性是较差的。随着应用的不断深入，当数据量非常大时，这种维护方式所用的时间会越来越长。针对一些对实时性要求比较高的关键任务，如战场决策，这一问题将变得更加严重。在联机状态下为用户提供服务的同时对系统进行热维护，是数据库未来研究的重要方向。五、非关系型数据库伴随着互联网的兴起，人们生产收集数据的能力大大增强，也更加希望从数据中获得价值。随着互联网、大数据等概念的兴起，关系型数据库也暴露出问题。例如，难以应对日益增多的海量数据、横向的分布式扩展能力比较弱等。为了打破关系型数据库的模式，构建一种结构简单、分布式、易扩展、效率高且使用方便的新型数据库系统，即非关系型数据库，这就是所谓的NoSQL。如今，NoSQL数据库在互联网、电信、金融等行业得到了广泛应用，和关系型数据库形成了一种技术上的互补关系。大数据业务不断出现，如搜索引擎、推荐系统等。传统的关系型数据库可能无法对这些新业务进行支撑。在这种背景下，多家互联网企业的技术团队不约而同地研发非关系型数据库，其核心理念是通过牺牲事务机制和强度一致性保障机制，以获得更好的分布式部署能力和横向扩展能力；通过打破关系模型、创造新的数据模型，使其在特定大数据场景下，对特定业务数据的处理性能更佳。NoSQL并非对关系型数据库的否定，而是对传统数据库的发展和补充。NoSQL无法替代关系型数据库，就像关系型数据库也无法替代NoSQL。NoSQL数据库是非关系型数据库的统称，常见的非关系型数据库有HBase、Cassandra和MongoDB等，NoSQL数据库并没有统一的模型，通常被认为是关系型数据库的简化。NoSQL数据库一般会弱化“关系”，其目的就是去掉关系模型的约束，以实现强大的分布式部署能力一般包括分区容错性、伸缩性和访问效率等。NoSQL数据库一般提供数据的分布式存储、数据表的统一管理和维护，以及快速的分布式写入和简单查询的能力，一般不直接支持对数据进行复杂的查询和处理。NoSQL数据库主要分为四大类：key-value存储数据库该类数据库使用哈希表，在哈希表中包含特定的key和与其对应的指向特定数据的指针。常用的有Redis。列存储数据库该类数据库主要用来应对分布式存储的海量数据，一个键指向了多个列。常用的有HBase。文档型数据库该类数据库将结构化、半结构化的文档以特定格式存储，如json格式。一个文档相当于关系型数据库中的一条记录，也是处理信息的基本单位。常用的有MongoDB。图形数据库该类数据库使用图形理论来存储实体之间的关系信息，最主要的组成部分是：结点集、连接节点的关系。常用的有Neo4j。2017年SIGMOD的bestpaper就是关于图计算的“ParallelizingSequentialGraphComputations”。NoSQL数据库和关系型数据库是互补关系，不限定场景时，无法比较谁更强大。关系型数据库能够更好地保持数据的完整性和事务的一致性，并支持对数据的复杂操作，在现实中使用领域更广泛。NoSQL可以更好地在分布式环境下对数据进行管理和查询，在大数据业务领域具有更大价值。六、数据库领域发展方向本节调研了最新的数据库领域顶会的发展方向。其中主要的研究方向包括数据挖掘与分析、空间数据及地理信息系统、分布式事务处理、区块链、机器学习及AI应用、新硬件、图数据库，查询优化等。下文将对其中的部分方向进行简单的介绍。6.1分布式事务处理随着摩尔定律的停滞失效，单机存储和计算能力增长遇到了瓶颈，现代数据库系统也朝着分布式多机集群发展，而其中遇到的最大的技术挑战即是分布式事务处理。如何保持分布式数据的一致性，事务隔离性不同级别的高效实现，都有待进一步深入研究。6.2机器学习平台机器学习、深度学习作为时下最为火热的研究领域，也受到了数据库学者的广泛关注。机器学习、深度学习算法通常是计算密集型任务，而且在实际应用中训练数据通常也远超单机所能承受的数据规模，因此如何利用大数据分布式存储与计算能力，为用户提供一站式的机器学习和深度学习平台服务，是两者的契合点。6.3新硬件新的存储硬件和计算硬件，例如NVM、SSD、NUMA，SIMD、多核CPU、GPU、FPGA等，为数据库性能的scaleup带来了新的机会。如何充分利用新硬件的优势来提高数据库性能也是近年来的研究热点之一。目前存在使用GPU、SIMD加速RDBMS或者机器学习平台的并行计算能力，使用NUMA实现分布式数据库的高可用数据复制方案等新技术思路。6.4图数据库与图计算平台相比于关系表结构，图模型更能灵活地表示事物实体之间的关联关系。随着知识图谱的普及和应用，对图数据的研究在数据库领域占据了一席之地。但与关系表的Lookup、Scan、Join等基本操作不同，图的各种算法操作种类繁多，而且其中很多算法复杂度较高。大规模图数据的存储、查询和各种分析计算，成为了新的技术难点。相关的研究内容有图数据库和图分析计算平台的构建。参考文献侯晓东，王勐，周轩宇.分布式数据库技术的现状和发展方向[J].中国新通信,2020,22(08):120.底慧萍，王静宁.浅谈非关系型数据库[J].河北农机,2019(11):50.王蓉.解读数据库管理系统的研究进展及发展趋势[J].数字通信世界,2019(10):140.郎云海.NoSQL数据库与关系型数据库对比[J].低碳世界,2019,9(05):323-324.于琦.移动数据库的关键技术研究[J].计算机产品与流通,2017(12):284-285.马东波.分布式数据库的研究新趋势[J].产业与科技论坛,2017,16(18):79-80.郭斌韬.移动数据库关键技术研究[J].通讯世界,2017(07):75-76.潘培雯.移动数据库及其应用[J].电子技术与软件工程,2017(05):192-193.高瞻,王飞鹏.浅谈数据库技术发展趋势[J].黑龙江科技信息,2016(28):185.黄梓伦.数据库管理系统的构成、功能与发展[J].内蒙古科技与经济,2016(16):90.[11]李青松.数据库技术及其发展趋势浅谈[J].数字技术与应用,2015(02):212.[12]林中鸿.移动数据库技