《大数据基础与实务》课件 14.项目四 任务三 大数据时代的数据存储和管理技术

大数据基础与实务项目四数据存储和管理大数据时代的数据存储和管理技术任务三任务描述知识准备课堂研讨拓展训练目录CONTENTSONETWOTHREEFOUR存储本身就是大数据中一个很重要的组成部分，随着大数据技术的到来，对于结构化、半结构化、非结构化的数据存储也呈现出新的要求，特别对统一存储也有了新的变化。大数据集容易消耗巨大的时间和成本，从而造成非结构化数据的雪崩。也即是说如果没有合适的大数据存储方式，就不能轻松访问或部署大量数据。于是小明想知道大数据时代的数据存储与管理技术优势是怎样的呢？任务描述知识准备

分布式文件系统（DistributedFileSystem）是一种通过网络实现文件在多台主机上进行分布式存储的文件系统。定义分布式文件系统一作用：可以有效解决数据的存储和管理难题：将固定于某个地点的某个文件系统，扩展到任意多个地点/多个文件系统，众多的节点组成一个文件系统网络。知识准备分布式文件系统一分布式文件系统的发展的三个阶段第一阶段是网络文件系统第二阶段是共享SAN文件系统第三阶段是面向对象的并行文件系统知识准备分布式文件系统一图4-2分布式文件系统的整体结构知识准备NewSQL和NoSQL数据库二（一）NewSQL数据库

NewSQL是对各种新的可扩展、高性能数据库的简称，这类数据库不仅具有对海量数据的存储管理能力，还保持了传统数据库支持ACID和SQL等特性。定义目前具有代表性的NewSQL数据库主要包括Spanner、Clustrix、GenieDB、ScalArc、Schooner、VoltDB、RethinkDB、ScaleDB、Akiban、CodeFutures、ScaleBase、Translattice、NimbusDB、Drizzle、Tokutek、JustOneDB等。知识准备NewSQL和NoSQL数据库二（二）NoSQL数据库

NoSQL是一种不同于关系数据库的数据库管理系统设计方式，是对非关系型数据库的统称，它所采用的数据模型并非传统关系数据库的关系模型，而是类似键/值、列族、文档等非关系模型。定义NoSQL数据库没有固定的表结构，通常也不存在连接操作，也没有严格遵守ACID约束，因此，与关系数据库相比，NoSQL具有灵活的水平可扩展性，可以支持海量数据存储。知识准备NewSQL和NoSQL数据库二（三）大数据引发数据库架构变革美国著名数据库科学家迈克尔·斯通布雷克（Michael·Stonebraker）指出，行业技术的发展趋势是由一种架构支持所有应用转变为用多种架构支持多类应用。在大数据和云计算的背景下，这一理论导致了数据库市场的大裂变：数据库市场分化为三大阵营，包括OldSQL（传统数据库）、NewSQL（新型数据库）和NoSQL（非关系型数据库）。迈克尔·斯通布雷克知识准备NewSQL和NoSQL数据库二（三）大数据引发数据库架构变革图4-3大数据引发数据库架构变革知识准备云数据库三研究机构IDC预言，大数据将按照每年60%的速度增加，其中包含结构化和非结构化数据。如何方便、快捷、低成本地存储这些海量数据，是许多企业和机构面临的一个严峻挑战。云数据库就是一个非常好的解决方案。通过云技术推出更多可在公有云中托管数据库的方法，将用户从繁琐的数据库硬件定制中解放出来让用户拥有强大的数据库扩展能力，满足海量数据的存储需求能够很好地满足企业动态变化的数据存储需求和中小企业的低成本数据存储需求云数据库优点123知识准备云数据库三图4-4关系数据库、NoSQL、NewSQL和云数据库产品分类课