数据科学与工程导论 课件 第三章 数据存储

第三章数据存储数据科学与工程导论1问题导入2数据库系统概述目录CONTENTS3关系数据库系统与非关系数据库系统4分布式系统5分布式存储6石油钻井数据湖构建问题导入01问题导入如何实现高效的数据存储和管理，支持大规模数据的高效存储和管理，并确保数据的持久性和一致性。如何对快速的数据查询和检索，满足实时数据分析和业务决策的需求。确保数据在存储和传输过程中的安全性，防止数据泄露和未经授权的访问，符合相关的安全法规和隐私保护要求。如何实现数据的高可用性和容错性，并提升系统的扩展性和处理能力。数据库系统概述02数据存储概述。将数据存储到数据库系统则是最常使用的一种存储方式。数据库是一种专门用于存储和管理结构化数据的系统。常见的数据库管理系统（DBMS）包括MySQL、Oracle、MongoDB等。数据库可以通过SQL或NoSQL语言进行访问和操作，并提供了数据的持久性、一致性、可靠性和安全性。数据库系统分类是根据数据库技术的复杂程度、应用领域、数据模型等进行划分的。数据库系统分类分类的作用常见数据库系统选择合适的数据库系统数据库系统分类有助于企业或组织根据需求选择适合的数据库系统，提高数据管理效率。常见的数据库系统有层次型、网状型、关系型和面向对象型等，每种类型都有其特点。企业或组织需根据实际需求、数据规模、性能要求等因素，选择合适的数据库系统。数据库系统分类关系数据库系统与非关系数据库系统03MySQLMySQL是一种流行的开源关系型数据库管理系统（RDBMS），由瑞典MySQLAB公司开发，后被SunMicrosystems收购，现在隶属于Oracle公司。MySQL广泛用于Web应用程序的后端数据存储，是许多网站和应用的首选数据库之一。数据以行（Row）的形式存储，每行数据包含多个字段（Field），字段用于存储不同的数据类型。MySQL提供了丰富的数据类型支持，包括整数、浮点数、字符串、日期时间等，同时也支持索引、触发器、存储过程、视图等数据库对象和特性。SQLServer：SQLServer是Microsoft公司开发和维护的闭源关系数据库管理系统。它提供了事务支持，具备ACID属性。SQLServer特点：SQLServer具有可靠性和稳定性、安全性、性能优化、扩展性、客观理性、内置功能和工具、跨平台性和云支持。SQLServer的核心组件：数据库引擎、分析服务、集成服务、报告服务等。SQLServerRedis数据模型：Redis是一个键值对存储系统，每个键都是一个字符串，每个值可以是字符串、

哈希表、列表、集合、有序集合等多种数据结构。内存存储：Redis的数据存储主要基于内存，这使得它具有极快的读写速度。Redis提供了持久化选项，可以将数据保存到磁盘，以便在重启时恢复数据。高性能：Redis使用单线程模型来保证原子性操作，但通过事件驱动和异步I/O实现高并发。Redis使用非阻塞I/O操作，有效地提高了读写性能。支持事务：Redis提供事务支持，可以将一系列命令包裹在MULTI和EXEC命令之间，确保这些命令作为一个原子操作执行。发布订阅模式：Redis提供了发布订阅模式，允许客户端订阅频道并接收实时消息。文档存储01MongoDB是一个文档数据库其数据以文档的形式存储，

每个文档是一个键值对集合。

文档可以包含嵌套的文档和数组，

提供了非常灵活的数据模型。动态模式02MongoDB是一个无模式的数据库，

不要求文档具有相同的字段。

这使得数据模型的更改变得非常容易，

可以根据应用程序的需要动态调整数据结构。查询语言03MongoDB支持强大的查询语言，

可以执行范围查询、

正则表达式查询、

按条件查询，

同时还支持文本搜索。MongoDB分布式系统04分布式存储与计算Hadoop通过HDFS，实现数据的分布式存储，

并使用MapReduce编程模型进行分布式计算，使得大规模数据集能够在集群中高效地存储和处理。Hadoop是可扩展的，可以通过添加更多的节点来扩展存储和计算能力，适应不断增长的数据规模，实现水平扩展。Hadoop具有高容错性，

当某个节点发生故障时，

系统能够自动重新分配任务到其他可用节点，

以确保任务的顺利执行，

提高系统的稳定性。Hadoop是开源的，由Apache软件基金会进行维护。其开源性质使得任何人都可以查看、

修改和分享源代码，由庞大的全球开发者社区提供支持。可扩展性容错性开源和社区支持Hadoop适用于多种数据类型Hadoop不仅能够处理结构化数据，还能够处理半结构化和非结构化

数据，适用于各种数据类

型和来源，包括文本、图像、音频等。Hadoop的MapReduce模型使得用户能够编写灵活的数据处理任务，通过自定义Map和Reduce阶段实现多样化的数据处理需求。Hadoop运行在廉价的硬件上，

不需要高性能服务器，

从而降低了系统的建设和运维成本。

此外，它可以在商业服务器上运行，使得成本相对较低。Hadoop拥有丰富的生态系统。提供了更多功能和工具，方便用户进行数据分析、

机器学习等任务。灵活的数据处理低成本生态系统丰富HadoopApacheSpark是一个快速、通用、可扩展的大数据处理引擎，被设计用于大规模数据处理和分析。ApacheSparkApacheSpark提供了一种统一的计算模型，包括弹性分布式数据集（RDD）和高级API，使得用户能够轻松构建大规模数据处理应用。统一计算模型Spark是对Hadoop的计算模型MapReduce的扩展，提供了一个大数据并行计算框架。同时，Spark拥有自己的生态系统，也能兼容HDFS、Hive等分布式系统，可以完美的融入Hadoop生态圈。大数据并行计算ApacheSparkApacheKafka（1）Producer（生产者）：生产者负责将数据发布到Kafka主题（Topic），并将数据发送到Kafka集群的Broker。（2）Broker：Kafka集群由多个Broker组成，每个Broker是一台独立的服务器，负责存储数据、处理生产者和消费者的请求，并参与主题的分区和复制。（3）Topic（主题）：主题是数据发布的类别或名称。生产者将数据发布到特定主题，而消费者订阅感兴趣的主题以接收数据。（4）Partition（分区）：主题可以划分为多个分区，每个分区是一个有序的队列，用于并行处理和提高吞吐量。（5）ConsumerGroup（消费者组）：消费者组包含多个消费者，

它们协同工作以消费主题中的数据。

每个分区只能由一个消费者组中的一个消费者消费。分布式存储05HBaseMaster服务器：HBase集群中有一个Master服务器，负责管理和监控RegionServer的状态、分配和负载均衡。HMaster：HMaster是Master服务器的一个实例，负责整个HBase集群的管理。HRegionServer：RegionServer负责实际的数据存储和读写操作。ZooKeeper：HBase依赖ZooKeeper来协调分布式环境下的Master和RegionServer。HRegion：HRegion是表在物理上的存储单元，每个RegionServer负责多个HRegion的存储和管理。GaussDB数据库系统GaussDB核心构件GaussDB的特点和优势GaussDB核心组件GaussDB云服务集成GaussDB应用场景GaussDB是由华为公司推出的一款企业级数据库管理系统，属于关系型数据库管理系统（RDBMS）。作为一种高性能、高可靠、高可用的数据库解决方案，GaussDB支持OLAP和OLTP等多种场景，适用于大规模企业级数据存储和处理。作为华为云生态系统的一部分，GaussDB深度集成了云服务，支持多种云环境下的部署，具有一定的开源兼容性，与标准的SQL协议兼容。GaussDB的核心构件共同确保了系统在处理大规模分布式数据时的高效性、可靠性和灵活性。GaussDB采用分布式架构，支持水平扩展，满足不同业务场景的需求，提供全方位的数据库解决方案。GaussDB采用分布式存储引擎、分布式事务管理器、智能优化器和查询引擎，共同保障GauussDB服务的高性能等特性。GaussDB石油钻井数据湖构建06石油钻井数据湖项目背景钻井数据在石油勘探和生产中至关重要，包含地层、地质、岩性等关键信息。然而，由于数据量巨大且类型多样，传统数据管理和分析方法已无法满足高效利用和深度分析的需求。数据湖的特点数据湖是一种用于存储大规模、不同格式和原始的数据的存储系统，能够容纳结构化数据、半