数据科学与工程导论 课件 第3、4章 数据存储、数据分析

第三章数据存储数据科学与工程导论1问题导入2数据库系统概述目录CONTENTS3关系数据库系统与非关系数据库系统4分布式系统5分布式存储6石油钻井数据湖构建问题导入01问题导入如何实现高效的数据存储和管理，支持大规模数据的高效存储和管理，并确保数据的持久性和一致性。如何对快速的数据查询和检索，满足实时数据分析和业务决策的需求。确保数据在存储和传输过程中的安全性，防止数据泄露和未经授权的访问，符合相关的安全法规和隐私保护要求。如何实现数据的高可用性和容错性，并提升系统的扩展性和处理能力。数据库系统概述02数据存储概述。将数据存储到数据库系统则是最常使用的一种存储方式。数据库是一种专门用于存储和管理结构化数据的系统。常见的数据库管理系统（DBMS）包括MySQL、Oracle、MongoDB等。数据库可以通过SQL或NoSQL语言进行访问和操作，并提供了数据的持久性、一致性、可靠性和安全性。数据库系统分类是根据数据库技术的复杂程度、应用领域、数据模型等进行划分的。数据库系统分类分类的作用常见数据库系统选择合适的数据库系统数据库系统分类有助于企业或组织根据需求选择适合的数据库系统，提高数据管理效率。常见的数据库系统有层次型、网状型、关系型和面向对象型等，每种类型都有其特点。企业或组织需根据实际需求、数据规模、性能要求等因素，选择合适的数据库系统。数据库系统分类关系数据库系统与非关系数据库系统03MySQLMySQL是一种流行的开源关系型数据库管理系统（RDBMS），由瑞典MySQLAB公司开发，后被SunMicrosystems收购，现在隶属于Oracle公司。MySQL广泛用于Web应用程序的后端数据存储，是许多网站和应用的首选数据库之一。数据以行（Row）的形式存储，每行数据包含多个字段（Field），字段用于存储不同的数据类型。MySQL提供了丰富的数据类型支持，包括整数、浮点数、字符串、日期时间等，同时也支持索引、触发器、存储过程、视图等数据库对象和特性。SQLServer：SQLServer是Microsoft公司开发和维护的闭源关系数据库管理系统。它提供了事务支持，具备ACID属性。SQLServer特点：SQLServer具有可靠性和稳定性、安全性、性能优化、扩展性、客观理性、内置功能和工具、跨平台性和云支持。SQLServer的核心组件：数据库引擎、分析服务、集成服务、报告服务等。SQLServerRedis数据模型：Redis是一个键值对存储系统，每个键都是一个字符串，每个值可以是字符串、

哈希表、列表、集合、有序集合等多种数据结构。内存存储：Redis的数据存储主要基于内存，这使得它具有极快的读写速度。Redis提供了持久化选项，可以将数据保存到磁盘，以便在重启时恢复数据。高性能：Redis使用单线程模型来保证原子性操作，但通过事件驱动和异步I/O实现高并发。Redis使用非阻塞I/O操作，有效地提高了读写性能。支持事务：Redis提供事务支持，可以将一系列命令包裹在MULTI和EXEC命令之间，确保这些命令作为一个原子操作执行。发布订阅模式：Redis提供了发布订阅模式，允许客户端订阅频道并接收实时消息。文档存储01MongoDB是一个文档数据库其数据以文档的形式存储，

每个文档是一个键值对集合。

文档可以包含嵌套的文档和数组，

提供了非常灵活的数据模型。动态模式02MongoDB是一个无模式的数据库，

不要求文档具有相同的字段。

这使得数据模型的更改变得非常容易，

可以根据应用程序的需要动态调整数据结构。查询语言03MongoDB支持强大的查询语言，

可以执行范围查询、

正则表达式查询、

按条件查询，

同时还支持文本搜索。MongoDB分布式系统04分布式存储与计算Hadoop通过HDFS，实现数据的分布式存储，

并使用MapReduce编程模型进行分布式计算，使得大规模数据集能够在集群中高效地存储和处理。Hadoop是可扩展的，可以通过添加更多的节点来扩展存储和计算能力，适应不断增长的数据规模，实现水平扩展。Hadoop具有高容错性，

当某个节点发生故障时，

系统能够自动重新分配任务到其他可用节点，

以确保任务的顺利执行，

提高系统的稳定性。Hadoop是开源的，由Apache软件基金会进行维护。其开源性质使得任何人都可以查看、

修改和分享源代码，由庞大的全球开发者社区提供支持。可扩展性容错性开源和社区支持Hadoop适用于多种数据类型Hadoop不仅能够处理结构化数据，还能够处理半结构化和非结构化

数据，适用于各种数据类

型和来源，包括文本、图像、音频等。Hadoop的MapReduce模型使得用户能够编写灵活的数据处理任务，通过自定义Map和Reduce阶段实现多样化的数据处理需求。Hadoop运行在廉价的硬件上，

不需要高性能服务器，

从而降低了系统的建设和运维成本。

此外，它可以在商业服务器上运行，使得成本相对较低。Hadoop拥有丰富的生态系统。提供了更多功能和工具，方便用户进行数据分析、

机器学习等任务。灵活的数据处理低成本生态系统丰富HadoopApacheSpark是一个快速、通用、可扩展的大数据处理引擎，被设计用于大规模数据处理和分析。ApacheSparkApacheSpark提供了一种统一的计算模型，包括弹性分布式数据集（RDD）和高级API，使得用户能够轻松构建大规模数据处理应用。统一计算模型Spark是对Hadoop的计算模型MapReduce的扩展，提供了一个大数据并行计算框架。同时，Spark拥有自己的生态系统，也能兼容HDFS、Hive等分布式系统，可以完美的融入Hadoop生态圈。大数据并行计算ApacheSparkApacheKafka（1）Producer（生产者）：生产者负责将数据发布到Kafka主题（Topic），并将数据发送到Kafka集群的Broker。（2）Broker：Kafka集群由多个Broker组成，每个Broker是一台独立的服务器，负责存储数据、处理生产者和消费者的请求，并参与主题的分区和复制。（3）Topic（主题）：主题是数据发布的类别或名称。生产者将数据发布到特定主题，而消费者订阅感兴趣的主题以接收数据。（4）Partition（分区）：主题可以划分为多个分区，每个分区是一个有序的队列，用于并行处理和提高吞吐量。（5）ConsumerGroup（消费者组）：消费者组包含多个消费者，

它们协同工作以消费主题中的数据。

每个分区只能由一个消费者组中的一个消费者消费。分布式存储05HBaseMaster服务器：HBase集群中有一个Master服务器，负责管理和监控RegionServer的状态、分配和负载均衡。HMaster：HMaster是Master服务器的一个实例，负责整个HBase集群的管理。HRegionServer：RegionServer负责实际的数据存储和读写操作。ZooKeeper：HBase依赖ZooKeeper来协调分布式环境下的Master和RegionServer。HRegion：HRegion是表在物理上的存储单元，每个RegionServer负责多个HRegion的存储和管理。GaussDB数据库系统GaussDB核心构件GaussDB的特点和优势GaussDB核心组件GaussDB云服务集成GaussDB应用场景GaussDB是由华为公司推出的一款企业级数据库管理系统，属于关系型数据库管理系统（RDBMS）。作为一种高性能、高可靠、高可用的数据库解决方案，GaussDB支持OLAP和OLTP等多种场景，适用于大规模企业级数据存储和处理。作为华为云生态系统的一部分，GaussDB深度集成了云服务，支持多种云环境下的部署，具有一定的开源兼容性，与标准的SQL协议兼容。GaussDB的核心构件共同确保了系统在处理大规模分布式数据时的高效性、可靠性和灵活性。GaussDB采用分布式架构，支持水平扩展，满足不同业务场景的需求，提供全方位的数据库解决方案。GaussDB采用分布式存储引擎、分布式事务管理器、智能优化器和查询引擎，共同保障GauussDB服务的高性能等特性。GaussDB石油钻井数据湖构建06石油钻井数据湖项目背景钻井数据在石油勘探和生产中至关重要，包含地层、地质、岩性等关键信息。然而，由于数据量巨大且类型多样，传统数据管理和分析方法已无法满足高效利用和深度分析的需求。数据湖的特点数据湖是一种用于存储大规模、不同格式和原始的数据的存储系统，能够容纳结构化数据、半结构化数据和非结构化数据，而无需预定义数据模型。数据湖的主要特点数据湖能够容纳结构化数据、半结构化数据和非结构化数据；采用无模式架构，不要求在存储数据之前定义模式，可将原始数据直接存储在数据湖中。石油钻井数据湖的目标建立一个集中存储、管理和分析钻井数据的平台，整合多源数据、构建数据仓库、实现数据可视化和分析，为石油勘探和生产提供更加智能化的支持和决策依据。石油钻井数据湖构建Thanks第四章数据分析数据科学与工程导论1问题导入2描述性数据分析目录CONTENTS3探索性数据分析4预测性数据分析问题导入01

数据分析是数据科学中的重要环节，通过对数据的分析可以揭示其内在规律，为决策提供有力支持。在本章中，我们将探讨数据分析中的关键问题：1.如何进行有效的探索性数据分析（EDA）2.如何利用描述性统计方法对数据进行总结3.如何在预测性数据分析中选择和应用合适的机器学习算法4.如何通过数据可视化技术直观展示分析结果并辅助决策问题导入描述性数据分析02描述性数据分析能够系统地描述和总结数据集中的主要特征，为建立更复杂的预测模型提供必要的统计基础。统计特征：1、位置度量2、变异度量3、标准差和方差4、数据分布的形状描述性数据分析计算数据特征量：1、集中趋势（1）均值均值也称为平均值。均值是通过将数据集中的所有数值相加，然后除以数值的总数来计算的。均值的计算公式为：描述性数据分析均值的计算不仅提供了快速了解数据集整体水平的有效方法，而且在许多科学和实际应用中扮演着至关重要的角色。科学研究：在实验数据分析中，均值用于确定实验结果的典型值，从而进行比较和评估。经济学：均值用于计算平均收入、消费水平等指标，以反映经济状态。教育领域：均值用于评估学生成绩，确定整体学业水平。质量控制：在工业生产中，均值用于监控产品质量，确保一致性和标准化。健康与医学：均值用于分析患者的健康指标，如平均血压、平均体温等，以提供诊断依据。描述性数据分析（2）中位数中位数是数据排序后位于中间的值。在数据集中，如果观察值的总数为奇数，中位数是排序后位于中间的那个数值；如果观察值的总数为偶数，中位数是排序后中间两个数值的平均值。描述性数据分析（2）中位数中位数在处理包含异常值或非对称分布的数据集时尤为重要，这取决于它的自身优势。抗干扰能力强：中位数不受极端值（异常值）的影响，能够提供更准确的中心趋势度量。例如，在一个收入数据集中，几个极高的收入数据会使均值偏高，但中位数则能更准确地反映典型收入水平​。适用于非对称分布：当数据呈现非对称分布时，中位数能更好地反映数据的中心。例如，在房价数据中，高价房产会拉高均值，但中位数能提供更有代表性的房价水平​。易于解释：中位数代表数据集中一半值的中点，简单直观，易于理解和解释。在许多实际应用中，如教育、经济学和医学研究中，中位数被广泛使用​。因为它不受极端值的影响，能够提供更准确的中心趋势度量。描述性数据分析（2）中位数在经济学中，中位数帮助揭示了市场条件的真实状态，如通过评估中位收入水平来避免高收入或低收入极端值的误导。在医学研究中，中位数用于分析临床试验结果，如计算一组病人接受特定治疗后的平均血压降低幅度。描述性数据分析（3）众数众数是数据集中出现次数最多的数值。在数据集中，可能存在一个众数、多个众数，或者没有众数。众数特别适用于定性数据或分类数据的分析。描述性数据分析众数能够帮助我们识别数据集中最常见的数值，在市场研究和社会科学调查中尤为重要。在市场研究中，众数帮助企业了解消费者的偏好，如识别最受欢迎的产品特性或服务。在社会科学研究中，众数揭示了群体的普遍观点或行为模式，为政策制定和社会科学理论提供实证基础。描述性数据分析计算数据特征量：2、离散程度（1）方差方差是数据点与均值之间差异的平方和的平均值，提供了数据波动性的量化指标。方差的大小直接反映了数据点的分散程度，方差越大，数据分布越广。在许多科学和实际应用中，方差作为衡量数据一致性的重要指标。（2）标准差标准差是方差的平方根，与原始数据单位一致，更易于理解。标准差越大，数据点偏离均值的程度越大，分散性越高。描述性数据分析计算数据特征量：2、离散程度（3）范围范围是数据集中最大值与最小值之差。范围提供了数据集中极端值之间的简单度量，适用于初步了解数据的波动情况。然而，范围对异常值敏感，可能不能准确反映数据的整体分布情况。（4）四分位距四分位距是数据集中第75百分位数与第25百分位数之差，表示中间50%的数据分布范围。四分位距通过衡量数据中间50%的分布范围，减少了异常值的影响。在描述统计和数据可视化中，四分位距常用于绘制箱线图，帮助识别数据分布的特征和潜在的异常值。描述性数据分析计算数据特征量：3、形状特征（1）偏度偏度：数据分布的对称性。偏度衡量数据分布的对称性。正偏度（右偏）：数据分布右侧拉长。负偏度（左偏）：数据分布左侧拉长。零偏度：数据对称分布。偏度用于描述数据分布的对称性，帮助识别数据分布中的偏移方向。在金融数据分析中，偏度用于评估资产回报的对称性。在质量控制中，偏度用于评估产品规格分布的偏差。描述性数据分析计算数据特征量：3、形状特征（2）峰度峰度：数据分布顶端的尖锐度和尾部的厚度高峰度：尖锐的顶部和厚重的尾部，表明数据集中有更多极端值。低峰度：平坦的顶部和较薄的尾部，表明数据集中极端值较少。峰度用于描述数据分布的集中度和尾部厚度。在金融风险管理中，峰度用于评估资产回报的极端值风险。在环境科学中，峰度用于分析气候数据的极端天气事件。