Python程序设计（含视频分析） 课件 第15章 大数据分析

Python程序设计第15章 Python大数据分析主讲教师：单

位：第15章Python大数据分析15.1大数据分析简介15.2数据清洗与规约的方法15.3大数据处理的应用实例15.1大数据分析简介第15章Python大数据分析15.1大数据分析简介1.大数据的概念数据量极其庞大、传统数据处理工具难以管理和处理的数据集合（1）三个重要特点（3V）：数据量大（Volume）数据种类多样（Variety）数据传输速度快（Velocity）15.1大数据分析简介1.大数据的概念数据量极其庞大、传统数据处理工具难以管理和处理的数据集合（2）分类：结构数据（数据库中的表格数据）非结构数据（图像、音频、视频）（3）相关技术和工具：数据挖掘、机器学习、人工智能、云计算15.1大数据分析简介2.大数据技术的特征可扩展性：大数据技术需支持大规模数据处理和分析，随数据量增加能自动扩展。高性能：大数据技术需快速处理大量数据，包括高速数据输入输出、并行计算和实时处理。分布式处理：大数据技术需支持分布式处理，数据可分布在多个节点上并行处理，提高效率和可靠性。15.1大数据分析简介2.大数据技术的特征多样性：大数据技术需支持处理结构化、半结构化和非结构化等多种类型的数据。开放性：大数据技术需具备开放性，能与其他系统和工具集成，满足不同应用需求。安全性：大数据技术需具备高度安全性，包括数据加密、身份认证和访问控制等，确保数据安全和隐私保护。15.1大数据分析简介3.大数据处理的一般流程数据采集和预处理数据存储和管理数据探索和可视化数据挖掘和建模数据分析和应用15.1大数据分析简介4.大数据分析流程与数据分析流程的区别1.数据存储和管理：大数据的数据量庞大，通常需要使用专门的数据存储和管理系统，比如Hadoop、HBase、NoSQL数据库等。2.数据预处理：大数据的预处理需要使用分布式计算系统（比如Hadoop、Spark）进行处理，以确保处理效率和准确性。3.模型构建和分析：大数据分析中，需要使用分布式计算系统和机器学习等技术来构建模型并进行分析。15.2数据清洗与规约的方法1.数据清洗技术（1）缺失值处理：缺失值是指数据中某些字段的值缺失或为空。1）删除缺失值的方法：判断——>统计——>删除2）填充缺失值的方法：均值/中位数/众数3）插值缺失值的方法：最近邻插值/插值法/模型预测法15.2数据清洗与规约的方法1.数据清洗技术（2）重复值处理：重复值是指数据中存在完全相同或几乎相同的记录。1）删除重复值2）合并重复值：通过数据聚合15.2数据清洗与规约的方法1.数据清洗技术（3）异常值处理：异常值是指数据中与其他数据不一致或不符合逻辑的值。1）箱线图法箱线图法的具体过程如下：①计算数据的上四分位数（Q3）和下四分位数（Q1），并计算出四分位距（IQR）=Q3-Q1。②计算上限（UL）=Q3+1.5×IQR和下限（LL）=Q1-1.5×IQR。③将超出上限或下限的数据点视为异常值。15.2数据清洗与规约的方法1.数据清洗技术（3）异常值处理：异常值是指数据中与其他数据不一致或不符合逻辑的值。2）离群点分数法离群点分数法的具体过程如下：①对于每个数据点，计算它与其最近邻数据点之间的欧几里德距离。②对于每个数据点，计算其离群点分数，即该数据点与其周围数据点之间距离的平均值。距离越远，离群点分数就越高。③根据离群点分数，将具有高离群点分数的数据点视为异常值。15.2数据清洗与规约的方法1.数据清洗技术（3）异常值处理：异常值是指数据中与其他数据不一致或不符合逻辑的值。3）删除异常值删除异常值的具体过程如下：①找出异常值：使用统计方法（例如3倍标准差法）或可视化方法（例如箱线图）来找出异常值。②识别包含异常值的记录：找出包含异常值的记录。③删除异常值：将包含异常值的记录从数据集中删除。15.2数据清洗与规约的方法1.数据清洗技术（3）异常值处理：异常值是指数据中与其他数据不一致或不符合逻辑的值。4）修正异常值修正异常值的具体过程如下：①找出异常值：使用统计方法或可视化方法找出异常值。②确定正确的值：根据数据集中其他值的分布或专业知识，确定正确的值。③将异常值替换为正确的值：将异常值替换为正确的值。15.2数据清洗与规约的方法1.数据清洗技术（3）异常值处理：异常值是指数据中与其他数据不一致或不符合逻辑的值。5）替换异常值替换异常值的具体过程如下：①找出异常值：使用统计方法或可视化方法找出异常值。②确定替换的值：根据数据集中其他值的分布或专业知识，确定替换的值。③将异常值替换为缺失值或其他已知的值：将异常值替换为缺失值或其他已知的值，例如中位数、众数等。15.2数据清洗与规约的方法2.数据规约方法（1）属性规约：目的是从原始数据集中选择一些最有用的属性，以便用于后续的分析和建模。1）合并属性：通过数学公式或者逻辑运算来实现2）逐步向前选择：一种贪心算法，它从原始数据集中逐步选择出最佳的属性子集3）逐步向后选择：一种贪心算法，从原始数据集中逐步删除最不相关的属性4）决策树归纳：一种基于树形结构的特征选择方法5）主成分分析：一种常见的数据降维方法，通过计算数据的协方差矩阵和特征值分解来实现15.2数据清洗与规约的方法2.数据规约方法（2）数值规约：目的是将原始数据转换为更小、更简单的数据集，同时保留数据的重要特征。1）直方图分箱：一种通过将连续变量划分为一系列的离散区间来近似变量分布的方法2）聚类：一种将相似的数据点分组的方法3）抽样：从数据集中随机选择一部分数据来代表整个数据集的过程4）参数回归：一种通过对数据进行建模来近似数据分布的方法15.3大数据处理的应用实例：航班延误预测1.Spark平台简介目前最流行的大数据处理和分析平台之一，借鉴MapReduce，继承了其分布式并行计算的优点并改进了MapReduce明显的缺陷。高性能：Spark使用内存计算技术，处理速度远远快于Hadoop。高可靠性：Spark具有数据故障恢复机制，能够在节点故障时自动恢复。多语言支持：Spark支持多种编程语言，包括Java、Python、Scala等。易扩展性：Spark可以轻松扩展到大规模集群，通过添加更多节点来提高计算能力。丰富的生态系统：Spark有庞大的生态系统，包括SparkSQL、SparkStreaming、SparkMLlib、SparkGraphX等组件。15.3大数据处理的应用实例：航班延误预测2.SparkSQL介绍SparkSQL是一个用于在ApacheSpark中执行结构化数据处理的模块。它提供了一个类似于SQL的接口，使得开发人员可以使用SQL语句来查询和分析数据。SparkSQL支持从多种数据源读取数据，包括Hive表、JSON、Parquet和其他格式的数据。它还提供了一个DataFrameAPI，使得开发人员可以使用类似于Pandas的数据分析库来处理大规模数据。

15.3大数据处理的应用实例：航班延误预测3.SparkSession介绍SparkSession是Spark2.0及以上版本中的一个入口点（EntryPoint），它是SparkSQL、DataFrames和DatasetsAPI的主要编程接口，也是创建DataFrame和Dataset的关键入口点。SparkSession提供了许多用于操作DataFrame和Dataset的方法，例如，可以使用SparkSession的read()方法从不同的数据源（例如，HadoopDistributedFileSystem、ApacheCassandra、ApacheHBase、JSON、CSV等）中读取数据，或者使用write()方法将数据写入到这些数据源中。15.3大数据处理的应用实例：航班延误预测4.使用SparkSQL的Da