数据科学与工程导论 课件 第四章 数据分析

第四章数据分析数据科学与工程导论1问题导入2描述性数据分析目录CONTENTS3探索性数据分析4预测性数据分析问题导入01

数据分析是数据科学中的重要环节，通过对数据的分析可以揭示其内在规律，为决策提供有力支持。在本章中，我们将探讨数据分析中的关键问题：1.如何进行有效的探索性数据分析（EDA）2.如何利用描述性统计方法对数据进行总结3.如何在预测性数据分析中选择和应用合适的机器学习算法4.如何通过数据可视化技术直观展示分析结果并辅助决策问题导入描述性数据分析02描述性数据分析能够系统地描述和总结数据集中的主要特征，为建立更复杂的预测模型提供必要的统计基础。统计特征：1、位置度量2、变异度量3、标准差和方差4、数据分布的形状描述性数据分析计算数据特征量：1、集中趋势（1）均值均值也称为平均值。均值是通过将数据集中的所有数值相加，然后除以数值的总数来计算的。均值的计算公式为：描述性数据分析均值的计算不仅提供了快速了解数据集整体水平的有效方法，而且在许多科学和实际应用中扮演着至关重要的角色。科学研究：在实验数据分析中，均值用于确定实验结果的典型值，从而进行比较和评估。经济学：均值用于计算平均收入、消费水平等指标，以反映经济状态。教育领域：均值用于评估学生成绩，确定整体学业水平。质量控制：在工业生产中，均值用于监控产品质量，确保一致性和标准化。健康与医学：均值用于分析患者的健康指标，如平均血压、平均体温等，以提供诊断依据。描述性数据分析（2）中位数中位数是数据排序后位于中间的值。在数据集中，如果观察值的总数为奇数，中位数是排序后位于中间的那个数值；如果观察值的总数为偶数，中位数是排序后中间两个数值的平均值。描述性数据分析（2）中位数中位数在处理包含异常值或非对称分布的数据集时尤为重要，这取决于它的自身优势。抗干扰能力强：中位数不受极端值（异常值）的影响，能够提供更准确的中心趋势度量。例如，在一个收入数据集中，几个极高的收入数据会使均值偏高，但中位数则能更准确地反映典型收入水平​。适用于非对称分布：当数据呈现非对称分布时，中位数能更好地反映数据的中心。例如，在房价数据中，高价房产会拉高均值，但中位数能提供更有代表性的房价水平​。易于解释：中位数代表数据集中一半值的中点，简单直观，易于理解和解释。在许多实际应用中，如教育、经济学和医学研究中，中位数被广泛使用​。因为它不受极端值的影响，能够提供更准确的中心趋势度量。描述性数据分析（2）中位数在经济学中，中位数帮助揭示了市场条件的真实状态，如通过评估中位收入水平来避免高收入或低收入极端值的误导。在医学研究中，中位数用于分析临床试验结果，如计算一组病人接受特定治疗后的平均血压降低幅度。描述性数据分析（3）众数众数是数据集中出现次数最多的数值。在数据集中，可能存在一个众数、多个众数，或者没有众数。众数特别适用于定性数据或分类数据的分析。描述性数据分析众数能够帮助我们识别数据集中最常见的数值，在市场研究和社会科学调查中尤为重要。在市场研究中，众数帮助企业了解消费者的偏好，如识别最受欢迎的产品特性或服务。在社会科学研究中，众数揭示了群体的普遍观点或行为模式，为政策制定和社会科学理论提供实证基础。描述性数据分析计算数据特征量：2、离散程度（1）方差方差是数据点与均值之间差异的平方和的平均值，提供了数据波动性的量化指标。方差的大小直接反映了数据点的分散程度，方差越大，数据分布越广。在许多科学和实际应用中，方差作为衡量数据一致性的重要指标。（2）标准差标准差是方差的平方根，与原始数据单位一致，更易于理解。标准差越大，数据点偏离均值的程度越大，分散性越高。描述性数据分析计算数据特征量：2、离散程度（3）范围范围是数据集中最大值与最小值之差。范围提供了数据集中极端值之间的简单度量，适用于初步了解数据的波动情况。然而，范围对异常值敏感，可能不能准确反映数据的整体分布情况。（4）四分位距四分位距是数据集中第75百分位数与第25百分位数之差，表示中间50%的数据分布范围。四分位距通过衡量数据中间50%的分布范围，减少了异常值的影响。在描述统计和数据可视化中，四分位距常用于绘制箱线图，帮助识别数据分布的特征和潜在的异常值。描述性数据分析计算数据特征量：3、形状特征（1）偏度偏度：数据分布的对称性。偏度衡量数据分布的对称性。正偏度（右偏）：数据分布右侧拉长。负偏度（左偏）：数据分布左侧拉长。零偏度：数据对称分布。偏度用于描述数据分布的对称性，帮助识别数据分布中的偏移方向。在金融数据分析中，偏度用于评估资产回报的对称性。在质量控制中，偏度用于评估产品规格分布的偏差。描述性数据分析计算数据特征量：3、形状特征（2）峰度峰度：数据分布顶端的尖锐度和尾部的厚度高峰度：尖锐的顶部和厚重的尾部，表明数据集中有更多极端值。低峰度：平坦的顶部和较薄的尾部，表明数据集中极端值较少。峰度用于描述数据分布的集中度和尾部厚度。在金融风险管理中，峰度用于评估资产回报的极端值风险。在环境科学中，峰度用于分析气候数据的极端天气事件。描述性数据分析探索性数据分析03探索性数据分析（EDA）是数据分析过程中至关重要的初步步骤，旨在通过各种计算统计量和可视化技术深入挖掘和理解数据集的基本性质。这个过程不仅帮助分析师识别数据中的关键模式、趋势和潜在的异常值，而且通过这种初步探索，可以揭示数据的内在结构、变量间的相互关系及其与分析目标之间的联系。探索性数据分析（EDA）1.相关性分析皮尔逊相关系数斯皮尔曼等级相关系数肯德尔等级相关系数探索性数据分析（EDA）2.可视化分析图表的分类与应用

直方图、箱线图、散点图、折线图可视化分析的作用

发现数据模式；识别趋势和关系；检测异常值。探索性数据分析（EDA）预测性数据分析041.机器学习常见算法及应用

线性回归、决策树、支持向量机模型训练和评估

模型训练、验证和测试、性能评估预测性数据分析2.深度学习神经网络基础

神经网络结构、前向传播、反向传播深度学习框架Tensorflow、Pytorch预测性数据分析3.强化学习强化学习基本概念

强化学习是机器学习中的一个重要分支，专注于如何在不断变化的环