《数据分析基础算法》课件

数据分析基础算法本课程旨在为学生提供数据分析基础知识和常用算法的讲解，帮助学生掌握数据分析的流程和方法，并能够运用相关算法解决实际问题。课程介绍课程目标了解数据分析的概念和流程，掌握常用数据分析算法，能够运用算法解决实际问题。课程内容数据收集与预处理描述性统计分析概率论基础假设检验回归分析聚类分析决策树算法朴素贝叶斯算法K-均值算法线性回归算法时间序列分析异常值检测文本数据分析数据分析的概念和流程数据分析定义数据分析是指利用科学方法，对收集来的数据进行分析和解释，以发现数据中隐藏的规律和趋势，从而为决策提供参考。数据分析流程数据收集数据预处理数据探索性分析数据建模结果解释数据收集与预处理数据收集数据收集是指从各种来源获取数据，包括数据库、文件、网站、传感器等。数据清洗数据清洗是指对数据进行处理，以消除错误、缺失、重复、异常等问题。数据转换数据转换是指将数据转换为适合分析的格式，例如将文本数据转换为数值数据。数据可视化基础直方图显示数据的分布情况1散点图显示两个变量之间的关系2折线图显示数据随时间的变化趋势3饼图显示数据的比例关系4描述性统计分析1集中趋势度量描述数据中心位置2离散趋势度量描述数据分散程度3相关性分析描述两个变量之间的关系集中趋势度量平均数反映数据的平均水平中位数反映数据的中间位置众数反映数据中最频繁出现的数值离散趋势度量1方差:数据与平均数的平方差的平均值2标准差:方差的平方根，反映数据与平均数的平均偏差3极差:数据的最大值和最小值之差，反映数据分布的范围相关性分析相关系数反映两个变量之间的线性关系强度散点图直观显示两个变量之间的关系概率论基础随机事件在随机现象中可能发生的各种结果概率随机事件发生的可能性大小概率分布描述随机变量取值的概率规律随机变量与概率分布离散型随机变量取值有限或可数连续型随机变量取值可以在一个区间内连续变化概率分布类型伯努利分布二项分布泊松分布正态分布正态分布1对称性分布曲线关于平均数对称2钟形曲线呈钟形，两端逐渐下降3集中趋势数据集中在平均数附近抽样分布与估计1抽样分布样本统计量的概率分布2参数估计根据样本数据估计总体参数3置信区间估计总体参数的范围假设检验提出假设选择检验统计量确定拒绝域计算检验统计量得出结论方差分析2组间差异比较不同组的均值差异1组内差异分析同一组内数据的差异回归分析线性回归建立自变量和因变量之间的线性关系逻辑回归预测二元分类变量聚类分析1K-均值算法将数据划分成K个簇，每个数据点属于最近的簇2层次聚类将数据按照相似性进行层次化分组决策树算法特征选择选择最佳特征进行划分1节点分裂根据特征值将数据分成子节点2停止条件达到预设条件或无法再划分3朴素贝叶斯算法贝叶斯定理基于先验概率和条件概率计算后验概率朴素假设特征之间相互独立K-均值算法初始化簇中心随机选择K个数据点作为簇中心分配数据点将每个数据点分配到距离其最近的簇中心更新簇中心重新计算每个簇的中心点迭代重复分配数据点和更新簇中心，直到收敛线性回归算法模型假设自变量和因变量之间存在线性关系参数估计使用最小二乘法估计回归系数模型评估评估模型的拟合程度和预测能力分类算法评估准确率正确预测的样本数占总样本数的比例精确率预测为正样本中实际为正样本的比例召回率实际为正样本中预测为正样本的比例F1分数精确率和召回率的调和平均数混淆矩阵正样本真阳性假阴性负样本假阳性真阴性ROC曲线定义ROC曲线是根据不同阈值下真阳性率和假阳性率绘制的曲线用途评估分类模型的性能，选择最佳阈值交叉验证数据划分将数据分成训练集和测试集1模型训练使用训练集训练模型2模型评估使用测试集评估模型性能3重复重复上述步骤，直到所有数据都被用作测试集4时间序列分析1趋势分析分析数据随时间变化的长期趋势2季节性分析分析数据随季节变化的周期性规律3随机波动分析分析数据中随机波动的影响平稳性检验1ADF检验:检测时间序列是否存在单位根2KPSS检验:检测时间序列是否平稳自相关分析自相关函数反映时间序列中不同时间点数据的相关性偏自相关函数反映时间序列中剔除中间时间点数据影响后的相关性移动平均模型模型原理用过去一段时间数据的平均值来预测未来数据模型参数移动平均的窗口大小异常值检测定义与其他数据点明显不同的数据点方法局部异常因子隔离森林均值偏移检测局部异常因子原理计算数据点与其周围邻居的密度差异用途检测局部异常点，适用于密度不均匀的数据集隔离森林随机划分数据使用随机超平面将数据空间划分成多个子空间数据隔离异常点更容易被隔离，需要更少的划分次数异常得分计算每个数据点被隔离的路径长度，作为异常得分均值偏移检测原理计算数据点到其最近簇中心的距离用途适用于检测高维数据中的异常点文本数据分析1分词与词频统计将文本分解成词语，统计词语出现的频率2情感分析分析文本的情感倾向，例如正面、负面、中性3主题模型发现文本中的潜在主题分词与词频统计1分词将文本分解成词语2词频统计统计每个词语出现的次数情感分析方法词典法机器学习深度学习应用舆情监控产品评价分析客户服务主题模型LDA模型将文档分解成主题，每个主题由词语组成主题发现发现文本中隐藏的主题，并为每个主题分配关键词数据挖掘项目实战项目定义明确项目目标和问题数据收集与准备收集数据、清洗数据、准备数据数据分析与建模分析数据、选择算法、建立模型结果评估与部署评估模型性能、部署模型、监控模型案例分享客户画像分析分析客户的特征和行为，为营销策略提供参考预测销量分析预测产品的销量，帮助企业制定生产计划团队讨论1问题探讨针对课程内容进行深入探讨2案例