《数据挖掘技术》课件2

数据挖掘技术从数据中发现隐藏的模式和知识课程介绍与大纲基础理论数据挖掘概念、流程和前置知识核心技术分类、聚类、关联规则、回归分析等算法高级方法集成学习、深度学习、大规模数据处理实践应用什么是数据挖掘？数据挖掘的定义从大量数据中提取模式和知识的过程非平凡信息的自动化发现结合多学科技术的交叉领域数据挖掘的目标预测未知或未来的数据值识别异常行为和模式发现数据间的关联关系数据挖掘的重要性大数据时代的需求数据量呈爆炸性增长传统分析方法难以应对需要自动化智能分析工具商业价值提升决策质量发现市场机会优化业务流程数据挖掘的应用领域金融领域风险评估欺诈检测客户细分零售行业市场篮分析推荐系统销售预测医疗健康疾病预测药物研发医疗图像分析教育行业学习行为分析个性化教学数据挖掘的一般流程数据收集确定数据源数据预处理清洗转换集成模型构建选择算法训练模型结果评估数据收集与预处理数据来源企业内部数据库网络爬虫收集物联网设备第三方数据平台公开数据集数据清洗处理缺失值去除噪声识别并修正异常值处理不一致数据数据转换与集成特征选择剔除无关特征识别重要属性降低数据维度数据规范化最小-最大规范化Z-score标准化小数定标规范化数据集成合并多源数据解决数据冗余数据挖掘模型构建确定挖掘任务分类、聚类、关联规则还是回归选择合适算法根据任务和数据特点选择参数调优设置合适参数提高性能模型训练使用训练集构建模型模型测试结果评估与解释业务理解转化为可行业务洞见结果解释用业务语言描述发现效果验证测试集评估模型性能评估指标数据仓库简介定义与特点面向主题的数据集合集成的相对稳定的反映历史变化的支持决策的数据环境与数据挖掘的关系提供清洗整合的数据源支持多维数据分析为挖掘提供历史数据存储挖掘结果数据仓库架构数据源层业务系统、外部数据ETL层数据抽取转换加载数据存储层星型模型、雪花模型数据访问层OLAP与OLTP的比较特征OLTPOLAP主要功能日常交易处理复杂分析查询数据特点当前数据历史汇总数据数据更新频繁批量定期响应时间毫秒级秒到分钟用户类型操作人员分类技术概述学习阶段从已标记数据构建模型分类器将新实例映射到类别测试阶段评估分类准确性优化阶段决策树算法ID3算法基于信息增益选择属性倾向选择取值多的属性C4.5算法使用增益率克服ID3缺点能处理连续属性CART算法生成二叉树决策树构建过程准备训练数据包含特征和目标类别选择最佳分裂属性计算信息增益或增益率数据集分裂根据选定属性划分子集递归构建子树对每个子集重复过程停止条件节点纯净或达到最大深度决策树剪枝技术预剪枝在构建过程中停止生长设置最小样本数阈值限制树的最大深度信息增益小于阈值停止后剪枝先构建完整树再修剪悲观误差估计代价复杂度剪枝错误率降低则替换子树朴素贝叶斯分类器基本原理基于贝叶斯定理假设特征条件独立优点算法简单高效少量训练数据即可对缺失数据不敏感局限性特征独立性假设过强零概率问题应用场景文本分类垃圾邮件过滤情感分析支持向量机(SVM)原理最大间隔分类寻找最优超平面最大化类别间距离支持向量最接近决策边界的样本点决定超平面位置核技巧将低维数据映射到高维空间解决非线性分类问题SVM核函数选择线性核线性可分问题1多项式核低维非线性问题2径向基函数复杂非线性问题3Sigmoid核类神经网络效果4K近邻(KNN)算法1寻找最近邻计算样本间距离K选择参数K确定考虑的邻居数量3距离度量欧氏距离、曼哈顿距离等5投票决策按邻居多数类别分类神经网络基础基本组成神经元(节点)连接权重激活函数网络层次结构工作机制输入特征加权求和通过激活函数变换生成输出信号反向传播调整权重多层感知器(MLP)输入层接收原始数据隐藏层特征提取转换输出层生成预测结果通过反向传播算法训练可解决非线性分类问题适用于复杂模式识别任务深度学习简介应用领域计算机视觉、自然语言处理模型架构CNN、RNN、Transformer深层结构多隐藏层自动提取特征核心思想多层次特征学习聚类分析概述定义将数据划分为相似组无监督学习方法目标组内相似度高组间相似度低应用场景客户分群图像分割异常检测K-means算法初始化随机选择K个中心点分配将点分配到最近中心更新重新计算各簇中心点迭代重复直到收敛层次聚类方法自下而上(凝聚)起始每点一簇逐步合并最相似簇构建聚类树自上而下(分裂)起始所有点一簇逐步分裂不相似簇形成层次结构主要距离度量方法单链接全链接平均链接Ward方法DBSCAN密度聚类核心思想基于密度的聚类发现任意形状簇关键参数Eps：邻域半径MinPts：最小点数点的分类核心点边界点噪声点优势不需预设簇数抗噪声能力强发现不规则簇聚类算法评估指标2评估类型内部评估、外部评估0-1轮廓系数衡量簇内紧密度与簇间分离度0+Davies-Bouldin指数较小值表示更好聚类1.0兰德指数与参考分类的一致性关联规则挖掘概念发现项目间的关联关系形式：X→Y表示：若X出现则Y可能出现应用购物篮分析交叉销售商品布局优化推荐系统网站导航设计Apriori算法扫描数据库计算单项频繁项集候选生成根据频繁项集组合新候选剪枝剔除不可能频繁的候选支持度计数计算候选项集支持度识别频繁项确定符合最小支持度的项集FP-Growth算法基本思想无需生成候选项集使用FP树压缩数据表示两阶段处理构建FP树从FP树挖掘频繁模式优势比Apriori更高效减少数据库扫描次数压缩数据结构关联规则评估指标0.05支持度(Support)规则在所有交易中出现的频率0.8置信度(Confidence)规则条件成立时结论成立的概率1.2提升度(Lift)规则相对于随机情况的改进程度0.75确信度(Conviction)比较规则失效频率序列模式挖掘1定义发现有序事件序列中的模式2算法GSP、SPADE、PrefixSpan3应用网页点击路径分析用户行为预测4挑战时间约束处理计算复杂度高回归分析基础定义预测连续值的监督学习方法建立自变量与因变量关系模型类型简单线性回归多元线性回归多项式回归非线性回归线性回归X值实际Y值预测Y值模型方程Y=β₀+β₁X₁+β₂X₂+...+ε参数估计最小二乘法求解评估指标均方误差、R²决定系数逻辑回归基本原理线性回归输出通过Sigmoid函数变换预测样本属于某类的概率概率大于0.5判为正类特点与应用解决二分类问题可扩展为多分类提供概率输出信用评分医疗诊断回归树与模型树回归树叶节点是常数值CART算法常用适合非线性关系模型树叶节点是线性模型M5算法实现结合树与线性回归优点优势易于理解处理缺失值预测速度快时间序列分析原始序列季节性趋势组成成分趋势、季节性、周期性、随机波动常用方法ARIMA、指数平滑、GARCH异常检测技术统计方法Z-score、箱线图基于假设检验基于距离KNN、LOF算法评估局部密度基于密度DBSCAN变体识别低密度区域3基于模型SVM、孤立森林一类分类方法数据可视化方法散点图显示两变量关系热力图展示数据密度分布平行坐标多维数据模式识别网络图展示对象间关系降维技术PCA主成分分析最大方差方向投影线性降维方法保留最大信息量特征不相关LDA线性判别分析监督降维方法最大化类间距离最小化类内距离考虑类别信息特征选择与提取过滤法基于统计指标筛选卡方检验、信息增益包装法使用目标算法评估递归特征消除嵌入法学习过程中选择带正则化的模型集成学习概述构建多样性模型不同数据子集或特征1独立训练基学习器决策树、神经网络等结合多个模型投票、加权平均等提高整体性能降低方差和偏差4Bagging方法基本思想自助采样构建多样性并行训练基学习器实现步骤有放回抽样训练独立模型投票或平均结合典型算法随机森林Pasting随机子空间优势降低过拟合风险提高泛化能力易于并行实现Boosting算法1序列训练基学习器按顺序生成2样本加权关注难分样本3加权投票表现好的模型权重大AdaBoost调整样本权重指数损失函数早期经典算法GradientBoosting拟合残差梯度下降思想更灵活的损失函数随机森林基本组成多棵决策树组成结合Bagging和随机特征选择样本采样有放回抽样构建训练集约1/3样本作为袋外数据特征选择每个节点随机选择特征子集增加树的多样性预测方式分类问题投票回归问题平均模型评估方法交叉验证K折交叉验证留一法重复随机抽样更可靠的模型评估ROC曲线真正率vs假正率AUC值越大越好评估二分类性能对不平衡数据不敏感过拟合与欠拟合欠拟合模型过于简单训练集表现差偏差大方差小适度拟合模型复杂度适中泛化能力最佳偏差方差平衡过拟合模型过于复杂记住训练数据噪声偏差小方差大处理不平衡数据数据层面欠采样多数类过采样少数类SMOTE生成合成样本算法层面调整类别权重代价敏感学习阈值移动法集成方法Bagging解决样本不平衡Boosting关注困难样本使用多种分类器组合大规模数据挖掘高效算法在线算法、近似算法数据抽样代表性样本子集训练并行计算分布式框架处理分布式存储数据分片存储与管理分布式数据挖掘框架Hadoop批处理框架Spark内存计算框架Flink流批一体框架Storm实时流处理框架隐私保护数据挖掘技术方法数据匿名化差分隐私安全多方计算联邦学习零知识证明挑战与平衡隐私与效用权衡隐私泄露风险计算效率问题监管合规要求用户信任建立文本挖掘技术1文本预处理分词、去停用词、词形还原2特征表示词袋模型、TF-IDF、词嵌入文本分析分类、聚类、情感分析、主题建模社交网络分析网络表示节点与边有向与无向图中心性分析度中心性接近中心性中介中心性社区发现模块度最大化社区内部紧密社区间松散影响力分析关键节点识别信息扩散模拟推荐系统原理数据收集用户行为、特征信息模型构建协同过滤、内容推荐生成推荐排序、多样性、新颖性3反馈优化评估调整改进数据挖掘工具介绍R语言统计分析强大可视化能力优秀Python生态系统丰富