数据挖掘基础及应用 课件 第1章-绪论-课堂版1

01第1章绪论数据的价值、挖掘过程与基本任务数据挖掘基础及应用02学习目标与章节内容1.1挖掘的意义1.2定义与过程1.3数据的类型1.4任务与规则1.5挑战与发展1.6课后练习学习目标：理解挖掘的价值与过程，认识数据类型和来源，区分基本任务与规则。图1-1计算机网络概述知识结构图03数据驱动的决策决策问题要做出什么判断数据依据已有何种记录模式发现数据有哪些规律实际应用如何使用分析结果例：零售企业分析销量、库存和购买记录，为备货方案提供依据，再结合实际需求检验效果。理解要点：数据提供依据，专业知识帮助解释和使用结果。04数据的增长与多样化互联网平台交易、社交与浏览记录医疗业务系统病历、检查与影像资料传感器设备连续采集的监测信息规模扩大、类型多样、更新加快数据整理与挖掘：提取能够支持决策的信息图1-2智能网络大脑图05数据挖掘的应用价值应用领域分析对象可能支持的决策零售购买记录、商品销量库存调整与商品推荐金融服务客户特征、交易行为客户服务与风险管理制造业生产过程与设备数据流程优化与维护安排科研实验数据及变量关系提出研究假设、发现潜在模式医疗健康患者特征与诊疗记录风险识别与健康管理理解要点：结合具体问题，识别分析对象、所用方法与预期输出。06数据挖掘的定义从大量数据中提取隐藏的、有用的信息和知识的过程。分析对象大量、多样的数据记录分析工作识别模式、关系和规律应用目的支持理解问题与制定决策例：对购买记录开展关联分析，发现商品搭配模式，为商品布局提供参考。07数据查询与数据挖掘比较角度数据查询数据挖掘主要问题哪些记录符合已知条件？数据中存在什么模式或关系？处理方式按条件筛选、汇总和检索建模、学习和模式发现零售示例查询本月各商品销量分析哪些商品经常一起购买医疗示例查询符合条件的就诊记录分析患者特征与健康风险的关系查询可以为挖掘准备数据，两者在实际工作中相互配合。08数据挖掘的基本过程数据准备清洗、集成与变换数据挖掘选择方法，发现模式模式评估评价有效性与价值知识表示用图表或规则表达例：零售购买记录分析整理购物篮记录，挖掘商品关联，评价规则的有效性，再用规则与图表呈现结果。各环节相互衔接。发现问题时，可以返回前面的步骤进行调整。图1-3智能数据处理流程图09案例：零售购买记录分析问题哪些商品经常一起购买？数据购物篮中的商品记录，以及相关交易信息。方法整理交易记录，使用关联分析发现商品搭配模式。结果与应用评价规则，支持商品布局与促销。案例的完整思路先提出问题哪些商品经常一起购买？再选择方法通过关联分析，发现共同购买的商品。最后解释结果评价规则后，再考虑是否调整商品布局或促销方式。理解要点：先明确问题，再选择方法，最后评价结果的用途。10统计学、机器学习与数据库技术统计学描述特征、关系与不确定性机器学习学习模型，发现复杂的数据模式数据库技术存储、管理、检索与集成数据数据挖掘：提取有用的模式与知识图1-4数据挖掘与相关领域的关系示意图11相关方法在分析中的作用数据库技术SQL、数据仓库、ETL提供整理后的分析数据统计学描述统计、相关与回归理解分布与变量关系机器学习决策树、支持向量机等学习模型、识别模式方法选择取决于分析问题、数据特点和评价目标，各领域的方法存在交叉。12数据的定义与表示一份就诊记录数值信息年龄、测量值和检查指标文本信息主诉、病史和医生记录图像信息CT、MRI等检查影像数据是客观事物及其属性的符号化表示。同一对象可以对应多种形式的数据。13三种数据结构类型类型结构特点示例结构化数据具有明确、固定的数据模式关系数据库表格，销售记录半结构化数据通过标签或键值组织内容XML、JSON非结构化数据缺少统一的表格结构自由文本、图像、视频结构类型决定了数据解析、存储与特征提取的方式。14数据的主要来源数据来源业务系统销售、库存、客户与就诊记录传感器设备温度、压力及生理监测信息互联网平台评论、网络日志与交易信息其他来源医学影像、文档与空间信息数据来源回答“数据从哪里来”，结构类型回答“数据怎样组织”，两者是不同的分类角度。15案例：医疗健康数据医疗健康数据医院业务系统患者信息、处方和随访记录可穿戴设备心率等生理监测记录医学影像设备CT、MRI及X光图像医疗网络平台评论、讨论和服务反馈分析前先识别记录来自何种系统，以及这些数据描述的是患者、诊疗过程还是服务体验。16描述性任务与预测性任务分析目标描述已有数据预测未知结果数据描述、聚类、关联分析例：发现顾客的自然分组。分类、回归例：估计新对象的类别或数值。辨析：分类使用预定义类别，聚类探索自然分组。17分类、回归、聚类与关联分析需要回答什么问题？分类属于哪个已知类别？输出类别，如高风险或低风险回归数值大约是多少？输出连续值，如房价或销售额聚类哪些对象更相似？输出自然形成的群组关联分析哪些项目经常共现？输出数据项之间的关联规则分类使用预定义类别，聚类探索数据中的自然分组。18数据挖掘中的规则与模式关联规则购买面包时也购买牛奶关注数据项之间的共同出现。序列模式先购买手机，再购买手机壳关注事件发生的先后顺序。分类规则依据特征判断客户风险类别输出预先定义的类别。回归预测根据房屋特征预测房价输出连续数值。19例：面包与牛奶购买面包的交易中，有80%也购买了牛奶。规则含义条件为购买面包，结果为同时购买牛奶。置信度同时购买面包和牛奶的交易数÷购买面包的交易数。支持度同时购买面包和牛奶的交易数÷全部交易数。如何理解80%条件范围只考察购买面包的交易，而不是全部交易。规则方向购买面包后也购买牛奶的比例，不能直接反过来理解。应用边界共同出现只说明关联，不能据此认定因果关系。说明：80%来自教材的说明性例子，不代表实际调查结果。20例：购买行为的时间顺序第一周：购买手机第二周：购买手机壳事件的顺序是分析内容的一部分关联分析关注是否共同出现，序列模式进一步关注先后顺序，因此需要保留事件的时间信息。理解要点：序列模式分析需要保留事件发生的先后关系。21不同任务需要不同的评价方式任务或结果评价指标主要关注点关联规则支持度、置信度规则出现频率及条件成立时的比例分类模型准确率、召回率整体分类表现与正类识别能力回归模型R²、均方误差（MSE）变异解释程度与预测误差评价指标需结合数据特点与应用目标理解，具体计算将在后续章节展开。22未来挑战与发展模型可信性理解模型依据，评价解释质量与可靠性。隐私与安全在数据协作和模型应用中保护敏感信息。多模态融合整合多种数据，关注不同场景的差异。计算效率降低模型计算开销，关注资源消耗。负责任创新识别偏见与不公平，合理使用分析结果。应用时需要考虑数据质量缺失、噪声或偏差可能影响模型结果。场景差异在一个场景得到的模式，换到其他场景仍需评价。使用责任结合专业知识解释结果，关注隐私与公平。理解要点：模型性能、可信程度与使用条件需要共同考虑。23本章小结提出问题明确实际需求认识数据理解来源与结构选择任务匹配方法与目标评价与表达检验并解释结果贯穿全过程：关注数据质量、隐私、公平、模型可信性与应用边界。24课后练习01比较并描述统计学与机器学习在数据挖掘中的作用与差异。02结合不同的领域，分别说明数据驱动