《数据挖掘基础与案例》习题答案 第1章 绪论

数据挖掘基础与案例习题参考答案第1章绪论习题1：统计方法与数据挖掘方法之间的关系如下：同源性与基础支撑①数据挖掘中大量使用了经典统计方法。例如，聚类分析的思想源于统计中的聚类分析；分类算法（如朴素贝叶斯、线性判别分析）直接基于统计概率理论；回归分析是预测模型的基础；假设检验用于评估模型或模式的有效性②统计学为数据挖掘提供了坚实的数学理论基础。没有统计学，数据挖掘就如同无源之水。（2）目标重叠两者的终极目标是一致的，均是从数据中发现有价值的信息、模式或知识，以支持决策和预测。（3）相互促进与融合数据挖掘面临的大规模、高维度数据挑战，也推动了统计学在新领域的发展，例如高维统计学。现代数据分析中，纯粹的“统计”或“数据挖掘”项目越来越少，更多的是两者的混合。尽管统计方法与数据挖掘方法同源，但在处理实际数据分析问题时，二者是有差异的，表1.1描述了统计方法与数据挖掘的不同之处。表1.1统计方法与数据挖掘的不同之处比较的方面统计方法数据挖掘方法内在逻辑假设驱动：先有理论或假设，然后使用数据验证或拒绝这个假设，即问题先行数据驱动：事先无明确假设，让数据自己“说话”，通过算法自动地、迭代地探索可能存在的所有模式和关系，即让数据发现问题主要目标推断与解释：关注理解变量之间的关系和因果关系，模型的可解释性至关重要，即关注“为什么？”，验证已知预测与发现：关注构建具有高预测精度的模型，或发现未知的、有用的模式（如关联规则）。“是什么？”

和

“接下来会怎样？”探索未知数据规模与类型中小规模，结构化：传统上处理经过精心设计的、相对干净的结构化数据（如调查数据、实验数据）海量数据，多种类型：专为处理海量（TB/PB级）、高维、有噪声的数据而生，包括非结构化数据（文本、图像、日志等）模型构建方法“简约”原则：崇尚简约模型（如奥卡姆剃刀原则），倾向于用尽可能少的变量来解释现象，避免过拟合“有效”原则：倾向于使用复杂模型（如集成学习、深度学习），只要它能提供更高的预测准确率。接受“黑盒”模型，只要它有效对先验知识的要求高：建模需要丰富的领域知识来构建假设和选择模型相对较低：更自动化，可以在领域知识较少的情况下开始探索，发现知识后再由专家解释验证方式统计显著性检验：依赖p值、置信区间等来判断结果是否由随机偶然造成交叉验证/Hold-out验证：通常将数据分为训练集、验证集和测试集，使用交叉验证和准确率、召回率、AUC等指标来评估模型性能。习题2：（1）分类与回归的区别和相似之处分类和回归是有监督学习最重要的两个分支。它们的共同点是模型都是从已标注的数据（有标签数据）中学习，即每个训练样本目标表量的值是已知的。表1.2描述了分类与回归的核心区别。表1.2分类与回归的核心区别特性分类回归预测目标离散的类别标签或类别连续的数值输出形式有限的、固定的几个类别任意数值（在一定范围内）本质问题“这是什么？”“有多少？”评估指标准确率、精确率、召回率、F1度量、AUC等均方误差（MSE）、平均绝对误差（MAE）、R平方等常用算法逻辑回归、决策树、随机森林、SVM、KNN线性回归、多项式回归、决策树（回归）、随机森林（回归）（2）分类与聚类的区别和相似之处分类和聚类都涉及“区分类别”，但这是两个截然不同的概念，最核心的区别是分类是有监督学习，即训练样本带有标签，而聚类是无监督学习，即训练样本没有标签。表1.3描述了分类与聚类的核心区别。表1.3分类与聚类的核心区别特性分类聚类学习类型有监督学习无监督学习训练样本有标签。数据已知类别和结果无标签。数据只有特征，没有已知结果核心任务从标签中学习，构建一个模型，用于预测新数据的类别探索数据内在结构，自动将相似的数据点分组到一起过程特点是一个“预测”的过程是一个“探索”的过程算法示例逻辑回归、决策树、随机森林、SVM、KNN等K-Means、DBSCAN、层次聚类等二者尽管本质不同，但在某些层面有相似之处。1）目标都是“分组”。无论是分类还是聚类，最终的目的都是将数据划分到不同的组别中。2）依赖特征相似性。两者都基于数据点的特征进行计算，都假设同一组内的数据点彼此之间更相似，而不同组的数据点则不那么相似。3）互为补充：在实践中，聚类和分类可以结合使用。比如，先用聚类探索数据，发现潜在的分组，并由专业人员为这些分组命名（赋予标签），然后用这些新标注的数据训练一个分类模型，来预测新数据的类别。习题3：（1）分类：预测客户流失，实现精准挽留客户流失是电信行业最大的痛点之一。提前识别出有高流失风险的客户，并采取有效的干预措施。对相关历史数据，使用分类算法进行训练，学习“流失客户”和“未流失客户”的行为模式差异。模型对当前活跃用户流失的可能性进行预测，输出每个用户的“流失概率得分”，并列出导致其可能流失的最重要因素。对高流失风险客户群体，不再进行无差别的优惠，而是提供个性化的挽留方案。例如，对因流量不够而可能流失的用户，推送定向的“流量加油包”优惠；对因网络质量投诉的用户，优先安排技术人员上门检测。并将有限的客服和营销资源优先投入到最需要关注的客户身上，提升挽留成功率和投入产出比。（2）聚类：发现客户细分，指导产品与营销电信公司的客户群体庞大而复杂，一刀切的套餐和营销策略效率低下。如何深入了解不同客户群体的自然特征，从而实现精细化运营是电信公司持续关注的问题。对包含客户的消费行为特征如额度（ARPU）、通话模式、流量使用时间（夜间/白天）、APP使用偏好（是否经常使用视频类APP）等构成的数据集，采用k-Means、DBSCAN等聚类算法，在没有预设标签的情况下，按行为模式相似的客户自动分群。假设算法发现的典型客户群有4个：高价值商务群，具有高ARPU、高频国际通话、大量商务APP使用等特点；年轻流量群，具有中等ARPU、夜间流量消耗大、频繁使用社交媒体和视频应用等特点；节俭长者群：低ARPU、很少使用流量、通话对象固定等特点；潜在价值群：使用中等流量，但主要用的是竞争对手的OTT服务（如微信、Q语音）。决策支持可以是：为“高价值商务群”中的客户推出高品质国际漫游包；为“年轻流量群”群中的客户设计包含大量夜间低价流量的专属套餐；向“节俭长者群”中的客户推广适合他们的亲情网套餐；以优质的服务。引导“潜在价值群”使用本公司的同类或相似业务。（3）关联规则挖掘：实现交叉销售与产品捆绑当客户购买一种产品或服务时，还能向他成功推荐什么产品？如何设计最受欢迎的产品捆绑包来提升销售额呢？关联规则挖掘可发现数据集中项之间的有趣联系，即关联规则，而关联规则的有效性可用支持度、置信度、提升度等评估。对客户订单、业务办理记录等数据，使用Apriori或FP-Growth算法从中提取强关联规则。假设有一个强关联规则是{国际漫游服务}→{移动WiFi租赁}（置信度80%），意思是订购了国际漫游服务的客户，有80%的概率也会租赁移动WiFi。决策支持：将强关联的产品打包销售；在客户办理业务的流程中（如在线营业厅、客服电话），根据其当前选择，智能推荐下一个最可能购买的产品；货架规划：虽然适用于零售业，但其思想也可用于规划电子营业厅的产品展示。（4）异常检测：欺诈检测与网络运维如何实时发现可疑的欺诈行为？如何在海量网络设备指标中快速定位故障点？是电信公司必须解决的问题。异常检测方法与技术能够识别与绝大多数数据模式显著不同的罕见事件、异常点或异常群体。关于数据来源，欺诈检测：呼叫详细记录数据，如短时间内来自同一号码的大量呼出电话、异常高的国际通话时长、同时从两个不同地区发起的通话等；网络运维：网络设备（如基站、路由器等）的性能指标数据流，如CPU使用率、流量吞吐量、错误率等。关于欺诈检测，可采用异常检测的相关技术与算法发现非正常的用户通话模式，或学习正常用户的通话模式，并对异常模式发出警报。对于网络运维，所训练的模型会实时监控设备指标，在其出现异常陡增或下降时（可能是故障前兆）立即发出警报。决策支持：实时阻止欺诈性通话，为公司减少收入损失；在用户感知到网络问题（如掉线、卡顿）之前，运维团队