数据科学与大数据技术专业三年级《数据挖掘》习题课教案

数据科学与大数据技术专业三年级《数据挖掘》习题课教案

一、教学背景与课程定位分析

本课程设计面向数据科学与大数据技术专业大学本科三年级学生，开设于《数据挖掘》理论课程的中后期阶段。学生已完成数据预处理、关联规则、分类与聚类等核心算法的基础理论学习，具备Python编程基础及Scikit-learn、Pandas等工具库的基本使用能力，但普遍存在“算法能复现、原理能复述，但面对综合应用题与开放型分析题时思路不清、方法失当、评估无据”的典型困境。本习题课定位于理论向实践、知识向能力的转化枢纽，不追求新算法的广度铺陈，而是以“习题方法”为内核，通过层级递进、题类覆盖、方法显性化的教学设计，帮助学生建构数据挖掘问题的通用分析框架与学科规范表达。课程以【非常重要】的问题形式化能力、【高频考点】的算法选型策略、【难点突破】的结果解释逻辑为三条主线，将离散的知识点整合为可迁移的方法论体系。

二、教学目标体系

（一）知识与技能层

1.精准识别数据挖掘各类习题的考查本质，能从题干中剥离任务类型（分类、聚类、关联、异常等）、约束条件（样本量、维度、标签状态、效率要求）与评价隐性基准。【非常重要】

2.系统掌握与各类任务相匹配的算法适用条件与禁忌场景，能够针对“高维稀疏数据”“类别极度不平衡”“混合属性距离度量”等典型困难场景进行合理的算法变通与参数预设。【高频考点】【难点】

3.熟练运用交叉验证、学习曲线、混淆矩阵、轮廓系数等评估工具对模型输出进行量化诊断，并能将量化指标转译为业务或科研语境下的结论陈述。【基础】【热点】

4.独立完成习题所要求的代码片段填空、算法流程补全、结果图表解读及综合案例分析报告，代码风格符合PEP8规范，注释体现算法思想关键步。【核心实操】

（二）过程与方法层

1.经历“问题解构—策略映射—方案实施—证据链归因”四段式解题流程，内化数据挖掘问题求解的元认知策略。【非常重要】

2.通过同题异构对比训练，形成对不同算法在同一数据集上表现差异的根本原因追溯能力，克服“调参黑箱”心理。【难点突破】

3.建立“特征决定上限，模型逼近上限”的根本观念，在习题练习中自觉优先进行特征工程层面的审题与尝试。【基础理念】

（三）情感态度与价值观层

1.培养对数据挖掘结果的审辨式思维，不盲目追求准确率单一指标，尊重数据分布客观属性，树立负责任的算法伦理意识。【高阶素养】

2.在小组协作解决复杂案例分析题中体验学科交叉魅力，形成开放、互鉴的技术交流习惯。

三、教学重点与难点靶向定位

（一）教学重点

1.分类模型性能瓶颈的诊断思路与改进方向优先级排序。此为期末测试与求职笔试【高频考点】，占习题分值比常达35%以上。

2.无监督学习场景下聚类效果的无标签评估技术及K值确定方法。涉及内部指标、外部指标及图论法，是算法笔试论述题【必涉内容】。

3.关联规则习题中最小支持度与置信度阈值的敏感性分析及强关联冗余规则剔除策略。【重要实操技能】

（二）教学难点

1.类别极度不平衡时，准确率陷阱的识别与重采样、代价敏感、异常检测框架三种解决路径的适用边界辨析。此为各级学科竞赛【难点】与研究生面试高频【挑战题】。

2.高维数据中“维数灾难”对距离度量的实质性影响，以及降维后信息留存量的可解释性权衡。学生易陷入“PCA必有用”的认知误区。

3.从习题给定的零散代码片段中逆向重构算法设计者的完整逻辑链，并指出潜在bug或效率优化点。此类题型在头部互联网公司实习招聘中属【压轴热点】。

四、教学策略与方法论工具包

本教学设计摒弃“逐题讲练”的浅层模式，采用“题型族—方法树—评价尺”三维脚手架策略。教师角色定位为“思维显性化催化师”，运用认知负荷理论将专家解题的内隐思维拆解为可观察、可模仿、可反馈的外显步骤。课堂组织采用“个体静思—异质对学—组际辩课”三阶递进，确保每个核心习题均经历深度编码与精加工。全程融合手绘思维白板与实时代码沙盒，板书轨迹与运行结果同屏留存，形成可回溯的认知轨迹。

五、教学资源与全场景准备

1.自建习题矩阵库：按“基础概念辨析—算法流程填空—代码改错优化—综合案例建模—开放性问题答辩”五级难度阶梯编制纸质学案与电子交互式Notebook双版本，每题均附【重要等级】与【考频标签】。

2.虚拟仿真实验平台：预装Anaconda环境及Kaggle经典子集（如UCIGermanCredit、Titanic、MallCustomers等），允许学生现场修改参数并即时观察评估指标联动变化。

3.典型误区案例库：收集前几届学生在同一习题上的典型错误答案（匿名化），作为“诊断性练习”素材，大幅提升错误认知的纠偏效率。

4.跨学科隐喻卡片组：将统计学、线性代数、信息论中的核心概念（如熵、自由度、似然）转化为可视化类比物，辅助学生建立跨学科映射。

六、教学实施过程深度展开（核心篇幅，约占总文字量80%）

本过程按4标准学时（180分钟）设计，内含六个逻辑环环相扣的教学模块。每个模块均以习题为载体，以方法为内核，以思维进阶为暗线。

（一）模块一：问题形式化——从自然语言到挖掘任务三元组

此模块旨在根治学生“读题不拆题，提笔即调包”的顽疾，定位为【基础】，但实为后续所有解题步骤的基石。

1.教师投放典型题干（约400字混合场景描述，包含客户流失预测、零售购物篮分析、网络入侵检测三类业务杂糅信息），要求学生在3分钟内独立圈定所有数据挖掘可作用点。此时刻意不提供结构化提示，目的是暴露学生信息筛选能力的原始状态。

2.个体静思结束后，教师组织对学交流，互相补充遗漏任务点。随后教师展示专家思维过程：如何快速过滤业务背景修饰词，锁定“预测”“划分”“发现频繁组合”“识别离群”等谓词中心词；如何将谓词对应到挖掘任务范式（监督/无监督/半监督）；如何从题干中二次提取样本总量、特征维度、标签有无及完整度、时间序列依赖等隐性约束条件。

3.【核心方法建模】教师引出“挖掘任务三元组”工具：T（任务类型）+D（数据形态）+E（评价偏好）。要求学生在后续所有习题解答前，必须先在草稿纸上列出此三元组，否则解题思路无效。教师示范：针对题干中“希望识别出高价值但即将流失的Top10%客户”，正确三元组为T：二分类概率输出与排序；D：表格型数据，类别特征混杂，正负例比例未知；E：更关注查准率（Precision）而非准确率，因为挽留成本高。

4.即时巩固练习：发放3道变式题干，每题限时2分钟完成三元组提取。教师在教室巡回，随机选取不同水平学生的草稿纸投屏，全班共同评议三元组要素是否遗漏、标签是否准确。此环节【非常重要】，是建立解题方向感的第一道关口。

5.标注说明：本节所有活动均围绕【基础】能力，但此能力在后续综合题中决定成败，故教师须以最高标准要求。

（二）模块二：特征质量审题——数据预处理方向的决策路径

学生常将预处理视为固定流水线（去空、归一化、编码），忽略习题题干中对数据质量的直接或暗示性描述。本模块专攻“从题干嗅探数据缺陷”的敏感度训练。

1.习题投放：给出两份关于“员工离职预测”的数据字典。第一份数据字典中“满意度等级”字段有30%缺失，且缺失模式与部门有关；第二份数据字典中“项目参与数”字段存在明显右偏分布，且有多个极端大值。要求学生分别提出预处理核心策略，并说明理由。

2.教师引导学生对比：为何前者必须采用多重插补或模型预测填补，而不能简单删除或均值填补？因为缺失机制非随机（MNAR），且与目标变量强相关。为何后者需考虑对“项目参与数”做Box-Cox变换或分箱？因为线性模型对长尾分布敏感，且极端值可能为正常业务高管，非异常值，不宜截尾。

3.【难点突破】此处引入“特征工程审题双检法”：第一检，检查缺失值位置、占比、字段业务含义与缺失可能机制；第二检，检查数值分布形态、量纲差异、离群点业务真伪。将此方法内化为习题审题的规定动作。

4.变式对抗训练：教师展示一份“完全无缺失、分布对称”的干净数据集描述，设问：是否意味着无需预处理？引导学生答出仍需进行特征交叉、多项式扩展等构造性工作，并指出这是提升模型上限的关键【高频考点】。此时学生顿悟：预处理不仅是“修”，更是“造”。

5.小组任务：每组抽取一张“脏数据卡片”，卡片背面标注真实业务场景（如电商点击率日志、医学影像特征表）。组内需在8分钟内设计出完整的预处理方案流程图，并用箭头标出因预处理操作引发的后续模型选型限制（例如：对类别特征做了独热编码导致特征维度爆炸，则后续应优先考虑带L1正则化的逻辑回归或树模型）。此任务综合性强，是【热点】题型在笔试中的常见变体。

（三）模块三：分类模型瓶颈诊断与改进——以混淆矩阵为透视镜

分类习题占据数据挖掘考题半壁江山，而学生痛点集中于“模型效果差，不知是数据问题、特征问题还是模型问题”。本模块构建一套系统化诊断仪式。

1.主案例投放：给定一份“信用卡欺诈检测”习题，数据极度不平衡（正例占0.5%）。学生运行基线模型（默认参数逻辑回归）后得到准确率99.2%，但召回率仅21%。教师此时不直接讲解，而是展示四张标准化的诊断图表：混淆矩阵、精确率-召回率曲线、类别正负概率分布直方图、特征重要性排序（基于树模型）。要求学生以小组为单位，仅凭图表反推模型失效原因。

2.组际辩课：第一组认为召回率低是阈值问题，默认阈值0.5对正例不友好；第二组观察到特征重要性中前两个特征占比过高，怀疑特征泄露；第三组根据概率分布直方图发现正例的预测概率普遍低于0.3，判断模型未能学到充分区分性特征。教师不立即判定对错，而是要求各组拿出证据链。

3.【非常重要】教师此时总结“分类瓶颈归因四象限”，纵轴为偏差/方差，横轴为数据/模型。将学生诊断出的阈值问题归入“模型高偏差（欠拟合）—阈值可调”象限；将特征泄露归入“数据问题—标签污染”象限；将特征学习不足归入“模型高偏差—特征工程不足”象限。学生清晰看到，同一低召回率表象下，病因截然不同，开出的药方自然迥异。

4.随即进入“对症下药”环节，针对四种病因分别进行策略实践：

（1）阈值移动：手动遍历0.1至0.5的阈值，观察F1-score变化，确定最优阈值。【高频考点】

（2）重采样：对比SMOTE过采样与NearMiss下采样对AUPRC的影响，强调必须在验证集上保持原始分布。【难点】

（3）代价敏感学习：在逻辑回归中设置class_weight=‘balanced’，并与过采样效果进行对比。

（4）换用基于决策树集成的模型：在XGBoost中调节scale_pos_weight参数。

5.学生在此环节不仅学会代码实现，更关键的是建立了“先定位、后施治”的元策略。教师强调：任何模型改进操作都必须绑定诊断依据，严禁盲目调参。此思维在后续所有算法优化习题中必须贯彻，被标记为【核心素养】。

（四）模块四：聚类无标签场景的评估内省

聚类习题表面看是算法调用，实则考查对“无监督学习本质”的理解。学生常见错误是将外部指标（如ARI、NMI）用于无标签习题，或对K-Means产生的球形簇强行业务解释。

1.习题设计：给出一份“商场会员消费数据”，含年收入与购物得分两维特征，分布呈现明显的流形结构（非球形）。要求学生分别用K-Means和DBSCAN聚类，并从数学原理上解释为何K-Means划分出的簇在边界处违反直觉。

2.学生操作后确实发现K-Means将本应属于同一流形带的数据点因欧氏距离原因强行切分至两个簇。教师引导学生溯源：K-Means隐式假设各向同性、簇规模相近，而本题数据违反此假设。因此，【重要】结论：算法适用性分析比代码运行更重要。

3.继而进入核心——无标签下的聚类效果评估。教师禁止学生使用ARI（因其需真实标签），只允许使用轮廓系数、Davies-BouldinIndex、Calinski-HarabaszIndex。学生计算后发现，对于流形数据，这些内部指标得分反而更低，从而引出一个深度学习时代的经典辩论：好的聚类结构是否一定对应高的轮廓系数？

4.教师并不给出绝对答案，而是展示t-SNE降维可视化图，让学生用视觉感知判断聚类结构。进而引出【热点】观点：无监督学习的评估最终依赖于可解释性与业务落地价值，而非纯数学指标。将这一哲学认识融入习题解答，是高分答案的特征。

5.拓展练习：提供一份高维基因表达数据（2000维，50样本），要求学生设计一套完整的聚类分析方案，其中必须包含降维步骤，并解释如何证明聚类结果的稳定性（如Bootstrap重采样聚类一致性检验）。该习题覆盖了“降维—聚类—稳定性验证”全链条，属于综合性【难点】与研究生考试高频题。

（五）模块五：关联规则结果精炼与冗余消除

学生在学习Apriori时往往只关注如何生成规则，而对“海量规则中提取有效知识”这一真实痛点缺乏训练。本模块聚焦规则后处理。

1.习题投放：运行Apriori算法后，在最小支持度0.01、最小置信度0.6下产生2000+条关联规则。要求5分钟内找出“有业务价值且非冗余”的Top5规则。学生初期手忙脚乱，仅按置信度降序排列，选出的规则多为“买A→买A”琐事规则或高置信度但支持度极低的巧合规则。

2.教师此时引入【非常重要】的“兴趣度”与“提升度”筛选机制。指导学生首先剔除提升度≤1的无关规则，再按支持度与置信度的加权综合排序。同时，针对“买A、B→C”与“买A→C”同时存在且前者置信度略高的情况，引导学生思考冗余规则识别方法——若后件相同，前件为子集，且置信度无显著提升，则应删去更长规则。

3.进阶思维：教师提出“负关联规则”概念，即“买A→不买B”，此类规则在传统Apriori中无法直接生成。此时借机渗透跨学科视野：如何将负关联转化为正关联问题？学生想到将B取反构建新事务集。教师肯定此思路，并指出这正是数据挖掘习题中考查“创新迁移能力”的典型【热点】。

4.学生通过此模块深刻理解：数据挖掘习题的终点不是得到一堆数字，而是从数字中凝练可操作的商业洞察或科研发现。这一认知将贯穿后续所有案例。

（六）模块六：综合实战——从代码片段重构算法全貌

作为习题课压轴模块，旨在对接顶尖企业笔试中“代码填空+逻辑补全”类高阶题型，同时锻炼学生阅读他人代码、理解算法变体的工程能力。

1.教师分步发放一份自定义实现的KNN分类器核心代码段，但刻意删除了距离计算函数与投票权重设置部分的关键行，同时留空一处效率优化注释。要求学生：

（1）补全距离计算部分（要求支持欧氏距离与曼哈顿距离的切换，且需考虑连续特征与离散特征混合时的加权距离策略）。

（2）说明投票时若出现平票，当前代码的逻辑缺陷，并给出至少两种平票打破机制。

（3）指出代码中使用了for循环逐样本计算距离，当测试集达万级别时效率极低，应如何用向量化改造。

2.此题覆盖距离度量（【基础】）、投票机制（【高频考点】）、向量化编程（【重要效率意识】）三个层次。学生需在15分钟内独立完成补全与分析。

3.组际互评阶段，各组展示补全的代码与文字分析。教师引导全班对“加权距离中特征权重的设定是否应由用户完全指定”展开辩论。一方认为应由算法通过特征重要性自动学习；另一方坚持用户根据业务知识指定更可靠。教师总结：此问题无标准答案，取决于习题语境中是否提供了先验权重信息——这正是数据挖掘习题审题的微妙之处，再次回扣模块一的“三元组”思想，形成课程闭环。

4.最后，教师展示业界真实笔试原题，学生发现结构与本节课所练高度一致，信心大增，并真正理解了“习题方法”不是背题，而是掌握一套可无限迁移的分析框架。

七、学习评价与反馈矫正系统

（一）过程性评价嵌入

每个模块均设置“秒