数据采集与预处理技术-P7T4-教案

授课教案20—20学年第学期_______学院________专业课程名称数据采集与预处理技术任课教师授课形式理论教学□课内实践□理论+实践☑习题复习□考核评价□其他活动□课时安排2学时（90分钟）序号28授课日期月日月日月日月日授课班级2026级相关专业教学班授课地点实训机房（多媒体）教学内容：项目七任务四数据的降维课程思政设计：1.辩证思维与代价意识——降维换来效率与可视化，代价是可解释性下降。课堂要求讲清得了什么、失了什么，不能只说好处。主成分不再对应原来的任何一项化学指标，这一点必须讲明白。2.科学精神与证据意识——降到2个主成分够不够，要看方差解释比率而不看感觉。课堂用累积解释率作为判断依据，让学生用数字回答保留了多少信息。3.严谨态度与顺序意识——主成分分析对尺度敏感，必须先标准化再降维。课堂把顺序讲成硬性要求，并用反例图让学生看到不做标准化的后果。4.创新意识与前沿视野——降维技术在医学影像分析、金融风控、环境监测等场景中广泛应用。课堂让学生看到基础技术的现实价值，理解预处理不是附加工序而是分析链条的基础环节。教学目标：知识目标：能说出数据降维的定义与核心目的；能说出属性子集选择、小波变换、主成分分析三种降维方法各自的特点与适用场景；能说出逐步向前选择、逐步向后删除、双向搜索、决策树归纳四种启发式方法；能说出主成分分析五个执行步骤的名称与顺序；能说出方差解释比率的含义与累积解释率的作用；能说出主成分分析的线性假设及其局限。能力目标：能用load_wine加载葡萄酒数据集并把特征数据转为DataFrame、把类别标签单独取出；能对13个特征列一次性完成标准化；能用PCA(n_components=2)完成降维并把结果存入DataFrame；能把类别标签加入降维结果用于着色；能用散点图把两个主成分可视化并按类别着色；能输出explained_variance_ratio_并计算前两个主成分的累积解释率；能根据累积解释率判断降维是否保留了足够信息。素质目标：养成降维前先标准化、降维后必看解释率的习惯；养成说明降维代价的习惯，不只说减少了几个维度；养成用可视化结果辅助判断聚类与分类可行性的习惯。教学重难点及解决方法：教学重点：主成分分析五步执行流程；n_components参数的含义；方差解释比率的读取与累积计算。教学难点：主成分分析为什么要先标准化；方差解释比率与信息保留量的对应关系。学生容易把2当成固定取值而不追问为什么是2，对解释率只有60%意味着丢掉了40%这一点也缺乏概念。解决方法：针对难点：做一次反例演示——对未标准化的葡萄酒数据直接跑主成分分析，与标准化后的结果并列投屏，两幅散点图的类别分隔度差异明显，学生看到图就知道标准化的作用；把解释率讲成一笔账，前两个主成分合计解释约60%的方差，即保留了大部分信息，同时也丢掉了约40%，学生能把这个数字与信息损失直接对应。针对重点问题：采用边讲边练，每讲完一步即在课程在线教学平台推送1～2道限时练习当堂消化；把五步整理成固定流程，每步都有可打印的输出，学生能自行判断进度；实操期间教师巡视，重点检查标准化是否真的执行、n_components取值是否合理；课后按练习正确率推送分层强化题。教学环境及平台：实训机房（多媒体），每人一机，配备投影与广播教学软件；Python3.9运行环境（NumPy、pandas、scikit-learn、matplotlib）；课程在线教学平台。软件与工具：Anaconda、JupyterNotebook、PyCharm/VSCode。数据与素材：sklearn自带葡萄酒数据集（178个样本、13个化学特征、3个类别）；技能强化案例为某商城商品数据。教学资源：①教材《数据采集与预处理技术》第200–206页正文、示例代码、图7-2与技能强化案例；②本课程课件与演示代码（含反例对照脚本、PCA可视化脚本、电商商品数据处理脚本）；③课程在线教学平台（预习测验、随堂练习、课后答疑）与课程AI智能体。学习效果评价方式：过程性评价40%＋终结性评价60%的综合评价方式，本次课成绩计入平时成绩，对应其中三项：①课堂实操（主要部分）：提交葡萄酒数据主成分分析完整脚本与两幅结果图，按标准化执行情况、降维代码完整度、解释率读取正确性三项评分；②随堂测验：下课前5题（三种方法差别、五步顺序、n_components含义、解释率读法、线性假设），平台自动批改，当场讲评错误率最高的一题；③课后作业：提交完整脚本、散点图与两个主成分各自的解释率及合计值。课前预习：平台3道诊断题（标准化与归一化的适用差别），统计错误率用于调整讲授重点。课后小结：填表说明：1.序号，指该课程授课的顺序号，应与授课计划一致；2.授课形式在相应的选项打“√”。教学内容及过程时间分配方法及手段思政元素【教师活动】1.承接任务三：上一任务把两个维度压到了0～1区间，让它们发挥同等作用。提问：如果维度不是2个而是13个，还能一眼看清吗？2.给出本次任务情境：葡萄酒产品围绕酒精含量、苹果酸、灰分、镁含量、酚类含量、颜色强度、色调等多项理化特征被采集，每一项特征都有可能在品质评定、类别区分、市场定位等方面发挥作用。3.点明两难：特征丰富为分类与质量评估提供了全面信息，但同时也带来数据冗余、可视化困难、模型复杂度增加三个挑战。4.讲冗余的成因：酒精含量、酚类含量与颜色强度等特征之间可能存在较强的线性相关性，它们都有可能反映葡萄酒的某些共同特征，会导致信息重叠与数据干扰。5.讲冗余的后果：冗余特征不仅降低模型训练与推理效率，还可能增加过拟合风险，降低模型泛化能力。6.讲可视化的困难：高维特征空间使得数据的直观展示和可视化分析变得非常困难，想看清不同类别葡萄酒之间的分布关系，单纯依靠高维特征空间的分析往往难以做到。7.点明本任务：用主成分分析把高维特征压缩成少数几个主成分，既减少冗余又便于可视化。【学生活动】口述上一任务归一化的作用；说出三个挑战中自己认为最难解决的一个；举例说明自己见过的一组可能高度相关的指标。【设计意图】对应知识目标1。以任务三刚处理过的维度为起点，把维度数量从2推到13，学生带着刚建立的尺度意识进入高维问题；三个挑战分列讲清，学生知道降维要解决的是哪三件事，后面的方法有明确靶子；把冗余成因讲在前面，为环节三讲协方差矩阵与相关性埋下伏笔。环节一任务情境：13个指标怎么一眼看清（8分钟）任务驱动法直观演示法（投屏＋数据）问题意识：信息多不等于看得清【教师活动】1.给出降维的定义：将数据从高维空间映射到低维空间的过程，核心目的是减少特征数目，同时尽可能保留数据的主要信息。2.说明常用的数据降维方法包括属性子集选择、小波变换与主成分分析三类。3.讲属性子集选择：目的是通过检测并删除不相关、弱相关或冗余的特征来降低数据的维度，帮助找到一个最小的属性集，使得数据的概率分布尽可能接近使用所有属性时的概率分布；基于精简属性子集开展数据挖掘，能够减少模式发现过程中涉及的特征数量，从而使得模式更易于理解。4.讲四种启发式方法：逐步向前选择、逐步向后删除、双向搜索、决策树归纳。说明通常采用启发式方法来压缩搜索空间以实现最佳子集选择，终止条件可以根据需求设定，比如设置一个度量阈值来决定何时停止。5.讲小波变换：是一种基于短时傅里叶变换的局部化思想，克服了窗口大小不随频率变化等问题，提供了一种频率自适应的时频分析窗口，非常适合用于信号的时频分析与处理；对信号进行小波变换后可得到反映信号在不同尺度上能量分布的小波系数；对能量集中在低频成分的信号，可通过截取低频近似系数实现近似压缩，对能量分散或集中在高频成分的信号，则需采用阈值处理保留能量集中的系数。6.点明三种方法的分工：属性子集选择是通过删掉一些原有特征来降维，小波变换与主成分分析则是将原始数据变换或投影到较小的空间中。7.讲主成分分析的定位：是一种常见的线性降维方法，广泛用于数据降维和特征提取，在高维数据集的探索、可视化以及数据压缩和预处理等任务中都有应用，在数据压缩、冗余消除以及数据噪声去除等领域也有广泛应用。【学生活动】记录三类方法的名称与各自的处理方式；说出四种启发式方法中哪一种是边加边减；说出属性子集选择与另外两种方法的根本差别。【设计意图】对应知识目标2、3。三类方法并列讲，学生先建立方法全景，后面专攻主成分分析时知道它处在什么位置；分工那一句是理解三者的关键，删特征与造新特征是两种完全不同的思路，讲清了学生才不会混淆；小波变换讲得简略但讲清适用对象是信号，学生知道它不属于本任务的实操范围，直接落实思政中的代价意识。环节二三种降维方法概览（15分钟）讲授＋板书对比讲授结构化归纳系统观念：删特征与造新特征是两条路【教师活动】1.点明本任务用主成分分析，讲其核心思想：通过线性变换将原始特征投影到一组新的互相正交的基向量上，这些基向量称为主成分，它们能够最大程度保留数据的方差，从而将数据从高维空间映射到低维空间。2.讲五步执行流程，边讲边板书步骤名。第一步标准化数据：由于主成分分析对数据的尺度敏感，首先需要对数据进行标准化处理，使得每个特征的均值为0、标准差为1。3.第二步计算协方差矩阵：协方差矩阵表示数据各特征之间的线性关系，通过计算协方差矩阵可以揭示数据中各个特征之间的相关性。4.第三步计算特征值和特征向量：通过特征值分解得到协方差矩阵的特征值和特征向量；特征向量表示新的坐标轴方向，特征值则反映该方向上数据的方差大小。5.第四步选择主成分：根据特征值的大小选择前k个主成分，这些主成分保留了数据中最多的方差信息。6.第五步投影数据：将原始数据投影到选定的主成分上，得到降维后的数据。7.强调五步顺序不可颠倒，尤其第一步标准化必须先做，否则尺度大的特征会主导协方差矩阵。8.讲三个价值：当特征过多时使用主成分分析降维可以减少计算成本，同时保留数据的主要信息；可以将高维数据映射到二维或三维空间，帮助可视化数据结构；在数据压缩、冗余消除与数据噪声去除方面也有作用。9.讲局限：主成分分析基于线性假设，如果数据集的特征形成了非线性关系，而这种关系对分析目标非常重要，就应当避免使用它；不过在大多数日常数据集中，假设特征之间存在线性关系是安全的。10.讲代码实现两行：从sklearn.decomposition导入PCA，实例化PCA(n_components=2)后调用fit_transform。【学生活动】按五步顺序复述流程；说出协方差矩阵的作用；说出主成分分析基于什么假设、什么情况下应当避免使用。【设计意图】对应知识目标4、5、6，突破难点主成分分析为什么要先标准化。五步流程是本环节的骨架，每一步都写明输出什么，学生后面实操时能按步骤自查；把标准化的理由归到协方差矩阵会被大尺度特征主导，理由落在流程内部而不是外部规定，与任务二讲的标准化形成呼应；局限单独讲清，直接落实思政中的代价意识。环节三PCA五步执行流程（18分钟）讲授＋板书分步演示讲练结合严谨态度：先标准化再算协方差【教师活动】1.说明本案例使用葡萄酒数据集，包含13个化学特征与每个样本所属的类别标签。2.逐个说明13个特征：酒精含量、苹果酸、灰分、灰分的碱度、镁含量、总酚类、类黄酮、非类黄酮酚、原花青素、颜色强度、色调、稀释样品的酚类物质、葡萄酒脯氨酸。3.讲这些特征的问题：它们之间可能存在较强的相关性，容易造成数据冗余，增加分析和建模的复杂度。4.演示加载与整理：导入NumPy、pandas、load_wine、StandardScaler、PCA与matplotlib；用load_wine()加载葡萄酒数据集；用pd.DataFrame把特征数据转为DataFrame并配上特征名；用wine.target取出目标变量，即每个样本的类别。5.演示标准化两步：实例化标准化工具，用fit_transform处理，说明处理后每个特征的均值为0、标准差为1。6.强调顺序：本次必须先标准化再降维，因为葡萄酒13个特征的数值尺度差异较大，例如酒精含量与颜色强度的数值区间差距明显。7.让全班在自己机器上跑通加载与标准化两步，教师逐机确认输出形状。【学生活动】记录13个特征的名称；说出哪几个特征之间可能存在相关性；跟做加载与标准化，记录DataFrame形状。【设计意图】对应能力目标1、2。13个特征逐个点名，学生对数据集有具体印象，后面讲冗余时才不会空对空；先标准化再降维的顺序在本环节实际执行，学生看到代码位置就知道顺序在流程里的哪一步；与上一环节讲的五步流程对应，理论与实践在同一个环节里闭合，直接落实思政中的顺序意识。环节四葡萄酒数据标准化（15分钟）演示—模仿讲练结合（Python＋sklearn）规范意识：尺度没对齐不算降维【教师活动】1.演示降维两步并投屏：实例化PCA对象，说明2表示降维到2个主成分；用fit_transform对标准化后的数据做降维。2.演示结果整理两步：用pd.DataFrame把主成分存入DataFrame，列名取PC1与PC2；把目标变量作为target列加入，便于后续分析和可视化。3.讲散点图的四个要素：X轴与Y轴分别表示第一主成分与第二主成分，每个点的颜色按目标变量映射。4.逐句演示绘图代码：创建8×6的绘图窗口；绘制散点图，按目标变量映射颜色并设置边框与点大小；设置图表标题；设置X轴与Y轴标签；显示颜色条；显示图像。5.投屏教材图7-2，引导学生观察数据分布更多集中在X轴即第一主成分方向。6.讲方差解释比率：用explained_variance_ratio_输出每个主成分对数据方差的解释比例，用求和输出前两个主成分合起来解释的数据方差比例。7.投屏教材结果并说明：第一、第二主成分的总解释方差占据大部分，接近60%；第一主成分的方差解释比率高于第二主成分，与之前的散点图结果保持一致。8.讲结论：主成分分析成功地将高维数据降维至2个主成分，同时保持了大部分的变异性；散点图展示了不同葡萄酒类别在二维空间中的分布，类别之间的分隔度较好，表明它能够有效提取出类别之间的差异。9.提问：如果只取第一个主成分会怎样？引导学生说出会保留的更少，是否可行要看解释率。【学生活动】跟做降维与绘图，记录两幅图；读出两个主成分各自的解释率与合计值；观察散点图并说出三个类别的分隔情况。【设计意图】对应能力目标3、4、5、6、7，突破难点方差解释比率与信息保留量的对应关系。散点图与解释率并列是本环节的核心，学生先看到图再看到解释它的数字，图与数互相印证；把接近60%讲成一笔账，学生知道保留了大部分也丢掉了约40%，直接落实思政中的代价意识；追问只取第一个主成分，把n_components从一个固定值变成可以讨论的决策。环节五降维结果可视化与方差解释率（17分钟）演示—模仿图表对照讲练结合代价意识：60%的信息40%的代价【教师活动】1.布置技能强化任务：某商城商品数据存在严重尺度差异与冗余问题，影响了推荐系统与销量预测模型的准确性与稳定性。2.讲四类特征的尺度差异：价格类特征从几元到数万元；销量类特征从0到数十万件；比率类特征如好评率在0～1之间；计数类特征如浏览量与收藏量从几十到几十万。3.讲三个具体问题：直接用原始数据训练K近邻推荐模型或线性回归销量预测模型时，高数值特征主导了距离计算或回归系数，导致模型无法准确捕捉好评率、收藏率等小数值但可能重要的信号；商品聚类分析时特征尺度不一致会让聚类结果完全由价格、销量等大范围特征决定，识别不出高好评率、中等价位这类细分商品群体；浏览量与收藏量高度相关，30天销量与7天销量也存在强相关性，多重共线性特征增加了模型复杂度，也可能导致回归模型不稳定。4.讲四条要求：识别数据集中哪些特征需要标准化处理并说明理由；对价格、销量等数值范围大的特征进行Z-score标准化，使模型能公平对待所有特征；对需要特定输入范围或者需要保持原始比例关系的场景使用Min-Max归一化；对标准化后的高维数据进行降维，消除特征冗余，实现数据可视化。5.让全班按四条要求口述处理顺序，教师补充纠正。6.讲选材的现实意义：在医学影像分析、金融风控、环境监测等场景中，通过合理应用标准化和归一化，可以确保不同来源、不同量纲的数据具备可比性，提升算法的泛化能力与决策的科学性；利用主成分分析等降维技术，能够有效降低数据的复杂度，突出关键信息，为后续的模型训练与特征解释奠定基础。【学生活动】说出四类特征中尺度最大与最小的一对；口述四条要求的处理顺序；举例说明自己想到的一个降维应用场合。【设计意图】对应知识目标1～6的综合运用，是本项目的收束环节。四条要求把任务二、任务三与本任务串成一条完整流程，学生在真实业务场景里把三种方法排成顺序，而不是分别记住三个孤立操作；三个具体问题逐条对应前面讲过的方法，学生的选择有明确依据；收尾讲应用场合，把技术放回现实，直接落实思政中的前沿视野。环节六技能强化：电商商品数据（12分钟）案例分析问题驱动法归纳讲授前沿视野：基础技术支撑真实场景【教师活动】1.引导学生用三句话小结：①降维是把高维映射到低维，核心是减少特征并保留信息；②主成分分析五步走，先标准化，再算协方差矩阵、特征值、选主成分、投影；③降维好不好看解释率，换来的效率要以可解释性为代价。2.板书知识框架：动机→三种方法→PCA五步→可视化→解释率，学生拍照记录。3.课程在线教学平台推送当堂检测5题