Py数据基础及实战6

打造基于产教融合的就业育人综合服务平台打造基于产教融合的就业育人综合服务平台第4章数据预处理教案课程名称：Python数据分析与挖掘实战课程类别：必修（专业核心课）适用专业：数据科学与大数据技术、人工智能、计算机科学与技术、统计学、信息管理与信息系统等相关专业总学时：64学时（其中理论28学时，实验36学时）总学分：4.0学分本章学时：6学时（理论3学时，实验3学时）材料清单《Python数据分析与挖掘实战（第2版）（微课版）》教材。配套PPT。引导性提问。探究性问题。拓展性问题。教学目标与基本要求教学目标本章介绍数据预处理的核心内容，包括数据清洗（重复值处理、缺失值处理、异常值处理）、数据变换（数据标准化、数据离散化、独热编码）、数据合并（多表合并、分组聚合）和自动化预处理。使学生掌握数据预处理的常用方法，能够根据数据特点选择合适的预处理方案，为后续的数据分析与建模打下良好的数据基础。基本要求掌握重复值处理的常见方法。掌握缺失值处理的常见方法。掌握常见的异常值分析和处理方法。掌握数据标准化和数据离散化的常用方法。掌握多表合并和分组聚合的方法。了解自动化预处理的概念、常用工具与流程。问题引导性提问引导性提问需要教师根据教材内容和学生实际水平，提出问题，启发引导学生去解决问题、理解并掌握知识、发展各种能力和提高思想觉悟。数据清洗中的重复值、缺失值和异常值分别如何处理？各自适用的场景是什么？数据标准化有哪些常用方法？最小-最大标准化和零-均值标准化有什么区别？数据离散化中的等宽法、等频法和聚类分析法各自有什么优缺点？多表合并中，堆叠合并和主键合并分别适用于什么场景？自动化预处理相比手动处理有哪些优势和注意事项？探究性问题探究性问题需教师在深入钻研教材的基础上精心设计，从重点、难点问题切入进行插入式提问，或对引导性提问中尚未涉及但重要的内容加以设问。独热编码在什么情况下是必要的？它如何解决类别型数据在模型中的距离计算问题？数据合并中，merge函数和concat函数在功能上有哪些异同？如何根据实际需求选择合适的合并方式？自动化预处理流程中，数据泄露问题的根源是什么？在实际项目中应如何避免？拓展性问题拓展性问题需教师深刻理解教材意义、掌握学生学习动态后，根据不同学习层次提出切实可行的、关乎实际应用的操作问题，亦可提供拓展资料供学生研习探讨。在大规模数据处理场景中，pandas库的性能瓶颈是什么？Dask等并行处理库如何解决这些问题？除了本章介绍的插值方法，还有哪些高级的缺失值处理方法（如多重插补）？它们在什么场景下更适用？请调研一种工业级的数据预处理流水线工具（如ApacheAirflow），分析其与scikit-learnPipeline的异同。主要知识点、重点与难点主要知识点重复值的处理方法。缺失值的处理方法。异常值的处理方法。数据标准化的方法。数据离散化的方法。独热编码的方法。多表合并与分组聚合的方法。自动化预处理的概念、工具与流程。重点重复值的处理方法。缺失值的处理方法。数据标准化的方法。多表合并与分组聚合的方法。难点数据离散化的方法。独热编码的方法。自动化预处理的概念、工具与流程。教学过程设计理论教学过程数据清洗。数据变换。数据合并。自动化预处理。实验教学过程重复值、缺失值与异常值的处理。数据标准化与数据离散化的应用。教材与参考资料教材翟世臣，张良均．Python数据分析与挖掘实战（第2版）（微课版）[M]．北京：人民邮电出版社，2026．参考资料张良均，王路，谭立云