Python基础与大数据应用（第2版）（微课版） 教案 单元 10 pandas 数据分析

单元10pandas数据分析教案课程名称：Python基础与大数据应用课程类别：必修适用专业：大数据技术类相关专业总学时：64学时总学分：4.0学分本章学时：8学时一、材料清单《Python基础与大数据应用（第2版）（微课版）》教材pandas文件读写、数据库交互、字符串处理、分组聚合示例代码实战项目：电影数据统计、房屋销售信息分析完整源码CSV、Excel测试文件、MySQL数据库环境二、教学目标与基本要求1.教学目标熟练掌握pandas读写CSV、Excel文件；掌握pandas与MySQL数据库交互流程；熟练使用字符串处理函数完成文本清洗；理解分组与聚合原理，熟练运用聚合函数进行多维度数据统计；能够独立完成完整数据分析项目，具备企业级数据处理思维。2.素质目标大数据时代必须坚守数据伦理、数据安全、数据正义。培养客观分析、理性判断、尊重事实的科学素养。引导学生用数据分析助力国家治理、产业升级、乡村振兴，增强服务国家战略意识。3.基本要求掌握read_csv/to_csv、read_excel/to_excel读写文件。掌握SQLAlchemy建立连接，read_sql/to_sql读写数据库。熟练使用字符串方法：cat/get/contains/replace/extract。理解groupby分组原理，掌握agg/apply聚合用法。能够进行数据清洗、去重、空值处理、计算、统计、入库全流程操作。完成电影票房统计、房屋销售分析两大实战项目。三、问题设计1.引导性提问pandas读写CSV和Excel的核心函数是什么？pandas连接MySQL需要哪几个步骤？字符串处理为什么要用.str开头？groupby的作用是什么？agg和apply的区别是什么？to_sql中if_exists三个参数含义？2.探究性问题读取中文乱码如何解决？分组后可以同时对多列做不同聚合吗？为什么agg只能返回标量，apply可以返回多行？数据库写入时如何自动匹配字段类型？大数据量文件如何分块读取？3.拓展性问题如何对接SQLServer、Oracle等其他数据库？如何实现按时间段分组统计？如何将分析结果自动生成Excel报表？如何对接可视化库直接出图？四、主要知识点、重点与难点1.主要知识点文件读写：CSV、Excel读取与保存，常用参数设置数据库交互：SQLAlchemy、引擎创建、read_sql/to_sql字符串处理：str.cat/get/contains/replace/extract分组聚合：groupby、内置聚合函数、agg、apply综合实战：数据清洗→计算→统计→入库全流程2.教学重点read_csv/to_csv/read_excel/to_excelpandas+MySQL完整流程字符串常用处理函数groupby+agg多维度统计实战项目全流程开发3.教学难点文件读取编码与分隔符问题数据库类型映射与入库正则提取与字符串复杂处理多级分组与多列聚合agg与apply适用场景区分五、教学过程设计（共8学时）第1–2学时：pandas文件读写（CSV/Excel）CSV文件格式介绍read_csv参数：sep、header、names、encoding、index_colto_csv参数：index、header、sepExcel读写：read_excel、to_excel、sheet_name实战：读取、处理、写入文件第3–4学时：pandas与MySQL交互SQLAlchemy安装与引擎创建read_sql查询读取数据数据清洗、计算、处理to_sql写入数据库、if_exists类型映射与关闭连接示例：订单数据计算金额并入库第5–6学时：pandas字符串处理Series.str方法介绍拼接cat、提取get包含判断contains、替换replace正则提取extract/extractall独热编码get_dummies实战：商品名称清洗、提取关键字第7–8学时：分组聚合+综合实战分组原理：split–apply–combine内置聚合函数：sum/mean/max/min/countagg多函数、多列不同聚合apply自定义分组处理综合实战1：电影数据统计（去重→计算→分组→入库）综合实战2：房屋销售数据分析（区域统计、透视表）总结、作业、答疑六、教材与参考资料1.教材《Python基础与大数据应用（第2版）（微课版）》2.参考资料[1]丁辉，陈永．Python程序设计教程[M]．北京：高等教育出版社．2019．[2]董付国．Python可以这样学[M]．北京：清华大学出版社，2017．[3]林子雨，赵江声，陶继平．Python程序设计基础教程（微课版）[M]．北京：人民邮电出版社，2022．七、教学反思与建议本单元实用性极强、代码量大，建议全程上机实操。文件读写重点讲解编码、分隔符、索引三大易错点。数