数据采集与预处理技术-P2T4-教案

授课教案20—20学年第学期_______学院________专业课程名称数据采集与预处理技术任课教师授课形式理论教学□课内实践□理论+实践☑习题复习□考核评价□其他活动□课时安排2学时（90分钟）序号7授课日期月日月日月日月日授课班级2026级相关专业教学班授课地点实训机房（多媒体）教学内容：项目二任务四Python文件读写课程思政设计：1.工程规范意识——打开的文件要关上，读完的数据要核对编码与路径。课堂讲清提交前自查这三样是基本功，路径写错、编码选错在真实项目里都会直接导致数据读不出来。2.求实态度——扫描生成的PDF本质是图片，提取不出文本。课堂讲清技术手段有边界，做不到的事要如实说明，不能拿一堆乱码当成果交上去。3.数据安全与合规意识——消费者信息、订单数据属于个人信息。课堂讲清课堂练习用教材样例数据，真实业务数据的读取与使用要有授权、有范围、有期限。4.终身学习与技术跟踪——本任务涉及的库各有长短，生态还在快速变化。课堂讲清掌握查阅文档与对比选型的方法，比记住某一条命令更重要。教学目标：知识目标：能说出open函数常用的五种打开模式及其差别；能说出with语句在文件操作中的作用；能说出CSV、JSON、XML三种格式各自的结构特点与典型应用场合；能说出PDF、图像、音视频三类文件在读取方式上的共同点与差别；能说出针对每种格式常用的处理库及其适用场景。能力目标：能用with语句读写文本文件并正确处理编码；能用csv模块与Pandas两种方式读写CSV文件；能用json模块读写JSON文件并保留中文与缩进；能用元素树模块解析与生成XML文件；能读取PDF的文本内容，能获取图像的基本信息并完成缩放、灰度与裁剪；能把多种格式的读取整合进一个类并统一导出报告。素质目标：养成读取之前先确认编码与路径的习惯；养成读取之后立即核对行数与字段的习惯；养成对个人信息类数据只取任务所需字段、不外传不外存的习惯。教学重难点及解决方法：教学重点：五种打开模式的选用与with语句的写法；CSV与JSON两种格式的读写；XML的解析与生成；多源读取整合进同一个类的组织方式。教学难点：不同来源文件的编码差异及其导致的读取失败；把三种格式的读取结果统一成同一种记录结构。学生常在读取时报出编码错误却不知从何查起，也常把三种来源的数据各存一套而不做归并。解决方法：针对难点：编码问题用现场对比来教——同一份文件分别用两种编码读一次，学生看到一次正常一次报错，再讲清报错信息里指的就是编码；三种来源的统一用一张目标记录表来带，先把目标结构画出来，再讲每个来源的数据分别对应到哪三个字段，学生看着表写代码。针对重点问题：采用边讲边练，每讲完一种格式即在机房同步敲一遍，教师巡看每行输出；六种格式做成一张选用对照表投屏，学生照表选库；讲多源整合时先把目标记录表投屏，再逐段补代码；课后按随堂检测结果推送分层强化练习。教学环境及平台：实训机房（多媒体），人手一机，配备投影与广播教学系统；课程在线教学平台。软件与工具：Python3运行环境、Pandas、PyPDF2、pdfplumber、Pillow；文本编辑器。数据与素材：教材示例消费者信息表、消费者及购买商品信息文件、商品信息文件与商品图片；课堂练习一律使用教材样例数据，不涉及真实个人信息。教学资源：①教材《数据采集与预处理技术》第48–64页正文、示例代码与配套数据集；②本课程课件（含六种格式选用对照表、多源整合目标记录表、类结构图）；③课程在线教学平台（预习测验、随堂练习、课后答疑）与课程AI智能体。学习效果评价方式：过程性评价40%＋终结性评价60%的综合评价方式，本次课成绩计入平时成绩，对应其中三项：①课堂实操（主要部分）：完成多源数据整合程序的编写与运行，按格式读取正确性、记录结构统一性、报告导出完整性三项评分；②随堂测验：下课前5题（打开模式的区别、with语句的作用、三种格式的结构特点、XML解析的三步、图像三个属性各自看什么），平台自动批改，当场讲评错误率最高的一题；③课后作业：提交多源数据整合程序的源码、运行结果与导出的两种报告文件。课前预习：平台3道诊断题（有哪些文件格式、读文本文件用什么函数），统计错误率用于调整讲授重点。课后小结：填表说明：1.序号，指该课程授课的顺序号，应与授课计划一致；2.授课形式在相应的选项打“√”。教学内容及过程时间分配方法及手段思政元素【教师活动】1.给出情境：某全品类综合电商平台在日常运营中积累了大量不同格式的数据文件。2.讲其中五类：营销活动中的消费者信息是CSV，商品目录与库存信息是XML，物流接口返回的是JSON，与商家签订的电子合同是PDF，用户分享的商品图片是各类图像格式。3.提问：技术团队要把这些数据放在一起分析，第一步卡在哪里？让学生先说。4.讲清卡点：不是不会分析，而是每一种格式的打开方式都不一样。5.点明本任务：掌握常见文件格式的读写方法，是实现数据统一处理和分析的前提。6.讲本任务的定位：这是项目二的最后一课，学完它，从环境到语法到文件操作的工具链条就完整了。【学生活动】听情境并记录五类文件各自的格式；回答第一步卡在哪里；说出自己遇到过哪些打不开的文件。【设计意图】对应知识目标1。五类格式由同一个业务场景串出，学生看到的是一家公司真实的数据现状而不是六个孤立的文件类型；先让学生自己说出卡点，后面每讲一种格式都在回应这个卡点；把项目二收尾这一定位讲在开头，学生对整条工具链有完整的认识。环节一情境导入：一个平台五种格式（8分钟）情境导入任务驱动法（投屏＋讲述）工程规范：先统一格式再谈分析【教师活动】1.讲open函数：接受文件名与打开模式，返回一个文件对象。2.并列五种模式投屏：只读模式要求文件必须存在；写入模式会清空原有内容，文件不存在则新建；追加模式在末尾追加；二进制只读与二进制写入用于图片、音视频这类文件。3.着重对比写入模式与追加模式：现场演示先写两行、再用写入模式打开写一行，学生看到原有内容被清掉；改用追加模式后原有内容保留。4.讲编码参数：文本文件要通过它指定字符编码，常用的是utf-8与gbk。5.讲为什么必须关文件：不关会占住系统资源，处理中途出异常时更容易忘。6.讲with语句：它自动管理文件的生命周期，无论代码块有没有出异常都会把文件关上，是推荐的写法。7.讲三种读取方式：read一次读完适合小文件；readline每次读一行；直接遍历文件对象逐行读，不把整个文件装进内存，适合大文件。8.讲两种写入方式：write写入一个字符串，writelines写入一个字符串列表，两者都不会自动加换行符，需要换行要自己在末尾写上。9.提问：一个几百兆的日志文件，该用哪种读法？让学生回答并说明理由。【学生活动】记录五种模式的差别；观察写入模式清空内容的现场演示；说出with语句的作用；回答大文件该用哪种读法及理由。【设计意图】对应知识目标1、能力目标1，落实重点打开模式。写入与追加的差别用现场演示来呈现，学生看到内容被清掉才真正记住两种模式的边界；三种读法按内存占用这条线索排，学生选的时候有判断标准；with语句讲在手动关闭之后，学生知道它解决的是什么问题。环节二文件操作基础打开、读写与关上（12分钟）讲授＋板书对比演示（投屏＋同步敲）规范意识：用完就关不占资源【教师活动】1.讲CSV的结构：以纯文本形式存放表格数据，每行一条记录，字段之间用逗号分隔；结构简单、兼容性强，几乎所有数据分析软件都支持。2.投屏展示某电商平台消费者信息文件的样子：姓名、年龄、性别、月薪、消费偏好五列。3.讲csv模块的读法：创建读取器对象，它会自动处理字段分隔与引号包裹，遍历出来的每一行是一个列表。4.现场演示读一行，学生看到列表里五个元素与表格里五个字段一一对应。5.讲两个容易出问题的参数：encoding要根据来源选择；写入时加上newline参数，避免在Windows系统里出现多余的空行。6.现场演示不加这个参数写一次、加上再写一次，学生对比两个文件的差别。7.讲csv模块的写法：先写表头一行，再把多行数据一次性写入。8.讲Pandas的读法：直接把文件读成一种二维表格对象，支持head看前几行、shape看行列数。9.讲Pandas写回文件的写法，讲清index参数决定是否保存行索引。10.讲读函数的四个常用参数：指定哪一行作列名、只读哪些列、指定各列类型、只读前多少行——最后一个在预览大文件时特别有用。11.并列两种方式的选用：简单的逐行处理用csv模块，要做筛选、排序、聚合就用Pandas。【学生活动】记录两种读写方式各自的写法；观察加与不加newline参数两个文件的差别；说出head与shape各自看什么；说出两种方式各自的适用场合。【设计意图】对应知识目标3、能力目标2，落实重点CSV读写。两种方式按处理复杂度这条线索对比，学生选的时候有标准；newline参数用两个文件的现场对比来教，Windows系统上的这个坑讲一遍不如看一遍；读函数的四个参数点明预览大文件这一用途，与项目四的网页数据采集、项目五的数据库查询都能接上。环节三CSV表格数据最常见的载体（14分钟）讲授＋板书对比演示讲练结合自检习惯：读完核对行数与字段【教师活动】1.讲JSON的结构：一种轻量级的数据交换格式，既容易读也容易解析，广泛用于应用程序之间的数据传输。2.讲类型对应关系：花括号包起来的对应字典，方括号包起来的对应列表，读进来之后就能用Python的标准语法访问。3.现场演示读取后遍历打印姓名与商品名称，学生看到结构一眼可辨。4.讲两个写入参数：保留中文的参数决定中文是按原样存还是转成转义序列，缩进参数决定输出的层次是否清晰。5.现场演示默认写法与加参数写法两个文件，学生对比中文显示效果。6.讲Pandas的读写方式并简要演示。7.讲XML的结构：一种可扩展的标记语言，用标签描述数据的结构与含义，自描述性强、支持复杂的层次，常用于配置文件与系统间的数据交换。8.讲解析的三步：先把文件解析成一棵元素树，再取到根元素，最后用查找方法找到目标元素并取其文本内容。9.现场演示解析商品信息文件，逐个读出编号、名称、价格与类别。10.讲生成的写法：先建根元素，再逐层建子元素并设置文本，最后写入文件；加上声明参数会在文件开头写出声明行。11.并列两种格式成对照表：JSON轻量、适合程序之间传数据；XML自描述、层次表达能力强，适合配置与跨系统交换。12.提问：物流接口返回的数据用哪种更合适？让学生回答并说明理由。【学生活动】记录两种格式的结构特点与读写写法；说出花括号与方括号各自对应什么；说出XML解析的三步；回答物流接口该用哪种格式及理由。【设计意图】对应知识目标3、能力目标3、4。两种格式按轻量的与自描述的两条线索对照讲，学生掌握的是选用标准；中文转义与缩进用两个文件对比呈现，参数的作用由结果说明；XML解析拆成三步，学生照着三步写就不会漏环节；用物流接口这个追问把选用标准落到具体场景上。环节四JSON与XML键值对与标签树（15分钟）讲授＋板书对照表直观演示法求实态度：看清结构再取数据【教师活动】1.讲PDF的特点：跨平台、能保留排版与内容，广泛用于合同、报告这类正式文档。2.讲两个常用库的分工：一个功能全面，支持读取、合并拆分、加水印；一个专注文本与表格的提取，对含复杂表格的文档效果更好。3.现场演示读取商品信息文件：用二进制只读模式打开，拿到页面列表后逐页提取文本。4.讲清为什么必须用二进制模式：PDF本身就是二进制格式。5.演示提取表格的方法，学生看到表格被还原成二维列表。6.讲清边界：扫描生成的PDF本质是图片，直接提取得不到文本，需要结合光学字符识别技术。讲清技术手段有边界，做不到的事要如实说明。7.讲创建PDF的库与坐标系：原点在页面左下角，横轴向右、纵轴向上，绘制文本时给出的是起始位置。8.讲清处理中文必须先注册中文字体，否则输出的是乱码，现场演示注册与绘制。9.讲图像文件：三种常见格式各有取舍——一种适合照片、有损压缩、文件小；一种支持透明、无损压缩、适合图标与截图；一种支持动画。10.讲图像处理库的基本用法：打开后拿到格式、尺寸、色彩模式三个属性，再做缩放、转灰度、裁剪三种操作，每种操作都返回新的图像而不改动原图。11.讲音视频：音频用一个第三方库，需要先装好多媒体处理工具作后端，可读取时长、声道数、采样率，用毫秒作时间单位做切片，用加减分贝调音量并导出；视频用计算机视觉库，可获取帧率、分辨率、总帧数并逐帧读取，用完后要释放资源、关闭窗口。12.并列六种格式成一张选用对照表投屏，逐列标注适用库与关键注意点。【学生活动】记录六种格式各自的处理库与注意点；说出扫描版PDF为什么提取不出文本；说出图像三个属性各自看什么；说出视频读取完后必须做哪两个动作。【设计意图】对应知识目标4、5。六种格式汇总成表，学生手上有对照，选用时不靠记忆；扫描版PDF这一边界单独讲，呼应思政中的求实态度，学生知道提取不到时要如实报出而不是交一堆乱码；音视频部分按读取信息到处理到收尾的顺序讲，与文件操作的打开、处理、关闭形成呼应。环节五PDF、图像与音视频（15分钟）讲授＋板书对照表直观演示法技术边界：做不到的如实说明【教师活动】1.布置任务：按教材第48–64页的任务实施，完成多源数据整合程序。2.先投屏目标记录表：每一条记录只包含来源、名称、类型三个字段，讲清这就是三种来源要统一成的样子。3.讲类的设计：定义一个多格式数据处理器类，构造时接收数据目录并准备一个空字典存放读进来的数据。4.讲清三个读取方法的共同结构：拼出完整路径，在try块里读取，读成功就存入字典并打印记录数，出异常就打印错误信息并返回空。5.讲清这样设计的好处：某一个文件读失败不会拖垮其他文件的处理。6.讲CSV的读取：用Pandas读入并指定编码，记录条数打印出来。7.讲JSON的读取：用with语句打开并载入，记录条数打印出来。8.讲XML的读取：解析成元素树后遍历商品元素，把编号、名称、价格、类别四个字段取出来组成记录，其中价格要转成数值。9.讲归并方法：按目标记录表把三种来源分别映射成统一的三字段记录，消费者数据归为一类、商品数据归为另一类。10.讲导出方法：把归并结果同时导出成两种格式，一种保留结构便于程序之间交换，一种便于在电子表格里查看。11.运行程序，逐行核对输出：三个文件各自的成功提示与记录数，最后两行报告文件的路径。12.教师巡看，重点检查三处：编码参数是否与来源匹配、XML里的价格有没有转成数值、导出文件里的中文有没有变成转义序列。13.收集共性问题集中讲评一次。【学生活动】独立完成多源数据整合程序的编写与运行；逐行核对输出，不符则回看上一步；打开导出的两种报告文件各看一眼；记录三处检查结果。【设计意图】对应能力目标5，属形成性评价。目标记录表先画出来再写归并代码，学生知道统一到什么样子才算完成，不至于三套数据各存一份；三个读取方法的共同结构点明之后，学生写第三个方法时有样板可依；巡看三处对应本节的three个重点，检查落在具体动作上而不是笼统看有没有报错。环节六上机实操多源数据整合（18分钟）演示—实操—巡视任务驱动法（机房实操）数据安全：只取所需不外传不外存【教师活动】1.引导学生用三句话小结：①写入清空、追加保留，用完交给with；②三种格式各自有对应的库，先看结构再取数据；③多源数据先定目标结构再归并。2.板书项目二的知识框架：环境搭建→基础语法→进阶编程→文件读写，学生拍照记录。3.讲项目小结：本项目围绕Python及相关编程工具这一主题，以电商数据处理为实际应用场景，系统介绍了Python编程的核心知识与技能；通过本项目的学习，学生能够独立搭建开发环境、编写基本的数据处理程序，并处理电商场景中各类常见格式的数据文件，为后续深入学习数据分析和机器学习奠定基础。4.布置技能强化任务：某电商平台需要整合来自不同系统的数据以支持运营决策与商品分析——消费者数据约十万条存于CSV，商品目录五万余个存于XML，订单数据日均约五千单由系统导出为JSON，现有的人工处理方式效率低下。要求学生设计并实现一个多源数据整合与分析系统，实现三种格式的读取、统一数据模型、缺失值与重复值的清洗、消费者画像与商品排行等统计，并导出两种格式的报告文件，代码结构清晰、含注释与异常处理。5.讲评价标准：功能完整性、代码质量、数据处理能力、创新性四个维度各占二成五。6.讲聚焦前沿的三条趋势：自动化数据处理与低代码平台让非技术人员也能参与数据驱动的决策；大语言模型正在改变编程方式，掌握与之协作的能力将成为程序员的重要技能；云端开发与协作平台让开发不再受限于本地环境配置，也促进了团队协作与知识分享。7.课程在线教学平台推送当堂检测5题（打开模式的区别、with语句的作用、三种格式的结构特点、XML解析的三步、图像三个属性各自看什么），限时5分钟，系统自动批改，当场讲评错误率最高的一题。8.布置作业并预告：下一项目讲网络问卷与文献调查两种数据采集方