数据采集与预处理技术-P4T5-教案

授课教案20—20学年第学期_______学院________专业课程名称数据采集与预处理技术任课教师授课形式理论教学□课内实践□理论+实践☑习题复习□考核评价□其他活动□课时安排2学时（90分钟）序号14授课日期月日月日月日月日授课班级2026级相关专业教学班授课地点实训机房（多媒体）教学内容：项目四任务五网页数据采集进阶课程思政设计：1.合规优先——框架里那个是否遵守爬虫协议的配置项，默认就是真。课堂讲清工具设计者已经把合规做成默认值，使用者没有理由把它改成假。2.工程化意识——从脚本到框架，变的不只是代码量，而是请求调度、去重、错误重试都有了专人负责。课堂讲清把重复劳动交给框架，人的精力要留给业务本身。3.克制与分寸——并发数与下载延迟两个配置项是可以调的，但不该往激进的方向调。课堂讲清跑得快不是本事，不给对方服务器添麻烦才是。4.责任担当——采集能力越强，越要守住边界。课堂讲清掌握框架之后能做的事更多了，能做的事与该做的事之间的那条线，只能自己守。教学目标：知识目标：能说出引入采集框架的原因与它相比简单脚本的四点优势；能说出框架的五个主要特点；能说出引擎、调度器、下载器、爬虫、项目管道、下载器中间件六个组件各自的职责；能说出项目目录结构中五个主要文件的用途；能说出爬虫类三部分结构各自的写法与作用；能说出数据管道三个方法各自的调用时机与职责；能说出五个常用配置项各自的作用。能力目标：能用命令行工具创建项目与生成爬虫；能在数据项文件中声明采集字段；能编写爬虫类完成提取与自动翻页；能用两种选择器取出元素、文本与属性；能编写一个把数据保存为文件的管道并在配置中启用；能设置请求头、下载延迟与并发数并用命令行运行爬虫。素质目标：养成运行采集任务前先确认协议配置项为真、延迟设置合理的习惯；养成把采集、清洗、存储分到不同组件里的习惯；养成采集范围限定在指定域名内的习惯。教学重难点及解决方法：教学重点：六个组件各自的职责；爬虫类三部分结构的写法；数据管道三个方法的调用时机；五个配置项中合规与频率相关的两项。教学难点：把原先写在一个脚本里的事情拆到框架的不同组件中去；管道优先级数字的含义与多管道的执行顺序。学生习惯一段代码从头写到尾，拆到四个文件里会找不到东西；也常把优先级数字大小与实际先后弄反。解决方法：针对难点：先画一张从脚本到框架的职责分派图，把原来脚本里做的事逐条指到框架组件上，学生看着图知道该在哪个文件里写什么；优先级数字用两个管道现场跑一次，学生看到数字小的先执行，顺序由运行结果给出。针对重点问题：采用边讲边练，每讲完一个组件即在机房同步操作一遍，教师巡看每步输出；六个组件做成一张职责表投屏，学生照表定位；讲配置项时把合规与频率两项单独标红，运行前逐项核对；课后按随堂检测结果推送分层强化练习。教学环境及平台：实训机房（多媒体），人手一机，配备投影与广播教学系统；课程在线教学平台。软件与工具：Python3运行环境、Scrapy；命令行工具；文本编辑器。数据与素材：教材示例商品列表页面（含图片、名称、价格三类字段）。课堂练习在教材指定示例站点范围内进行，遵守站点协议与延迟设置，不采集任何个人信息。教学资源：①教材《数据采集与预处理技术》第114–123页正文、示例代码与项目流程图；②本课程课件（含六个组件职责表、脚本到框架的职责分派图、五个配置项说明表、项目目录结构图）；③课程在线教学平台（预习测验、随堂练习、课后答疑）与课程AI智能体。学习效果评价方式：过程性评价40%＋终结性评价60%的综合评价方式，本次课成绩计入平时成绩，对应其中三项：①课堂实操（主要部分）：完成采集项目的搭建与运行，按目录结构规范性、爬虫提取正确性、管道与配置完整性三项评分；②随堂测验：下课前5题（五个特点、六个组件的职责、三部分结构的写法、三个方法的调用时机、五个配置项的作用），平台自动批改，当场讲评错误率最高的一题；③课后作业：提交项目目录截图、四个关键文件的源码与运行结果截图。课前预习：平台3道诊断题（为什么要引入框架、框架有哪些组件），统计错误率用于调整讲授重点。课后小结：填表说明：1.序号，指该课程授课的顺序号，应与授课计划一致；2.授课形式在相应的选项打“√”。教学内容及过程时间分配方法及手段思政元素【教师活动】1.承接前四个任务：采集需求在增长，技术团队发现之前编写的简单爬虫程序已经难以满足业务要求。2.讲三个具体的吃力之处：需要采集大量页面时；需要解析复杂的网页结构时；需要应对各种反爬虫机制时。3.讲清症结：传统的请求库加解析库组合性能不足、工程性较差，代码变得越来越难以维护。4.提问：一段几十行的脚本跑一两个页面没问题，跑到上千个页面会先在哪里出问题？让学生先说。5.讲清方向：为了搭建专业化、高效能的数据采集系统，团队决定引入采集框架。6.讲框架是什么：一款高性能的Python爬虫框架，提供一体化数据采集解决方案，包括请求调度、数据解析、数据管道、中间件扩展等功能。7.点明本任务的内容：介绍这个框架的使用方法。【学生活动】记录三个吃力之处；回答脚本跑到上千个页面会先在哪里出问题；说出自己写过的程序在多起来之后遇到的麻烦。【设计意图】对应知识目标1。用前四个任务的积累引出瓶颈，框架的必要性由脚本的极限反衬；先让学生说出脚本会先在哪里出问题，后面讲调度器与去重时正好回应；把框架提供的四项能力讲在开头，后面六个组件逐项展开时有总纲。环节一情境导入：脚本越写越难维护（8分钟）情境导入任务驱动法（投屏＋讲述）工程化意识：重复劳动交给框架【教师活动】1.讲定位：Scrapy是Python中最流行的网页采集框架，专为大规模数据采集设计；它采用异步处理机制，能够高效地处理大量请求，并提供灵活的扩展机制。2.讲五个特点并投屏：高效的异步处理，能够并发处理多个请求；内置多种数据解析方法，支持XPath和CSS选择器；强大的中间件机制，便于扩展；完善的数据处理管道，兼容多种存储方案；丰富的配置项，可以灵活调整采集策略。3.讲清异步的含义：多个请求不必排队等前一个返回，这是它比顺序脚本快的原因。4.讲架构总览：框架由多个核心组件构成，各组件分工协作。5.讲第一个组件引擎：核心控制模块，负责协调其他组件的工作。6.讲第二个组件调度器：管理待采集的网址队列，实现去重和优先级排序。7.单独点明去重的价值：这正是上一环节里学生说出的脚本会先出问题的地方。8.讲第三个组件下载器：负责发送请求并接收响应报文。9.讲第四个组件爬虫：用户编写的核心代码，负责解析响应内容、提取字段和发现新的网址。10.讲第五个组件项目管道：处理爬虫提取的数据，完成清洗、校验与持久化存储。11.讲第六个组件下载器中间件：在请求发出前、响应返回后进行处理，可实现代理设置、会话维护等。12.并列六个组件成职责表投屏，逐列标注它管什么、谁来写。13.先画一张从脚本到框架的职责分派图：原来脚本里自己数的网址、自己加的延迟、自己写的文件保存，分别指到调度器、配置项与管道上。【学生活动】记录五个特点与六个组件的职责；跟着把脚本里的三件事指到框架组件上；说出去重解决的是什么问题；说出哪个组件由使用者自己编写。【设计意图】对应知识目标3，突破难点职责拆分。六个组件并列成职责表并标注谁来写，学生知道框架替自己做了哪些、自己还要写哪些；去重与上一环节的追问呼应，抽象的组件价值由具体问题反衬；职责分派图把旧脚本与新课纲连起来，学生不会把框架当成凭空出现的新东西。环节二框架的特点与六大组件（14分钟）讲授＋板书职责表分派图投屏分而治之：各司其职才好维护【教师活动】1.讲第一步安装：给出安装命令，机房同步执行，安装完成后即可调用命令行工具。2.讲第二步创建项目：需要在命令提示符或终端窗口中使用框架内置命令行工具；新建项目命令的标准格式为命令加项目名称。3.现场演示创建命令与切入目录命令，讲清执行后框架会自动生成包含配置文件、爬虫目录等资源的项目文件夹。4.投屏项目目录结构，逐个讲清五个主要文件的用途：部署配置文件；数据项定义文件；中间件文件；数据管道文件；项目配置文件；以及爬虫目录。5.讲第三步定义数据项：数据项通过继承框架的数据项类来定义，每个需要采集的字段用字段声明。6.现场在数据项文件中创建一个类，为商品名称、商品价格、商品评分、商品链接四个字段各声明一个属性。7.讲清这种定义方式的价值：它类似于字典，用于规范化存储采集到的数据，确保所有爬虫提取的数据结构一致。8.讲清与前面任务的关系：这一步相当于给采集结果定下字段清单，与上一任务日志解析时统一字段名的要求一致。9.提问：如果不定义数据项、直接用字典，会有什么后果？引导学生说出不同爬虫之间字段可能不一致。【学生活动】跟着执行安装与创建命令；记录五个主要文件的用途；跟着在数据项文件中声明四个字段；回答不定义数据项会有什么后果。【设计意图】对应能力目标1、2，落实重点目录结构。五个文件逐个讲用途，学生在新生成的目录里不会迷路；数据项的规范化价值与上一任务的字段名统一要求串起来，工程规范在多个任务之间连贯；不定义数据项的后果用一个追问带出，学生明白这一步不是形式。环节三创建项目与定义数据项（12分钟）讲授＋板书直观演示法（投屏＋同步操作）结构统一：字段先定好结果才一致【教师活动】1.讲创建爬虫的命令：使用命令加爬虫名加域名的方式创建，执行后框架会在爬虫目录下生成一个爬虫文件。现场演示。2.讲爬虫类的第一部分基本属性声明：爬虫名称必须唯一；允许采集的域名列表用于限定采集范围；起始网址列表是爬虫启动时首先请求的网址。3.单独强调限定域名这一条：它限制跨站点采集，是范围控制的第一道闸门。4.讲第二部分解析方法：这是爬虫的核心逻辑，框架在获取到网页响应后会自动调用该方法；方法内部使用选择器提取数据，并通过yield关键字返回数据项。5.讲清yield与return的差别：前者把数据一个个交出去而不结束函数，正适合边解析边交数据。6.投屏一个完整的爬虫示例，逐行讲清：遍历所有商品元素；为每个元素造一个数据项并逐字段填入；用网址拼接方法把相对路径补全为完整链接；最后把数据项交出去。7.讲第三部分分页处理：在解析方法末尾检测是否存在下一页链接，如果存在则通过跟进方法发起新的请求，实现自动翻页采集。8.讲清跟进方法的作用：它负责解析相对路径并发起新请求。9.讲清这样写的价值：翻页逻辑与提取逻辑写在一处，框架负责把新请求排进队列并去重。10.提问：如果不限制允许采集的域名，会发生什么？引导学生说出可能采到范围之外的站点。【学生活动】跟着执行创建爬虫命令；记录三部分结构各自的写法；说出限定域名的作用；说出yield与return的差别；回答不限制域名会发生什么。【设计意图】对应知识目标5、能力目标3，落实重点三部分结构。三部分按声明、提取、翻页的顺序讲，学生写爬虫类时有骨架；限定域名单独强调，呼应思政中的克制与分寸；分页逻辑与框架去重的配合点明，学生知道翻页不用自己维护队列；不限制域名的追问把范围控制讲成技术性约束而不只是口头提醒。环节四编写爬虫三部分结构（14分钟）讲授＋板书直观演示法（投屏＋同步敲）范围控制：域名限定是第一道闸门【教师活动】1.讲选择器的支持：框架支持CSS选择器和XPath选择器两种方式提取数据。2.投屏三种写法并讲清：选择元素用CSS表达式；取文本在表达式后加取文本的伪类写法再调用取第一个的方法；取属性在表达式后加取属性的伪类写法再调用取第一个的方法。3.投屏对应的三条路径表达式，学生对照两种写法。4.讲两个取值方法的差别：取第一个的方法返回第一个匹配结果，取全部的方法返回所有匹配结果的列表。5.讲清与前面任务的关系：这两种写法与上一任务在解析库里学的完全一致，知识可以直接搬过来。6.讲管道的定位：管道是框架中负责处理爬虫提取数据的组件，在项目目录下的管道文件中定义。7.讲三个方法及调用时机并投屏：爬虫启动时自动调用的方法，通常用于初始化资源；每个数据项被提取后自动调用的方法，用于对数据进行清洗、校验和持久化存储；爬虫结束时自动调用的方法，用于释放资源。8.单独强调中间那个方法必须返回数据项或抛出丢弃异常，否则链条就断了。9.投屏一个把数据保存为JSON文件的管道示例：启动时打开文件并写入左方括号，处理每条时按是否第一条决定加不加逗号并写入一行，结束时补上右方括号并关闭文件。10.讲启用的写法：在配置文件中通过管道配置项启用，数字代表执行优先级，数字越小执行优先级越高。11.现场配置两个管道并运行一次，学生看到数字小的先执行。【学生活动】记录三种CSS写法与三条路径表达式的对照；说出两个取值方法的差别；说出三个方法各自的调用时机；观察两个管道的执行顺序并说出优先级数字的含义。【设计意图】对应知识目标6、能力目标5，突破难点管道优先级。两种选择器写法与上一任务直接衔接，学生不必重新学一套；三个方法按启动、逐条、结束的时序讲，学生知道该把初始化与收尾放在哪里；管道优先级用两个管道现场跑一次，顺序由运行结果给出，数字大小与先后的关系不再靠记忆。环节五选择器与数据管道（12分钟）讲授＋板书对照表（投屏＋同步敲）资源意识：开了就要关用完就释放【教师活动】1.布置任务：按教材第114–123页的任务实施，搭建一个完整的采集项目。2.讲清合规前提：运行之前先核对两个配置项——是否遵守爬虫协议设为真，下载延迟设为合理数值。3.讲第一步数据项：在数据项文件中声明图片地址、名称、价格三个字段。4.讲第二步爬虫：在爬虫文件中定义爬虫类，设置爬虫名称、限定域名与起始网址；在解析方法中用路径表达式取出列表元素集合，逐个取出图片地址、名称与价格。5.讲清图片地址这一处的处理：第一张图片与其他图片所用的标签属性不一样，先按其中一个属性取，取不到再退回另一个属性，现场演示这个二选一写法。6.讲第三步翻页：设定页数上限，未到上限时拼出下一页网址并发起新请求。7.讲清上限的意义：练习用的采集任务必须设上限，不能无限翻下去。8.讲第四步管道：配置两个管道，一个把数据写成文件，一个负责下载图片；讲清两条管道的优先级数字一大一小，执行有先后。9.讲第五步配置：在配置文件中设置爬虫名称、模块路径、是否遵守协议、并发数、下载延迟、两条管道与导出编码。10.逐项讲清每项配置的作用，其中协议与延迟两项单独标红，运行前逐项核对。11.讲第六步运行：给出运行命令，现场执行并观察日志输出。12.讲清框架替我们做的事：请求调度、数据去重、错误重试都由框架自动处理，大幅减少了开发工作量。13.教师巡看，重点检查三处：协议配置项是否为真、下载延迟是否已设置、爬虫的域名限定是否与任务范围一致。【学生活动】独立完成项目搭建与运行；在教材指定示例站点范围内完成采集；逐项核对配置项；记录三处检查结果；观察运行日志并说出框架自动完成了哪些工作。【设计意图】对应能力目标6，属形成性评价。合规核对放在第一步而不是最后补，与思政中的合规优先一致；图片地址二选一这一处现场演示，学生看到真实页面上的属性差异如何被代码吸收；页数上限单独交代，练习范围的边界由代码落实；巡看三处对应本节的three个重点，检查落在具体动作上。环节六上机实操搭建完整的采集项目（20分钟）演示—实操—巡视任务驱动法（机房实操）合规优先：协议为真延迟合理【教师活动】1.引导学生用三句话小结：①调度去重交给框架，人只写提取与翻页；②管道三个方法，开了要关、处理要返回；③协议为真、延迟合理，运行前逐项核对。2.板书项目四的知识框架：网页结构→请求抓取→数据解析→日志采集→框架进阶，学生拍照记录。3.讲项目小结：本项目围绕网页数据采集与处理展开，系统介绍了从网页结构认知到数据采集实践的完整流程；通过本项目的学习，学生应能理解HTML、CSS、JavaScript等网页前端语言的特点与作用，掌握使用请求库发送HTTP请求的方法，熟练运用正则表达式、解析库、路径表达式等技术解析网页数据，了解常见反爬虫机制及其应对策略，能够采集和处理网站访问日志数据，并能够使用框架构建完整的数据采集项目。4.讲清寄语：网页数据采集是数据分析工作的重要基础，学生在掌握技术的同时要始终恪守合法合规采集准则，成为一名具备合规意识与责任感的数据从业者。5.布置技能强化任务：某电商比价网站需要实时监控多个电商平台的商品价格，现有系统存在四个问题——单机爬虫每天只能采集约十万条商品数据，无法支持百万级商品监控需求；部分商品的价格、库存等关键信息采集不完整，影响比价结果准确性；频繁被目标网站封禁来源地址，导致采集任务中断；促销活动期间价格变化频繁，无法实现小时级别的数据更新。要求搭建采集项目实现对指定平台商品信息的自动采集，设计合理的解析逻辑确保关键信息准确提取，配置请求头、标识轮换与下载延迟应对基础反爬，开发数据清洗管道过滤脏数据并统一价格字段格式，制定存储方案把数据保存到数据库或文件中。6.讲评价标准：系统功能完整性四十分、代码质量与规范性二十五分、反爬虫策略有效性二十分、文档完整性十五分。7.讲聚焦前沿的三条趋势：智能化结构识别方面，新一代采集技术开始引入深度学习，利用图神经网络对文档树建模，能够自动识别商品名称、价格等关键区域，识别准确率相较传统规则匹配大幅提升；无头浏览器技术方面，随着越来越多网站采用脚本动态渲染，新一代无头浏览器工具获得广泛应用，可以完整执行脚本、模拟真实用户行为，相较传统自动化工具在运行性能与稳定性方面都有显著提升；数据合规与隐私保护方面，随着数据安全法与个人信息保护法等法律法规的实施，企业与开发者需严格遵守爬虫协议及网站服务条款，建立标准化的数据采集规范，差分隐私、联邦学习等技术也开始应用于数据采集领域，在保护用户隐私的同时挖掘数据潜在价值。8.讲清三条趋势的共同指向：采集会越来越自动，但合规与隐私的边界只会越来越清晰，不会越来越模糊。9.课程在线教学平台推送当堂检测5题（五个特点、六个组件的职责、三部分结构的写法、三个方法的调用时机、五个配置项的作用），限时5分钟，系统自动批改，当场讲评错误率最高的一题