Python基础与大数据应用（第2版）（微课版） 教案单元 08 Python 爬虫框架

单元08Python爬虫框架教案课程名称：Python基础与大数据应用课程类别：必修适用专业：大数据技术类相关专业总学时：64学时总学分：4.0学分本章学时：8学时一、材料清单《Python基础与大数据应用（第2版）（微课版）》教材Scrapy框架安装、项目创建、爬虫编写示例代码国家统计局爬虫、古诗词名句爬虫完整源码Ubuntu20.04+Python3.12.1+Scrapy2.11.1环境二、教学目标与基本要求1.教学目标了解主流Python爬虫框架；掌握Scrapy框架架构、组件与数据流；熟练完成Scrapy安装、项目创建、配置编写、爬虫开发；掌握使用XPath提取数据、Item定义、Pipeline数据处理；能独立完成网页文本与数据爬取并保存至文件/MySQL数据库；具备使用专业爬虫框架高效采集数据的能力。2.素质目标强化合法、合规、守信、守规的网络行为准则。工程化开发思想，培养规范开发、安全开发、责任开发的职业素养。引导学生将技术用于国家大数据战略、数字政府、智慧城市建设，增强家国情怀与使命感。3.基本要求了解常见爬虫框架：Scrapy、Crawley、Portia、PySpider、BeautifulSoup等。掌握Ubuntu与PyCharm下安装Scrapy框架。理解Scrapy架构：引擎、调度器、下载器、爬虫、管道、中间件。掌握Scrapy命令：startproject、genspider、crawl、shell、fetch等。掌握项目结构：items.py、middlewares.py、pipelines.py、settings.py、spiders。会编写Item定义数据结构，使用XPath提取网页内容。会编写Pipeline将数据保存到文本文件/MySQL数据库。能完成实战项目：爬取国家统计局、古诗词名句网页数据。三、问题设计1.引导性提问什么是爬虫框架？使用框架比手写爬虫优势是什么？Scrapy由哪些核心组件组成？创建Scrapy项目的命令是什么？运行爬虫的命令是什么？Item文件的作用是什么？Pipeline的作用是什么？如何让Scrapy保存数据到文件/数据库？如何设置User-Agent与关闭Robots协议？2.探究性问题Scrapy的数据流执行过程是什么？为什么要把爬取字段定义在Item里？XPath在Scrapy中如何使用？多页爬取如何构造URL列表？如何处理反爬、延时、请求头？3.拓展性问题如何实现分布式爬虫？如何将爬取数据存入MySQL、MongoDB？如何实现断点续爬、定时爬取？企业大数据采集如何使用Scrapy？四、主要知识点、重点与难点1.主要知识点常见爬虫框架简介Scrapy框架安装（pip/PyCharm）Scrapy架构与数据流Scrapy全局命令与项目命令Scrapy项目目录结构items.py定义数据字段settings.py配置（Robots、请求头、并发、管道）spiders编写爬虫与XPath提取pipelines.py数据处理与保存实战：国家统计局政策文件爬取实战：古诗词名句爬取并入库MySQL2.教学重点Scrapy安装与环境配置项目创建与命令使用Item与Spider编写XPath数据提取Pipeline数据保存完整爬虫项目编写流程3.教学难点Scrapy架构与数据流理解settings.py配置项XPath精准提取多页爬取URL构造数据库Pipeline编写五、教学过程设计（共8学时）第1–2学时：爬虫框架简介+Scrapy安装常见爬虫框架介绍Scrapry框架特点与优势Ubuntu安装Scrapy及依赖PyCharm安装Scrapy验证安装：scrapyversion第3–4学时：Scrapy架构+命令+项目结构Scrapy架构组件数据流执行流程全局命令：startproject、shell、fetch、view等项目命令：genspider、crawl、list等项目目录结构讲解第5–6学时：Item+Spider+XPath爬取items.py编写爬虫文件编写：name、allowed_domains、start_urls、parse()XPath提取标题、时间、内容多页爬取URL拼接运行爬虫查看结果第7–8学时：Pipeline+项目实战+数据库存储pipelines.py编写：保存文本/MySQLsettings.py启用Pipeline实战1：国家统计局爬取实战2：古诗词名句爬取+MySQL存储调试、排错、作业布置六、教材与参考资料1.教材《Python基础与大数据应用（第2版）（微课版）》2.参考资料[1].丁辉，陈永．Python程序设计教程[M]．北京：高等教育出版社．2019．[2].董付国．Python可以这样学[M]．北京：清华大学出版社，2017．[3].林子雨，赵江声，陶继平．Python程序设计基础教程（微课版）[M]．北京：人民邮电出版社，2022．七、教学反思与建议Scrapy抽象度较高，先讲流程再讲组件，降低理解难度。重点练习：创建项目→写Item→写爬虫→配settings→写Pipeline→运行。XPath提取反复练习，强调