项目7 使用Scrapy爬虫-爬取某企业官网新闻动态 教案

项目7使用Scrapy爬虫——爬取某企业官网新闻动态教案课程名称：Python网络爬虫技术课程类别：必修适用专业：大数据技术类相关专业总学时：64学时（其中理论24学时，实验40学时）总学分：4.0学分本章学时：10学时材料清单《Python网络爬虫技术（第2版）（微课版）》教材。配套PPT。引导性提问。探究性问题。拓展性问题。教学目标与基本要求教学目标分析目前数据流通的现状，明确数据爬取是实现数据要素化的重要方式。而后介绍Scrapy爬虫框架，阐述该框架与一般Python爬虫的区别，讲解Scrapy爬虫框架的安装、创建爬虫项目，框架中各组件的功能和用途，最后以某企业官网的“新闻中心”页面为例，使用Scrapy框架实现爬虫，抓取指定网站的内容或图片，实时获取企业动态，并进行备份和存储。基本要求（1）了解Scrapy框架各组件的作用以及数据流向。（2）熟悉Scrapy的常用命令及其作用。（3）掌握Scrapy爬取文本信息的方法。（4）能够使用Scrapy框架爬取网站信息。（5）能够根据项目最终目标修改items/pipelines脚本。（6）能够编写spider脚本，解析网页。问题引导性提问引导性提问需要教师根据教材内容和学生实际水平，提出问题，启发引导学生去解决问题，提问，从而达到理解、掌握知识，发展各种能力和提高思想觉悟的目的。（1）如何创建Scrapy爬虫项目？（2）如何从页面上分析数据的XPATH路径？（3）Scrapy的命令有哪些？（4）Scrapy框架有哪些优势？（5）Scrapy爬虫项目包含哪些文件？探究性问题探究性问题需要教师深入钻研教材的基础上精心设计，提问的角度或者在引导性提问的基础上，从重点、难点问题切入，进行插入式提问。或者是对引导式提问中尚未涉及但在课文中又是重要的问题加以设问。Scrapy框架包含了哪些组件？Scrapy各个组件之间的数据流向是怎样的？Scrapy爬虫与其他Python爬虫有何区别？拓展性问题拓展性问题需要教师深刻理解教材的意义，学生的学习动态后，根据学生学习层次，提出切实可行的关乎实际的可操作问题。亦可以提供拓展资料供学生研习探讨，完成拓展性问题。Scrapy框架适用于哪些数据获取场景？Scrapy框架体现了软件架构设计中的哪些思想？如何更有效的存储内容页上的相关数据？主要知识点、重点与难点主要知识点（1）Scrapy框架各组件的作用以及数据流向。（2）Scrapy的常用命令及其作用。（3）Scrapy爬取文本信息的方法。（4）下载器中间件、Spider中间件的定制方法。重点Scrapy框架创建项目的流程和命令。Scrapy脚本的编写和设置。难点Scrapy中间件的定制方法。教学过程设计理论教学过程（1）Scrapy爬虫框架的构成。（2）Scrapy各组件的作用。（3）常见的Scrapy命令。（4）创建Scrapy爬虫项目。（5）修改items/pipelines脚本（6）创建spider爬虫脚本模板。（7）编写spider脚本。（8）修改settings脚本。（9）运行爬虫项目。实验教学过程安装Scrapy爬虫框架并创建爬虫项目。通过Scrapy爬虫项目爬取文本信息。教材与参考资料教材池瑞楠．Python网络爬虫技术（第2版）（微课版）[M]．人民邮电出版社．2023．参考资料江吉彬．Python网络爬虫技术[M]．人民邮电出版社．2019．黄瑞军