数据采集与预处理电子教案 P2-T3-使用Scrapy爬取北京公交信息

数据采集与预处理课程教案课程思政版·理实一体化课程名称数据采集与预处理课程类型专业核心课（理实一体化）教案编号P2-T3授课周次第周章节项目2网络爬虫实践本次学时4学时（180分钟）课题任务3使用Scrapy爬取北京公交信息授课类型理论+实践授课地点计算机实训室授课班级授课日期年月日授课教师教室/实训室计算机实训室一、教学目标目标维度具体内容🎯课程思政目标（价值塑造）通过本任务的学习，培养学生：①精益求精的工匠精神和严谨细致的工作态度；②遵守职业规范、保护数据安全的职业道德意识；③团队协作、共同解决技术问题的合作精神。📚认知目标（知识传授）①识记网络爬虫的结构。②熟悉网络爬虫的基础知识。💪能力目标（技能培养）①熟悉爬虫基本库urllib和Selenium的使用。②熟悉BeautifulSoup和PyQuery解析库的使用。③学会编写网络爬虫来采集北京公交线路相关信息的方法。二、教学重点与难点（核心知识点）类别内容教学重点1.借助学习论坛、网络视频等网络资源和各种图书资源，学习网络爬虫相关技术，熟悉Scrapy的使用方法。2.使用Scrapy实现北京公交信息的获取。3.创建一个Scrapy项目教学难点1.借助学习论坛、网络视频等网络资源和各种图书资源，学习网络爬虫相关技术，熟悉Scrapy的使用方法。2.使用Scrapy实现北京公交信息的获取。3.创建一个Scrapy项目三、教学过程设计（180分钟理实一体化）教学环节时间教学内容与活动课程思政融入课程导入10分钟1.情景导入：展示使用Scrapy爬取北京公交信息在实际项目中的应用案例2.回顾上节课的知识点，建立知识联系3.提出本节课的学习问题：如何实现使用Scrapy爬取北京公交信息？4.明确本次任务目标和学习路径创设真实应用情境，激发学习兴趣，潜移默化融入思政元素，引导学生思考技术与社会的关系。理实一体化78分钟通过定义Item，可以方便地使用Scrapy的其他方法，而这些方法需要知道Item的定义。5．编写spiderspider是用户编写的用于从单个网站（或者一些网站）爬取数据的类。其提供了下载初始URL、获取网页中超链接，以及提取页面中的内容生成Item的方法。为了创建一个spider，必须继承scrapy.Spider类，且定义以下3个属性。name：用于区分spider。该名称必须是唯一的，禁止为不同的spider设定相同的名称。start_urls：包含spider启动时爬取的初始URL列表，后续爬取的URL均基于此获取。parse()：spider的一个方法。被调用时，每个初始URL完成下载后生成的Response对象将作为唯一的参数传递给该方法。该方法负责解析返回的数据，提取数据（生成Item）以及生成需要进一步处理的URL的Request对象。6．提取Item从网页中提取数据有很多方法。Scrapy使用了一种基于XPath和CSS表达式的机制：ScrapySelectors。以下是几种常用的XPath表达式以及对应的含义。/html/head/title：选择HTML文档中head标签内的title元素。/html/head/title/text()：选择title元素中的文本内容。//td：选择文档中所有的td元素。//div[@class="mine"]：选择所有具有mine属性的div元素。为了配合XPath，Scrapy除了提供selector，还提供了一些其他方法来避免每次都要手动创建selector的麻烦。selector提供了以下4个基本的方法。通过网络数据采集的合法性讨论，培养学生遵守网络法规、尊重数据版权的职业道德与法律意识。理实一体化77分钟xpath()：传入XPath表达式，返回该表达式所对应的所有节点的selector列表。css()：传入CSS表达式，返回该表达式所对应的所有节点的selector列表。extract()：序列化为Unicode字符串，并返回列表。re()：根据传入的正则表达式对数据进行提取，返回Unicode字符串的列表。7．存储爬取的数据最简单的存储爬取的数据的方式是使用Feedexports。scrapycrawlbeibus-oitems.json该命令将采用JSON格式对爬取的数据进行序列化，并生成items.json文件。对于小规模的项目，这种存储方式较为灵活。如果需要对爬取到的Item做更多、更复杂的操作，则需要编写pipelines.py文件。8．执行项目切换到项目的根目录，执行以下命令启动spider。scrapycrawlspider_nameScrapy为spider的start_urls属性中的每个URL都创建了scrapy.Request对象，并将parse()方法作为回调函数赋给Request对象。Request对象经过调度生成scrapy.http.Response对象，并返回给spider的parse()方法。#获取返回的JSON内容通过独立实践操作，培养学生自主探究能力和解决实际问题的技术应用能力，强调规范操作和数据安全意识。课堂总结15分钟1.梳理本次课程的核心知识点2.对比总结使用Scrapy爬取北京公交信息的关键操作步骤3.布置课后作业：完成课后练习题，预习下一任务4.预告下一次课程内容归纳总结知识要点，强化职业规范意识，鼓励学生持续学习、精益求精，以工匠精神要求自己。四、课后作业①复习并整理本次课程的核心知识点，撰写不少于200字的学习心得。②完成教材项目2网络爬虫实践中与使用Scrapy爬取北京公交信息相关的课后练习题。③拓展练习：自行查阅资料，尝试将使用Scrapy爬取北京公交信息应用到一个新的场景