《Python网络爬虫基础教程》教学设计 第3章 抓取静态网页数据

博学谷——让IT教学更简单，让IT学习更有效PAGE12《Python网络爬虫基础教程》教学设计课程名称：___________________授课年级：___________________授课学期：___________________教师姓名：___________________年月课题名称第3章抓取静态网页数据计划课时5课时教学引入静态网页作为早期互联网的主要形式，它的数据直接内嵌于HTML源代码中，是网络爬虫最基础且最易处理的抓取对象。尽管静态网页的结构相对简单，但在实际抓取过程中仍会面临诸多挑战，包括但不限于网站防爬虫、网络请求异常以及数据解析困难等问题。针对这些常见问题，需要采取系统化的解决方案来确保爬虫程序的稳定性。本章将系统性地介绍静态网页数据抓取的完整流程，从基础的请求发起，到复杂的请求参数配置，再到各类防爬虫策略的应对措施。教学目标使学生了解抓取静态网页的实现技术，能够说出每种实现技术的特点使学生掌握Requests中基本请求的发送方式，能够向服务器发送GET请求和POST请求使学生掌握Requests中响应内容的处理方式，能够根据需要获取响应内容使学生掌握Requests中请求头的定制方式，能够为GET请求和POST请求定制请求头使学生掌握Requests中验证Cookie的方式，能够为GET请求和POST请求携带Cookie使学生掌握Requests中保持会话的方式，能够使用Session类的方法实现保持会话的效果使学生掌握Requests中SSL证书验证的方式，能够在请求SSL证书失效网站时关闭验证使学生掌握Requests中代理服务器的设置方式，能够为请求设置代理服务器使学生掌握Requests中异常的处理方式，能够在程序中处理请求超时异常教学重点发送GET请求发送POST请求定制请求头保持会话设置代理服务器教学难点验证Cookie保持会话设置代理服务器教学方式课堂教学以PPT讲授为主，并结合多媒体进行教学教学过程第一课时（抓取静态网页的技术、发送GET请求、发送POST请求、处理响应）复习巩固教师通过上节课作业的完成情况，对学生吸收不好的知识点进行再次巩固讲解。创设情境，导入新课同学们，用基础方法爬取某电商PC端商品详情页时，想获取商品价格（GET请求）和用户评价（POST请求）却不知道怎么发请求、处理返回数据？今天我们攻克静态网页爬取核心——掌握GET/POST请求发送技巧，学会处理响应数据，轻松抓取静态页面的关键信息！三、新课讲解知识点1-抓取静态网页的技术教师通过PPT的方式讲解抓取静态网页的技术。（1）介绍如何抓取静态网页数据。（1）介绍Python用于发送HTTP请求的工具库。urllibRequests。httpx知识点2-发送GET请求教师通过PPT的方式讲解发送GET请求。（1）介绍使用Requests库发送GET请求。（2）介绍使用get()函数发送不携带url参数的请求。（3）介绍使用get()函数发送携带url参数的请求。知识点3-发送POST请求教师通过PPT的方式讲解发送POST请求。（1）介绍post()函数的作用。（2）介绍post()函数中常用参数所代表的含义。知识点4-处理响应教师通过PPT的方式讲解处理响应。（1）介绍Response类常用属性所代表的含义。（2）演示通过Response类的text属性和content属性获取网页源代码和图片。四、归纳总结教师回顾本节课所讲的内容，并通过测试题的方式引导学生解答问题并给予指导。五、布置作业教师通过高校教辅平台（）布置本节课作业以及下节课的预习作业。第二课时（定制请求头、验证Cookie、保持会话、SSL证书验证）一、复习巩固教师通过上节课作业的完成情况，对学生吸收不好的知识点进行再次巩固讲解。二、创设情境，导入新课同学们，用基础请求爬取某电商PC端会员专属商品数据时，频繁被判定为非浏览器访问，登录后还很快失效？今天我们优化请求策略——学定制请求头伪装浏览器，验证Cookie、保持会话，处理SSL证书验证，让爬虫稳定获取会员专属数据！新课讲解知识点1-定制请求头教师通过PPT的方式讲解定制请求头。（1）介绍定制请求头的目的。（2）介绍如何查看请求头。（3）介绍如何设置请求头。知识点2-验证Cookie教师通过PPT的方式讲解验证Cookie。（1）介绍Cookie的作用。（2）介绍Cookie的组成。（3）介绍在Requests库中，发送请求时携带Cookie的两种方式。知识点3-保持会话教师通过PPT的方式讲解保持会话。（1）介绍保持会话的作用。（2）介绍通过Session()类如何实现状态保持。知识点4-SSL证书验证教师通过PPT的方式讲解SSL证书验证。（1）介绍什么是SSL证书。（2）介绍如何使用Requests请求SSL证书过期的网站。四、归纳总结教师回顾本节课所讲的内容，并通过测试题的方式引导学生解答问题并给予指导。五、布置作业教师通过高校教辅平台（）布置本节课作业以及下节课的预习作业。第三课时（代理服务器简介、设置代理服务器、检测代理IP的有效性、处理异常）一、复习巩固教师通过上节课作业的完成情况，对学生吸收不好的知识点进行再次巩固讲解。二、创设情境，导入新课同学们，解决了登录问题后，频繁爬取数据是不是遇到了“IP被封”的提示？这时候“代理服务器”就能帮上忙。今天我们先认识代理的作用，再学设置方法，同时掌握IP有效性检测和异常处理技巧，让爬虫更“抗打”。三、新课讲解知识点1-代理服务器简介教师通过PPT的方式讲解代理服务器简介。（1）介绍什么是代理服务器。（2）介绍代理服务器的使用场景。（3）介绍代理服务器的种类。知识点2-设置代理服务器教师通过PPT的方式讲解设置代理服务器。（1）介绍如何获取代理IP。（2）介绍如何在代码中设置代理IP。知识点3-检测代理IP的有效性教师通过PPT的方式讲解检测代理IP有效性。（1）介绍为什么要检测代理IP的有效性。（2）介绍使用代码如何检测代理IP的有效性。知识点4-处理异常教师通过PPT的方式讲解处理异常。（1）介绍requests.exceptions模块中常见异常类的作用。（2）演示requests.exceptions模块中异常类的使用。四、归纳总结教师回顾本节课所讲的内容，并通过测试题的方式引导学生解答问题并给予指导。五、布置作业教师通过高校教辅平台（）布置本节课作业以及下节课的预习作业。第四、五课时（上机练习）

上机练习主要针对本章中需要重点掌握的知识点，以及在程序中容易出错的内容进行练习，通过上机练习可以考察同学对知识点的掌握情况，对代码的熟练程度。上机一：（考察知识点为：发送GET请求、发送POST请求、处理响应、定制请求头）形式：单独完成题目：在Python环境中安装Requests库，并完成以下要求。1.实验目的（1）掌握使用Requests库发送GET请求和POST请求。（2）掌握如何处理HTTP返回的响应信息。（3）掌握使用Requests库在发送请求时定制请求头。2.实验工具（1）实验设备：已接入网络的计算机。（2）操作系统：Windows7/8/10。3.实验内容（1）根据3.2.1小节内容，练习使用Requests库向百度首页发送GET请求时不携带请求参数和携带指定参数。（2）根据3.2.2小节内容，练习使用Requests库向黑马头条发送POST请求。（3）根据3.2.3小节内容，练习通过Requests库获取百度首页源码以及获取百度首页Logo图片。（4）根据3.3.1小节内容，使用Requests库向豆瓣读书首页发送GET请求，并在发送请求时设置指定的请求头。4.总结对实验进行总结，记录实验过程中遇到的问题以及解决办法。上机二：（考察知识点为：验证Cookie、保持会话、设置代理服务器）形式：单独完成1.实验目的（1）掌握使用Requests库发送请求时，携带Cookie信息。（2）掌握使用Requests库发送请求时，保持当前会话。（3）掌握使用Requests库发送请求时，设置代理服务器。2.实验工具（1）实验设备：已接入网络的计算机。（2）操作系统：Windows7/8