《Python网络爬虫基础教程》教学设计 第2章 网页请求原理

博学谷——让IT教学更简单，让IT学习更有效PAGE12《Python网络爬虫基础教程》教学设计课程名称：___________________授课年级：___________________授课学期：___________________教师姓名：___________________年月课题名称第2章网页请求原理计划课时6课时教学引入网络爬虫模拟了浏览器访问网页的过程，这个过程涉及浏览器与服务器的请求-响应交互机制，具体而言，浏览器向目标服务器发送请求，服务器接收并处理该请求后，将相应的网页数据返回给浏览器。因此，了解浏览器与服务器之间的通信方式和交互过程，理解网页的组成、结构、分类、数据格式，能加深对网络爬虫的理解。本章将针对网页请求原理的相关知识进行讲解。教学目标使学生了解并能够复述浏览器加载网页的过程使学生熟悉HTTP的基础知识，能够归纳URL格式、HTTP请求格式和HTTP响应格式使学生熟悉网页的基础知识，能够归纳网页的开发技术、结构、分类和数据格式使学生掌握HTTP抓包工具Fiddler的使用，能够独立安装并使用Fiddler工具使学生熟悉浏览器开发者工具的使用，能够该工具分析网页结构和监控网络请求教学重点Fiddler的下载与安装Fiddler捕获HTTPS页面的设置Fiddler的基本使用浏览器开发者工具教学难点网页数据的格式Fiddler的基本使用浏览器开发者工具教学方式课堂教学以PPT讲授为主，并结合多媒体进行教学教学过程第一课时（浏览器加载网页的完整过程、URL简介、HTTP和HTTPS、HTTP请求格式）复习巩固教师通过上节课作业的完成情况，对学生吸收不好的知识点进行再次巩固讲解。创设情境，导入新课同学们，输入“”按下回车，百度页面就加载完成——这串带“https”的网址（URL）是什么意思？从输入到显示，浏览器经历了怎样的完整流程？数据传输靠HTTP家族保驾护航，那它的请求信息又长什么样？今天我们就逐一解开这些疑问。三、新课讲解知识点1-浏览器加载网页的过程教师通过PPT的方式讲解浏览器加载网页的过程。介绍浏览器加载网页的流程。知识点2-URL简介教师通过PPT的方式讲解URL简介。（1）介绍URL的概念。（2）介绍URL的语法格式。（3）介绍URL格式中常用选项所代表的含义。schemehostportpath知识点3-HTTP和HTTPS教师通过PPT的方式讲解HTTP和HTTPS。（1）介绍什么是HTTP。（2）介绍什么是HTTPS。知识点4-HTTP请求格式教师通过PPT的方式讲解HTTP请求格式。（1）介绍HTTP请求的格式。（2）介绍什么是请求行。（3）介绍GET方法和POST方法的区别。（4）介绍什么是请求头。（5）介绍请求头中常用字段选项代表的含义。四、归纳总结教师回顾本节课所讲的内容，并通过测试题的方式引导学生解答问题并给予指导。五、布置作业教师通过高校教辅平台（）布置本节课作业以及下节课的预习作业。第二课时（HTTP响应格式、网页开发技术、网页的结构、网页的分类）一、复习巩固教师通过上节课作业的完成情况，对学生吸收不好的知识点进行再次巩固讲解。二、创设情境，导入新课同学们，做爬虫要先懂网页——想爬取校园新闻，得知道新闻页属于什么类型、结构如何；解析数据前，要清楚网页开发技术和浏览器接收的HTTP响应格式。今天我们就吃透这些网页知识，为后续爬虫开发打牢基础。新课讲解知识点1-HTTP响应格式教师通过PPT的方式讲解HTTP响应格式。（1）介绍HTTP的响应格式。（2）介绍响应信息中状态行、响应头和响应正文所代表的含义。知识点2-网页开发技术教师通过PPT的方式讲解网页开发技术。（1）介绍什么是HTML。（2）介绍什么是CSS。（3）介绍什么是JavaScript。知识点3-网页的结构教师通过PPT的方式讲解网页结构。（1）介绍如何查看网页源代码。（2）介绍HTMLDOM标准。知识点4-网页的分类教师通过PPT的方式讲解网页的分类。（1）介绍什么是静态网页。（2）介绍静态网页的特点。（3）介绍什么是动态网页。（4）介绍动态网页的特点。四、归纳总结教师回顾本节课所讲的内容，并通过测试题的方式引导学生解答问题并给予指导。五、布置作业教师通过高校教辅平台（）布置本节课作业以及下节课的预习作业。第三课时（网页数据的格式、Fiddler的工作原理、Fiddler的下载与安装、Fiddler界面详解）一、复习巩固教师通过上节课作业的完成情况，对学生吸收不好的知识点进行再次巩固讲解。二、创设情境，导入新课同学们，用常规爬虫爬取某电商网页端的商品实时库存数据时，网页源码里找不到真实数据格式，没法定位核心请求接口？今天我们学抓包神器Fiddler——先了解网页数据格式，再掌握Fiddler的工作原理，搞定下载安装和界面操作，轻松抓取网页端电商页面背后的真实数据！新课讲解知识点1-HTTP响应格式教师通过PPT的方式讲解HTTP响应格式。（1）介绍HTTP的响应格式。（2）介绍响应信息中状态行、响应头和响应正文所代表的含义。知识点2-Fiddler的工作原理教师通过PPT的方式讲解Fiddler的工作原理。（1）介绍什么是Fiddler。（2）介绍Fiddler的工作原理。知识点3-Fiddler的下载与安装教师通过PPT的方式讲解Fiddler的下载与安装。介绍Fiddler的下载与安装。知识点4-Fiddler界面详解教师通过PPT的方式讲解Fiddler界面详解。（1）介绍Fiddler的工具栏。（2）介绍Fiddler的会话面板。（3）介绍Fiddler的请求面板。（4）介绍Fiddler的响应面板。四、归纳总结教师回顾本节课所讲的内容，并通过测试题的方式引导学生解答问题并给予指导。五、布置作业教师通过高校教辅平台（）布置本节课作业以及下节课的预习作业。第四课时（Fiddler捕获HTTPS页面的设置、Fiddler的基本使用、浏览器开发者工具）一、复习巩固教师通过上节课作业的完成情况，对学生吸收不好的知识点进行再次巩固讲解。二、创设情境，导入新课同学们，用Fiddler抓取某些页面时是不是没反应？这是HTTPS加密在“把关”。今天我们先搞定Fiddler的HTTPS捕获设置，再学它的基本操作，同时解锁浏览器开发者工具，让爬虫抓包更顺手。三、新课讲解知识点1-Fiddler捕获HTTPS页面的设置教师通过PPT的方式讲解Fiddler捕获HTTPS页面的设置。介绍在Fiddler中，如何设置捕获HTTPS页面。知识点2-Fiddler的基本使用教师通过PPT的方式讲解Fiddler的基本使用。介绍Fiddler如何使用。知识点3-浏览器开发者工具教师通过PPT的方式讲解浏览器开发者工具。（1）介绍浏览器开发者工具的基本使用。（2）介绍开发者工具中控制工具栏、过滤工具栏、请求列表和状态栏的作用。四、归纳总结教师回顾本节课所讲的内容，并通过测试题的方式引导学生解答问题并给予指导。五、布置作业教师通过高校教辅平台（）布置本节课作业以及下节课的预习作业。第五、六课时（上机练习）

上机练习主要针对本章中需要重点掌握的知识点，以及在程序中容易出错的内容进行练习，通过上机练习可以考察同学对知识点的掌握情况，对代码的熟练程度。上机一：（考察知识点为：Fiddler的下载与安装、Fiddler捕获HTTPS页面的设置）形式：单独完成1.实验目的（1）掌握在电脑上下载并安装Fiddler。（2）掌握在Fiddler中如何设置捕获HTTPS页面数据。2.实验工具（1）实验设备：已接入网络的计算机。（2）操作系统：Windows7/8/10。3.实验内容（1）根据2.4.2小节内容下载并安装Fiddler。（2）根据2.4.2小节内容设置在Fiddler捕获HTTPS页面数据。4.总结对实验进行总结，记录实验过程中遇到的问题以及解决办法。上机二：（考察知识点为：Fiddler的基本使用、浏览器开发者工具）形式：单独完成1.实验目的（1）掌握在电脑上下载并安装Fiddler。（2）掌握在Fiddler中如何设置捕获HT