《Python网络爬虫基础教程》教学设计 第1章 认识网络爬虫

博学谷——让IT教学更简单，让IT学习更有效PAGE12《Python网络爬虫基础教程》教学设计课程名称：___________________授课年级：___________________授课学期：___________________教师姓名：___________________年月PAGE3课题名称第1章认识网络爬虫计划课时3课时教学引入随着互联网的快速发展，互联网成为大量信息的载体，如何有效提取并利用这些大量信息成为一个巨大的挑战。网络爬虫作为一种自动化数据采集技术，凭借其高效、灵活的网页数据抓取能力，已经成为当下互联网数据收集的核心解决方案之一。本章主要对网络爬虫的基础知识进行详细讲解。教学目标使学生熟悉网络爬虫的概念及分类，能够归纳通用网络爬虫和聚焦网络爬虫的区别使学生了解网络爬虫的应用场景，能够列举至少3个网络爬虫的应用场景使学生熟悉网络爬虫的Robots协议，能够说明robots.txt文件中每个选项的含义使学生熟悉防网络爬虫的应对策略，能够列举至少3个应对防网络爬虫的策略使学生掌握网络爬虫的工作原理，能够归纳通用网络爬虫和聚焦网络爬虫的工作原理使学生熟悉网络爬虫的工作流程，能够归纳网络爬虫抓取网页数据的完整流程使学生了解网络爬虫的实现技术，能够归纳使用Python实现网络爬虫有哪些优势使学生熟悉网络爬虫的实现流程，能够归纳使用Python实现网络爬虫的流程使学生熟悉AIGC工具的基本使用，能够使用AIGC编写网络爬虫程序教学重点AIGC工具的安装与使用教学难点防爬虫应对策略网络爬虫的工作原理教学方式课堂教学以PPT讲授为主，并结合多媒体进行教学教学过程第一课时（什么是网络爬虫、网络爬虫的应用场景、Robots协议、防爬虫应对策略、网络爬虫的工作原理、网络爬虫抓取网页的流程）创设情境，导入新课"同学们，当你打开旅游APP就看到各地景点评分，刷购物网站会收到精准推荐——这些海量信息是怎么快速收集来的？背后藏着‘网络信息搬运工’——网络爬虫。今天我们就来认识它，看看它能做什么、要守什么规则，以及如何一步步抓取网页数据。"二、新课讲解知识点1-什么是网络爬虫教师通过PPT的方式讲解网络爬虫的概念。介绍网络爬虫的概念。教师通过PPT的方式讲解网络爬虫的分类。（1）通用网络爬虫（GeneralPurposeWebCrawler）。（2）聚焦网络爬虫（FocusedCrawler）。（3）增量式网络爬虫（IncrementalWebCrawler）。（4）深层网络爬虫（DeepWebCrawler）。知识点2-网络爬虫的应用场景教师通过PPT的方式讲解网络爬虫的应用场景。（1）搜索引擎。（2）电商价格监控。（3）舆情监测管理。（4）政务数据整合。（5）内容聚合平台。知识点3-Robots协议教师通过PPT的方式讲解Robots协议。（1）介绍什么是Robots协议。（2）介绍robots.txt文件存放位置。（3）介绍robots.txt文件中常见指令所代表的含义。User-agentDisallowAllowSitemapCrawl-delay知识点4-防爬虫应对策略教师通过PPT的方式讲解防爬虫应用策略。（1）请求伪装。（2）请求频率控制。（3）设置代理服务器。（4）动态页面处理。（5）验证码识别。知识点5-网络爬虫的工作原理教师通过PPT的方式讲解网络爬虫的工作原理。（1）通用网络爬虫的工作原理。（2）聚焦网络爬虫的工作原理。知识点6-网络爬虫抓取网页的流程教师通过PPT的方式讲解网络爬虫抓取网页的流程。根据教材中图示，介绍网络爬虫抓取网页流程三、归纳总结教师回顾本节课所讲的内容，并通过测试题的方式引导学生解答问题并给予指导。四、布置作业教师通过高校教辅平台（）布置本节课作业以及下节课的预习作业。第二课时（网络爬虫的实现技术、Python实现网络爬虫的流程、AIGC工具的安装与使用、使用AIGC工具快速爬虫）一、复习巩固教师通过上节课作业的完成情况，对学生吸收不好的知识点进行再次巩固讲解。二、教师通过直接导入的方式导入新课同学们，上节课我们知道了网络爬虫是“信息搬运工”，但想让它帮我们抓取某高校的招生数据，该用什么技术实现？手动写代码太耗时？别担心，今天我们不仅学Python爬虫的核心技术，还会用上AIGC这个“辅助神器”，手把手教大家快速搭建自己的爬虫工具。新课讲解知识点1-网络爬虫的实现技术教师通过PPT的方式讲解网络爬虫的实现技术。（1）介绍开发网络爬虫的语言主要有哪些。GoJavaScriptJavaPython（2）介绍使用Python实现网络爬虫的优势。知识点2-Python实现网络爬虫的流程教师通过PPT的方式讲解Python实现网络爬虫的流程。介绍使用Python实现网络爬虫的流程。（1）抓取网页数据。（2）解析网页数据。（3）存储网页数据。知识点3-AIGC工具的安装与使用教师通过PPT的方式讲解AIGC工具的安装与使用。（1）介绍在PyCharm中如何安装通义灵码插件。（2）介绍如何使用通义灵码插件。知识点4-使用AIGC工具快速爬虫教师通过PPT的方式讲解使用AIGC工具快速爬虫。介绍使用AIGC工具如何快速实现网络爬虫代码。四、归纳总结教师回顾本节课所讲的内容，并通过测试题的方式引导学生解答问题并给予指导。五、布置作业教师通过高校教辅平台（）布置本节课作业以及下节课的预习作业。第三课时（上机练习）上机练习主要针对本章中需要重点掌握的知识点，以及在程序中容易出错的内容进行练习，通过上机练习可以考察同学对知识点的掌握情况，对代码的熟练程度。上机一：（考察知识点为：AIGC工具的安装与使用、使用AIGC工具快速爬虫形式：单独完成题目：在PyCharm中安装通义灵码插件1.实验目的（1）掌握在PyCharm中安装通义灵码插件。（2）掌握在PyCharm中如何使用通义灵码插件。（3）掌握如何通过AIGC工具快速编写爬虫代码。2.实验工具（1）实验设备：已接入网络的计算机。（2）操作系