Python网络爬虫教学教案

PAGEPAGE说明一、教案是教师组织实施教学活动必备的教学文件，是教学检查的必要内容，使用前通常经过系部、学院两级试教审批，改革课、新开课必须经过系(部)试教审批，学院组织对重点课程进行试教审批。试教未通过、审批手续不全的不得用于授课。二、教案的编写应依据人才培养方案和课程标准，教师在充分研究教材的基础上，区分教学对象、课程类别、教学内容等进行编写，应体现任课教师的风格。不同教学班次应使用不同的教案。三、任课教师在授课前应根据学科、专业、方向的发展情况、新的教学要求以及教学对象的实际水平，及时补充、修改或重新进行教案的编写，以保持教学活动的先进性和适用性。四、教案中每次课后应有留给学生的作业(如思考讨论题、学生应查阅的有关书籍资料等)、小结等。课程结束后教案的教学后记中应有课程总结(包括基本情况、好的方面、存在问题、改进措施、意见建议等内容)。五、授课过程中，教案由教师本人负责保管，授课使用结束后由教研室指定专人于每学期结束前统一送至教学档案室存档。教案审批表2023～2024学年度第x学期课程Python网络爬虫授课对象计算机专业专科生专业计算机和大数据班级人数xx授课学时36（理论18、实验18）授课地点诚意楼C301、诚意楼C401、诚意楼B403院部院部领导：年月日学校主管教学副校长：年月日备注年月日《Python网络爬虫》教学方案内容(标题)项目一Python基础知识 任务1Python概述 任务引入 知识准备 一、Python简介 二、安装Python 三、安装PyCharm 四、Python语法规范 任务2Python命令的组成 任务引入 知识准备 一、基本符号 二、常量与变量 案例——input演示 案例——print演示 案例——设置变量格式 案例——输出迭代元素 三、数据类型 案例——创建列表并输出奇数位和偶数位 案例——元组创建演示 四、功能符号 任务3程序结构 任务引入 知识准备 一、表达式语句 案例——计算表达式的值 二、顺序结构 案例——定义客户信息 三、选择结构 案例——输入一个非空字符串，翻转该字符串。 案例——输入年、月，输出本月有多少天。 四、循环结构 案例——利用while语句实现1至100的累加 五、条件表达式 案例——输出列表数据 六、程序的流程控制 案例——输入数值，若其中包含数值0，显示输入错误，使用break语句跳出循环。 案例——输入数值，若其中包含数值0，显示输入错误，使用continue语句继续执行循环。 项目实战 实战一输出百度网址 实战二计算个人所得税 课时6教学目标及要求知识目标：掌握Python的安装过程；掌握Pycharm的安装过程；熟练掌握Python语法规范。能力目标：为后续学习Python网络爬虫积累必要的背景知识。素养目标：利用Python的命令语法培养学生创新意识、养成认真书写的好习惯。重点难点及其处理重点:（1）Python概述。（2）Python命令的组成。难点：（1）输出百度网址。（2）计算个人所得税。处理方法：结合实例讲解，有针对性的了解Python基础知识。教学方法（1）讲授（2）加强课堂指导，及时解决学生学习中出现的问题。参考文献[1].江吉彬张良均

.Python网络爬虫技术.北京：\o"人民邮电出版社"人民邮电出版社，2019[2].韦世东

.Python3网络爬虫宝典.北京：

\o"电子工业出版社"电子工业\o"电子工业出版社"出版社，2020[3].明日科技

．Python网络爬虫从入门到精通．北京：

\o"清华大学出版社"清华大学\o"电子工业出版社"出版社，2021及其要求课外作业（1）计算个人所得税（2）预习：项目二备注

《Python网络爬虫》教学方案内容(标题)项目二网络爬虫基础知识 任务1网络爬虫概述 任务引入 知识准备 一、网络爬虫基本原理 二、网络爬虫系统框架 三、爬行策略 四、网络爬虫的分类 五、开源爬虫框架/项目 任务2HTTP协议 任务引入 知识准备 一、HTTP协议工作原理二、Urllib模块库 三、URL定义 案例——图片网址URL拆分 案例——房地产信息网网址拼接 四、URL编码设置 案例——输出编码网址 案例——网址编码 案例——网址编码与解码 任务3网页请求过程 任务引入 知识准备 一、发送请求报文 二、返回响应 三、HTTP消息 项目实战： 实战一搜索商品网址 实战二搜索食品价格网址 课时5教学目标及要求知识目标：掌握Python的网络爬虫的应用与基本概念；了解HTTP协议的工作原理；熟练掌握URL的编码与解码；理解网页请求过程。能力目标：引导学生快速掌握Python的网络爬虫知识。素养目标：借助生活中的网络搜索习惯，结合Python语言，理解网络请求过程。重点难点及其处理重点:（1）网络爬虫基础知识。（2）HTTP协议。难点：（1）搜索商品网址。（2）搜索食品价格网址。处理方法：结合实例讲授及演示操作；并进行针对性的实训练习。教学方法（1）讲授（2）加强课堂指导，及时解决学生学习中出现的问题。参考文献[1].江吉彬张良均

.Python网络爬虫技术.北京：\o"人民邮电出版社"人民邮电出版社，2019[2].韦世东

.Python3网络爬虫宝典.北京：

\o"电子工业出版社"电子工业\o"电子工业出版社"出版社，2020[3].明日科技

．Python网络爬虫从入门到精通．北京：

\o"清华大学出版社"清华大学\o"电子工业出版社"出版社，2021及其要求课外作业（1）搜索食品价格网址（2）预习：项目三备注

《Python网络爬虫》教学方案内容(标题)项目三urllib请求模块库 任务1发送网页请求 任务引入 知识准备 一、基本HTTP请求 案例——获取公司数据 案例——设置请求超时时间 案例——爬取铁路车次信息 案例——不同方式发送请求 二、Request网络请求 案例——发送Request请求获取官网数据三、设置请求头 案例——添加头信息获取网页数据 四、Handler方法发送请求 案例——自定义opener对象 五、设置代理IP 案例——创建代理IP 六、身份验证 案例——获取网页cookie信息 案例——保存百度cookie文件 案例——加载淘宝cookie信息 任务2网页下载 任务引入 知识准备 一、网页结构 二、写入网页文件 案例——下载微信公众平台网页文件 三、网页文件下载 案例——下载图虫网网页文件 案例——缓存临时文件 项目实战： 实战一下载Python学习网址 实战二下载公司网页HTML文件 课时5教学目标及要求知识目标：掌握网络请求函数；熟练掌握函数的各个参数使用方法；重点掌握通过代理发送网页请求过程；重点掌握通过身份验证发送网页请求过程；学会网页数据的下载方法并熟练使用。能力目标：掌握借助不同的网址，通过理论指导实践，发送不同的网络请求。素养目标：培养学生的通过编程采集数据的综合应用能力，特别是编程能力，增强其自主学习能力。重点难点及其处理重点：（1）发送网页请求。（2）网页下载。难点：（1）下载Python学习网址。（2）下载公司网页HTML文件处理方法：结合实例讲授及演示操作；并进行针对性的实训练习。教学方法（1）讲授+学生上机练习（2）加强课堂指导，及时解决学生练习中出现的问题。参考文献[1].江吉彬张良均

.Python网络爬虫技术.北京：\o"人民邮电出版社"人民邮电出版社，2019[2].韦世东

.Python3网络爬虫宝典.北京：

\o"电子工业出版社"电子工业\o"电子工业出版社"出版社，2020[3].明日科技

．Python网络爬虫从入门到精通．北京：

\o"清华大学出版社"清华大学\o"电子工业出版社"出版社，2021及其要求课外作业（1）下载公司网页HTML文件。（2）预习：项目四。备注

《Python网络爬虫》教学方案内容(标题)项目四Urllib3请求模块库 任务1：安装Urllib3请求模块库 任务引入 知识准备 一、安装Anaconda 二、Urllib3安装： 任务2发送请求： 任务引入 知识准备 一、创建代理对象 案例——获取邮箱登陆界面的响应 二、请求方法 案例——获取淘宝不同请求的响应 三、定义请求头 案例——获取带请求头的响应 四、设置代理IP 案例——使用代理IP发送请求 五、自动重试 案例——发送重试请求 六、

重定向 案例——发送重定向请求 项目实战 实战一发送请求访问淘宝 课时4教学目标及要求知识目标：学会Urllib3安装与加载；熟练掌握Urllib3发送请求函数；对比Urllib3模块中的函数与Urllib中的区别；重点掌握自动重试发送网页请求过程；学会重定向发送网页请求过程。能力目标：让学生熟练掌握Urllib3请求模块库相关的知识。素养目标：通过频繁爬虫被封IP的情况，引导学生直面困难，学会解决问题。重点难点及其处理重点：（1）安装Urllib3请求模块库；（2）发送请求。难点：发送请求访问淘宝。处理方法：结合讲授；并进行针对性的实训练习。教学方法（1）讲授+学生上机练习（2）加强课堂指导，及时解决学生练习中出现的问题。参考文献[1].江吉彬张良均

.Python网络爬虫技术.北京：\o"人民邮电出版社"人民邮电出版社，2019[2].韦世东

.Python3网络爬虫宝典.北京：

\o"电子工业出版社"电子工业\o"电子工业出版社"出版社，2020[3].明日科技

．Python网络爬虫从入门到精通．北京：

\o"清华大学出版社"清华大学\o"电子工业出版社"出版社，2021及其要求课外作业（1）发送请求访问淘宝。（2）预习：项目五。备注

《Python网络爬虫》教学方案内容(标题)项目五Requests请求模块库 任务1网页请求 任务引入 知识准备 一、标准的HTTP请求 案例——访问豆瓣电影网 二、返回响应消息 案例——查看响应消息 案例——返回字符串响应数据 案例——定义响应数据编码格式 案例——设置网页响应数据格式 三、JSON格式数据案例——创建json文件 案例——json数据的编码与解码 任务2发送请求方法 任务引入 知识准备 一、发送GET请求方法 案例——搜索Autocad图书网页 案例——发送带url参数的请求 二、发送POST请求 案例——发送data提交表单数据 案例——发送Json提交表单数据 案例——发送body提交表单数据 案例——发送field提交表单数据 三、其他请求方法 任务3复杂网络请求 任务引入 知识准备 一、复杂请求头 案例——发送定制请求头信息 二、上传文件 案例——上传二进制数据 三、cookies验证 案例——输出cookies信息 四、会话保持 案例——通过session对象和requests发送get请求 任务4异常处理 任务引入 知识准备 一、try/except语句 二、urllib异常处理模块 案例——处理URLError异常 案例——处理urllib异常 三、urllib3异常处理模块 四、request异常处理模块 案例——处理request响应错误 案例——忽略SSL证书验证错误发送请求 项目实战 实战一爬取豆瓣最受欢迎的影评网址 课时6教学目标及要求知识目标：学会Requests安装与加载；熟练掌握Requests发送请求函数；学会网页响应数据的分析方法；重点掌握复杂网页请求过程；学会处理网页请求过程中的异常处理。能力目标：能够利用Requests模块主要爬取小规模，数据量小，同时对爬取速度不敏感的网站。素养目标：通过不同参数的设置，对比采集的数据，力求内容科学，方法科学。重点难点及其处理重点：（1）网页请求；（2）发送请求方法。难点：爬取豆瓣最受欢迎的影评网址。处理方法：结合实例讲授及演示操作；并进行针对性的实训练习。教学方法（1）讲授+学生上机练习（2）加强课堂指导，及时解决学生练习中出现的问题。参考文献[1].江吉彬张良均

.Python网络爬虫技术.北京：\o"人民邮电出版社"人民邮电出版社，2019[2].韦世东

.Python3网络爬虫宝典.北京：

\o"电子工业出版社"电子工业\o"电子工业出版社"出版社，2020[3].明日科技

．Python网络爬虫从入门到精通．北京：

\o"清华大学出版社"清华大学\o"电子工业出版社"出版社，2021及其要求课外作业（1）爬取豆瓣最受欢迎的影评网址。（2）预习：项目六。备注

《Python网络爬虫》教学方案内容(标题)项目六解析网页模块库 任务1正则表达式解析网页 任务引入 知识准备 一、正则表达式模式 二、使用re模块实现正则表达式 三、字符串查找 案例——字符查找演示 案例——字符查找对象演示 案例——字符大小写查找演示 案例——区分大小写字符查找 案例——网址中查找数字 案例——输出数字查找结果表达式 四、字符串替换 案例——HTTP协议替换演示 字符串分割 案例——字符分割演示 任务2XPath解析网页 任务引入 知识准备 一、

XPath概述 二、xpath网页解析 案例——解析文件中的HTML文件 案例——解析自定义HTML文件 三、获取节点信息 案例——获取HTML文本所有节点信息 案例——通过节点名称获取HTML文本节点 案例——使用不同表达式获取HTML文本节点 四、节点关系 案例——获取HTML文本父子节点 五、查找节点信息 案例——获取HTML子节点信息 六、属性节点 案例——获取HTML中属性节点的属性值 七、XPath运算符 案例——大于等于运算查找指定节点信息 案例——或运算查找节点信息 案例——选取多个路径下的节点 八、XML节点轴 案例——使用节点轴函数获取祖先节点与同级节点 任务3BeautifulSoup解析网页 任务引入 知识准备 一、

BeautifulSoup的安装 二、

创建BeautifulSoup对象 案例——使用lxml解析html 三、

通过属性获取节点内容

案例——使用lxml解析html 案例——使用lxml解析html获取节点文本 四、

根据节点关系获取节点 案例——获取关联节点 五、

查找节点内容 案例——获取符合条件的节点内容 案例——

获取指定的节点内容 六、

CSS选择器查找节点内容 案例——通过类选择器查找节点 项目实战 实战一获取查询网中河北省石家庄市的邮编区号 实战二爬取销售热门图书名称 实战三下载销售热门图书的图片 课时6教学目标及要求知识目标：能够利用正则表达式编写简单的网页解析程序；能够利用Xpath编写简单的网页解析程序；能够利用BeautifulSoup编写简单的网页解析程序。能力目标：能够掌握网页解析模块库的过程。素养目标：就不同的解析网页方法展开讨论，培养发散思经维。重点难点及其处理重点：（1）则表达式解析网页。（2）XPath解析网页。（3）eautifulSoup解析网页。难点：（1）获取查询网中河北省石家庄市的邮编区号。（2）爬取销售热门图书名称。（3）下载销售热门图书的图片。处理方法：结合实例讲授及演示操作；并进行针对性的实训练习。教学方法（1）讲授+学生上机练习（2）加强课堂指导，及时解决学生练习中出现的问题。参考文献[1].江吉彬张良均

.Python网络爬虫技术.北京：\o"人民邮电出版社"人民邮电出版社，2019[2].韦世东

.Python3网络爬虫宝典.北京：

\o"电子工业出版社"电子工业\o"电子工业出版社"出版社，2020[3].明日科技

．Python网络爬虫从入门到精通．北京：

\o"清华大学出版社"清华大学\o"电子工业出版社"出版社，2021及其要求课外作业（1）下载销售热门图书的图片。（2）预习：项目七。备注

《Python网络爬虫》教学方案内容(标题)项目七Scrapy爬虫框架模块库 任务1