项目一教案4 编写爬虫程序爬取网页所有img标签

XX学校《大数据应用技术基础》学科教案授课课题编写爬虫程序爬取网页所有img标签授课老师授课时间周一第1、2节授课课时2课时授课班级XX班班级地址??电脑室教学目标【知识目标】

1.理解HTTP协议的基本概念及工作流程，包括客户端请求与服务器响应的交互过程。

2.掌握HTTP状态码的常见类型及其含义，能够通过响应对象获取并判断状态码。

3.熟悉爬虫程序的基本构成，了解requests库用于发送HTTP请求的方法以及BeautifulSoup库解析HTML文档的基本操作。

【能力目标】

1.能够使用requests库发送GET请求获取网页内容，并正确设置编码以确保文本解析的准确性。

2.学会运用BeautifulSoup库解析HTML文档，通过find_all()方法定位并提取网页中的img标签。

3.具备分析爬取结果的能力，能够从提取的img标签中获取src属性值并进行输出展示。

【素养目标】

1.培养严谨的程序设计思维，在编写爬虫代码过程中注重代码的规范性和逻辑性。

2.提升问题解决能力，面对爬取过程中可能出现的编码错误、标签定位不准确等问题，能主动思考并尝试解决。

3.树立信息安全和网络道德意识，了解爬虫技术的合法使用边界，遵守网络爬虫的相关规范。教学重点及突破策略教学重点：

1.requests库的使用，包括发送GET请求获取网页响应以及对响应内容进行编码设置。

2.BeautifulSoup库解析HTML文档，并通过find_all()方法精准提取网页中的img标签。

3.从提取到的img标签中正确获取src属性值。

突破策略：

1.通过演示具体的代码示例，详细讲解requests.get()方法的参数和返回值，让学生直观理解如何获取网页内容；针对编码问题，展示不同编码设置对结果的影响，强调response.encoding='utf8'的重要性。

2.结合HTML文档结构示意图，讲解BeautifulSoup库的初始化过程以及find_all()方法的参数用法，以实际网页为例，带领学生逐步分析如何定位img标签。

3.通过实例代码展示如何遍历img_tags列表，并使用img['src']获取属性值，引导学生注意属性获取时可能出现的KeyError问题及处理方法。教学难点及突破策略教学难点：

1.理解HTTP协议中客户端与服务器之间的请求-响应机制，以及如何将其与爬虫程序的工作流程相结合。

2.对BeautifulSoup库解析HTML文档原理的理解，以及在复杂HTML结构中准确提取目标标签的技巧。

突破策略：

1.利用动画或流程图演示HTTP请求与响应的全过程，将抽象的协议流程具象化；在讲解爬虫程序时，将每一步代码与HTTP协议的相应环节对应起来，帮助学生建立联系。

2.提供不同结构的HTML示例文档，让学生练习使用BeautifulSoup库进行解析和标签提取，从简单到复杂逐步提升难度；引导学生使用浏览器开发者工具查看网页HTML结构，辅助定位目标标签。教学方法和手段（含信息化技术）1.讲授法：通过PPT课件讲解HTTP协议、HTTP状态码、爬虫程序基本构成等理论知识。

2.演示法：在PyCharm开发环境中现场演示爬虫程序的编写、运行过程，展示如何使用requests库和BeautifulSoup库。

3.实践操作法：让学生在电脑室中跟随老师的指导，亲自完成爬虫程序的编写和调试，体验爬取img标签的过程。

4.信息化技术手段：使用多媒体课件展示理论知识和代码示例；利用PyCharm开发工具进行代码编写和运行演示；借助浏览器开发者工具辅助学生查看网页HTML结构。课程思政元素1.培养学生的规则意识和法律观念，强调网络爬虫的使用必须遵守网站的robots协议，不得侵犯他人的知识产权和隐私，引导学生在合法合规的前提下使用技术。

2.激发学生的创新精神，鼓励学生在掌握基本爬虫技术后，思考如何将其应用于数据分析、信息整合等有益领域，为社会发展贡献力量。

3.培养学生的团队协作能力，在实践操作环节可以组织学生分组讨论问题、交流经验，让学生学会在团队中互相学习、共同进步。教师教学实施学生学习活动课程引入

通过提问的方式引发学生兴趣，如“大家平时浏览网页时，会看到很多图片，这些图片是如何在网页中显示的呢？它们的地址信息是怎样的呢？”，进而引出本节课的主题——编写爬虫程序爬取网页所有img标签。

授课过程

1.讲解HTTP协议的基本概念，包括客户端发送请求和服务器返回响应的过程，结合生活中的例子帮助学生理解。

2.介绍常见的HTTP状态码及其含义，重点讲解200OK、404NotFound等状态码，通过代码示例展示如何获取响应对象的status_code属性。

3.讲解爬虫程序的基本构成，介绍requests库和BeautifulSoup库的作用，演示如何安装这两个库。

4.详细讲解使用requests库发送GET请求获取网页内容的方法，包括requests.get()函数的参数、响应对象的text属性以及编码设置。

5.讲解BeautifulSoup库解析HTML文档的方法，包括BeautifulSoup对象的创建、find_all()方法的使用，重点演示如何使用find_all('img')提取所有img标签。

6.讲解如何遍历提取到的img标签列表，获取每个img标签的src属性值并打印输出。

课堂实操内容

1.指导学生在资源管理器中打开网站目录C:\inetpub\wwwroot，将网站文件复制到该目录下，完成网站的IIS发布准备。

2.引导学生启动PyCharm，创建Python项目，并在main.py文件中输入参考代码。

3.学生自主调试代码，老师巡视指导，帮助学生解决代码编写过程中遇到的问题，如语法错误、库未安装等。

4.运行程序，查看终端输出的爬取结果，验证是否成功获取到img标签的src属性值。

课堂小结

知识总结

本节课主要学习了使用requests库和BeautifulSoup库编写爬虫程序爬取网页img标签的方法，包括HTTP协议基础、HTTP状态码、爬虫程序的编写步骤等内容。重点掌握了requests.get()获取网页内容、BeautifulSoup解析HTML以及提取img标签src属性的操作。

优秀经验

表扬在实操过程中代码编写规范、问题解决能力强的学生，分享他们的学习经验，如认真阅读参考代码注释、积极查阅库文档等。课程引入

思考老师提出的问题，积极参与课堂互动，对网页图片的显示原理产生好奇心，明确本节课的学习目标。

授课过程

1.认真听讲，跟随老师的思路理解HTTP协议的工作流程，记录重点概念和知识点。

2.学习常见HTTP状态码的含义，结合代码示例理解如何获取和判断状态码。

3.了解requests库和BeautifulSoup库的功能，按照老师的指导安装这两个库。

4.仔细观看老师演示requests库的使用方法，记录关键代码和参数。

5.学习BeautifulSoup库解析HTML文档的过程，重点关注find_all('img')方法的使用。

6.理解遍历img标签列表并获取src属性的代码逻辑。

课堂实操内容

1.按照老师的指导，在资源管理器中进行网站文件的复制操作，为网站发布做准备。

2.启动PyCharm，创建Python项目，在main.py文件中输入参考代码，注意代码的缩进和语法。

3.自主调试代码，遇到问题时先尝试自己解决，如检查语法、确认库是否安装等，无法解决时向老师或同学请教。

4.运行程序，观察终端输出结果，验证爬取效果，若结果不正确则检查代码并进行修改。

课堂小结

知识总结

回顾本节课学习的知识点，梳理爬虫程序编写的流程，明确自己掌握的内容和需要进一步巩固的部分。

优秀经验

认真听取优秀学生的经验分享，学习他们的学习方法和解决问题的思路，反思自己在学习过程中的不足。作业：

应用本节课的例子，在本节课任务的基础上，设计一个有应用内容的页面作品，可以自选主题或升级老师给的主题，内容自行设置。

1.选择一个自己感兴趣的主题，如“爬取XX旅游网站的景点图片地址”“爬取XX电商网站的商品图片地址”等。

2.确定目标网页，分析该网页的HTML结构，找到图片对应的img标签。

3.使用本节课学习的爬虫技术，编写程序爬取该网页中所有img标签的src属性值。

4.对爬取到的图片地址进行整理和展示，可以将结果保存到文本文件中，或通过简单的方式在控制台进行格式化输出。

5.在作业报告中说明所选主题、目标网页、爬取过程中遇到的问题及解决方法。教学反思：

1.本节课的教学内容紧密围绕任务展开，通过理论讲解和实践操作相结合的方式，学生对爬虫程序爬取img标签的方法有了一定的掌握。但在HTTP协议和BeautifulSoup库原理的讲解上，可能还不够深入，部分学生理解起来仍有难度，后续可以考虑增加更多的实例和互动环节。

2.课堂实操环节，学生的参与度较高，但由于学生的基础水平存在差异，部分学生在代码编写和调试过程中花费时间较多，老师的指导工作量较大。下次可以考虑将学生进