Python网络爬虫技术-第7章-Scrapy爬虫-教案_第1页
Python网络爬虫技术-第7章-Scrapy爬虫-教案_第2页
Python网络爬虫技术-第7章-Scrapy爬虫-教案_第3页
Python网络爬虫技术-第7章-Scrapy爬虫-教案_第4页
全文预览已结束

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

第7章Scrapy爬虫教案课程名称：Python网络爬虫技术课程类别：必修适用专业：大数据技术类相关专业总学时：32学时（其中理论14学时，实验18学时）总学分：2.0学分本章学时：5学时材料清单《Python网络爬虫技术》教材。配套PPT。引导性提问。探究性问题。拓展性问题。教学目标与基本要求教学目标使用Scrapy框架爬取网站，学会Scrapy的数据流向、框架，以及框架各组成部分的作用。Scrapy的常用命令及其作用。创建Scrapy爬虫项目，创建爬虫模板的方法。根据项目最终目标修改items/piplines脚本。编写spider脚本，解析网页。修改settings脚本，实现下载延迟设置等。定制下载中间件，实现随机选择访问USER_AGENT与IP。基本要求了解Scrapy爬虫框架。熟悉Scrapy常用命令。修改items/piplines脚本存储数据。编写spider脚本解析网页信息。修改settings脚本设置爬虫参数。定制Scrapy中间件。问题引导性提问引导性提问需要教师根据教材内容和学生实际水平，提出问题，启发引导学生去解决问题，提问，从而达到理解、掌握知识，发展各种能力和提高思想觉悟的目的。如何实现对爬取过的内容不重新爬取？探究性问题探究性问题需要教师深入钻研教材的基础上精心设计，提问的角度或者在引导性提问的基础上，从重点、难点问题切入，进行插入式提问。或者是对引导式提问中尚未涉及但在课文中又是重要的问题加以设问。如何实现日志打印到文件中？piplines脚本中item是什么数据类型？如何实现保存数据到MongoDB数据库？拓展性问题拓展性问题需要教师深刻理解教材的意义，学生的学习动态后，根据学生学习层次，提出切实可行的关乎实际的可操作问题。亦可以提供拓展资料供学生研习探讨，完成拓展性问题。Requests库和Scarpy库对比各有什么优缺点？Scarpy如何实现人工验证码验证？主要知识点、重点与难点主要知识点了解Scrapy爬虫框架。熟悉Scrapy常用命令。创建Scrapy爬虫项目。修改items/piplines脚本。编写spider脚本。修改settings脚本。定制下载器中间件。定制Spider中间件。重点熟悉Scrapy常用命令。创建Scrapy爬虫项目。修改items/piplines脚本。编写spider脚本。难点修改items/piplines脚本。编写spider脚本。教学过程设计理论教学过程了解Scrapy的框架构成。了解Scrapy各组件的作用。熟悉常见的Scrapy命令。创建Scrapy爬虫项目。定义items/piplines脚本，将数据存储至csv文件与MySQL数据库。创建spider爬虫脚本模板。定义spider脚本。运行爬虫。创建中间件脚本。激活中间件。实验教学过程创建Scrapy爬虫项目。定义items/piplines脚本，将数据

人人文库> 全部分类> 教育资料 > 作文作品

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论