Python网络爬虫技术-第4章-常规动态网页爬取-教案

第4章常规动态网页爬取教案课程名称：Python网络爬虫技术课程类别：必修适用专业：大数据技术类相关专业总学时：32学时（其中理论14学时，实验18学时）总学分：2.0学分本章学时：6学时材料清单《Python网络爬虫技术》教材。配套PPT。引导性提问。探究性问题。拓展性问题。教学目标与基本要求教学目标先通过源码对比区分动态网页和静态网页，然后使用逆向分析技术爬取网站“”首页新书信息。还有使用Selenium爬取网站“/search/books”中的以“Python编程”为关键词的信息。和将数据存入MongoDB数据库。基本要求了解静态网页和动态网页的区别。逆向分析爬取动态网页。使用Selenium库爬取动态网页。使用MongoDB数据库储存数据。问题引导性提问引导性提问需要教师根据教材内容和学生实际水平，提出问题，启发引导学生去解决问题，提问，从而达到理解、掌握知识，发展各种能力和提高思想觉悟的目的。什么是动态网站？动态网站和静态网站有和区别？和关系型数据库比较，非关系型数据库解决了什么问题？探究性问题探究性问题需要教师深入钻研教材的基础上精心设计，提问的角度或者在引导性提问的基础上，从重点、难点问题切入，进行插入式提问。或者是对引导式提问中尚未涉及但在课文中又是重要的问题加以设问。Selenium库爬取网站的优缺点是什么？Selenium库如何快速得到想要数据？MongoDB和MySQL对比有哪些优点?拓展性问题拓展性问题需要教师深刻理解教材的意义，学生的学习动态后，根据学生学习层次，提出切实可行的关乎实际的可操作问题。亦可以提供拓展资料供学生研习探讨，完成拓展性问题。Selenium库Requests库相比爬取网站和的优缺点是什么？如何提高Selenium爬取网站速度？主要知识点、重点与难点主要知识点了解静态网页和动态网页区别。逆向分析爬取动态网页。安装Selenium库以及下载浏览器补丁。Selenium库声明浏览对象并访问页面。Selenium库页面等待。Selenium库页面操作。Selenium库元素选取。Selenium库预期的条件。了解MongoDB数据库和MySQL数据库的区别。将数据存储入MongoDB数据库。重点逆向分析爬取动态网页。Selenium库元素选取。将数据存储入MongoDB数据库。难点Selenium库的使用。将数据存储入MongoDB数据库。教学过程设计理论教学过程了解静态网页和动态网页的区别。获取“”首页的信息。对“”首页进行逆向分析爬取。了解Selenium库的使用方法。分析“/search/books”首页的网页结构。分析网页“/search/books”搜索“Python编程”图书的操作。使用Selenium库模拟浏览器的操作。了解MongoDB数据库与MySQL的区别。在Python上建立连接MongoDB数据库。将数据插入MongoDB数据库的集合中。实验教学过程获取“”首页的信息。对“”首页进行逆向分析爬取。分析“/search/books”首页的网页结构。分析网页“/search/books”搜索“Python编程”图