课程思政范例：网络爬虫

湖南大学《计算与人工智能概论》课程教学设计与实施案例课程名称授课班级授课教师罗娟、李小英等职称教授课程类型必修课学时1学时授课题目(章、节)第10章网络思维第2节网络爬虫与信息提取教学目的和要求1.掌握网络爬虫的基本用法，了解Requests库请求函数，掌握Response对象的属性，掌握爬取网页的通用框架，了解网络爬虫引发的问题；2.掌握网络信息的提取方法；3.掌握基本的信息保存方法。1.通过百度搜索引擎原理案例分析，学生能够了解爬虫的原理。2.通过学校官网首页爬取，学生能运用爬虫requests库通用框架爬取网页。3.通过组图爬取、湖南大学2020年各省各批次录取分数、岳麓书院讲坛学术讲座信息多网页爬取案例分析，学生能够掌握爬虫用爬取的方法，及用bs4库对网页进行解析的方法。4.通过保存获取的组图、表格和讲座信息数据，学生能够掌握保存网络爬虫获取的数据的方法。通过对淘宝和京东网站的robots协议分析，引起学生对网络爬虫合法性的关注。通过介绍全国首例“爬虫技术”犯罪案增强学生法律意识和职业道德操作。通过校园风景组图爬取，高考录取分数爬取、讲座信息爬取激发学生爱校之情及努力学习的热情。教学重点：掌握爬取网页与信息提取的基本方法。【教学设计】2.以湖大公众号组图爬取、湖南大学2020年各省各批次录取分数、岳麓书院讲坛学术讲座信息爬取为案例，通过学习学生能掌握获取网页的方法和提取网页信息的方法。教学难点：掌握用html.parser进行网页内容解析，及思政融入策略。【解决办法】1.结合开发者工具及查看网页源代码方法，讲解分析网页结构。2.对于用html.parser解析得到的标签树，边讲解边在python环境中演示以帮助学生理解。3.讲解爬虫使用注意事项，以全国首例爬虫技术侵入计算机系统犯罪案为例，警示使用爬虫要合法，用好网络资源，不做违法的事情，增强学生法律意识和职业道德操守。4.以大家熟悉的校园风景、高考招生分数及学术讲座信息为例进行讲解，激发学习兴趣和家国情怀。学情分析教学对象：大一学生，面向全校非计算机专业。知识技能：学生已经学习了运用计算思维分析问题的方法，学习了Python语言程序设计，在此基础上，编写爬虫程序，运用爬虫实现问题的求解。教材及教学《大学计算机基础(第3版)》第二章第3节内容可以作为课程学习的参考，在课堂教学中按照网络爬虫应用的两个步骤→使用Requests库爬取网页→使用bs4库对网页进行解析提取信息的知识主线与实践主线双线进行内容安排，围绕重点难点问题进行案例融入，具体编排如下：互动课程导入→搜索引擎如何获取网络信息→使用Requests库爬取网页→知识点：Requests库的请求函数，对象属性、异常→爬取网页的通用框架→演示案例1(《红星题→课堂练习案例(表格数据爬取)切入→知识点：网页解析方法、标签及标签属性、标签树、find()和find_all()→演示案例2(组图爬取、表格数据、岳麓书院讲坛信1.线上慕课与线下课程混合：课前预习，学生在educoder平台上完成预习练习。2.多媒体与板书相结合：以课堂讲授为主，通过多媒体的使用，将形象直观的图片、动画与板书有机结合，强调重点、讲清楚难点。3.强调互动式教学：在课堂导入、小练习、案例分析等教学过程中引导学生互动问答和讨论，加强师生和生生互动，增强学生的主动性和课堂参与度，培养逻辑思维能力。4.案例教学任务驱动教学法：选取图书网页，湖大公众号图片，湖大2020年各省各批次录取分数线，岳麓书院讲坛信息提取作为课堂演示或练习案例。5.启发性逻辑推理式教学：采用“提出问题-分析讨论问题-提出解决方案”的方式引导学生思考程序的编写思路，将思政元素有效融入方案设计，通过分析、比较、现场练习等方式加强理解。6.智慧教学工具进行课堂管理：使用Educoder平台对课堂进行课堂签到、问卷调查、资源推送，课件分享。课前在平台上传课堂案例数据及模板程序，要求学生先行下载，做好上课准备。利用智慧教室投屏分析学生练习情况及做针对性问题分析。7.课后线上练习：与Educoder实训平台进行实训环节、作业、课堂小测的配套管理。课后运用慕课扩展学生的视野，丰富和扩充相关知识。媒体技术及教学设计要授课条理清晰，主次分明，对要点进行板书；围绕教学重点，结合多媒体技术进行素材案例的立体化融入；合理运用Educoder在线平台对课堂进行管理。各项活动的安排也注重互动、交流，最大限度的调动学生参与课堂的积极性、主动性。教学内容设计意图师生互动问答(2分钟):互动课程导入→百度是如何获取网上的信息资源?→引出爬虫原理师：查询信息经常用到哪些方法?生：搜索引擎……师：百度是如何获取网上的信息资源?师：Python中如何编程实现网页爬取?开始通过互动问答，从生活中的简单案例出发，引发思考爬虫网页获取信息提取确定要爬取的网页URL向服务器发送URL请求返回响应的网页解析网页，提取需要的信息建立爬取URL列表Fabe列表中有URL吗?frue从列表中取个UR保存数据到文件数据存储巴有用的数据保存起来便于日后使用和分析向服务器请求URL,得到网页结来解析网页提取信息【知识点】1、网络爬虫(18分钟)案例：爬取湖南大学官网。Requests库的使用→爬取网页的通用框架常(1)Requests库的安装、官网地址常(2)Requests库的网页请求函数边讲解边操作给学生直观感学生一起动手验证字典的基本操作(3)Response对象的属性(4)Requests库的异常 爬取网页的通用框架importrequestsdefgetHTMLText(url)爬取网页的通用框架importrequestsdefgetHTMLText(url)r=requests.get(url,timeout=30)r=requests.get(url,timeout=30)r.raise_for_status()r.encoding='utf-8'returnr.text#返回字符串形式网页utf-8/gbk/ISO-8859-1网页编码t.text用于获取网页文本t.content用于获取图片、音频等 retun'产生异常 retun'产生异常if_name_=='_main_:print(getHTMLText(url))信电科学与工程学院季小英是：当.py文件被直接运行时，if_name_=='main'之下的代码块将被运行；当.py文件以模块形式被导入时，if_name_==_main_"之下的代码块不被运行思政融入：以大家熟悉的学校官网为例，激发学习兴趣。案例演练【课堂练习】(20分钟)学生思考完成课堂案例→提高知识内化效率/12093815html京东学思具华夏万卷新空样子海政内力里得营家书首页红星照耀中国(又译《西行漫记》)(畅销900万册青少版人民文学出版社)趣乐山耗时三年苦心籍泽，历史专家严槽市核，人文社团队播心漏校!同步有声书签[则]埃澳址斯道著,董乐山保促的结息|满减梅满100元，可减50元现金详情>》名自营中小学教辅的是榜第47位配送至泥响长沙市花辅区城区有货☆虎东精流次日达提的溪战送境上门√由京东发损，并握供能后服务.23:00前下单，预计明天(12月19日)送达服务变持放心购闪退款自营每满100¥50(PM⁷5DN你好，请登录免脚注册被东强大别思政融入：读了解党的发展历史的书→建设美好祖国的责任感思政融入：了解我国灿烂文化→保护历史建筑、保护国宝文物【知识点】2、网络爬虫引发的问题(5分钟)(1)爬虫引发的问题：介绍全国首例“爬虫”技术侵入计算机系统犯罪案(2)网络爬虫限制(3)Robots排除协议：以京东的Robots协议为例思政融入：网络爬虫引发的问题→Robots协议→职业道德教育。【知识点】3、网页信息提取(15分钟)(1)BeautifulSoup4库的使用→网页解析→标签及属性→DOM树→find_all()和find()标签查找→开发者工具的基本使用(2)信息保存为文件的方法案例演示课堂案例演练(20分钟)(1)案例：组图爬取。(2)案例：湖南大学2020年各省各批次录取分数信息提取。(3)案例：岳麓书院讲坛信息提取思政融入：校园风景图→培养爱校的情怀，高考录取分数→成绩取得不已→激发热爱学习的动力，岳麓书院讲坛信息提取→开拓视野有方法学生思考完成课堂案例→提高知识内化效率(组图】湖大是什么腰色?开始(组图】湖大是什么腰色?分析网页结构，查找元素对应采用requests库能取网页内容使用beautihhup4库解析网贞立保存图片的文件夹根据每张图片URL底取每张图片并以相应文件名保存结束低点科学与工程学院季小类65千★快速访问OneDrive此电脑3D对象视频基图丹4下载本地磁盘(C:)新加卷(D:)新加卷(E:)网16个项目P黑亡算ipC干禁0灰jpg牙白p9g石TlPC惊理灰，pg F爬取2019年“岳麓书院讲坛”讲座信息，存储到数据文件中首页URL爬取2019年“岳麓书院讲坛”讲座信息，存储到数据文件中首页URL/xysh/xshd/ylsyit.htm第2页URL/xysh/xshd/ylsyjt/19.htm网址前面部分页面号最后一页URL网址前面部分+'1.htm'信息科学与工程学院李小英79爬取2020年湖南大学各省各批次分数线，存储到数据文件中。url='/info/1150/4679.htm'信息科学与工程学院李小英信息科学与工程学院李小英课堂演练课堂案例演练(5分钟)案例：天气信息提取。小结和交流(4分钟)采用采用requests库爬取网页内容使用beautifulsoup4库分析网页中数据提取相关数据，存储到二维列表中采用用户偏好的方式打印出来结，总结爬虫用法和信息提取方法2.信息提取；布置课后编程练习作业(1分钟)“减负”的目的。我布置的课堂作业是：完成课后作业巩固识；预习下次课的内容实训作业1_python基础2.计算系统思维3.鲜法思维4.网络思维5数据思维全部未发布提交中补交中已截止共3个实训作业已发布：3个未发布：0个已选择0个(不变排满页勾遇第五章HTML网页文件基础a已截止李小英已开始做题1