Python爬虫与网络数据采集案例实践（微课视频版）教学大纲（48学时=32理论+16实践）

PAGE5《数据采集技术》课程教学大纲一、课程基本信息表1课程基本信息表课程名称中文名：数据采集技术英文名：DataAcquisitionTechnology课程编号06095331课程形式¨线下þ线上线下混合式课程类型专业课课程性质必修课适用学院专业年级（学生对象）信息技术与工程学院+数据科学与大数据技术+大二开课单位信息技术与工程学院开课学期第3学期学分/学时3学分/48学时先修要求Python程序设计数据库原理与应用课程简介本课程以网络数据采集技术为核心，系统讲解Python语言在互联网数据抓取与解析中的应用。课程重点涵盖静态网页解析（XPath、正则表达式、BeautifulSoup）、动态页面处理（Selenium模拟操作、AJAX接口逆向分析）、工程化开发（Scrapy框架、分布式爬虫、反爬策略应对）以及数据存储（MySQL/MongoDB入库、文件持久化），通过综合案例、拓展案例和实训案例等实战案例培养学生完整的数据采集能力。同时对采集的数据进行初步清洗和可视化分析，为后续的《大数据分析与应用》、《机器学习》等课程提供结构化数据支撑。课程注重工程规范与法律合规，帮助学生掌握爬虫开发流程，夯实数据获取领域的核心技能。学生能够理论联系实际，通过课堂和课后实践综合案例和拓展案例，进一步提升学生在知识、能力、素质上的综合应用能力。二、课程总体目标、教学基本要求及对毕业要求的支撑表2课程总体目标、要求和对毕业要求（二或三级）指标的支撑序号课程目标课程支撑的专业培养标准课程支撑的毕业要求1知识目标：（1）理解网络数据采集的概念、分类和基本流程。（2）熟练阅读用Python语言编写的数据采集代码。（3）掌握数据采集项目的实际需求，使用Requests库获取网页内容。（4）掌握使用lxml库、正则表达式和BeautifulSoup4库解析网页并提取提取网页内容。（5）掌握静态网页爬取方法和动态网页爬取方法。（6）掌握常见的反爬虫策略和反反爬方法。（7）熟悉使用Cookies和表单实现模拟登录。（8）掌握使用Selenuim插件模拟浏览器操作行为。（9）熟悉使用Scarpy框架采集网络数据。（10）熟练掌握爬取数据的存储与读取能力。（1）学科基础知识：掌握数据采集需求与分析，设计与实现爬虫脚本等专业基本能力，能够解决数据获取与存储的实际问题。专业知识：掌握将数据采集的基本原理与技术运用于爬虫程序的设计、开发与应用等工作的能力；实践环节能够体现爬虫脚本设计和实现能力的培养。系统掌握数据采集技术的理论知识与方法。（2）熟悉数据采集技术理论前沿及发展动态。（3）具备较好的数据获取与存储能力。2能力目标：（1）能够根据数据采集项目的需求，使用Requests库获取网页内容。（2）能够根据爬虫内容的需求，使用lxml库、正则表达式和BeautifulSoup4库解析网页并提取提取网页内容。（3）能够根据网页结构采用静态网页爬取方法或动态网页爬取方法。（4）能够使用Selenium插件模拟浏览器的翻页、定位、点击、搜索等操作。（5）能够使用Cookies和表单实现模拟登录。（6）具备根据反爬虫策略采取合适的反反爬举措。（7）能够使用Scrapy框架设计和实现数据采集。（8）学会对所爬取的网页信息进行存储、读取、清洗和词云图分析。（9）学会根据数据采集需求，设计爬虫流程和实现采集目标。（1）专业基础理论知识学习能力：系统地掌握数据采集技术基础理论知识，具有适应爬虫工程师工作岗位的能力。（2）开发工具的应用能力：掌握使用数据采集第三方库、框架等开发工具的能力。编程能力：理解数据获取的具体应用问题及其需求，以解决问题为导向，具有较好的逻辑思维和编程能力。（4）专业综合能力：具备团队协作能力和组织协调能力，并能有效进行人际沟通；具备将数据采集知识应用到数据采集项目的设计、实施和部署的能力。（1）具有数据采集技术的应用能力。（2）拥有爬虫脚本的编写和调试能力。（3）具备爬虫工程师岗位的工程实践能力。（4）具有团队合作与沟通的组织能力。3素质目标：（1）培养爬虫工程师知法守法、爱岗敬业的职业道德素养。（2）培养学生自觉学习数据采集新技术，使自己的专业能力能够对标行业爬虫工程师岗位的职责要求。（3）培养学生具备项目协作、沟通和表达能力。（1）通用素养：具备正确的价值观、世界观和人生观；在数据采集时知法守法。（2）专业素养：具有运用专业理论、技术和方法分析并解决数据技术问题的能力，具有较强的大数据获取与存储能力。（3）职业素养：遵循职业规范，尊重职业操守；具备较强的环境适应能力，形成终身学习的观念，不断提升职业技能。拥有责任担当为重点的思想品德素质。具备良好的专业钻研精神和工匠精神的职业素养。具备过硬的数据采集知识，在爬虫工程师岗位中拥有较强竞争力的专业素养。三、教学资源（一）推荐参考教材（如教材、参考书目）1.教材：《Python爬虫与网络数据采集案例实战》，叶丽珠主编，清华大学出版社，2025年07月。（二）网络教学资源（教学资源平台、教学视频链接、论文数据平台等）1.课程超星平台：/mooc-ans/course/207215442.html2.Python网络爬虫与信息提取：/course/BIT-1001870001?from=searchPage&outVendor=zw_mooc_pcssjg_Python网络爬虫程序技术：/course/ZIIT-1002925008?from=searchPage&outVendor=zw_mooc_pcssjg_（三）实践教学资源（含校内实践活动场所、校外实践基地、实验教学资源等）1.计算机实训室2.PyCharm集成开发环境、TRAE四、课程教学计划表3课程教学计划（见附件1-1）五、考核方案及学业评价（一）考核方式及成绩组成考核方式：课程设计（大作业）。平时成绩=由学习通平台的成绩评定100%(由学习通平台的成绩评定包括不限于出勤情况、课堂表现、课堂实践、章节测验、平时作业、线上学习等，任课老师可根据情况调整)期末成绩=课程设计80%+课程答辩20%课程总成绩=平时成绩50%+期末成绩50%课程成绩组成参见表4。表4课程成绩组成表成绩组成分项考评方式分项考评内容成绩占比课程总成绩占比过程性成绩/平时成绩学习通平台平时成绩出勤情况10%50%课堂表现：知识抢答、讨论10%线上学习：课前课件预习、课后视频复习、课中章节测验、分组任务（PBL）等任务点完成度30%平时作业完成实验报告50%终结性成绩/期末成绩课程设计数据采集技术的综合应用80%50%课程答辩组织、沟通与表达能力20%课程总成绩100%（二）过程式考核方式及其评价标准学习通平台的平时成绩评定出勤情况（10%）线上平台考勤和线下点名考勤课堂表现（10%）线上平台问题抢答和讨论，平台根据课程积分计分线上学习（30%）课前课件预习，平台根据学习次数计分课中章节测验，平台根据每章测验结果计分课后视频复习，平台根据观看视频完成进度计分分组任务（PBL）,平台根据分组任务活动获得的分数计分平时作业（50%）实验报告完成情况计分（三）终结性考核（期末考核）题目类型及评价标准期末考核通过课程设计的开放式选题，测试学生运用数据采集技术实现不同业务场景下数据采集需求的综合应用能力。评价标准：参照课程考核评分标准计分。（四）补考方式及补考成绩评定标准补考考核通过课程设计的开放式选题，测试学生运用数据采集技术实现不同业务场景下数据采集需求的综合应用能力。评价标准：参照课程考核评分标准计分。大纲执笔人签名：审核人签名(专业主任、系主任)：审批人(院长或教学副院长)：批准时间：附件1-1表3课程教学计划课次教学内容重点难点学生学习预期成效及评价依据学时教学方法方式，教学资源课程思政要素或融入点1第1章爬虫与网络数据采集概述1.课程介绍：课程性质与作用、课程基本要求。2.引入爬虫案例了解爬虫能做什么？3.数据采集概念与方法。4.网络爬虫概念与分类、应用场景。5.网络数据采集的工作原理与流程。6.网络数据采集的编程语言与可视化工具。7.网络数据采集的合法性。8.防爬虫措施和应对策略。9.搭建数据采集技术的开发环境。10.综合案例--采集豆瓣读书“小说”类图书信息重点：1.理解数据采集、网络爬虫的概念。2.掌握网络爬虫的分类与应用场景。3.开发环境的搭建难点：网络数据采集的工作原理与流程。学会使用可视化工具采集图书信息。学习预期成效：1.能够清楚课程的性质、学习目标。2.能够阐述数据采集与网络爬虫的概念、网络爬虫的分类。3.能够表述Robots协议的常规选项含义并遵守Robots协议。4.能够网络爬虫的工作原理和流程。5.熟悉常见的反爬虫举措和应对的反反爬策略。6.会使用Python语言与可视化工具实现简单数据采集。评价依据：在学习通上完成课件和视频学习任务点，知识抢答。线上1+线下2教学方法方式：课前：线上自主学习教学PPT。课中：以讲授法为主，讲解重难点；引入案例进行直观演示，结合线上线下混合教学法开展知识抢答。课后：线上观看案例操作视频进行课后实践。教学资源：教学PPT、综合案例、课程学习通平台职业素养：案例：柯某某在未经著作权人授权的情况下，于2021年8月至2022年4月期间利用爬虫软件采集影视剧5万余部视听作品网页版播放地址数据，将存储在服务器的视听作品转载到其个人运营管理的网站及“某某影院”APP上，提供给网民免费观看。同时，柯某某承接广告业务，在“某某影院”APP上的免费视听作品中投放开屏广告，以广告展现量计酬收取广告费，非法获利共计人民币35万余元，因侵犯著作权被判刑。引导学生在数据采集要遵守Robot协议、法律法规，养成良好的职业道德。2网络爬虫基础知识1.熟悉浏览器加载网页的过程。2.了解网页基础知识：网页结构、分类和数据格式。3.理解HTTP基础知识：HTTP与HTTPS、请求格式与响应格式、Cookie简介。4.掌握Google开发者工具的使用。5.学会使用Google开发者工具采集2024中国大学排名。重点：1.网页基础知识。2.Google开发者工具的使用。难点：HTTP的基本原理。学习预期成效：1..能够阐述浏览器加载网页的过程。2.能够表达URL格式、HTTP请求格式和HTTP响应格式。3.能够阐述Cookie机制的运作原理及其作用，并能够区分HTML、JavaScript和CSS三者的区别。4.学会使用Google开发者工具查看网页元素和网络信息。评价依据：在学习通平台完成课件和视频学习任务点，章节测验。线上1+线下2教学方法方式：课前：线上自主学习教学PPT。课中：以讲授法为主讲解重难点；结合线上线下混合教学法开展章节测验。课后：线上观看录播视频进行复习。教学资源：教学PPT、学习通平台民族自豪感：健康码作为实名认证的电子二维码，通过颜色展示个人疫情风险等级。与人工方式采集和填报疫情信息相比，健康码的信息采集、汇总、分析和上报的效率更高，满足了实时防控的需求，是抗击疫情的关键助力。在教学过程中融入该案例能够激发学生对数据采集技术的学习热情，也有助于增强学生对国家和民族的自豪感。3爬虫流程与Requests库的使用1.熟悉爬虫基本流程。2.掌握网页请求库Requests库的使用。3.综合案例—采集排行榜电影信息。4.拓展案例--采集百度翻译信息。重点：1.爬虫基本流程。2.Requests库的使用。难点：使用Requests库请求和获取网页信息。学习预期成效：1.能够阐述爬虫的基本流程：发起请求、获取响应内容、数据解析、数据存储。2.学会网页请求库Requests库的使用。3.会应用Requests库请求和获取网页信息。评价依据：在学习通平台完成课件和视频学习任务点，知识抢答。线上1+线下2教学方法方式：课前：线上学习教学PPT，安装Requests和BeautifulSoup4课中：以讲授法为主讲解重难点；操作演示综合案例。课后：线上观看拓展案例进行课后实践。教学资源：教学PPT、案例、课程学习通平台社会主义价值观：引导学生在应用爬虫技术要按照一定标准制作程序流程脚本，如果爬虫脚本不科学，则会带来违反法规的风险。例如：不遵循爬虫协议，获取某些敏感信息内容以及利用商业活动来赚钱，违反纪律。让学生明白技术是一把双刃剑，只有正确使用它们，才能发挥更大的作用。4第4章网页数据解析与提取实验1Requests库与BeautifulSoup库的应用1.理解BeautifulSoup4的解析原理。2.学会BeautifulSoup4库的使用。3.综合案例-采集热门榜单TOP500音乐信息。重点：1.BeautifulSoup4的使用。2.采集音乐信息。难点：实验1Requests库BeautifulSoup库的应用。学习预期成效：1.会应用BeautifulSoup4库解析网页信息和提取数据。2.综合应用Requests库和BeautifulSoup库采集和提取网页信息。评价依据：在学习通平台完成课件和视频学习任务点，章节测验，实验报告完成等级。线上1+线下2教学方法方式：课前：线上学习教学PPT,完成章节测验。课中：以讲授法为主讲解重难点；演示案例；学生完成实验1。课后：线上观看拓展案例视频进行课后实践。教学资源：教学PPT、案例、课程学习通平台责任担当：引导学生熟悉机房上课守则，遵守学校的各项规章制度和课堂纪律，强化制度约束、以身作则，学会责任与担当。5第4章网页数据解析与提取1.熟悉正则表达式常用符号。2.掌握Re模块及其方法的使用。3.学会使用正则表达式提取网页信息。4.综合案例-采集Top250电影信息。5.实验2正则表达式的应用重点：1.re模块及其方法。2.正则表达式的使用。难点：正则表达式的应用。学习预期成效：1.会应用Re中方法解析网页。2.综合应用正则表达式提取信息。评价依据：在学习通平台完成课件和视频学习任务点，章节测验，实验报告完成等级。线上1+线下2教学方法方式：课前：线上学习教学PPT，完成章节测验。课中：以讲授法为主讲解重难点；演示案例，知识抢答。课后：完成实验2。教学资源：教学PPT、案例、课程学习通平台匠人精神：引导学生实现实验需要认真谨慎，避免一步错影响整个程序的运行和后续实验的开展，因此需要在每个步骤尽量保证细致无误，发扬匠人精神，不断精益求精。6第4章网页数据解析与提取1.熟悉Lxml库安装与使用方法。2.掌握Xpath语法及其应用。3.综合案例-采集“爬虫”图书信息。4.拓展案例-采集二手车信息。5.实验3Lxml库与Xpath的应用。重点：1.Xpath语法及应用。2.使用Xpath提取图书信息。难点：Xpath的综合应用。学习预期成效：1.会应用Lxml库解析网页。2.学会使用Xpath语法提取网页信息。评价依据：在学习通平台完成课件和视频学习任务点，章节测验，实验报告完成等级。线上1+线下2教学方法方式：课前：线上学习教学PPT，安装lxml库，完成章节测验。课中：以讲授法为主讲解重难点；演示案例，知识抢答。课后：完成实验3。教学资源：教学PPT、案例、课程学习通平台职业素养：引导学生了解爬虫工程师的基本素养和职业道德，为爬虫工程师岗位做好职业规划。7第5章爬虫数据的存储1.熟悉Json模块及其方法的使用。2.学会将数据存储为JSON文件。3.综合案例-采集交通数据。4.掌握MongoDB数据库的安装与使用。5.能够将采集的数据存储到MongoDB数据库。6.综合案例-采集二手书信息。重点：1.Json模块的常用方法。2.MongoDB数据库的使用。难点：将爬虫数据存储为JSON文件和MongoDB数据库。学习预期成效：1.能阐述Json模块中的常用方法。2.学会将爬虫数据存储为JSON文件和MongoDB数据库。评价依据：在学习通平台完成课件和视频学习任务点，章节测验。线上1+线下2教学方法方式：课前：线上学习教学PPT，安装MonboDB数据库和Pymongo库，完成章节测验。课中：以讲授法为主讲解重难点，演示案例，知识抢答。课后：线上观看综合案例视频进行课后复习。教学资源：教学PPT、案例、课程学习通平台职业使命感，不怕苦，不畏难：2020年因新冠疫情而变得特殊，马俊飞就是无数民航人中的勇往直前、敢于担当，为保障航班正常运行贡献了力量一员。这种坚守岗位，就和我们每一个平凡的工作者一样，发挥自己的价值，它体现的是一种职业的使命感，一种敬业精神。8第5章爬虫数据的存储1.熟悉MySQL数据库的安装与使用。2.学会将爬取的数据存储MySQL数据库。3.综合案例-采集热门游记信息。4.拓展案例-采集贴吧信息。5.实验4爬虫数据存储的应用。重点：1.MySQL数据库的使用。2.爬取热门游记信息并存储到MySQL数据库。难点：爬虫数据存储的应用。学习预期成效：1.能阐述MySQL数据库的用法。2.学会将爬虫数据存储到MySQL数据库。评价依据：在学习通平台完成课件和视频学习任务点，实验报告完成等级。线上1+线下2教学方法方式：课前：线上学习教学PPT，安装MySQL数据库和Pymysql库，完成章节测验。课中：以讲授法为主讲解重难点，演示案例，知识抢答。课后：完成实验4。教学资源：教学PPT、案例、课程学习通平台职业素养：引导学生在数据采集时，要将采集到的数据进行脱敏操作后再存储到数据库，即注意保护个人隐私信息。9动态网页数据采集1.了解静态网页与动态网页的区别。2.理解逆向分析与爬取方法。3.学会使用异步加载技术爬取网页信息。4.综合案例-采集简书大学堂精选好课。5.拓展知识：Jieba分词与词云制作。重点：1.逆向分析方法。2.异步加载技术。难点：使用逆向分析方法采集简书大学堂精选好课。学习预期成效：1.能判断静态网页与动态网页。2.学会使用逆向分析法查找网页请求地址。3.综合应用异步加载技术采集网页信息。评价依据：在学习通平台完成课件和视频学习任务点，章节测验，知识抢答。线上1+线下2教学方法方式：课前：线上学习教学PPT，完成章节测验。课中：以讲授法为主讲解重难点，演示案例，知识抢答。课后：线上观看拓展知识视频学习Jieba分词与词云制作。教学资源：教学PPT、案例、课程学习通平台创新创业精神：字节跳动创始人张一鸣，4次创业失败，第五次改变6亿中国人。大数据技术的发展离不开敢为人先的探索者，数据采集与处理技术的不断成熟也需要更多创新创业者的共同参与和助力。收获成功的道理都是需要不断努力、持之以恒，经受打击、快速振作，千帆历尽，终达彼岸。所以，同学们要仰望星空，脚踏实地，认真学习。10第6章动态网页数据采集1.掌握Selenium与ChromeDriver的安装。2.学会Selenium插件的使用。3.能够使用Selenium爬取动态网页信息。4.\o"9-2综合案例（一）—爬取pexels网页上图片"综合案例-采集pexels网页中图片。重点：Selenium插件的使用。难点：使用Selenium爬取pexels网页中图片。学习预期成效：1.会使用Selenium插件。2.综合应用Selenium爬取动态网页信息。评价依据：在学习通平台完成课件和视频学习任务点，知识抢答。线上1+线下2教学方法方式：课前：线上学习教学PPT，安装好Selenium与ChromeDriver。课中：以讲授法为主讲解重难点，案例演示，知识抢答。课后：线上观看视频学进行课后复习。教学资源：教学PPT、案例、学习通平台责任意识与爱国情怀：2018年3月，Facebook超过5000万用户信息数据被一家名为“剑桥分析”的公司泄露。数据安全是一项系统工程，同学们要参与到我国网络与信息安全保障体系建设工作中来，做到知法守法，认真履行有关数据安全风险控制有关义务和职责，增强数据安全可控意识，共同维护国家安全秩序。11第6章动态网页数据采集1.掌握使用Selenium模拟浏览器的操作。2.能够使用Selenium插件实现模拟登录。3.学会使用Selenium模拟浏览器中的搜索框操作。4.拓展案例-采集非物质文化遗产信息。5.实验5动态网页数据采集的应用。重点：1.Selenium插件模拟浏览器的操作。2.使用Selenium插件实现模拟登录。难点：使用Selenium模拟浏览器中的搜索框操作。学习预期成效：1.学会应用Selenium插件模拟浏览器的各种操作。2.综合应用Selenium爬取动态网页。评价依据：在学习通平台完成课件和视频学习任务点，章节测验，实验报告完成等级。线上1+线下2教学方法方式：课前：线上学习教学PPT，完成章节测验。课中：以讲授法为主讲解重难点，案例演示。课后：完成实验5。教学资源：教学PPT、案例、课程学习通平台。数据安全意识：员工窃取公司信息牟利被判刑某IT公司员工工作调动后未主动清理系统登录信息，反而利用系统漏洞越权访问，窃取公司数据并透露给外部公司获利，最终被判犯非法获取计算机信息系统数据罪，判处有期徒刑一年，并依法追缴违法所得。数据采集涉及企业数据，属于企业核心资产，一旦非法窃取，将会严重影响企业利益。大数据技术从业人员应该熟悉信息安全相关的法律法规并具备一定的技术能力，从而守护好个人和公司信息数据的安全。12反爬策略与反反爬技巧1.了解反爬虫与反反爬虫。2.熟悉静态页面与动态页面的反爬虫技术。3.掌握常见的反反爬技术。4.综合案例-采集百度翻译。5.拓展案例-采集招聘信息。重点：1.常见的反爬虫技术。2.常见的反反爬虫技术。难点：应用反反爬虫技术实现数据的采用。学习预期成效：1.学会反爬虫的识别。2.能综合应用反反爬虫技术实现数据的采集。评价依据：在学习通平台完成课件和视频学习任务点，章节测验，课堂抢答。线上1+线下2教学方法方式：课前：线上学习教学PPT，完成章节测验。课中：以讲授法为主讲解重难点，案例演示。课后：线上观看视频学进行课后复习。教学资源：教学PPT、案例、课程学习通平台。法治素养：知法守法，践行技术向善明确代理技术的“双刃剑”属性：合法代理可用于规避频率限制，但非法代理（如暗网匿名IP）可能被用于网络攻击。要求学生签署《数据采集伦理承诺书》，承诺不利用代理技术从事以下行为：（1）绕过地域限制获取境外敏感信息；（2）对政府、金融等关键系统发起高频请求；（3）协助非法数据跨境传输。“技术无善恶，但开发者有立场。同学们应主动学习《网络安全等级保护制度》，在爬虫开发中嵌入合规逻辑（如自动过滤敏感字段、设置采集频次阈值），成为网络空间治理的‘守门人’。”13第8章Scrapy爬虫框架的应用1.熟悉Scrapy框架的安装。2.理解Scrapy框架的工作原理。3.掌握Scrapy爬虫框架的常用命令。4.学会Scrapy爬虫框架的使用。5.综合案例-采集百度新闻数据。6.拓展案例-采集微博搜索文章信息。重点：1.Scrapy的工作原理。2.Scrapy爬虫框架的常用命令。难点：Scrapy爬虫框架的使用。学习预期成效：1.能够阐述Scrapy框架的7个组件。2.学会使用Scrapy框架的常用命令。3.会应用Scrapy框架采集信息。评价依据：在学习通平台完成课件和视频学习任务点，知识抢答。线上1+线下2教学方法方式：课前：线上学习教学PPT，完成Scrapy框架的安装。课中：以讲授法为主讲解重难点，案例演示，知识抢答。课后：线上观看视频学进行课后复习。教学资源：教学PPT、案例、课程学习通平台协作精神：Scrapy框架七大组件相互协作从Scrapy框架和7个核心组件切入，每个组件需要相互协作，共同完成数据的请求、下载、解析、提取和存储。每一个组件都需要有“责任意识”，团结一致，才能高效运转。14第9章多类型数据采集与存储1.巩固使用JSON解析数据。2.学会股票财经信息的采集。3.掌握聚合数据API使用流程。4.能够采集与分析天气数据。5.能够综合应用数据采集技术采集安居客租房信息。重点：采集的需求分析、思路与实现。难点：多种数据采集技术的综合应用。学习预期成效：1.学会数据采集API接口的使用。3.学会对获取的数据进行初步清洗与分析。3.能够应用不同的数据采集技术解决相关场景的数据采集需求。评价依据：在学习通平台完成课件和视频学习任务点，知识抢答。线上1+线下2教学方法方式：课前：线上学习教学PPT。课中：以讲授法为主讲解