《大数据技术基础（第2版）》792-4（覃事刚）教案 第5课 数据采集与预处理（一）

PAGE6PAGE6PAGE5PAGE5

课题数据采集与预处理（一）课时2课时（90min）教学目标知识技能目标：（1）了解数据的主要来源和常用的数据采集方法。（2）了解常用的日志采集系统和ETL工具。（3）了解分布式发布与订阅消息系统Kafka。（4）了解网络爬虫的概念、原理、分类及应用。思政育人目标：感受我国在运用大数据保障和改善民生方面的改革创新举措，如重要产品追溯体系建设、农业农村数据采集体系建设等，不断拓宽知识视野，提升专业能力和社会责任感，立志让大数据在强化民生服务、弥补民生短板上发挥更大作用。教学重难点教学重点：常用的日志采集系统和ETL工具。教学难点：使用网络爬虫工具对网络数据进行采集。教学方法案例分析法、问答法、讨论法、讲授法教学用具电脑、投影仪、多媒体课件、教材教学设计第1节课：→→传授新知（23min）→课堂讨论（10min）第2节课：→传授新知（20min）→合作学习（15min）→课堂小结（3min）→作业布置（2min）教学过程主要教学内容及步骤设计意图第一节课考勤

（2min）【教师】使用文旌课堂APP【学生】按照老师要求签到培养学生的组织纪律性，掌握学生的出勤情况案例导入（10min）【教师】讲述“公交驾驶员生命体征数据采集”案例，并提出以下问题：除了对公交驾驶员的生命体征进行数据采集外，你还知道哪些对社会有益的数据采集？【学生】聆听、思考、举手回答通过案例导入的方法，引导学生主动思考，激发学生的学习兴趣传授新知

（23min）【教师】通过学生的回答引入要讲的知识，介绍数据的的主要来源和常用的数据采集方式数据的主要来源✈【教师】通过多媒体展示数据的来源教学内容日常生活中方方面面的数据都是大数据的来源，可大致分为内部数据和外部数据。其中，内部数据来源于企业（或机构）的内部，由内部运作经营而产生；外部数据则来源于企业（或机构）的外部，如通过交换、购买等方式获取的数据等。（详见教材）✈【教师】提出以下问题：阅读“提示”部分，说一说生活中你知道的数据来源？✈【学生】思考、举手回答✈【教师】提炼、总结学生的回答大数据的来源极其广泛，随着物联网、互联网及移动通信网络的飞速发展，数据的格式和种类也在不断地变化和发展。具体来说，这些数据主要来自以下4个方面。（1）Web数据。Web数据的采集通常借助于网络爬虫来完成。网络爬虫是一种按照一定规则自动地抓取Web数据的程序或脚本。网络爬虫获取数据时，首先抓取互联网的网页，然后从抓取的网页中解析有用的结构化信息。也就是说，它可以将非结构化数据从网页中提取出来，存储为统一的本地数据文件，并以结构化的方式存储。网络爬虫支持图片、音频、视频等文件或附件的采集，附件与正文可以自动关联。（详见教材）✈【教师】通过多媒体讲授数据源的分类根据获取的直接程度，数据源又可分为第一方数据、第二方数据和第三方数据。（1）第一方数据：指己方单位自己和消费者、用户、目标客户群交互产生的数据，具有高质量、高价值等特性，但易局限于既有顾客数据，如企业搜集的顾客交易数据、用户在App上的浏览行为数据等，拥有者可弹性地使用于分析研究、营销推广等。（详见教材）✈【学生】思考、举手回答✈【教师】提出以下学习任务：阅读“高手点拨”部分，和同学之间互相交流，说一说生活中除了书中提到的公开数据网站外，还有哪些公开数据网站？✈【学生】小组讨论、交流、分享常用的数据采集方法✈【教师】提出以下学习任务：阅读“常用的数据采集方法”部分，自主学习数据采集方法相关知识，将不懂的知识点重点标注，并提问✈【学生】阅读、学习、理解、标注、提问✈【教师】巡视、个别指导✈【教师】利用多媒体详细讲解数据采集方法：根据应用环境和采集对象的不同，可将常用的数据采集方法分为以下几种。1．网络数据采集网络数据采集是指通过网络爬虫或调用网站公开API等方式从网站上获取数据的过程。该方法可以将非结构化数据和半结构化数据从网页中提取出来，以结构化的方式统一存储为本地数据文件，支持图片、音频、视频等文件的采集，文件与正文可以自动关联。2．系统日志采集3．ETL工具采集4．分布式消息订阅分发

（详见教材）【学生】聆听、记录、理解通过教师的讲解和演示，互动以及案例，使学生了解数据的来源和数据的采集方法课堂讨论（10min）【教师】组织学生阅读“数字乡村”和“改善民生”中的案例（详见教材），然后组织学生以小组为单位讨论以下问题：从这两个案例中，你发现政务领域数据的来源是什么？数据是如何采集的？【学生】聆听、思考、小组讨论，由小组代表上台发表讨论结果【教师】与学生一起评价各组的讨论结果通过课堂讨论，加深学生对数据来源与数据采集的认识第二节课问题导入（5min）【教师】提出问题：互联网的数据杂乱无章，你知道如何高效收集网络数据吗？【学生】聆听、思考、举手回答通过问题导入，引导学生主动思考，激发学生的学习兴趣传授新知（20min）【教师】通过学生的回答引入新的知识，介绍网络爬虫技术什么是网络爬虫由于大数据超大规模的体量，以及众多用户的频繁操作访问，使得仅使用传统的数据采集方法难以满足业务需求，因此需要通过专门的采集方法对大数据进行采集。采集形式主要有网络数据采集（如提取网页中的图片、文本等）、系统日志采集（业务平台每天都会产生大量的日志数据）、数据库数据采集（如关系型数据库的接入）等，常用的工具有网络爬虫工具、Flume、Kafka、Sqoop等。……（详见教材）✈【教师】提出以下问题：根据网络爬虫基本原理流程图，请大家用自己的话说一说网络爬虫的工作流程呢？✈【学生】思考、举手回答✈【教师】对学生的回答进行总结（1）预先设定一个或若干初始网页的URL，将初始URL加入待爬取的URL列表。（2）从待爬取的URL列表中逐个读取URL，并将URL加入已爬取的URL列表中，然后下载网页。（3）解析已下载的网页，提取所需的数据和新的URL，并存储提取的数据。（4）将新的URL与已提取的URL列表进行比对，检查该网页是否已爬取，如果网页没有被爬取，则将新的URL放入待爬取URL列表的末尾，等待读取。（5）如此往复，直到待爬取URL列表为空或者满足设定的停止条件，最后达到遍历网页的目的。二、网络爬虫的分类和应用✈【教师】利用多媒体详细讲解网络爬虫的分类：网络爬虫按照系统结构和工作原理的不同，大致可以分为4类：通用网络爬虫、聚焦网络爬虫、增量式网络爬虫和深层网络爬虫。（1）通用网络爬虫。通用网络爬虫又称全网爬虫，是根据网络爬虫的基本原理实现的，它所爬取的目标会从初始设定的URL扩充到全网。通用网络爬虫主要应用于门户网站、搜索引擎和大型网络服务提供商的数据采集。（详见教材）✈【教师】提出学习任务：阅读课本网络爬虫的应用部分，对应网络爬虫的分类，结合生活实际思考理解网络爬虫的应用范围✈【学生】自主学习，总结每个独立的搜索引擎都有自己的爬虫程序，爬虫程序每天连续地爬取相关网站，提取信息保存到搜索引擎中，如谷歌爬虫Googlebot、百度爬虫Baiduspider、必应爬虫Bingbot等。此外，有些搜索引擎对应不同的业务还有不同的爬虫，如百度图片爬虫Baiduspider-image、百度新闻爬虫Baiduspider-news等。搜索引擎在用户输入搜索信息后并不是直接搜索整个互联网，而是对预先建立好的索引数据库进行检索。通过讲授，提问，讨论等教学方式，让学生了解网络爬虫技术合作学习（15min）【教师】组织学生以小组为单位学习常用的网络爬虫工具及网络爬虫工具的工作流程，然后讨论以下问题：网络爬虫工具的主要功能是什么？常用网络爬虫工具的优缺点是什么？搜索软件信息，小组讨论，由小组代表上台发表讨论结果【教师】与学生一起评价各组的讨论结果通过合作学习，使学生熟悉网络爬虫工具课堂小结

（3min）【教师】简要总结本节课的要点本节课学习了数据的来源，数据采集工具，以及网络爬虫技术和常用的网络爬虫工具；希望大家在课下多复习，巩固所学知识【学生】总结回顾知识点总结知识点，巩固学生对数据采集相关知识的印象作业