数据采集与预处理-课程标准-教学大纲

1、数据采集与预处理课程标准课程名称：数据采集与预处理课程代码：课程类型：专业核心课程学 分：4计划学时：64实践课时比例：50%主要授课方式：理实一体化考核方式：上机操作适用专业：大数据技术与应用专业、云计算技术与应用专业、软件技术专业.概述课程的性质本课程是大数据技术与应用专业、云计算技术与应用专业、软件技术专业的专业核心课程，是校 企融合系列化课程，该课程教学内容以任务驱动为主线，围绕企业级应用进行工程任务设计。2课程设计理念本课程遵循应用型本科和高等职业教育规律，以大数据技术与应用实际工作岗位需求为导向选取 课程内容，完成了数据采集和预处理平台搭建、网络爬虫实践、日志数据采集实践和数据预处

2、理实践 等完整的数据采集与预处理应用案例，课程目标是培养学生具备“大数据分析”应用工程所需数据采 集与预处理的综合职业能力；坚持开放性设计原那么，吸收企业专家参与，构建以“工作任务”为载体 的“工程化”课程结构；课程教学实施教、学、做一体，坚持理论为实践服务的教学原那么，通过模拟 企业大数据采集与预处理应用业务进行组织，锻炼学生的实践操作能力。. 3课程开发思路通过岗位技能的工程化以及大数据采集与预处理任务的序列化，对内容体系结构进行了适当调 整与重构，以适应教学课程安排。以工程案例及其任务实现为驱动，凭借翔实的操作步骤和准确的 说明，帮助学生迅速掌握大数据采集与预处理的相关知识与技能，并且充

3、分考虑学习操作时可能发 生的问题，并提供了详细的解决方案，突出岗位技能训练。.课程目标本课程的培养目标是使学生以大数据分析岗位需求为依托，以实际工作任务为导向，理清大数据 采集与预处理中常用工具的作用及应用，培养学生大数据采集与预处理的实际操作技能。1知识目标本课程本书以任务驱动为主线，围绕企业级应用进行工程任务设计，完成了数据采集和预处理平 台搭建、网络爬虫实践、日志数据采集实践和数据预处理实践等完整的数据采集与预处理应用案例, 要求学生系统掌握 scrapy、Flume、pig kettle、Pandas openrefine 和 urllib、selenium 基本库 和Beautifu

4、lSoup解析库等的相关技术知识，熟悉企业典型应用案例，熟悉数据采集与预处理的常用 与典型操作。. 2素质目标（1）培养学生动手能力、自主学习新知识的能力（2）培养学生团队协作精神. 3能力目标通过该课程的学习，学生能利用所学的相关技术，能根据企业具体大数据分析业务，结合采集的 海量数据，针对性的进行数据的预处理，学会数据采集与预处理的常用与典型操作。.课程内容和要求根据专业核心课程目标和涵盖的工作任务要求，确定课程内容和要求，说明学生应获得的知识、 技能与态度。学习情境工作任务知识要求技能要求学时安排数据采集 与预处理 概述认识数据采集技术，熟悉数据采集平台熟悉数据采集的来源和 采集的方法。

5、学会数据采集平台的 搭建。6认识数据预处理技术了解原始数据存在的主 要问题；熟悉数据预处 理的作用和工作任务。学会数据处理工具平 台的搭建。6网络爬虫实践使用urllib爬取北京公交线路信息熟悉url lib基本库和BeautifulSoup 解析库的使用方法使用urllib基本库和 BeautifulSoup 解析 库，学会北京公交线 路相关信息的爬取。4使用selenium爬取淘宝网站信息熟悉Selenium基本库和pyquery解析库的使用方法使用Selenium基本库和pyquery解析库，学会淘宝网站信息的爬取。4使用scrapy爬取北京熟悉Scrapy的使用学会使用Scrapy爬4

6、公交信息取北京公交信息创新与拓展熟悉urllib基本库和BeautifulSoup 解析库的使用方法使用urllib基本库和 BeautifulSoup 解 析库，学会起点中文 网中相关信息的爬取4日志数据采集实践Flume的安装和配置熟悉Flume的相关基础知识学会Flume的安装和 不同应用场景下的配 置4Flume采集数据上传到集群熟悉Flume的相关基础知识学会将采集的日志数 据转存到HDFS的方 法；学会将采集的日 志数据转存到HBase 的方法4创新与拓展熟悉Flume日志信息的 采集过程;熟悉Nginx的 安装和基础语法。学会使用Flume搭建 日志采集系统，并学 会日志采集；学

7、会使 用 Nginx 和 Flume 搭 建日志采集系统，并 完成日志采集；学会 使用Kettle采集 Excel表格中的数据； 学会使用Kettle进行 多复合来源数据的采 集与关联4数据预处理实践用Pig进行数据预处理熟悉Pig的相关基础知识使用Pig完成“北京 公交线路信息”数据 的预处理4用kettle进行数据预处理熟悉Kettle的相关基础知识使用Kettle完成“北京公交线路信4息”数据的预处理用Pandas进行数据预处理熟悉Pandas的相关基础知识使用Pandas完成“北京公交线路信息”数据的预处理4用openrefine进行数据预处理熟悉OpenRef ine的相关基础知识使

8、用 OpenRef ine 完成“北京公交线路信息、”数据的预处理4使用FlumeInterceptor 对日志信 息进行数据预处理熟悉FlumeInterceptor的相关基础知识使用FlumeInterceptor 完成“北京公交线路信息”数据的预处理4创新与拓展熟悉大数据预处理工具Kettle的应用学会Flume+Nginx+Pig 数据采集预处理应用4合计64.课程实施和建议课程的重点、难点及解决方法课程重点在于培养学生能够利用所学的相关技术知识，结合实际大数据分析应用业务，利用数据 采集与预处理常用系统与手段，实现数据采集、数据清洗、数据转换和数据存储操作等；难点在于针 对基础不同、

9、兴趣不一的学生采用不同的方法进行相关能力的培养。4. 2教学方法和教学手段2. 1教学方法:工程引领、任务驱动：每个工程都是多个任务的结合体。每个工程都按规范的流程进行组织， 通过案例引导：将大数据企业中大数据技术与应用岗位相关的工程引入课堂，演绎为工作中的各种操 作任务案例，培养学生利用各种数据采集与预处理的工具与手段，结合大数据具体应用业务，进行大 数据采集与预处理操作。2. 2教学手段多媒体教学、上机演示教学等3教学评价该课程的考核改变单一的终结性评价方法，采用过程考核和结果考核相结合、理论考试和实践考 核相结合的方法。理论局部考核学生对工程所涉及的知识点综合掌握情况，实践局部考核基于大

10、数据 具体应用业务，充分利用数据采集与预处理的工具与手段，完成数据采集、数据清洗、数据转换和数 据存储操作。灵活多样的考核方式可以全面考核学生的学习效果。说明：每个教学工程模块的考核主要考察学生的出勤情况、实际动手能力、理论知识的运用与掌 握情况、完成作业的准确度、完整度、规范度等、分析问题、解决问题的能力、合作沟通能力、学习 态度、总结报告（报告的内容、态度、写作水平等）等评定工程进行考核。4教材选用数据采集与预处理米洪、张鹑主编 人民邮电出版社，2019o5课程资源的开发与利用.教辅材料：要力求接近实践，最好是来源于实践的案例与情境，并开发课程的习题、参考文献 等内容，向学生开放，以利于学生自主学习。.实训指导书：格式正确、内容全面，且能具体写明对学生的各项要求。.软件环境：不断完善大数据分析综合实训室的软件环境，引进与采购管理软件用于教学，为 学生提供更好的采购软件模拟条件。.硬件环境：希望能够完善硬件建设，同时，通过各种渠道加大对校外实训基地的