《数据采集与预处理》课程标准

《数据采集与预处理》课程标准课程名称：数据采集与预处理学分：4计划学时：72适用专业：大数据技术1．前言1.1课程性质《数据采集与预处理》课程是大数据技术专业核心课程，在整个专业课程体系中占有极为重要的地位。其前导课程为《程序设计基础》、《Web前端设计》，后续课程为《大数据分析技术应用》。本课程的定位是使学生掌握python数据采集、预处理与存储的综合应用，通过上机实践掌握对不同领域、不同来源、不同类型数据采集、数据预处理与存储的基础能力，为今后大数据技术工作打下坚实的基础。1.2设计思路传统的开发类课程的教学只是针对软件开发工具的操作方法进行讲授，理论知识点讲完后，学生进行软件工具的操作实验以及完成课后练习，知识点多而散，到最后一学期下来，学生只会编写简单的开发语言以及开发软件的基本使用，不会灵活的综合各知识点进行软件开发实践，无法真正将所学的知识应用到实际的开发过程中。在信息时代，提倡把“知识”放在问题中，放到现实中，让学生通过收集信息、分析信息、处理信息和运用信息，主动地探索、发现、体验和解决问题，从而培养获取新知识和利用知识进行创新的能力。为了提高学生的技能和改变以前的教学情况，信息技术系大数据教研室经过多年的教学模式研究以及培养方案探索，根据“以实践为导向，以能力为本位”和“项目教学法”的教学思想，制定相应的项目教学方案，本课程课堂教学改革就是在上述教学思想的基础上开始实施，改变原有的传统教学模式，改革传统的实验、实践教学模式，通过项目式的教学，引入知识点，学生容易接受，并能很好的应用所学知识和所学技能，最终使学生切实掌握大数据相关技术，培养学生成为面向社会的实践型人才。本课程以Python语言为基础，采用经典仿真案例进行分解与设计，将大数据技术知识点融入到项目案例设计中，设计出一套与岗位能力对接的项目实训方案。2．课程目标2.1总体目标任务引领型的项目活动，旨在使学生掌握大数据技术的基本知识和综合实践技能，包括数据采集、数据预处理、网络基础与攻防知识、信息脱敏技术与基础存储等内容。重点关注数据获取、字符串处理、JSON数据解析、网页正则表达式、BeautifulSoup、XPath路径解析、异步数据解析、模拟浏览器（Selenium）与网络爬虫框架（Scrapy）的运用等。最终通过一个个简化的仿真项目，使学生在认知和实际操作上，对大数据采集与预处理有一个整体的认识和理解，并掌握使用Python语言技能。倡导学生在“做中学”，为提高学生的职业能力奠定良好的基础。2.2具体目标通过理论和实践教学，使学生掌握Python在大数据采集与预处理中的常用工具和方法，并培养良好的大数据采集与预处理的应用能力。2.2.1知识目标主要掌握大数据采集与预处理技术基本知识，结合项目案例掌握如下知识：（1）熟悉数据获取方法与数据类型；（2）掌握采集与预处理应用环境配置；（3）熟悉网络基础与攻防知识；（4）掌握网络数据采集与存储；（5）掌握数据基础预处理技术；（6）了解数据可视化应用；（7）了解网络数据采集框架应用。2.2.2能力目标（1）具备开发环境部署的能力；（2）具备从不同的途径获取数据的能力；（3）具备HTML数据类型解析能力；（4）具备JSON数据类型解析能力；（5）具备简单数据存储的能力；（6）具备字符串基本预处理的能力；（7）具备数据获取、解析与存储综合应用能力。2.2.3素质目标（1）培养学生的刻苦钻研精神、创新能力、举一反三与学以致用的能力。（2）培养学生知识的综合实践能力。（3）培养学生的集体协作能力，实事求是的学风、严谨的学习态度。（4）培养严谨的工作作风，利用较综合性项目培养学生对大数据技术支持工作有直观的了解和认识，使学生胜任今后的工作。3．课程内容与要求序号教学任务课程内容及教学要求教学设计参考学时1认识大数据1、熟悉大数据特征2、熟悉大数据关键技术3、掌握不同的数据获取途径4、具备分析简单数据类型的能力理论讲授、上机实训、应用巩固、总结提高32环境与语言基础1、熟悉环境配置的要求2、能够完成第三方工具包的配置、引入与使用3、熟悉Python数据结构、文件处理4、具备简单答python对象抽象与封装的能力理论讲授、上机实训、应用巩固、总结提高93网络数据获取1、掌握网络数据处理过程2、掌握网络数据获取方法3、能够分析网络数据采集行为的合法性4、会配置第三方包数据采集依赖库理论讲授、上机实训、应用巩固、总结提高64正则表达式1、了解正则表达式字符集2、熟悉正则常用函数3、具备使用正则表达式完成页面解析的能力理论讲授、上机实训、应用巩固、总结提高95HTML内容解析1、掌握BeautifulSoup数据解析2、掌握Lxml与Xpath的使用3、掌握JSON数据解析4、具备使用不同方法解析网页数据的能力理论讲授、上机实训、应用巩固、总结提高156数据存储1、了解NoSql数据库2、掌握CSV等文件存储3、熟悉MongoDB数据库安装4、具备使用数据库存储数据的能力理论讲授、上机实训、应用巩固、总结提高67多线程与多进程1、了解同步异步采集方式2、了解多线程与多进程差异3、会使用多进程完成简单数据采集理论讲授、上机实训、应用巩固、总结提高38异步加载数据1、熟悉异步加载概念2、掌握模拟浏览器加载3、具备使用Selenium框架完成数据采集的能力理论讲授、上机实训、应用巩固、总结提高39Scrapy爬虫框架1、熟悉Scrapy框架结构2、掌握Scrapy框架基础运用3、了解Scrapy框架高级运用4、能够使用Scrapy框架完成网页数据采集理论讲授、上机实训、应用巩固、总结提高310综合应用实训1、通过仿真项目，综合所学的技能点，完成网络数据采集应用方案设计与实现2、能过针对采集的数据集，拓展学习简单的数据可视化与分析的能力上机实训、应用巩固1211期末复习测试期末考评上机实训、应用巩固3合计72注：“课程内容及教学要求”中，要分别体现技能内容及要求、知识内容及要求。4．实施建议4.1教材选用和编写建议教材选用。应依据学生特点与本着实用性、应用性原则考虑教材的选用。编写建议。必须依据本课程标准编写教材。教材应充分体现任务引领、能力培养为导向的课程设计思想。教材以完成项目驱动，通过课内项目和课后拓展作业等多种手段，采用递进和并列相结合的方式来组织编写，使学生实施任务的过程掌握技能，并进行知识的归纳与拓展。教材应突出实际性，应避免把职业能力简单理解为纯粹的技能操作，同时要具有前瞻性。应将本课程中所用到的项目管理的其他知识纳入其中，并要有思想方法的传授。教材应以学生为本，文字表述要简明扼要，内容展现应图文并茂、突出重点，重在提高学生学习的主动性和积极性。教材中的任务具有可阅读、可扩展性。4.2教学建议课程教学模式。以学生为主体，以能力为本位，以项目为驱动。学生为主体是前提，能力为本位是目标，项目为驱动是手段。教学方法。教师讲授：教师讲授以本课程标准为指南，结合教材和电子教案，通过讲解、答疑等方式培养学生独立思考、解决问题的能力。学生自学：自学内容包括阅读教材，查找资料，以及独立完成作业、小论文；除此之外，还有自我练习（含答案）题库和推荐学习参考书目，供学生自我提高。习题教学：习题教学是检验、巩固、应用所学知识的重要手段。在教学过程中，教师结合教学进度、教学重点和难点，安排适当的习题训练，并对习题中的问题进行指导。实践教学：通过课堂讨论、案例分析、课程论文设计、社会调研等方式进行。在每章教学过程中都给学生进行案例分析和现实问题课堂讨论，学习可事先上网查询有关题目和参考资料。4.3教学考核评价建议本课程期末考试形式为上机开卷考查，期末课程结束，统一出题，统一考查。评分标准：满分100分，其中平时成绩占40%；期末成绩占60%。总评分=平时成绩*40%＋期末成绩*60%；平时成绩：包括出勤与课堂表现、作业三项；期末成绩：实训成绩与期末考查成绩；实训成绩：成绩评定自评与他评相结合、过程与结果相结合；期末考查成绩：采用课内考查的形式，统一出题，学生上机完成设计内容，根据结果评分。4.4课程资源的开发与利用随着新课改的逐步深入，只有充分重视开发课程资源，丰富课程内容，有效地发挥教师的潜能，有利于教师的不断成长，课改才有实质性意义。教师应创造性地利用一切可用的资源，为学生的学习、实践服务。也就是说课程资源的开发和利用会加强课程内容与学生生活以及现代社会和科技发展的联系，而且学生的经验、疑问、情感、态度等也是课程资源的有机组成，关注了学生的学习兴趣和经验，有利于学生对课程内容的理解，有利于学生的发展。课程资源的开发和利用可促进教师专业成长，课程资源开发也促进教师专业化发展，这也是课程资源开发的价值体现之一。课程资源的开发对教师提出了新的专业能力要求，即课程开发的专业素养和能力。教师应该成为学生利用课程资源的引导者、开发者。教师必须具备根据具体的教学目的和内容开发与选择课程资源的能力，充分挖掘各种资源的潜力和深层次价值：标准与规范。注重实训指导书的开发和应用，编写时必须注意时代性、实践性和可操作性。注重教学过程中的讲练结合，增加上机操作时间。教学设施。争取配备背投的教室，如果能上网教学效果会更好。实训条件。人手一台电脑，根据实训指导书进行实训。4.5教学条件配备建议本课程的实施必须依赖于一定的教学条件配备，如计算机机房，WPS软件、Python、PyCharm等必备的软件平台。实践教学环境。利用现有学校教学设备，引导学生学习专业知识，构建系统性的教学内容体系。学校拥有实验教学计算机房，可进行开放性实验。教学实验教室拥有计算机、音响等多媒体设备，可供进行计算机程序设计实验之用。这些实验教学的软