Spark大数据技术与应用（第3版）（微课版）-教学进度表

学院课程教学进度计划表（20～20学年第二学期） 课程名称Spark大数据技术与应用 授课学时64 参与教学教师 授课班级/人数 专业（教研室） 填表时间教务处编印年月打造基于产教融合的就业育人综合服务平台打造基于产教融合的就业育人综合服务平台泰迪智能科技官网：/联系方式：4006840020泰迪智能科技官网：/联系方式：4006840020课程教学目的本课程以任务为导向的教学模式，较为全面地介绍了Spark大数据技术的相关知识。全书共9个xm1，具体内容包括：项目1搭建Spark集群——Spark概述项目2查询手机号码信息——Scala基础项目3查询和统计员工薪资数据——SparkShell编程项目4统计分析竞赛网站用户访问日志数据——SparkIDE编程项目5分析水稻品种审定数据——SparkSQL结构化数据文件处理项目6实时计算书籍热度——SparkStreaming实时计算框架项目7统计得分排名前10的网页——SparkGraphX图计算框架项目8饮用水源合格性预测——SparkMLlib机器学习算法库项目9广告检测的流量作弊识别——Spark综合实战本课程依据企业真实需求，使用实际项目的开发流程，在教与练中培养学生的实践能力。基本每个项目都包含了实训与课后习题，通过练习和操作，帮助学生巩固所学的内容。通过创造了更加符合企业大数据应用真实场景，帮助广大学生提升对大数据专业的理解能力、操作能力和执行能力。教学方法及手段本课程将采用理论与实践相结合的教学方法。在理论上，通过任务引入概念、原理和方法。在实践上，由教师讲解案例背景，提供简单思路。引导学生对案例进行针对性的分析，审理和讨论，扩展学生的思维，提高学生的兴趣。通过学生的讨论、自主实践和练习，提高学生的团队协作能力，专业能力和综合素质。要求学生自主搭建Spark集群、完成章节任务、掌握基本理论和提升专业能力。在每个项目的任务教学中，可适当布置练习、组织讨论、引导提出扩展的解决方案，充分调动学生的主观能动性，锤炼学生的专业精神并提升动手能力，以达到本课程的教学目的。课程考核方法突出学生解决实际问题的能力，加强过程性考核。课程考核的成绩构成=平时作业和练习（20%）+课堂参与（课堂表现与考勤）（20%）+期末考核（60%），期末考试建议采用开卷形式，试题应包括基本概念、基础理论、基本操作、程序设计等部分，题型可采用判断题、选择、简答、应用题等方式。

《Spark大数据技术与应用》教学日历周次学时授课内容作业要求备注14项目1搭建Spark集群——Spark概述1.1Spark简介1.2Spark运行架构与原理任务1.1搭建单机版环境任务1.2搭建单机伪分布式集群任务1.3搭建完全分布式集群项目1课后习题24项目2查询手机号码信息——Scala基础2.1安装与运行Scala2.2Scala基本语法2.3Scala控制结构2.4Scala集合类型项目2实训34项目2查询手机号码信息——Scala基础2.5Scala面向对象编程任务2.1识别号码类型任务2.2统计广州号码段数量任务2.3根据归属地对手机号码段分组任务2.4编写手机号码归属地信息查询程序项目2课后习题44项目3查询和统计员工薪资数据——SparkShell编程3.1创建SparkRDD3.2RDD基础操作3.3RDD进阶操作3.4键值对RDD操作3.5RDD连接操作项目3实训54项目3查询和统计员工薪资数据——SparkShell编程3.6RDD文件读写任务3.1读取员工薪资数据创建RDD任务3.2查询上半年实际薪资排名前3的员工信息任务3.3输出上半年或下半年实际薪资大于20万元的员工姓名任务3.4统计每位员工2023年的总实际薪资任务3.5查询每位员工2023年的月均实际薪资任务3.6将汇总后的员工薪资存储为文本文件项目3课后习题64项目4统计分析竞赛网站用户访问日志数据——SparkIDE编程4.1搭建Spark开发环境4.2Spark持久化和数据分区任务4.1计算竞赛网站每月的访问量项目4实训74项目4统计分析竞赛网站用户访问日志数据——SparkIDE编程任务4.2自定义分区保存项目5分析水稻品种审定数据——SparkSQL结构化数据文件处理5.1SparkSQL简介5.2DataFrame基础操作（5.2.1、5.2.2）项目4课后习题项目5实训84项目5分析水稻品种审定数据——SparkSQL结构化数据文件处理5.2DataFrame基础操作（5.2.3、5.2.4）任务5.1获取数据任务5.2探索与预处理数据项目5课后习题84项目5分析水稻品种审定数据——SparkSQL结构化数据文件处理任务5.3统计分析数据内容项目6实时计算书籍热度——SparkStreaming实时计算框架6.1SparkStreaming简介6.2DStream基础操作（6.2.1、6.2.2、6.2.3）项目6实训104项目6实时计算书籍热度——SparkStreaming实时计算框架6.2DStream基础操作（6.2.4）任务6.1获取输入数据源任务6.2计算用户评分次数及平均评分任务6.3计算书籍被评分次数及平均评分任务6.4实时计算书籍热度项目6课后习题114项目7统计得分排名前10的网页——SparkGraphX图计算框架7.1SparkGraphX简介7.2GraphX常用API（7.2.1、7.2.2）项目7实训124项目7统计得分排名前10的网页——SparkGraphX图计算框架7.2GraphX常用API（7.2.3）任务7.1构建网页结构图任务7.2计算网页得分任务7.3找出排名前10的网页项目7课后习题134项目8饮用水源合格性预测——SparkMLlib机器学习算法库8.1机器学习算法简介8.2使用MLlib机器学习算法库项目8实训144项目8饮用水源合格性预测——SparkMLlib机器学习算法库任务8.1读取数据任务8.2探索性数据分析任务8.3数据标准化任务8.4基于随机森林实现饮用水源合格性预测项目8课后习题154项目9广告检测的流量作弊识别——Spar