《Spark大数据处理技术》教学大纲

《Spark大数据处理技术》教学大纲

课程编号：13210718

英文名称：SparkBigDataProcessingTechnology

学分：3

学时：总学时64学时，其中理论32学时，实践32学时

先修课程：程序设计

课程类别：专业方向课程

授课对象：数据科学与大数据技术专业学生

教学单位：机械与电气工程学院

修读学期：第6学期

一、课程描述和目标

Spark大数据处理技术主要针对大数据技术与应用、数据科学、计算:机与电子信息等专

业学牛.，主要讲解基于Spark框架下的分布式数据收集、分布式数据存储、分布式数据计算、

分布式数据展示，并结合相关的开源包使用Scala进行实现，以加深学生对所学内容的理解。

通过本课程教学，使学生对分布式大数据技术有一个全面的了傩，掌握基本的信息内容采集、

存储和分析方法，并且具备一定的针对具体信息采集需求的实际运用和解决能力。本课程的

主要内容包括:Scala语言基础与Spark基础;SparkRDD弹性分布式数据集;SparkSQL

结构化数据文件处理：Kafka分布式发布订阅消息系统：SparkStreaming实时计算框架：

SparkMLlib机器学习算法库：并提供一个应用实例。

本课程拟达到的课程目标:通过本课程的学习，学生的计算思维能明显提升，能够通过

编写程序研究与计算机相关的复杂工程问题。具体的课程目标如下：

课程目标1：能够理解互狭网大数据基于Spark的技术体系、主要技术。

课程目标2：掌握Spark相关的各种典型技术原理、技术框架、实现方法、主要开源包

的使用。

课程目标3：理解基于Spark的分布式数据的处理方法、文本处理与相关的挖掘方法，

并会使用Scala进行技术实现c

二、课程目标对毕业要求的支撑关系

毕业要求指标点课程目标权重

3-1:能够设计针对大数据系统工程问题的解决方案，包括满

足特定需求的系统架构、数据库设计、数据挖掘方法、系统课程目标1H

实现、测试与验证等，并在设计环节中体现创新意识。

4-2：能够基于数据科学的方法和原理，就大数据工程应用中

涉及的信息处理、数据关联、模型预测等数据挖掘问题进行

课程目标2H

研究，设计相关的实验方案，并对结果或数据进行分析与总

结，得到合理有效的结论。

5-2：能够针对大数据工程问题，为预测与分析工程模型选择

和使用合适的现代工程工具和信息技术工具，并能理解其同课程目标3

限性。

三、教学内容、基本要求与学时分配

教学

序号教学内容基本要求及重、难点（含德育要求）学时对应课程目标

方式

1.了解Scala的特点

2.掌握Scala和IDEA的下载安

装

3.掌握Scala的基础语法

4.掌握Scala的数据结构

讲授

5,熟悉Scala面向对象的特性

1Scala语言基础2演示课程目标1

6.掌握Scala的模式匹配与样例

练习

类

树立学好专业知识、助力中国梦的

信念；获取仰望星空、探索创新的

精神动力。

1.掌握Spark集群的搭建和配置

2.掌握SparkHA集群的搭建和

配置

3.掌握Spark集群架构

讲授

4.理解Spark作业提交的工作原

2Spark基础4演示课程目标1

理

练习

树立学好专业知识、助力中国梦的

信念；获取仰望星空、探索创新的

精神动力。

1.了解HDFS演变

2.掌握HDFS特点

3.掌握HDFS的架构和原理讲授

SparkRDD弹性分布

34.掌握IIDFS的Shell和Java4演示课程目标2

式数据集

Api操作练习

树立学好专业知识、助力中国梦的

信念；获取仰望星空、探索创新的

精神动力。

1.理解SparkSQL基本概念及其

架构

2.掌握DataFrame/Dataset的常

用操作

3,掌握RDD转换DataFrame的方讲授

SparkSQL结构化数

4式4演示课程目标2

据文件处理

4.掌握SparkSQL操作数据源练习

树立学好专业知识、助力中国梦的

信念；获取仰望星空、探索创新的

精神动力。

1.理解HBase的数据模型

2.掌握HBase的集群部署

3.理解HBase的架构

4.理解HBase读写数据流程讲授

HBase分布.式数据

55.掌握HBase与Hive的整合2演示课程目标2

库

练习

树立学好专业知识、助力中国梦的

信念；获取仰望星空、探索创新的

精神动力。

1.掌握基本的消息传递模式

2.掌握Kafka集群部署

3.掌握Kafka基本操作

4.了解KafkaStreamsAPI的使讲授

Kafka分布式发布订

6用2演示课程目标2

阅消息系统

练习

树立学好专业知识、助力中国梦的

信念：获取仰望星空、探索创新的

精神动力。

1.了解什么是实时计算

2.理解SparkStreaming工作原

理

3.掌握DStream的转换操作

4.掌握DStream的窗口操作讲授

SparkStreaming实

75.掌握DSlream的输出操作4演示课程目标2

时计算框架

6.掌握SparkStreaming和练习

Kafka整合

树立学好专业知识、助力中国梦的

信念；获取仰望星空、探索创新的

精神动力。

1.了解什么是机器学习

2.掌握机器学习的工作流程

3,了解SparkMLlib的基本使用

方式

讲授

SparkMLlib机器学4.了解电影推荐系统的构建流

84演示课程目标3

习算法库程

练习

树立学好专业知识、助力中国梦的

信念；获取仰望星空、探索创新的

精神动力。

1.熟悉Spark实时计算系统架构

2.掌握看板平台开发业务流程

3.熟悉系统环境搭建步骤

4.掌握Redis和WebSocket基本讲授

综合案例一一Spark

9使用方式6演示课程目标3

实时交易数据统计

练习

树立学好专业知识、助力中国梦的

信念；获取仰望星空、探索创新的

精神动力。

合计32

序号实验项目实验内容与要求学忖类型对应课程目标

Scala的下载安装;在IDEA

开发工具中下载安装Scala

1Scala语言基础2验证课程目标1

插件；开发第一个Scala程

序。必修

搭建Spark开发环境；体验

2Spark基础第一个Spark程序;IDEA开2验证课程目标1

发WordCount程序。必修

Sparkm弹性分布式RDD的创建；RDD在Spark

32验证课程目标2

数据集中的运行流程。必修

DataFrame的创建与常用操

SparkSQL结构化数据作：Dataset对象的创建：

44验证课程目标2

文件处理RDD转换DataFrame：Spark

SQL操作MySQL：操作Hive

数据集。必修

HBase的集群部署；HBase

的Shell操作：HBase的

5HBase分布式数据库JavaAPI操作:HBase读写4验证课程目标2

数据流程；HBase和Hive

的整合。选修

安装与启动Kafka；基于命

令行方式使用Kafka：基于

Kafka分布式发布订阅

6JavaAPI方式使用Kafka：4验证课程目标2

消息系统

KafkaStreams开发单词计

数。选修

DSlream编程模型、转换操

SparkStreaming实时作、窗口操作、输出操作：

74验证课程目标2

计算DStream实例一实现网站热

词排序。必修

Spark机器学习工作流程；

8SparkMLlib机器学习利用MLlib实现电影推荐。5综合课程目标3

必修

Spark实时交易数据统计。

9综合案例5综合课程目标3

必修

合计32

注：实验要求包括必修、选修；实验类型包括演示、验证、综合、设计等。

四、课程教学方法

理论教学：主要采用课堂讲授、程序演示、小组讨论等方式。

实验教学：项目讲解、学生自主实验、个别辅导、程序分析等方式。

五、学业评价和课程考核

推行多元评价，对本课程所采用的评价和考核方式作具体说明，若采用多种考核方法请

分别列出考核评价的方法、内容、考核标准、成绩占比等，考核方法、内容应突出“学生中

心、产出导向”。

（-）考核方式及具体要求

£课程成绩构成与要求

课程考核注重形成性和终结,生评价相结合，考核内容主要由平时作业、章节测试、实验、期

末考核组成，均按百分制计分，其中期末考核成绩占50%、平时作业成绩占10%、课堂表现成绩

占10%、实验成绩占30%。

2.课程目标达成考核与评价

课程目标1课程目标2课程目标合

序号考核方式

（分值）（分值）3（分值）计

1平时作业33410

2课堂表现33410

3实验1015530

4期末考试20201050

课程目标对应分值354123100

（二）考核与评价标准

1.平时成绩考核与评价标准

X分值

观测点90-100分70-89分60-69分0-59分

延时完成，60%以不交和补交,50%

按时完成，90%以上按时完成，70%以上

上的作业内容齐以下的作业内容

的作业内容齐全，的作业内容齐全，

全，基本知识点理齐全，基本知识点

基本知识点理解、基本知识点理解、

解、掌握基本到理解、掌握有偏

作业掌握到位。能够利掌握较到位。能够

位。利用理论知识差。不能利用理论

用理论知识识别、较好利用理论知识

对领域相关专业知识对领域相关

分析领域相关专业识别、分析领域相

问题有一定的识专业问题进行识

问题。关专业问题。

别、分析。别、分析。

2.课堂表现评价标准

出勒，迟到1次扣0.5分，无故旷课1次