课程标准 - spark大数据技术

大数据应用专业Spark大数据技术与应用课程标准课程名称：Spark课程编码：适应对象：三年制大数据应用专业学分：5教学条件：一体化教室、武汉伟创聚赢科技有限公司建设团队：共有教师xx审定机构：教务处二、课程理念课程定位Spark继承了MapReduce分布式计算的优点并改进了MapReduceSparkHadoopMapReduce但不同于MapReduce，Spark的中间输出结果可以保存在内存中，从而大大减少了读写HDFSSpark在企业中的运用越来越广泛，学习Spark分布式计算框架已然是进入大数据行业所必不可少的一步。课程改革理念大数据技术蓬勃发展，基于开源技术的Hadoop在行业中应用广泛。但是Hadoop本身还存在诸多缺陷，最主要的缺陷是其MapReduce计算模型延迟过高，无法胜任实时、快速计算的需求。Spark的诞生弥补了MapReduce的缺陷。课程设计思路本课程采用理论与实践相结合的教学方法。在理论上，通过典型案例引入概念、原理和方法。在实践上，由教师讲解案例背景，提供简单思路。引导学生对案例进行针对性的分析，审理和讨论，扩展学生的思维，增加学生的兴趣。通过学生的讨论、自主实践和练习，提高学生的判断能力，专业能力和综合素质。要求学生自主搭建Spark章的任务教学中，可适当布置联系、组织讨论、引导提出扩展的解决方案，充分调动学生的主观能动性，锤炼学生的专业精神并提升动手能力，以达到本课程的培养目的。三、课程目标总目标通过本课程的学习，使学生对Spark要包括了SparkScalaSparkSpark具体目标知识目标1.了解Spark掌握如何搭建Spark掌握SparkRDD了解Spark掌握RDD掌握键值对RDD掌握文本文件的读取和存储能力目标1掌握如何在IDEA中配置Spark编程环境2掌握Spark程序的编写掌握SparkSQL掌握SparkStreaming5掌握SparkGraphX6掌握SparkMLlib使用方法7学习ALS算法8掌握MLlib算法包的使用素质目标①学生自主探究学习状态②学生合作学习状态③学生的自我感受(共鸣度、愉悦度、价值度)④与人合作的积极性四、课程教学内容本课程由8个教学项目组成，课程具体教学内容见表1。表1 课程教学内容一览表序 项目/模教学内容/任教学/学习目标 教学活动设计 教学资源 学习地点 学时号 块/任务 务Spark基本概念Spark发展和应用Spark概述 Spark环境配置法

SparkSpark分布式环课件、境 案、素材、掌握SparkRDD教学环境、

实训机房 4SparkSpark基础知识

Spark架构及原理从内存中已有数据创建RDDRDDRDD转化操作和行动操作方法RDD键值对操作文件读取与存储下载与安装IntelliJIDEAScala插件安装与使用

的概念了解Spark的运行流程和原理掌握RDD的转化操作和行动操作方法掌握键值对RDD的操作掌握文本文件的读取和存储掌握如何在IDEA中配置Spark编

实践项目案、素材、教学环境、实践项目

实训机房 8Spark编程进配置Spark运行环3阶 境的方法运行Spark程序的方法持久化方法SparkSQL简介SparkSQL：SparkSQLCLI配

程环境掌握Spark的编写

案、素材、教学环境、实践项目

实训机房 104 结构化数据文置件处理 SparkSQL与交互

掌握SparkSQL使用方法 教学环境实践项目

实训机房 8DataFrame基础操DataFrame基础操作方法SparkStreaming运行原理课件、教Spark 掌握 SparkSpark Streaming 案、素材、5Streaming：Streaming使用实训机房8使用方法 教学环境、实时计算框架 方法DStream编程模型 实践项目基本方法图的基本概念图计算的应用GraphX课件、教Spark图的创建与存储掌握Spark案、素材、6GraphX：图计实训机房8Python 数据查询与数据转GraphX算框架爬虫高 换 实践项目阶框架结构转换与关联聚知识合课件、教Spark7机器学习掌握Spark案、素材、MLlib：功能 实训机房 8MLlib介绍和应用MLlib使用方法教学环境、强大的算法库实践项目课件、教项目案例：餐常用推荐算法 学习ALS算法案、素材、饮平台菜品智异常数据处理方法掌握MLlib算法 实训机房 12教学环境、能推荐 数据变换方法 包的使用实践项目学时合计64突出学生解决实际问题的能力，加强过程性考核。突出学生解决实际问题的能力，加强过程性考核。课程考核的成绩构成=出勤（10%）+平时作业与课堂练习+课程设计60%，题型可采用判断题、选择、简答、应用题等方式。序项目/模单元教学内容理论考试技能考核序项目/模单元教学内容理论考试技能考核备注号 块/任务

考试权重 内容形式线上搭建Spark学习

考核权重 内容方式掌握Spark作业RDD的概念、提交1 Spark概述 5% 分布式环境掌握RDD的

5% Spark平台 或考运行流程和原考核 试理Spark基2础知识

线上转化操作和学习Spark编程 5% 行动操作方 平台法考核

掌握键值对作业RDD的操作提交掌握文本文件或考的读取和存储试Spark编程3进阶

掌握如何在线上IDEA中配置学习8% Spark编程环 平台境考核

Spark序的编写或考试SparkSQL：4 结构化数据文件处理SparkStreaming

线上掌握Spark学习8%SQL使用方法平台考核线上掌握Spark学习

掌握Spark提交SQL试掌握Spark提交5Spark计算框架

8%实时计算框架Spark

Streaming使用方法Spark

8% Streaming使平台 或考用方法考核 试线上 作业6 GraphX：图计算框架SparkMLlib：功能7 5%强大的算法库

学习GraphX使用 平台方法考核线上SparkMLlib学习5%使用方法 平台考核

SparkGraphX使用方法 或试作SparkMLlib提使用方法 或试笔试笔试项目案例：学习ALS算或线MLlib8餐饮平台菜6%法6%上考法包的使用品智能推荐试试本课程为专业必修课，根据《武汉警官职业学院学分制管理办法5必须参加32学时的理论学习和32学时的实验（实训、实习、设计等）教学活动，并经考核合格才能取得相应学时学分，学分绩点根据课程综合评定成绩计算。课程期末总评成绩45～59.9分（按百分制折算）的学生，允许参加正常补考一次，补考内容包括理论考试和技能考核，各占50%，总评合格者给予相应学时学分七、教学建议（一）教学方法本课程采用理论与实践相结合的教学方法。在理论上，通过典型案例引入概念、原理和方法。在实践上，由教师讲解案例背景，提供简单思路。引导学生对案例进行针对性的分析，审理和讨论，扩展学生的思维，增加学生的兴趣。通过学生的讨论、自主实践和练习，提高学生的判断能力，专业能力和综合素质。要求学生自主搭建Spark章的任务教学中，可适当布置联系、组织讨论、引导提出扩展的解决方案，充分调动学生的主观能动性，锤炼学生的专业精神并提升动手能力，以达到本课程的培养目的。（二）教学条件1.教室机房安装所有大数据VM,Spark,hadoop,scala专业应用的相关软件，比如常用软件虚拟机,等软件。2.校内实训基地表3XX课程实验室主要仪器设备实训室名称设备名称规格数量教师机I5处理器，8G内存，4G独立显卡1学生机I5处理器，8G内存，4G独立显卡50大数据实投影仪EPSONCB-X041训室投影幕布120寸红叶电动幕布1投影机吊箱定制1音响系统万利达Y51实训室名称设备名称规格数量路由器H3CER31001机柜标准600*600*12001交换机H3CS1024R24口百兆3理线器16空位3服务器晨光溢海1八、资源开发与利用（一）教材编写与使用情况教材肖芳，张良均．Spark大数据技术