Spark大数据技术与应用案例教程（周党华）课程标准

《Spark大数据技术与应用案例教程》课程标准【课程名称】旅行社经营与管理【课程编码】【课程类别】专业基础课 【适用专业】计算机科学与技术、大数据技术、数据科学与大数据技术、人工智能等相关专业【授课单位】 【总学时】48学时【编写执笔人】 【编写日期】一、课程定位与设计思路1.1课程性质本课程是计算机科学与技术、大数据技术、数据科学与大数据技术、人工智能等相关专业的专业基础课，其目标是培养学生掌握Spark大数据计算框架的基本原理和使用，培养学生大数据思维与动手能力。本课程旨在通过介绍大数据产生、大数据技术基础、大数据处理、分析、挖掘和可视化的完整过程，让学生了解大数据是什么及其应用价值，全方位了解理论知识。同时结合工具和开发语言实现数据采集、存储、处理、分析、挖掘以及可视化等操作，利用实践操作和应用案例促进学生动手分析能力，掌握运用大数据分析软件的技能和方法。1.2课程设计思路本课程重视理论结合实践，每个项目讲解理论的同时以各种软件实操和案例作为论证和巩固，提高学生学习的趣味。此外，本课程包含众多实操分析案例，在案例操作的过程中，一方面需要指导学生完成案例操作的任务，利用工具和开发语言实现数据采集、存储、处理、分析、挖掘以及可视化等技能，另一方面需要激发学生主动学习、深入研究的热情。本课程立足于实际能力培养，打破以知识传授为主要特征的传统学科课程模式，转变为以实际操作任务为中心组织课程内容和课程教学，整合理论和实践，让学生在完成具体案例的过程中来构建和了解相关理论知识体系，并发展大数据技术应用的职业能力。二、课程目标2.1知识目标（1）了解Spark的发展历程、特点与应用场景。（2）熟悉Spark的生态系统、运行架构与运行基本流程。（3）掌握Spark的部署模式、PySpark命令与运行应用程序的方法。（4）掌握RDD的执行过程和依赖关系。（5）理解RDD持久化和分区。（6）熟悉Spark中常见的文件格式。（7）了解SparkSQL的特点。（8）理解SparkSQL的架构。（9）理解SparkSQL的运行原理。（10）了解流数据、流计算和SparkStreaming的基本概念。（11）理解SparkStreaming的运行原理。（12）掌握编写SparkStreaming应用程序的基本步骤。（13）熟悉SparkStreaming的不同数据源。（14）了解SparkMLlib的组成。（15）熟悉SparkMLlib的基本数据类型。（16）理解SparkMLlib的运行流程。（17）掌握图的基本概念和类型。（18）熟悉GraphFrames的优点和功能。（19）了解GraphFrames的应用场景。2.2技能目标（1）能独立搭建Spark单机环境。（2）能独立搭建Spark集群环境。（3）能使用PySpark和PyCharm开发并运行应用程序。（4）能读取数据创建RDD。（5）能使用RDD的不同操作处理数据。（6）能对RDD进行持久化和分区操作。（7）能将RDD存储为不同类型的文件。（8）能配置SparkSQL。（9）能读取数据并创建DataFrame。（10）能获取DataFrame的数据。（11）能使用不同的方式查询DataFrame的数据。（12）能将DataFrame保存为不同的数据类型。（13）能使用SparkStreaming读取不同数据源创建DStream。（14）能使用DStream的转换操作实时处理流数据。（15）能使用DStream的输出操作输出实时处理的结果。（16）能使用SparkMLlib的特征提取、特征转换和特征选择等特征化工具处理数据。（17）能使用SparkMLlib的聚类算法处理数据。（18）能使用SparkMLlib的分类算法处理数据。（19）能读取数据创建图。（20）能使用GraphFrame类的属性和图的数据操作方法处理图数据。（21）能使用图的常用算法解决实际问题。2.3素质目标（1）增强遵守规则的意识，养成按规矩行事的习惯。（2）加强基础知识的学习，实现从量变到质变的转化，为个人的长远发展打下基础。（3）掌握编程思路，培养逻辑思维能力。（4）培养举一反三的能力，学会融会贯通。（5）培养自我学习和持续学习能力，能够及时掌握新技术和工具，并将其应用到实际项目中。（6）能熟练运用机器学习算法解决日常生活中的数据分析问题。（7）培养自主学习意识，提升实践操作能力。（8）运用图算法处理日常生活中的数据关联性问题。（9）加强自身观察能力，发掘事物之间的关联性。（10）综合应用所学知识，提升归纳总结能力和实践能力。三、课程内容与教学要求本课程包含Spark入门、SparkRDD——弹性分布式数据集、SparkSQL——结构化数据处理、SparkStreaming——实时计算框架、SparkMLlib——机器学习库、GraphFrames——图计算框架、综合案例——分析银行个人信贷业务数据共7个部分，具体课程内容和课时安排如下表所示：所用教材课程内容学时（48）Spark大数据技术与应用案例教程项目1任务1搭建Spark单机环境26任务2搭建Spark集群环境2任务3开发并运行应用程序2项目2任务1读取学生成绩创建RDD28任务2查询考试成绩排名前三的学生信息2任务3计算学生的平均成绩2任务4存储归纳后的学生成绩数据2项目3任务1配置SparkSQL28任务2查看商品信息2任务3查询符合条件的商品信息2任务4存储整理后的商品信息2项目4任务1编写SparkStreaming应用程序26任务2读取电影评分数据创建DStream2任务3实时计算电影热度2项目5任务1加载鸢尾花数据28任务2提取鸢尾花的特征2任务3使用聚类算法处理鸢尾花数据2任务4使用分类算法处理鸢尾花数据2项目6任务1配置GraphFrames24任务2分析社交网站的用户影响力2项目7任务1预处理银行个人信贷业务数据28任务2多角度分析银行个人信贷业务的逾期还款情况2任务3实时统计逾期还款的用户数量2任务4预测银行贷款用户是否存在逾期还款的风险2四、课程实施4.1教学条件我校十分注重建设和完善教学设施，如多媒体教室、机房、网络教学平台、网络数据库等。同时，我校有一支强大的师资队伍，可以为教学出谋划策。4.2教学方法建议本课程遵循“教师引导，学生为主”的原则，采用讲解、多媒体演示、场景模拟法、讨论、翻转课堂等多种方法，努力为学生创设更多知识应用的机会。1．教学组织通过实训室现场参观、情景模拟演练、交流互动、理论知识讲授、专题讲座、观看多媒体、项目作业等教学方式，认识铁路行业，获得客运业务的初步技能。2．教学方法与手段（1）讲授法：主要应用于学生学习基础理论知识的初级阶段，要为学生学习创设一个合适的情景氛围，增强学生的学习兴趣和意识；（2）启发式教学法。在授课的过程中，教师避免采用灌输理论知识的方式，而是采用提问和分析的方式，循序渐进地诱导、启发、鼓励学生对问题和现象进行思考、讨论，再由教师总结、答疑，做到深入浅出、留有余地，给学生深入思考和进一步学习的空间，同时也提高了学生的学习主动性。（3）参与式教学法。改变传统的单纯依赖教师讲授的方法，让学生参与到教学过程中。学生可以就教师的讲授内容发表自己的见解，对问题和现象表达自己的看法。而通过小组讨论、专题汇报、小组辩论、情景模拟、课程作业等方式，学生可以变被动听课为主动学习，既有利于提高学生学习的积极性、主动性，也有利于学生分析问题、解决问题能力的培养和表达能力、团队合作能力的提高。（4）互动式教学法。教师提出问题或现象，启发学生的发散性思维，可以实现教学互动；而小组讨论、角色模拟的方式则可以起到学生之间相互启发的作用，进而又促进了教学。教学相长，扩展了教学的深度与广度。（5）情景模拟教学法。利用情景模拟的方式，有针对性的设计情景，并让学生扮演情景角色，模拟情景过程，让学生在高度模仿的情境中获取知识和提高能力，清晰明白的了解和掌握铁路客运组织的相关理论知识。（6）操作示范法。通过教师现场示范、演示，提高了学生对专业服务技能操作的掌握程度，规范其服务质量标准。（7）其他教学手段：现场参观、交流互动、专题讲座、观看多媒体等教学方式。4.3教学评价与考核要求本课程坚持过程考核与结果考核相结合，成绩评定由平时成绩和期末成绩两部分组成，占比为40：60。平时成绩占40%，由任课教师根据学生出勤情况、课堂（回答问题、小组活动参与情况）表现和作业完成情况来评定；期末考试占60%，以闭卷考试方式完成期末考核。1．形成性测评形成性测评考核学生在学习本课程过程中的学习情况和实际应用能力的发展情况，包括出勤考核（10%）、课堂参与程度考核（10%）、作业完成质量考核（20%）等。（1）出勤考核本项考核通过课前点名考核学生的课堂出勤率。迟到15分钟以内每次扣1分，迟到15分钟以上或无故缺勤一节课每次扣2分，该项考核累计最多扣10分。（2）课堂参与程度考核本项考核主要通过课堂提问和课堂积极发言来评判学生的学习态度、学习主动性、课堂参与程度，以及学生的思辨能力、问题解决能力及其对课堂教学知识的掌握情况等。只要学生能按时上课听讲，即可获得5分的基本分。学生上课发言一次，即可另外获得0.5分，课堂发言最多可得5分。学生的最后成绩为“5+课堂发言得分”。（3）作业完成质量考核本项考核主要通过学生作业来检测其对教学主体内容的掌握与理解程度、实际应用知识的能力、自主学习能力、信息收集与处理能力等。每次作业成绩按照相应标准而定，学生作业质量划分为优秀（10分）、良好（8分）、中等（7分）、及格（6分）和不及格（0分）五个档次。最后的作业成绩为学生作业完成质量成绩的平均数。2．终结性测评终结性测评主要考核学生在学完本课程后所达到的水平，通过期末考试进行考核。期末考试由闭卷笔试（60%）组成，主要评估学生对