大数据离线与实时技术-课程教学大纲

《大数据离线与实时技术》课程教学大纲【课程名称】《大数据离线与实时技术》【课程类型】专业核心课【授课对象】大数据技术、云计算技术应用、大数据技术与应用及其他计算机相关专业【学时学分】64学时，4学分【课程概况】《大数据离线与实时技术》课程是面向大数据技术、云计算技术应用等相关专业开设的专业核心课程，课程以电影评分数据离线与实时计算项目为主线，围绕Spark分布式集群搭建、离线计算、实时计算环境搭建、实时计算实现和结果可视化，系统介绍大数据计算项目的技术流程和实践方法。本课程以Python为基础，采用任务驱动、工单实施和理实一体化的教学方式，将Spark、Hadoop、Flume、Kafka、ZooKeeper、Flask、ECharts等技术融入真实项目。学生通过对电影评分数据进行批处理和流处理，理解离线计算与实时计算的特点及应用场景，形成数据处理、程序调试和结果展示的综合能力。本课程要求学生具备Python程序设计、Linux操作系统、计算机网络和数据库基础，能够进行虚拟机、命令行工具和常用开发环境的基本操作。【课程目标】通过本课程学习，学生应达到以下目标：1．知识目标（1）掌握Spark分布式集群环境搭建的基本方法，理解Spark的核心概念、体系结构和运行模式。（2）掌握SparkCore、RDD、转换操作、行动操作、键值对RDD、广播变量和累加器等基础知识。（3）掌握SparkSQL、DataFrame、数据连接和SparkSQL调优等离线计算知识。（4）理解Flume、Kafka、ZooKeeper、SparkStreaming和StructuredStreaming的基本原理与应用场景。（5）掌握实时计算结果展示的基本方法，理解Flask、Flask-SocketIO和ECharts等工具在数据可视化中的作用。2．技能目标（1）能够搭建基于CentOS、Python和Hadoop的Spark分布式集群，完成Standalone和onYARN模式的配置与验证。（2）能够运用SparkCore编写Python程序，完成RDD创建、电影信息筛选、TopN查询、评分统计和结果存储。（3）能够使用SparkSQL进行DataFrame操作、单数据和多数据连接离线计算，并进行基本的性能优化。（4）能够使用Flume、Kafka和ZooKeeper搭建实时数据传输环境，完成日志模拟、采集、传输和整合。（5）能够使用SparkStreaming和StructuredStreaming完成实时单词计数、电影评分数据实时计算，并使用前端技术展示计算结果。（6）能够独立完成分析问题、编写程序、上机调试、结果验证和项目文档整理的实践过程。3．素养目标（1）培养精益求精的大国工匠精神，养成规范编程、认真调试和持续改进的职业习惯。（2）树立正确的劳动观，尊重数据处理、平台运维和软件开发中的劳动成果。（3）培养自主学习、主动探究、分析问题和解决实际问题的能力。（4）培养强烈的事业心、严谨的工作作风、团队协作意识和责任意识。（5）培养创新意识和创新精神，掌握从业务需求出发设计数据处理方案的基本方法。【课程内容及学时分布】项目教学内容学时任务1

Spark分布式集群搭建了解电影评分离线与实时计算项目背景、数据集和总体流程；完成VMwareWorkstation、CentOS、Python、JDK、Hadoop等基础环境配置；搭建Hadoop分布式集群和Spark集群，掌握Standalone、onYARN运行模式及PySpark基础。12任务2

SparkCore离线计算理解SparkCore、RDD、转换操作和行动操作；完成电影评分数据集初探、电影总数和年份统计、评分统计、跨文件平均值计算、TopN信息查询及结果读写；掌握键值对RDD、广播变量和累加器等基础应用。10任务3

SparkSQL离线计算理解SparkSQL的体系结构、DataFrame和SQL编程方法；完成DataFrame基本操作、单数据文件统计、多数据文件连接和条件查询；掌握SparkSQL执行过程及基本调优方法。12任务4

实时计算环境搭建理解实时计算数据传输流程；完成Flume、ZooKeeper和Kafka的安装、配置与应用，模拟生成日志数据；实现Flume与HDFS、Flume与Kafka的整合，构建稳定的实时数据采集和传输通道。10任务5

实时计算实现理解实时计算、SparkStreaming和StructuredStreaming的基本原理；完成实时单词计数和电影评分数据实时计算，掌握DStream、流式数据处理、窗口或状态处理等基本方法，并对实时计算结果进行验证和保存。12任务6

实时计算结果可视化理解实时数据可视化的基本原则和实现流程；使用Flask或Flask-SocketIO创建服务器，编写前端页面，结合ECharts展示实时计算结果；完成数据接口、页面交互和实时仪表盘的综合实现。8总计64【课程要求与成绩评定】评定项目要求百分比平时成绩课堂表现、出勤、任务工单完成情况、集群部署与实验操作、程序代码、实验报告、线上互动和作业。50%期末考试上机考试或综合项目考核，重点考查Spark集群部署、离线与实时计算程序编写、数据处理、故障排查和结果可视化能力。50%课程考核应重视过程性评价。