数据基础离线 8

电影评分数据集离线与实时计算——项目概述课程导览01项目准备软硬件环境要求与集群搭建基础02项目描述项目背景、需求分析与逻辑流程03学习目标知识、技能、素养三维目标体系项目准备01从工程化角度，电影评分数据集的离线与实时计算需要

高性能、大内存

的计算机，并需要

虚拟化技术

支持，以搭建离线与实时计算的大数据集群核心要求高性能计算机支撑离线与实时计算大内存配置满足数据集规模计算需求虚拟化技术支持搭建离线与实时计算的大数据集群软件类别软件名称版本虚拟化软件VMwareWorkstationPro16大数据集群操作系统CentOS7.7大数据平台组件JDK1.8大数据平台组件Hadoop3.2大数据平台组件Python3.7大数据平台组件Spark3.2大数据平台组件Scala2.13大数据平台组件Flume1.9大数据平台组件Kafka2.8大数据平台组件ZooKeeper3.4.5项目软件环境要求满足项目运行的最低硬件性能门槛，四类硬件一览处理器不低于IntelCorei5内存不小于

8GB硬盘不小于

1TB显示器不低于1024px×768px项目硬件环境要求项目描述02项目需求分析通过大数据离线与实时计算技术分析数据关系，挖掘内在规律，为用户选择电影提供个性化建议。项目简介现今社会，看电影成为人们日常生活的消遣方式。某电影数据库收录超百万部电影，如何帮助用户高效选择合适的电影，是亟待解决的问题。超百万部电影→选择困难→亟需高效选片对数据集进行离线计算和实时计算，获取用户观影统计信息，为电影个性化推荐奠定基础。数据集规模本项目使用的数据集规模：943用户

/人1682电影

/部100000评分记录

/条项目简介与需求分析07本项目采用

onYARN（YetAnotherResourceNegotiator）模式搭建Spark离线与实时计算平台平台环境搭建1VMwareWorkstation创建虚拟机实验环境2Hadoop分布式集群提供YARN资源调度环境3Spark集群搭建离线离线计算路径1SparkCore离线计算2SparkSQL离线计算实时实时计算路径3实时计算环境搭建4实时计算实现5实时计算结果可视化项目逻辑流程SparkCore

离线计算基于SparkCore编写Python程序，对电影数据进行离线计算与统计分析01创建RDD编写Python程序实现RDD（弹性分布式数据集，ResilientDistributedDataset）的创建02查询TopN电影查询电影数据中TopN的电影信息03条件筛选电影查找符合指定条件的电影04计算评分均值计算电影评分的平均值05存储处理结果存储处理后的结果SparkSQL离线计算通过结构化查询实现多文件计算与调优1单文件离线统计编写Python程序，离线计算单个数据文件的相关统计信息2多文件连接计算对多个数据文件的连接结果按条件进行离线计算3SparkSQL调优初步掌握

SparkSQL调优的基本方法实时计算全流程三大环节：环境搭建→计算实现→结果可视化实时计算全流程三大环节1环境搭建FlumeKafkaPython利用日志采集工具Flume与消息系统Kafka搭建实时计算环境编写Python程序，测试环境可用性2计算实现SparkStreamingStructuredStreaming基于SparkStreaming与StructuredStreaming对电影评分数据进行实时计算实时统计评分，筛选高分电影供用户参考3结果可视化可视化方法可视化技术采用可视化方法与技术，直观呈现实时计算结果实时计算环境搭建、实现与可视化学习目标03知识目标梳理知识维度的学习目标1掌握Spark分布式集群环境搭建2掌握Spark核心概念及应用3掌握使用SparkSQL离线计算的方法4掌握使用SparkStreaming和StructuredStreaming实时计算的方法5掌握数据可视化编程的方法技能目标程序设计·实践调试·离线实时计算·前端开发01能运用Spark的基础知识设计简单程序02能独立完成分析问题、编写程序、上机调试的实践过程03能运用所学的Spark知识完成数据离线与实时计算04能使用JavaScript编写前端代码，展现实时计算结果05初步具备解决实际问题的能力06培养良好的编程习惯素养目标培养综合素质，塑造职业品格01·职业精神大国工匠精神具有精益求精的大国工匠精神0102·价值观念正确劳动观树立正确的劳动观，崇尚劳动、尊重劳动0203·核心能力自主学习能力具有