Spark 大数据技术期末考试试题（含详细答案）-1

Spark大数据技术期末考试试题（含详细答案）考试说明：本试卷满分100分，考试时间90分钟，闭卷考试；题型包含选择题、填空题、简答题、编程题、综合应用题，答题规范简洁，逻辑清晰即可。一、单项选择题（共15题，每题2分，共30分）1.以下不属于ApacheSpark核心组件的是（）A.SparkCoreB.HDFSC.SparkSQLD.SparkStreaming2.Spark核心抽象数据结构RDD的全称是（）A.ResilientDistributedDatasetB.RemoteDistributedDataC.ReliableDataDatasetD.RetryDistributedDataset3.下列关于RDD特性说法错误的是（）A.可分区、分布式存储B.只读不可修改C.支持持久化缓存D.可随时进行增删改操作4.Spark作业执行过程中，负责资源调度和任务分配的进程是（）A.DriverB.ExecutorC.WorkerD.Master5.以下属于Spark转换操作（Transformation）的是（）A.count()B.map()C.collect()D.saveAsTextFile()6.Spark中惰性求值的核心含义是（）A.数据加载后立即计算B.转换操作延迟执行，行动操作触发计算C.任务排队延迟执行D.资源不足时暂停计算7.想要将RDD数据全部拉取到Driver端，使用的方法是（）A.take()B.collect()C.first()D.sample()8.Spark集群部署模式中，适合生产环境的模式是（）A.Local模式B.Standalone集群模式C.YARN集群模式D.以上都不对9.groupByKey操作的返回值类型是（）A.(Key,Value)B.(Key,Iterable[Value])C.List[(Key,Value)]D.Array[Value]10.下列缓存级别中，仅在内存中缓存RDD数据的是（）A.MEMORY_ONLYB.MEMORY_AND_DISKC.DISK_ONLYD.MEMORY_ONLY_211.SparkSQL中，用于将RDD转换为DataFrame的方法是（）A.toDF()B.createOrReplaceTempView()C.select()D.filter()12.SparkStreaming的最小数据处理单位是（）A.数据行B.微批（DStream）C.分区D.块13.能够有效减少SparkShuffle数据传输量的算子是（）A.mapB.flatMapC.reduceByKeyD.groupByKey14.Spark任务运行的最小调度单元是（）A.JobB.StageC.TaskD.Partition15.以下哪种操作会触发Spark的Shuffle过程（）A.filterB.sortByKeyC.mapD.union二、填空题（共10空，每空1分，共10分）1.Spark运行架构主要由Driver、________、Worker、Master四个核心进程组成。2.RDD的操作分为________和行动操作两大类。3.Spark中________机制可以将频繁使用的RDD缓存到内存，大幅提升迭代计算效率。4.Shuffle过程的核心作用是________，实现相同key的数据聚合到同一分区。5.Spark读取HDFS文件的默认分区数由________决定。6.DataFrame相较于RDD，最大的优势是具备________优化机制，执行效率更高。7.Spark提交任务的核心命令是________。8.宽依赖会产生________，窄依赖不会产生。9.foldByKey和reduceByKey的区别是foldByKey支持设置________。10.SparkStreaming基于________技术实现准实时数据流处理。三、简答题（共4题，每题5分，共20分）1.简述Spark相较于MapReduce的核心优势。2.简述RDD窄依赖和宽依赖的区别，以及各自的场景。3.简述reduceByKey和groupByKey的区别，生产环境推荐使用哪一个并说明原因。4.简述Spark任务的整体执行流程。四、编程题（共2题，每题10分，共20分）说明：使用Scala语言编写Spark核心代码，代码简洁规范，注释清晰即可。1.现有本地文本文件test.txt，文件内容为多行英文短句，要求实现经典单词统计功能：读取文件、分割单词、过滤空单词、统计每个单词出现次数、输出结果。2.现有键值对RDD：dataRDD=sc.parallelize(List(("张三",85),("李四",92),("张三",78),("李四",88),("王五",95)))，需求：统计每位学生的总成绩和平均成绩。五、综合应用题（共1题，20分）现有电商用户行为日志数据，数据格式为：用户ID、商品ID、行为类型（点击/收藏/下单/支付）、行为时间。需求：1.说明该场景下Spark技术的适配优势；2.编写核心代码，统计当日每种行为类型的总次数；3.结合该场景，说明Spark缓存和分区优化的实操方案。详细参考答案及解析一、单项选择题答案及解析1.B解析：HDFS是分布式文件存储系统，属于Spark的外部存储依赖，并非Spark核心组件。Spark核心组件包含SparkCore、SparkSQL、SparkStreaming、MLlib、GraphX。2.A解析：RDD全称ResilientDistributedDataset，即弹性分布式数据集，是Spark最核心的数据抽象。3.D解析：RDD是只读的不可变数据集，一旦创建无法直接修改、删除数据，只能通过转换操作生成新的RDD。4.D解析：Master是集群管理节点，负责管理集群资源、调度作业；Driver负责驱动程序、构建任务逻辑；Executor负责执行具体任务；Worker是集群工作节点。5.B解析：map()是转换操作，惰性执行；count()、collect()、saveAsTextFile()均为行动操作，会触发任务执行。6.B解析：Spark采用惰性求值机制，所有转换操作只记录血缘关系，不执行计算，只有调用行动操作时，才会根据血缘生成任务并执行。7.B解析：collect()会将分布式RDD的所有数据汇总到Driver端；take()只获取指定条数数据，first()获取第一条数据，sample()随机抽样。8.C解析：YARN模式适配大数据集群生产环境，可统一管理集群资源；Local仅用于本地测试，Standalone为Spark独立集群，通用性不如YARN。9.B解析：groupByKey会将相同key的所有value聚合为迭代器，返回(Key,Iterable[Value])格式数据。10.A解析：MEMORY_ONLY仅将RDD数据存储在内存，内存不足则丢弃分区数据；MEMORY_AND_DISK内存不足会落地磁盘。11.A解析：toDF()是RDD转DataFrame的核心方法；createOrReplaceTempView用于创建临时视图。12.B解析：SparkStreaming将实时数据流切分为微小批次（DStream），以批处理方式模拟实时计算。13.C解析：reduceByKey会先在本地分区完成预聚合，再进行Shuffle传输，大幅减少网络数据量；groupByKey直接Shuffle所有数据，无预聚合。14.C解析：Spark任务层级：Job（一个行动操作对应一个Job）→Stage（宽窄依赖划分阶段）→Task（最小执行单元，一个分区对应一个Task）。15.B解析：sortByKey属于宽依赖操作，需要跨分区数据重组，触发Shuffle；filter、map为窄依赖，union无Shuffle过程。二、填空题答案1.Executor2.转换操作（Transformation）3.缓存（持久化）4.数据重分区（数据洗牌）5.HDFS文件块大小6.Catalyst（查询优化器）7.spark-submit8.Stage切割9.初始值10.微批处理三、简答题参考答案1.Spark相较于MapReduce的核心优势（1）基于内存计算：MapReduce每轮计算均落地磁盘，IO开销大；Spark支持内存缓存数据，迭代计算效率提升数十倍。（2）惰性求值+血缘机制：Spark通过血缘记录数据依赖，任务失败可精准重试，容错性更高。（3）丰富的算子：提供map、flatMap、聚合等上百种算子，编程更简洁，适配复杂计算场景。（4）多场景适配：整合批处理、实时流处理、SQL查询、机器学习，一站式完成大数据计算，MapReduce仅支持离线批处理。（5）任务调度更高效：基于宽窄依赖划分Stage，减少任务等待和资源浪费。2.RDD窄依赖和宽依赖的区别及适用场景区别：（1）窄依赖：子RDD的每个分区仅依赖父RDD的一个分区，分区数据一对一对应，无需跨分区数据传输。（2）宽依赖：子RDD的一个分区依赖父RDD的多个分区，需要跨分区洗牌数据，会触发Shuffle和Stage切割。场景：窄依赖适用于数据映射、过滤、排序（分区内）等单分区操作，如map、filter、flatMap；宽依赖适用于跨分区聚合、分组、排序等全局操作，如groupByKey、reduceByKey、sortByKey。3.reduceByKey和groupByKey的区别及生产推荐区别：（1）reduceByKey：先在每个分区内对相同key数据预聚合，再通过Shuffle汇总全局结果，网络传输数据量小。（2）groupByKey：直接将所有key-value数据通过Shuffle传输，不做预聚合，传输数据量大，内存占用高。生产推荐：优先使用reduceByKey。原因是其具备分区预聚合特性，大幅减少Shuffle阶段的网络IO和磁盘读写，任务执行效率更高，资源消耗更低，适合大数据量聚合场景。仅当无需聚合、仅需分组存储全部数据时使用groupByKey。4.Spark任务整体执行流程（1）任务提交：用户通过spark-submit提交程序，集群接收任务，Master分配资源。（2）程序初始化：Driver进程启动，创建SparkContext，连接集群资源，初始化运行环境。（3）构建血缘：程序执行转换操作，Spark仅记录RDD依赖血缘，不执行计算。（4）任务拆分：触发行动操作后，Driver根据宽窄依赖切割Stage，每个Stage生成对应Task。（5）任务调度：Driver将Task分发到各个Worker节点的Executor进程。（6）任务执行：Executor执行分区Task，完成数据计算、Shuffle、聚合等操作。（7）结果返回：计算完成后，结果汇总至Driver端，输出或持久化数据，任务结束释放资源。四、编程题参考答案（Scala）1.单词统计代码scala

importorg.apache.spark.SparkContext

importorg.apache.spark.SparkConf

objectWordCount{

defmain(args:Array[String]):Unit={

//1.初始化Spark配置和上下文

valconf=newSparkConf().setAppName("WordCount").setMaster("local[*]")

valsc=newSparkContext(conf)

//2.读取本地文本文件

valfileRDD=sc.textFile("test.txt")

//3.分割单词、过滤空值、统计次数

valwordCountRDD=fileRDD.flatMap(_.split(""))//按空格分割单词

.filter(_.nonEmpty)//过滤空单词

.map(word=>(word,1))//转为键值对

.reduceByKey(_+_)//聚合统计次数

//4.遍历输出结果

wordCountRDD.foreach(println)

//关闭资源

sc.stop()

}

}2.学生成绩统计代码scala

importorg.apache.spark.SparkContext

importorg.apache.spark.SparkConf

objectScoreStat{

defmain(args:Array[String]):Unit={

valconf=newSparkConf().setAppName("ScoreStat").setMaster("local[*]")

valsc=newSparkContext(conf)

//1.构建成绩RDD

valdataRDD=sc.parallelize(List(("张三",85),("李四",92),("张三",78),("李四",88),("王五",95)))

//2.转换结构：(姓名,(成绩,1))，用于累加总分和统计次数

valtempRDD=dataRDD.mapValues(score=>(score,1))

//3.聚合计算总分、答题次数

valstatRDD=tempRDD.reduceByKey((a,b)=>(a._1+b._1,a._2+b._2))

//4.计算平均分，保留两位小数

valresultRDD=statRDD.mapValues(data=>{

valtotal=data._1

valcount=data._2

valavg=total.toDouble/count

(total,avg.formatted("%.2f"))

})

//5.输出结果

resultRDD.foreach(println)

sc.stop()

}

}输出结果：

(张三,(163,81.50))

(李四,(180,90.00))

(王五,(95,95.00))

五、综合应用题参考答案1.Spark适配电商日志场景的核心优势（1）高吞吐：支持海量日志数据的分布式并行处理，可应对电商高峰期海量用户行为数据。（2）内存计算：日志数据可缓存内存，支持多轮迭代统计分析，效率远高于磁盘计算框架。（3）容错性强：基于RDD血缘机制，日志数据处理失败可精准重试，无需全量重算。（4）适配灵活：支持离线批量统计、准实时日志分析，可满足电商日常数据统计、实时监控需求。2.核心统计代码scala

importorg.apache.spark.sql.SparkSession

objectEcommerceLogStat{

defmain(args:Array[String]):Unit={

//初始化SparkSession

valspark=SparkSession.builder()

.appName("EcommerceLogStat")

.master("lo