离线批处理优化工程师考试试卷及答案

离线批处理优化工程师考试试卷及答案一、填空题（每题1分，共10分）1.离线批处理系统的核心目标之一是提升______。2.HadoopMapReduce中，Map阶段输出的中间结果经______后进入Reduce阶段。3.离线批处理中，数据局部性优化的核心是让计算靠近______。4.Spark中，______操作会触发实际计算。5.YARN中负责资源管理的组件是______。6.离线批处理任务的性能指标包括吞吐量、______和资源利用率。7.减少Shuffle数据量的常见优化手段是______。8.Hive中查看执行计划的命令是______。9.SparkRDD的容错机制之一是______。10.Spark中优化Shuffle的关键参数是______。二、单项选择题（每题2分，共20分）1.以下属于离线批处理框架的是？A.SparkStreamingB.FlinkC.HadoopMapReduceD.Kafka2.HDFS默认块大小是？A.64MBB.128MBC.256MBD.512MB3.Spark中属于Transformation操作的是？A.count()B.reduce()C.map()D.take()4.YARN中每个节点的资源管理组件是？A.NodeManagerB.ApplicationMasterC.ResourceManagerD.Container5.离线批处理中数据倾斜常发生在哪个阶段？A.MapB.ShuffleC.ReduceD.Input6.适合离线批处理中间数据的压缩算法是？A.SnappyB.GzipC.Bzip2D.LZO7.Hive中适合频繁关联查询的表是？A.内部表B.外部表C.分区表D.桶表8.SparkRDD默认持久化级别是？A.MEMORY_ONLYB.MEMORY_AND_DISKC.DISK_ONLYD.MEMORY_ONLY_SER9.离线批处理不包含的调度策略是？A.FIFOB.CapacitySchedulerC.FairSchedulerD.RoundRobin10.用于离线数据仓库的工具是？A.HiveB.KafkaC.ZookeeperD.Flume三、多项选择题（每题2分，共20分）1.离线批处理的核心优化方向包括？A.数据局部性B.并行度优化C.压缩D.实时性2.SparkRDD的持久化级别有？A.MEMORY_ONLYB.MEMORY_AND_DISKC.DISK_ONLYD.NETWORK_ONLY3.Hadoop生态中离线批处理相关组件有？A.HDFSB.MapReduceC.YARND.Kafka4.离线批处理性能瓶颈可能出现在？A.数据读取B.ShuffleC.计算D.结果写入5.YARN的调度器类型有？A.FIFOB.CapacityC.FairD.Priority6.离线批处理优化技术包括？A.分桶B.分区C.预聚合D.实时计算7.Spark优化Shuffle的方法有？A.调整Shuffle分区数B.压缩中间数据C.避免数据倾斜D.增加并行度8.Hive分区表的优势是？A.减少扫描量B.提高查询速度C.便于管理D.支持实时更新9.离线批处理监控指标包括？A.作业运行时间B.资源使用量C.数据处理量D.错误率10.离线批处理的应用场景有？A.数据仓库分析B.日志批量处理C.实时监控D.离线报表生成四、判断题（每题2分，共20分）1.离线批处理系统可处理实时数据流。（）2.SparkRDD是不可变的。（）3.HDFS默认块复制因子是3。（）4.YARN每个应用对应一个ApplicationMaster。（）5.数据局部性优化会降低计算性能。（）6.SparkAction操作触发DAG调度。（）7.Hive内部表删除时会删除数据。（）8.压缩增加计算时间但减少IO开销。（）9.离线批处理并行度越高越好。（）10.Flink仅支持流处理不支持批处理。（）五、简答题（每题5分，共20分）1.简述离线批处理与实时流处理的核心区别。2.什么是数据局部性优化？离线批处理中如何实现？3.简述SparkRDD的Lineage机制及其作用。4.离线批处理中数据倾斜的原因及常见解决方法。六、讨论题（每题5分，共10分）1.如何根据离线批处理任务特点选择合适的压缩算法？2.离线批处理中如何优化CPU、内存、磁盘资源利用率？---参考答案一、填空题1.吞吐量2.Shuffle3.数据4.Action5.ResourceManager6.作业完成时间7.压缩中间数据（或数据倾斜优化）8.EXPLAIN9.Lineage（或Checkpoint）10.spark.shuffle.partitions二、单项选择题1.C2.B3.C4.A5.C6.A7.D8.A9.D10.A三、多项选择题1.ABC2.ABC3.ABC4.ABCD5.ABC6.ABC7.ABCD8.ABC9.ABCD10.ABD四、判断题1.×2.√3.√4.√5.×6.√7.√8.√9.×10.×五、简答题1.核心区别：离线批处理处理历史静态数据，需数据全到后计算，侧重高吞吐量、资源高效；实时流处理处理连续动态数据流，要求毫秒级低延迟，逐批/逐条计算。技术上，离线框架（MapReduce、SparkBatch）侧重并行、压缩；实时框架（FlinkStreaming）侧重低延迟调度、状态管理。应用场景：离线用于报表、数据仓库，实时用于监控、推荐。2.数据局部性优化：让计算靠近存储数据的节点，减少跨节点网络IO。实现方式：1）调度优先分配任务到数据节点；2）分区/分桶将关联数据存同一节点；3）HDFS块复制保证数据副本；4）Spark调整RDD分区与数据块位置匹配。3.Lineage机制：记录RDD依赖关系的DAG，保存转换链。作用：1）容错：丢失时重新计算（无需全量备份）；2）惰性求值：Action时才计算，生成计划；3）优化：合并连续Transformation，减少中间数据。4.数据倾斜：原因：部分Reduce任务数据量远大于其他（如key分布不均）。解决方法：1）调Shuffle分区数；2）拆分倾斜key（加随机前缀）；3）预聚合后关联；4）用SparkSalting技术；5）压缩中间数据。六、讨论题1.压缩算法选择：平衡压缩比、速度、CPU开销。IO密集（Shuffle）选Snappy（快、CPU低）；存储成本高（冷数据）选Gzip（高压缩比）；随机读取选LZO（需索引）。举例：中间Shuffle用Snappy，结果存储用Gzip。需兼容框架（如Spark支持Snappy/Gzip）。2.资