大数据离线计算工程师岗位招聘考试试卷及答案

大数据离线计算工程师岗位招聘考试试卷及答案试题部分一、填空题（10题，每题1分）1.Hadoop分布式文件系统的缩写是______。2.MapReduce计算框架中，负责分片处理输入数据的阶段是______。3.Hive中定义表结构的语句是______。4.Spark离线计算的核心抽象数据结构包括RDD和______。5.HBase中唯一标识一行数据的是______。6.离线计算常用的调度框架除YARN外还有______。7.Hive分区表的分区字段需放在______子句中。8.SparkSQL读取Parquet文件的方法是______。9.Hadoop生态中负责资源管理调度的组件是______。10.离线计算常见输出格式除TextFile外还有______。二、单项选择题（10题，每题2分）1.以下属于离线计算框架的是？A.StormB.SparkStreamingC.MapReduceD.Flink2.HDFS中存储元数据的节点是？A.DataNodeB.NameNodeC.SecondaryNameNodeD.NodeManager3.Hive默认执行引擎是？A.MapReduceB.SparkC.TezD.Presto4.Spark中属于RDD转换操作的是？A.count()B.collect()C.map()D.first()5.以下不是HBase特点的是？A.列式存储B.高可靠性C.实时读写D.支持SQL查询6.YARN中管理单个节点资源的是？A.ResourceManagerB.NodeManagerC.ApplicationMasterD.Container7.离线计算优先选择的存储格式是？A.CSVB.JSONC.ParquetD.Text8.Spark中DataFrame转RDD的方法是？A.toDF()B.rddC.map()D.collect()9.Hive外部表与内部表的区别是？A.外部表数据不被Hive管理B.内部表数据不被Hive管理C.外部表不能分区D.内部表不能分区10.用于离线数据仓库建设的组件是？A.KafkaB.HiveC.FlumeD.ZooKeeper三、多项选择题（10题，每题2分）1.大数据离线计算常用框架包括？A.MapReduceB.SparkC.FlinkD.Hive2.Hadoop生态核心组件有？A.HDFSB.YARNC.MapReduceD.Spark3.SparkRDD的特性包括？A.不可变B.分区C.依赖D.懒加载4.Hive支持的文件格式有？A.TextFileB.ParquetC.ORCD.CSV5.离线计算任务调度方式包括？A.定时调度B.事件驱动C.手动触发D.实时触发6.HBase的组件包括？A.HMasterB.RegionServerC.ZooKeeperD.HDFS7.Spark核心模块有？A.SparkCoreB.SparkSQLC.SparkStreamingD.SparkMLlib8.离线计算数据处理步骤包括？A.数据采集B.数据清洗C.数据转换D.数据存储9.YARN主要角色有？A.ResourceManagerB.NodeManagerC.ApplicationMasterD.Container10.离线计算常见输入数据源有？A.HDFSB.HBaseC.KafkaD.MySQL四、判断题（10题，每题2分）1.HDFS适合存储大文件。（）2.MapReduce的Reduce阶段可多个。（）3.Hive可直接执行SQL无需编译。（）4.SparkRDD是弹性分布式数据集。（）5.HBase是关系型数据库。（）6.YARN可管理Hadoop和Spark资源。（）7.Parquet是行式存储格式。（）8.SparkSQL可直接查询Hive表。（）9.离线计算处理历史数据。（）10.SecondaryNameNode存储HDFS元数据。（）五、简答题（4题，每题5分）1.简述MapReduce的工作流程。2.对比Hive内部表与外部表的区别。3.简述SparkRDD的依赖类型及作用。4.离线计算选择Parquet格式的原因。六、讨论题（2题，每题5分）1.如何优化离线计算任务的执行效率？（至少3个方向）2.离线计算中数据倾斜的常见原因及解决方法。答案部分一、填空题答案1.HDFS2.Map3.CREATETABLE4.DataFrame5.RowKey6.Mesos（或Kubernetes）7.PARTITIONEDBY8.read.parquet9.YARN10.Parquet（或SequenceFile）二、单项选择题答案1.C2.B3.A4.C5.D6.B7.C8.B9.A10.B三、多项选择题答案1.ABD2.ABC3.ABCD4.ABCD5.ABC6.ABCD7.ABCD8.ABCD9.ABC10.ABCD四、判断题答案1.对2.对3.错4.对5.错6.对7.错8.对9.对10.错五、简答题答案1.MapReduce工作流程：InputFormat分片数据，每个分片由Map任务处理（转换为键值对），输出到本地磁盘；Shuffle阶段将Map结果按键分组并传输到Reduce节点；Reduce任务聚合分组数据，输出到HDFS。全程依赖YARN调度资源。2.内部表vs外部表：内部表由Hive管理表结构+数据，删表时同步删HDFS数据；外部表仅管理表结构，数据存用户指定路径，删表仅删元数据。内部表用`CREATETABLE`，外部表用`CREATEEXTERNALTABLELOCATION`。外部表适合多工具共享数据。3.RDD依赖类型：窄依赖（如map）：父分区仅被子分区1依赖，无Shuffle，可流水线执行；宽依赖（如groupBy）：父分区被子分区多依赖，需Shuffle，是Stage划分依据。窄依赖提升效率，宽依赖需优化。4.Parquet格式原因：列式存储，支持列裁剪/谓词下推，减少数据读取；压缩率高，节省存储；适配复杂数据类型，兼容Hive/Spark；适合离线分析的查询场景。六、讨论题答案1.任务效率优化方向：①存储优化：用Parquet/ORC，开启压缩；②计算优化：减少宽依赖（如`reduceByKey`替代`groupByKey`），解决数据倾斜（key加盐）；③资源调度：调整YARN容器/SparkExecutor参数，提升并行度；④引擎优化：用Tez/Spark替代MapReduc