大数据开发工程师考试试卷及答案

大数据开发工程师考试试卷及答案试题部分一、填空题（共10题，每题1分）1.Hadoop生态的核心分布式文件系统是______。2.Spark中核心的分布式数据集抽象是______。3.Hive中存储结构化数据的默认格式是______。4.Kafka中每个主题可分为多个______，实现并行消费。5.MapReduce计算模型的两个核心阶段是Map和______。6.HBase中用于唯一标识一行数据的是______。7.Flink中基于时间的窗口类型包括滚动窗口、滑动窗口和______窗口。8.Elasticsearch中用于存储文档的逻辑容器是______。9.SparkSQL中用于计算平均值的函数是______。10.YARN中负责资源管理与调度的核心组件是______。二、单项选择题（共10题，每题2分）1.HDFS默认的文件块大小是（）A.64MBB.128MBC.256MBD.512MB2.以下属于SparkRDD转换算子的是（）A.countB.collectC.mapD.reduce3.Hive中，分桶表的分桶依据是（）A.分区字段B.列的哈希值C.数据大小D.存储路径4.Kafka消费者组中，一个分区只能被组内（）消费者消费A.1个B.2个C.任意多个D.所有5.MapReduce中，Shuffle阶段发生在（）之间A.Map与MapB.Reduce与ReduceC.Map与ReduceD.都不是6.HBase中，一个表可以包含多个（）A.行键B.列族C.单元格D.时间戳7.Flink中，支持"exactly-once"语义的是（）A.事件时间B.处理时间C.摄入时间D.都支持8.Elasticsearch中，倒排索引的核心是（）映射A.文档ID→关键词B.关键词→文档IDC.字段→关键词D.文档→字段9.SparkMLlib中，用于分类的算法是（）A.K-MeansB.LinearRegressionC.LogisticRegressionD.PCA10.YARN中，NodeManager的主要作用是（）A.资源调度B.节点资源管理C.作业监控D.元数据存储三、多项选择题（共10题，每题2分）1.以下属于Hadoop生态核心组件的是（）A.HDFSB.SparkC.MapReduceD.YARN2.以下属于SparkRDD行动算子的是（）A.filterB.countC.collectD.reduce3.Hive优化的常见方法包括（）A.分区B.分桶C.数据压缩D.索引4.Kafka生产者的关键参数包括（）A.bootstrap.serversB.group.idC.acksD.auto.offset.reset5.MapReduce支持的输入格式有（）A.TextInputFormatB.SequenceFileInputFormatC.ParquetInputFormatD.AvroInputFormat6.HBase的特性包括（）A.列式存储B.强一致性C.高容错D.支持事务7.Flink状态管理的类型包括（）A.算子状态B.键控状态C.全局状态D.分区状态8.Elasticsearch支持的查询类型有（）A.全文查询B.精确查询C.范围查询D.聚合查询9.Spark性能调优的方法包括（）A.数据本地化B.调整并行度C.缓存RDDD.避免数据倾斜10.YARN支持的调度器有（）A.FIFO调度器B.Capacity调度器C.Fair调度器D.Round-Robin调度器四、判断题（共10题，每题2分）1.HDFS的Namenode负责存储实际数据块（）2.SparkRDD具有不可变性（）3.Hive会修改原始数据文件（）4.Kafka删除主题后数据会立即消失（）5.MapReduce默认会对Reduce阶段的输出进行排序（）6.HBase中同一行的不同列族可以存储在不同节点（）7.Flink的处理时间是基于机器时钟（）8.Elasticsearch的索引分片数量一旦确定不能修改（）9.SparkDataFrame比RDD更高效（）10.YARN的ApplicationMaster负责申请资源（）五、简答题（共4题，每题5分）1.简述HDFS的架构及各组件作用。2.对比SparkRDD与DataFrame/Dataset的区别。3.简述Kafka生产者的工作流程。4.如何优化Spark作业的资源利用率？六、讨论题（共2题，每题5分）1.大数据场景下，如何选择MapReduce、Spark、Flink三种计算框架？2.讨论HDFS与对象存储（如S3）的适用场景差异。答案部分一、填空题答案1.HDFS2.RDD3.ORC（或Parquet，答其一即可）4.分区5.Reduce6.行键（RowKey）7.会话（Session）8.索引（Index）9.avg()10.ResourceManager二、单项选择题答案1.B2.C3.B4.A5.C6.B7.A8.B9.C10.B三、多项选择题答案1.ACD2.BCD3.ABC4.AC5.ABCD6.ABC7.AB8.ABC9.ABCD10.ABC四、判断题答案1.×2.√3.×4.×5.√6.√7.√8.×9.√10.√五、简答题答案1.HDFS架构含Namenode（元数据管理，存储文件目录、块位置等）、Datanode（存储实际数据块，负责读写）、SecondaryNamenode（辅助元数据备份，定期合并fsimage与edits）。2.RDD是无类型分布式数据集，需手动指定模式；DataFrame是带Schema的表格型数据，支持SQL查询；Dataset是强类型DataFrame，结合RDD的类型安全与DataFrame的优化。3.生产者流程：创建Producer对象→发送消息到RecordAccumulator→Sender线程从Accumulator拉取数据→分区到对应Broker→等待ACK（确认）→更新偏移量。4.优化方法：调整并行度匹配数据量；缓存常用RDD/DataFrame；启用数据本地化；避免数据倾斜（如加盐）；使用高效格式（Parquet/ORC）；合理设置Executor内存与核数。六、讨论题答案1.选择依据：MapReduce适合离线批处理、低成本场景；Spark适合迭代计算、交互式分析（如机器学习）；Flink适合实时流处理（如低延迟、Exactly-Once语义）。若需实时+批处理，优先Flink；若以离线迭代为主，选Spark；若资源