大数据架构师考试试卷及答案

大数据架构师考试试卷及答案一、填空题（共10题，每题1分）1.Hadoop的核心组件包括HDFS、MapReduce和______。答案：YARN2.Spark的核心数据抽象是______。答案：RDD（弹性分布式数据集）3.大数据4V特征中的“Value”指______。答案：数据价值4.HDFS中存储实际数据的节点是______。答案：DataNode5.实时计算常用框架（举1个）：______。答案：Flink（或SparkStreaming）6.数据仓库三范式要求消除非主属性对主键的______依赖。答案：传递7.Kafka中存储消息的逻辑单位是______。答案：Topic8.数据湖存储______格式的数据（无预先Schema）。答案：原始（或非结构化/半结构化）9.SparkSQL操作结构化数据的抽象是______。答案：DataFrame（或Dataset）10.HBase是基于______模型的分布式数据库。答案：列族（列式）二、单项选择题（共10题，每题2分）1.不属于Hadoop生态的组件是？A.HiveB.SparkC.ZooKeeperD.Redis答案：D2.SparkRDD转换操作的特性是？A.立即执行B.延迟执行C.同步D.异步答案：B3.支持Exactly-Once语义的实时框架是？A.StormB.旧版SparkStreamingC.FlinkD.Kafka答案：C4.HDFS默认副本数是？A.1B.2C.3D.4答案：C5.以下是数据仓库工具的是？A.HiveB.PigC.SqoopD.Flume答案：A6.Kafka消费者组中，每个消费者负责消费______。A.所有TopicB.一个Topic的部分分区C.所有分区D.多个Topic答案：B7.大数据元数据管理工具是？A.HBaseB.AtlasC.SparkD.Flink答案：B8.适合存储半结构化数据的格式是？A.CSVB.ParquetC.JSOND.ORC答案：C9.SparkRDD转DataFrame需______。A.定义SchemaB.分区C.排序D.缓存答案：A10.数据湖与数据仓库的区别是？A.数据湖存结构化数据B.数据仓库存原始数据C.数据湖支持schema-on-readD.数据仓库支持schema-on-read答案：C三、多项选择题（共10题，每题2分）1.Hadoop调度框架包括？A.YARNB.MesosC.KubernetesD.Spark答案：ABC2.Spark核心组件有？A.SparkCoreB.SparkSQLC.SparkStreamingD.MLlib答案：ABCD3.大数据存储系统包括？A.HDFSB.HBaseC.CassandraD.MySQL答案：ABC4.实时计算关键特征是？A.低延迟B.高吞吐量C.高可用D.离线处理答案：ABC5.数据仓库设计方法有？A.三范式B.维度建模C.schema-on-readD.非结构化设计答案：AB6.Kafka核心组件是？A.BrokerB.TopicC.PartitionD.Consumer答案：ABCD7.列存储数据库是？A.HBaseB.CassandraC.MongoDBD.MySQL答案：AB8.大数据架构层次包括？A.采集层B.存储层C.处理层D.应用层答案：ABCD9.SparkMLlib常用算法有？A.线性回归B.决策树C.K-meansD.神经网络答案：ABCD10.数据治理核心内容是？A.数据质量B.安全C.元数据管理D.生命周期答案：ABCD四、判断题（共10题，每题2分）1.HDFS适合存储小文件。答案：错2.SparkRDD是不可变的。答案：对3.Flink支持批处理+流处理。答案：对4.Hive是分布式数据库。答案：错5.KafkaPartition内消息有序。答案：对6.数据湖比数据仓库更适合结构化分析。答案：错7.ZooKeeper用于分布式协调（如选主）。答案：对8.SparkStreaming是微批处理框架。答案：对9.HBase按行存储数据。答案：错10.大数据价值密度高。答案：错五、简答题（共4题，每题5分）1.简述YARN的核心作用答案：YARN是Hadoop资源调度框架，分离计算与资源管理。通过ResourceManager（全局调度）和NodeManager（节点管理）分配集群资源，支持MapReduce、Spark等多框架共存，避免资源重复管理；提供高可用、弹性调度，提升资源利用率，保障大数据任务高效执行。2.Spark与MapReduce的主要区别答案：MapReduce基于磁盘批处理，仅支持Map/Reduce操作，延迟高；Spark基于内存计算，RDD转换延迟执行，支持迭代计算，适合机器学习；Spark集成SQL、Streaming、MLlib等组件，API更丰富，性能比MapReduce快10-100倍（内存充足时）。3.数据湖的架构及优势答案：架构包括采集层（Flume/Kafka）、原始存储层（HDFS/S3）、处理层（Spark/Flink）、应用层（BI/API）。优势：支持全类型数据（结构化/半结构化/非结构化），schema-on-read无需预先定义，降低准备成本；灵活支持批/实时/机器学习分析，避免数据冗余。4.Flink的核心特性答案：Flink是分布式流处理框架，核心特性：支持Exactly-Once语义（数据一致）；低延迟（毫秒级）、高吞吐量；统一批/流处理（批为有界流）；完善状态管理（大状态容错）；支持复杂事件处理（CEP）；高可用（ZooKeeper选主）。六、讨论题（共2题，每题5分）1.如何平衡大数据架构的一致性与性能？答案：需分场景策略：强一致需求（金融）用分布式事务（TCC）或强一致存储（HBase强一致配置），牺牲部分性能；高吞吐场景（日志分析）用最终一致（Kafka异步复制），通过副本保障可用。此外，分层架构（核心层强一致、非核心层最终一致）+缓存（Redis）+策略（缓存过期）平衡两者。2.大数据治理的关键挑战及解决方