大数据架构师岗位招聘考试试卷及答案

大数据架构师岗位招聘考试试卷及答案大数据架构师岗位招聘考试试卷及答案一、填空题（共10题，每题1分）1.HDFS默认的文件块大小是______MB。2.Spark的核心抽象数据结构是______。3.Hive的元数据默认存储在______数据库中（小型场景）。4.Kafka中，消费者组的消费者数量不能超过______数量。5.数据仓库的核心设计原则之一是______（消除数据冗余）。6.Flink支持的窗口类型包括滚动窗口、滑动窗口和______窗口。7.大数据架构分层通常包含数据采集层、存储层、计算层、______层和应用层。8.OLAP（联机分析处理）的核心特点是______分析和只读访问。9.数据湖与数据仓库的核心区别：数据湖存储______数据，数据仓库存储结构化数据。10.SparkSQL优化中，“将过滤条件下推到数据源执行”的技术称为______。二、单项选择题（共10题，每题2分）1.Hadoop生态中负责资源调度与管理的核心组件是？A.MapReduceB.YARNC.HDFSD.Hive2.Spark中属于转换操作（返回新RDD）的是？A.countB.collectC.mapD.take3.Kafka集群中，存储消息的核心节点是？A.ProducerB.ConsumerC.BrokerD.ZooKeeper4.星型模型与雪花模型的主要区别是？A.事实表数量B.维度表是否有层次结构C.存储格式D.性能5.Flink实现有状态流计算的关键组件是？A.算子状态B.状态后端C.键控状态D.检查点6.以下不属于实时计算组件的是？A.SparkStreamingB.FlinkC.StormD.Hive7.数据治理的核心目标是？A.数据安全B.数据质量C.数据备份D.数据扩容8.HDFS默认的副本因子是？A.1B.2C.3D.49.SparkDAG调度器的核心作用是？A.划分任务阶段B.分配资源C.执行任务D.监控进度10.数据湖常用的原始数据存储格式是？A.ParquetB.ORCC.CSVD.Avro三、多项选择题（共10题，每题2分，多选、少选均不得分）1.Hadoop生态的核心组件包括？A.YARNB.HDFSC.MapReduceD.SparkE.Flink2.Spark的核心组件有？A.SparkCoreB.SparkSQLC.SparkStreamingD.MLlibE.GraphX3.数据仓库设计的关键步骤包括？A.需求分析B.概念设计C.逻辑设计D.物理设计E.数据加载4.Kafka的核心特性有？A.高吞吐量B.可持久化C.分布式D.容错性E.实时性5.大数据架构分层通常包含？A.数据采集层B.存储层C.计算层D.分析层E.应用层6.数据质量的核心维度包括？A.准确性B.完整性C.一致性D.及时性E.唯一性7.Flink支持的窗口类型有？A.滚动窗口B.滑动窗口C.会话窗口D.全局窗口E.时间窗口8.大数据架构中的数据安全措施包括？A.数据加密B.访问控制C.审计日志D.数据脱敏E.备份9.实时计算场景常用的组件有？A.FlinkB.KafkaC.RedisD.StormE.HBase10.数据湖与数据仓库的区别包括？A.数据类型（原始vs结构化）B.Schema设计（读时vs写时）C.用途（全量分析vs决策支持）D.扩展性（高vs中等）E.查询性能（慢vs快）四、判断题（共10题，每题2分，正确填“√”，错误填“×”）1.HDFS块大小越大，小文件存储浪费越严重。（）2.Spark的RDD是不可变的分布式数据集。（）3.Kafka消费者组的消费者数必须等于分区数。（）4.数据仓库是面向主题、集成、非易失的。（）5.Flink是批流一体的计算框架。（）6.Hive支持毫秒级实时查询。（）7.数据湖的Schema是预先定义的。（）8.SparkDAG调度基于Stage划分（按宽依赖切分）。（）9.YARN仅负责资源管理，不参与调度。（）10.数据脱敏是数据安全的核心措施之一。（）五、简答题（共4题，每题5分，答案不超过200字）1.简述HDFS的主从架构及核心功能。2.对比Spark与MapReduce的核心差异。3.简述数据仓库星型模型的设计思路。4.简述Flink批流一体的核心优势。六、讨论题（共2题，每题5分，答案不超过200字）1.大数据架构中，如何解决小文件存储效率低的问题？2.如何平衡大数据架构中的实时性与数据一致性？---参考答案一、填空题1.1282.RDD3.Derby4.分区5.三范式（或“消除冗余”）6.会话7.分析8.多维9.原始（或“半结构化/非结构化”）10.谓词下推二、单项选择题1.B2.C3.C4.B5.B6.D7.B8.C9.A10.C三、多项选择题1.ABC2.ABCDE3.ABCDE4.ABCDE5.ABCDE6.ABCDE7.ABCD8.ABCDE9.ABCDE10.ABCDE四、判断题1.√2.√3.×4.√5.√6.×7.×8.√9.×10.√五、简答题1.HDFS采用主从架构：NameNode（主节点）管理元数据（文件命名空间、块映射）；DataNode（从节点）存储实际数据。写入时，NameNode分配块位置，DataNode按副本因子（默认3）复制；读取时，客户端直接从DataNode取数据。适合大文件存储，通过分块提高并行效率。2.Spark基于内存计算，MapReduce基于磁盘；Spark支持惰性求值与DAG调度，MapReduce是两阶段（Map→Shuffle→Reduce）；Spark有SQL/Streaming/MLlib等高级API，MapReduce仅支持Map/Reduce；Spark迭代计算效率更高（减少磁盘IO）。3.星型模型核心是“事实表+维度表”：事实表存度量（如销售额），含维度外键；维度表存描述性数据（如时间、产品），无层次结构。设计时先确定事实表度量与关联维度，再构建维度表（主键与事实表外键一致），适合OLAP分析。4.Flink统一批流处理：批是有界流，流是无界流；支持Exactly-Once语义（状态Checkpoint）；统一API（无需切换代码）；高效状态管理（RocksDB等后端）；低延迟（毫秒级），适合实时计算与批处理场景。六、讨论题1.解决小文件问题的方法：①合并小文件（离线用Spark/MapReduce，实时用Flume滚动窗口）；②用列式存储（ORC/Parquet）支持压缩与分块；③调整HDFS块大小（平衡大文件场景）；④元数据优化（NameNodeHA/联邦HDFS）；⑤用分布式缓存（Alluxio）减少访问次数。2.平衡实时性与一致性：①选Flink（支持Exactly-Once），SparkS