云南省2026大数据架构师岗笔试题及专属答案解析

云南省2026大数据架构师岗笔试题及专属答案解析

一、单项选择题（总共10题，每题2分）1.Hadoop分布式文件系统的名称是（）A.HDFSB.HBaseC.MapReduceD.YARN2.Spark中基于Kubernetes的集群管理模式是（）A.StandaloneB.YARNC.MesosD.Kubernetes3.Flink中适合存储大状态的状态后端是（）A.MemoryStateBackendB.FsStateBackendC.RocksDBStateBackendD.HeapStateBackend4.数据仓库星型模型的核心是（）A.事实表B.维度表C.汇总表D.日志表5.Kafka生产者发送消息时，默认的分区分配策略是（）A.轮询（无消息键时）B.基于消息键的哈希C.随机D.自定义6.HBase中数据的排序存储依据是（）A.行键B.列族C.时间戳D.列qualifier7.Lambda架构的三层组成是（）A.批处理层、速度层、服务层B.批处理层、实时层、存储层C.计算层、存储层、服务层D.批处理层、流处理层、应用层8.云原生大数据中用于容器编排的工具是（）A.DockerB.KubernetesC.MesosD.YARN9.以下属于元数据管理工具的是（）A.ApacheAtlasB.ApacheFlumeC.ApacheSqoopD.ApacheKafka10.实时计算中延迟在毫秒级的处理方式是（）A.批处理B.微批处理C.流式处理D.离线处理二、填空题（总共10题，每题2分）1.Hadoop中负责分布式计算的核心框架是__________。2.Spark中弹性分布式数据集的英文缩写是__________。3.Flink中基于事件实际发生时间的时间类型称为__________时间。4.数据仓库分层中的操作数据存储层英文缩写是__________。5.Kafka中消息保留的两种主要策略是按__________和按大小。6.HBase行键设计需遵循唯一性、__________和避免热点的原则。7.Lambda架构中的服务层主要用于__________批处理层和速度层的结果。8.云原生大数据的三大核心要素是容器化、微服务和__________。9.元数据分为技术元数据和__________元数据两类。10.Flink中基于固定时间间隔且不重叠的窗口称为__________窗口。三、判断题（总共10题，每题2分）1.Hadoop的YARN组件主要负责资源管理和任务调度。（）2.Spark的RDD是可变的分布式数据集。（）3.Flink支持基于事件时间的窗口计算。（）4.雪花模型是星型模型的扩展，维度表被进一步拆分。（）5.Kafka的消息一旦被消费就会立即删除。（）6.HBase中的列族在创建表时必须指定。（）7.Kappa架构用流处理替代批处理，无需维护两套系统。（）8.云原生大数据必须使用公有云部署。（）9.数据治理中的数据质量维度仅包括准确性和完整性。（）10.实时计算的延迟通常低于批处理。（）四、简答题（总共4题，每题5分）1.简述Hadoop生态系统的核心组件及作用。2.简述Spark与Flink在流处理上的主要差异。3.简述数据仓库分层的目的及各层的主要作用。4.简述Lambda架构与Kappa架构的核心区别。五、讨论题（总共4题，每题5分）1.请结合业务场景，讨论如何设计HBase的行键以避免热点问题。2.大数据架构中，如何保证分布式环境下的数据一致性？请举例说明。3.云原生大数据架构的优势与挑战有哪些？请结合实际应用分析。4.实时计算中，如何处理迟到的数据？请说明常用方法及适用场景。答案解析一、单项选择题答案1.A2.D3.C4.A5.B6.A7.A8.B9.A10.C二、填空题答案1.MapReduce2.RDD3.事件4.ODS5.时间6.有序性7.合并8.DevOps9.业务10.滚动三、判断题答案1.对2.错3.对4.对5.错6.对7.对8.错9.错10.对四、简答题答案1.Hadoop生态核心组件包括HDFS、MapReduce、YARN、HBase。HDFS是分布式文件系统，存储海量数据，提供高容错和吞吐量；MapReduce是分布式计算框架，通过Map和Reduce处理批数据；YARN是资源管理器，负责集群资源分配和任务调度；HBase是分布式列存储数据库，支持低延迟随机读写。各组件协同，HDFS存数据，MapReduce处理，YARN调度资源，HBase提供实时查询。2.Spark流处理基于微批处理（DStream），将流拆分为小批次，延迟秒级，依赖批处理引擎，适合批流一体化；Flink是原生流处理，基于事件驱动，延迟毫秒级，支持精确事件时间和状态管理，适合低延迟、高一致性场景（如实时风控）。Flink状态后端（RocksDB）更适合大状态，SparkRDD更适合批处理。3.数据仓库分层目的是隔离原始数据、减少重复计算、提高数据质量。各层作用：ODS存储原始数据（日志、数据库快照）；DWD对ODS清洗整合（去重、补全）生成明细；DWS按主题（用户、订单）汇总；ADS面向业务需求（报表、BI）提供可用数据。4.Lambda架构分批处理层（历史数据，高吞吐）、速度层（实时数据，低延迟）、服务层（合并结果），需维护两套系统；Kappa架构用流处理替代批处理，所有数据通过流引擎处理，历史数据重新流入，简化架构，但对长窗口、大状态要求高，适合实时性高、历史数据量小的场景。五、讨论题答案1.HBase行键避免热点的方法：①盐值前缀：主键前加随机前缀（如0-9），分散写入，适用于自增ID；②哈希前缀：对主键哈希取部分作为前缀，均匀分布，适用于用户ID；③时间戳反转：将时间戳倒序（2024→4202），避免新数据集中，适用于时间序列数据（传感器数据）；④避免单调主键：用UUID代替自增ID。例如电商订单用反转时间戳+订单ID，避免新订单集中写入同一Region。2.保证数据一致性的方法：①分布式事务：HBase单行ACID，适用于金融交易；②幂等性：设计幂等接口（订单支付），避免重复写入；③两阶段提交（2PC）：跨系统同步（MySQL到Hive）；④最终一致性：KafkaACK机制（生产者确认），适用于电商物流；⑤元数据管理：ApacheAtlas跟踪数据lineage，确保流向一致。例如实时支付用分布式事务，电商物流用最终一致性（重试）。3.云原生大数据优势：①弹性扩展：容器化快速扩容（Flink应对双11流量）；②资源利用率高：容器共享内核，减少浪费；③敏捷开发：DevOps加速部署（Spark用Helm部署）；④兼容性好：支持多框架（Spark、Flink）。挑战：①容器编排复杂度（K8s配置难）；②状态管理（Flink状态需持久化）；③安全（镜像漏洞扫描）。例如某互联网公司用K8s部署Flink，弹性应对流量，但需运维解决K8s管理问题。4.处理迟到数据的方法：①允许延迟：设置窗口allowedLateness（1分