2026年大数据平台运维题库（含答案）

2026年大数据平台运维题库（含答案）一、单项选择题（每题2分，共24分）1.在HDFS中，默认数据块（Block）的大小是（）。A.32MBB.64MBC.128MBD.256MB答案：C解析：Hadoop2.x及之后版本默认块大小为128MB，可通过`dfs.blocksize`参数调整。2.关于ZooKeeper中Leader选举，下列说法正确的是（）。A.集群中任意节点均可发起选举B.选举过程中服务器ID越大优先级越高C.选举过程中ZXID越大优先级越高D.以上说法均正确答案：D解析：ZooKeeper选举时优先比较ZXID，ZXID大者优先；若ZXID相同则比较服务器ID，ID大者优先；集群中任意节点在启动或Leader故障时可发起选举。3.在YARN中，ResourceManager负责（）。A.单个任务的执行B.集群资源统一管理和调度C.任务日志的持久化D.节点健康状态监控答案：B解析：ResourceManager是YARN的主节点，负责整个集群资源的分配与调度；NodeManager负责单节点资源管理和任务执行。4.HBase中，一个Region达到以下哪个条件时会触发Split（）。A.Region中StoreFile数量超过3个B.Region大小超过`hbase.hregion.max.filesize`配置值C.Region中写入请求超过1000次/秒D.MemStore刷新次数超过10次答案：B解析：HBaseRegionSplit主要依据Region大小，当Region大小超过`hbase.hregion.max.filesize`（默认10GB）时触发分裂。5.下列关于Kafka消息语义的说法，正确的是（）。A.Kafka默认提供至少一次（AtLeastOnce）语义B.Kafka通过`enable.idempotence`参数可实现精确一次（ExactlyOnce）语义C.Kafka消费者默认自动提交offsetD.以上说法均正确答案：D解析：Kafka默认在消费者端自动提交offset，可能重复消费；生产者开启幂等性后配合事务可实现精确一次语义。6.Flink中，Checkpoint的存储介质默认是（）。A.HDFSB.本地文件系统C.内存D.数据库答案：B解析：Flink默认将Checkpoint存储在JobManager内存中，生产环境通常配置为HDFS或S3等持久化存储。7.在大数据集群中，若NameNode进程异常退出，最直接的恢复方法是（）。A.重启NameNode进程B.重新格式化文件系统C.从SecondaryNameNode恢复元数据D.重启所有DataNode答案：C解析：SecondaryNameNode定期合并FsImage和EditLog，可在NameNode故障时用于恢复元数据。8.关于Hive中内部表与外部表的区别，下列说法错误的是（）。A.删除内部表时，表数据和元数据均被删除B.删除外部表时，仅删除元数据，HDFS数据保留C.外部表适合存储共享数据D.内部表的数据目录可以随意指定答案：D解析：内部表数据默认存储在`/user/hive/warehouse/`下，目录由Hive管理；外部表可指定任意HDFS路径。9.在SparkStreaming中，从Kafka读取数据时，若需要精确一次语义，应使用（）。A.Receiver-basedApproachB.DirectApproach（无Receiver）C.基于ZooKeeper的旧APID.上述任一方法均可答案：B解析：DirectApproach直接连接Kafka分区，配合事务或幂等输出可实现精确一次。10.大数据集群中，用于监控HDFS块健康状态的守护进程是（）。A.NameNodeB.DataNodeC.SecondaryNameNodeD.JournalNode答案：B解析：DataNode定期向NameNode发送心跳和块报告，NameNode据此判断块的健康状态。11.在数据采集工具Flume中，Event的基本组成是（）。A.Header和BodyB.Source和SinkC.Channel和InterceptorD.仅Body答案：A解析：FlumeEvent由可选的Header（键值对）和Body（字节数组）组成。12.关于HDFS的机架感知（RackAwareness），其主要作用是（）。A.提高数据读取速度B.实现数据的容错和副本放置优化C.统一管理机架内所有节点D.减少网络带宽消耗答案：B解析：机架感知使NameNode能感知节点物理位置，从而优化副本放置策略（如副本分布在不同机架），提高容错性。二、多项选择题（每题3分，共24分）13.以下属于大数据平台常见运维任务的有（）。A.集群容量规划与扩展B.组件配置修改与滚动重启C.数据备份与恢复演练D.用户权限的定期审计答案：ABCD解析：大数据平台运维涵盖集群生命周期管理、配置管理、数据安全、容量规划等全方位工作。14.关于HDFS的SecondaryNameNode，下列说法正确的有（）。A.它是NameNode的热备节点B.它定期合并FsImage和EditLogC.它可辅助NameNode进行故障恢复D.它必须与NameNode部署在同一台机器上答案：BC解析：SecondaryNameNode不是热备，无法实时切换；通常部署在不同节点；它定期执行Checkpoint合并元数据。15.以下哪些参数属于YARN的调度器配置项（）。A.`yarn.resourcemanager.scheduler.class`B.`yarn.nodemanager.resource.memory-mb`C.`yarn.scheduler.capacity.root.default.capacity`D.`yarn.nodemanager.vmem-check-enabled`答案：AC解析：B为NodeManager资源参数，D为虚拟内存检查参数，均非调度器配置项。16.Kafka中，消费者组（ConsumerGroup）的特性包括（）。A.组内消费者共同消费一个主题的所有分区B.一个分区只能被组内一个消费者消费C.组内消费者数量可大于分区数D.不同消费者组互不影响答案：ABD解析：若消费者数量大于分区数，多余消费者空闲，C错误。17.以下关于Flink的State（状态）管理，说法正确的有（）。A.状态分为KeyedState和OperatorStateB.状态后端（StateBackend）支持内存、文件系统、RocksDBC.状态默认存储在TaskManager内存中D.状态无法进行持久化答案：ABC解析：Flink状态可通过Checkpoint持久化，D错误。18.关于HBase的Compaction操作，下列说法正确的有（）。A.MajorCompaction会合并所有StoreFileB.MinorCompaction只合并部分StoreFileC.MajorCompaction会清理删除标记的数据D.Compaction会增加IO开销，需合理规划答案：ABCD解析：Compaction用于合并小文件，MajorCompaction清理删除数据，但频繁执行会带来IO压力。19.在Hive中，以下哪些操作会触发MapReduce任务（）。A.`SELECT*FROMtable`B.`SELECTCOUNT(*)FROMtable`C.`SELECT*FROMtableWHEREid>10`D.`INSERTINTOtableSELECT*FROMother_table`答案：BCD解析：`SELECT*`不经过MapReduce，直接读取数据；聚合、过滤、插入等操作需MapReduce或Tez/Spark执行。20.以下属于大数据安全防护措施的有（）。A.Kerberos身份认证B.ApacheRanger权限控制C.数据加密传输（SSL/TLS）D.定期漏洞扫描与补丁升级答案：ABCD解析：大数据平台安全需从认证、授权、传输加密、漏洞管理等多维度保障。三、填空题（每题2分，共20分）21.在HDFS中，NameNode主要存储____和____。答案：FsImage；EditLog解析：NameNode将元数据持久化到FsImage（命名空间镜像）和EditLog（编辑日志）中。22.YARN的调度器有三种：FIFO、CapacityScheduler和____。答案：FairScheduler（公平调度器）23.HBase中，一张表按RowKey范围被水平划分为多个____。答案：Region24.Kafka中，一个Topic的副本因子（replication-factor）决定了____。答案：分区的副本数量25.Flink的Checkpoint机制基于____算法实现分布式快照。答案：Chandy-Lamport（异步屏障快照）26.在Hive中，用于存储表结构信息的元数据默认存放在____数据库中。答案：Derby（或MySQL，若配置了MySQL则填MySQL）27.Spark的StructuredStreaming基于____模型实现流式计算。答案：微批处理（Micro-Batch）28.在数据采集工具Flume中，三大核心组件为Source、Channel和____。答案：Sink29.HDFS中，若副本因子设置为3，则数据块最多可容忍____个副本同时丢失。答案：230.大数据集群中，用于协调多个组件配置信息的分布式协调服务是____。答案：ZooKeeper四、判断题（每题1分，共10分）31.HDFS适合存储大量小文件。（）答案：×解析：HDFS适合大文件，大量小文件会占用NameNode大量内存。32.Kafka的消息一旦被消费，就会立即从磁盘上删除。（）答案：×解析：Kafka基于日志保留策略，消息根据保留时间或大小删除，与消费无关。33.Flink支持事件时间（EventTime）处理，可处理乱序数据。（）答案：√34.HBase的RowKey设计越短越好，推荐使用字典序排列。（）答案：√35.YARN的NodeManager故障后，其上的Container会自动迁移到其他节点。（）答案：×解析：Container不会迁移，ApplicationMaster会重新调度任务。36.Hive的ExternalTable删除后，HDFS上的数据文件会被删除。（）答案：×解析：外部表删除仅删除元数据，数据保留。37.Spark的RDD支持自动容错，可通过血缘关系重新计算丢失的分区。（）答案：√38.ZooKeeper集群中，超过半数节点存活即可正常工作。（）答案：√39.Flume的Channel可以选择内存或文件，文件Channel在Agent宕机后数据不丢失。（）答案：√40.HDFS的`fsck`命令可以修复损坏的数据块。（）答案：×解析：`fsck`用于检查文件健康状况，不提供修复功能。五、简答题（每题6分，共30分）41.简述HDFS写入数据的大致流程。答案要点：（1）客户端调用DistributedFileSystem.create()，向NameNode发起请求；（2）NameNode检查权限及目录是否存在，若合法则创建文件记录，返回输出流；（3）客户端将数据切分为块（默认128MB），写入第一个DataNode；（4）第一个DataNode接收块后，以流水线（Pipeline）方式复制给第二个DataNode，再复制给第三个；（5）每个DataNode写入成功后返回确认，客户端收到所有副本的确认后关闭流；（6）NameNode更新元数据，写入完成。42.简述Kafka中Producer发送消息的流程。答案要点：（1）Producer根据消息的Key计算分区（若指定分区则直接使用）；（2）消息先写入Producer端的缓冲区（RecordAccumulator）；（3）Sender线程将缓冲区中的消息按批次发送给对应分区的Leader副本；（4）Leader副本写入本地日志，并同步给ISR集合中的Follower副本；（5）根据acks参数，Leader向Producer返回确认（0/1/-1）。43.简述Flink的Checkpoint机制及其作用。答案要点：（1）Checkpoint是Flink实现容错的核心机制，基于Chandy-Lamport分布式快照算法；（2）JobManager周期性向每个Source注入Barrier（屏障），Barrier随数据流流动；（3）算子收到Barrier后，将自身状态异步快照到状态后端（如HDFS、RocksDB）；（4）所有算子完成快照后，Checkpoint完成；（5）若任务失败，Flink从最近成功的Checkpoint恢复状态和位置，实现Exactly-Once语义。44.简述HBase的读写流程。答案要点：读流程：（1）客户端通过ZooKeeper获取Meta表所在RegionServer；（2）查询Meta表获取目标RowKey所在Region的位置；（3）客户端直接访问对应的RegionServer，先从MemStore读取，再读BlockCache，最后读HFile。写流程：（1）客户端先写入WAL（Write-AheadLog）日志；（2）写入MemStore，并返回客户端写入成功；（3）当MemStore达到阈值时，刷写为HFile（StoreFile）。45.简述大数据平台中数据备份的常见策略。答案要点：（1）HDFS元数据备份：定期将FsImage和EditLog导出至远程存储；（2）数据副本机制：依靠HDFS自身多副本（默认3副本）容错；（3）快照（Snapshot）备份：利用HDFS快照功能定时创建目录快照；（4）跨集群备份：使用DistCp工具将数据拷贝到异地集群；（5）组件元数据备份：备份HiveMetastore数据库、ZooKeeper数据目录、Kafka元数据等；（6）定期恢复演练：确保备份数据的可恢复性。六、应用题（每题12分，共48分）46.计算题：某大数据集群有10台DataNode，每台机器配置2块4TB硬盘。HDFS副本因子为3。请计算：（1）集群的总存储容量（不考虑系统开销）。（2）实际可用存储容量。（3）若业务数据量为20TB，判断集群是否满足存储需求。答案：（1）总存储容量=10台×2块×4TB=80TB（2）可用存储容量=80TB÷3≈26.67TB（3）20TB<26.67TB，满足存储需求。47.分析题：某HBase集群出现RegionServer频繁宕机，日志显示“java.lang.OutOfMemoryError:Directbuffermemory”。请分析可能原因，并给出至少3条优化建议。答案要点：原因分析：（1）HBase堆外内存（DirectMemory）设置过小，不足以支撑BlockCache和写缓存；（2）RegionServer处理高并发读写请求，导致DirectMemory耗尽。优化建议：（1）增大`hbase.regionserver.global.memstore.size`和`hfile.block.cache.size`的堆外内存比例；（2）调整JVM参数`-XX:MaxDirectMemorySize`，增加直接内存上限；（3）合理设置`hbase.hregion.memstore.flush.size`，避免MemStore过大；（4）减少Region数量，避免过多Region产生过多内存开销；（5）升级服务器内存或增加RegionServer节点，分摊压力。48.综合应用题：某企业使用Kafka接收业务日志，数据经Flink进行实时ETL后写入HBase。近期发现Flink作业频繁失败，Kafka消费延迟急剧上升。请给出完整的排查思路及解决方案。答案要点：排查思路：（1）检查Flink作业日志，确认失败原因（如反序列化异常、状态后端超时等）；（2）查看Kafka消费组的Lag（积压量），判断是生产速率快还是消费能力不足；（3）监控Flink的吞吐量、背压（Backpressure）状态、Checkpoint是否超时；（4）检查HBase写入是否出现热点Region或RegionServer过载；（5）确认Kafka分区数与Flink并行度是否匹配。解决方案：（1）若为HBase写入瓶颈：开启HBase的批量写入（BufferedMutator），增加RegionServer或预分区；（2）若为Flink并行度不足：增加并行度，且保证Kafka分区数≥并行度；（3）若为反序列化问题：检查Schema兼容性，使用通用的Avro/Protobuf格式；（4）优化Checkpoint配置：增大超时时间、减少状态大小（如使用RocksDB状态后端）；（5）若为Kafka端问题：适当增加消费者线程数，调整`fetch.min.bytes`等参数提升拉取效率。49.计算与分析题：某Flink流式计算任务，每秒接收10000条消息，每条消息大小为2KB。Flink的Checkpoint间隔设置为60秒，状态后端使用RocksDB。请计算：（1）每秒数据量为多少MB？（2）每个Checkpoint周期内产生的数据总量为多少MB？（3）若Checkpoint的持久化时间为10秒，计算Checkpoint期间数据积压量，并分析是否会造成内存压力。答案：（1）每秒数据量=10000×2KB=20000KB=19.53MB≈19