2026年大数据平台运维考试题库及答案

2026年大数据平台运维考试题库及答案一、单项选择题1.以下关于HDFS默认配置的描述，正确的是（）。A.块大小默认128MB，副本数默认2B.块大小默认64MB，副本数默认3C.块大小默认128MB，副本数默认3D.块大小默认256MB，副本数默认1答案：C2.YARN中负责管理单个节点上资源的组件是（）。A.ResourceManagerB.NodeManagerC.ApplicationMasterD.Container答案：B3.Kafka中消费者组（ConsumerGroup）的核心作用是（）。A.提高消息生产速率B.实现消息的广播或负载均衡消费C.管理主题（Topic）的分区D.保障消息的持久化存储答案：B4.HBase中，RegionServer崩溃后，其管理的Region会被（）重新分配。A.HMasterB.ZooKeeperC.Region自身D.Client端答案：A5.大数据平台运维中，监控指标“磁盘IO等待时间”持续高于20ms时，通常可能的原因是（）。A.内存不足B.网络带宽瓶颈C.磁盘读写压力过大D.CPU利用率过高答案：C二、简答题1.简述HBaseRegion自动分裂的触发条件及分裂过程。答案：触发条件：①Region大小超过hbase.hregion.max.filesize（默认10GB）；②Region中StoreFile数量超过hbase.hregion.memstore.flush.size（默认128MB）触发的flush次数阈值；③预分区策略未覆盖时的自然增长。分裂过程：①RegionServer在检测到分裂条件后，向HMaster申请分裂；②HMaster确认后，RegionServer创建临时目录，将原Region的StoreFile切分为两部分（按中间键）；③生成新的两个Region，并更新元数据（-ROOT-和.META.表）；④原Region下线，新Region上线提供服务。2.列举Kafka生产者（Producer）常见的性能优化参数，并说明其作用。答案：①batch.size：设置批量发送的消息大小（默认16KB），增大可提高吞吐量，但会增加延迟；②linger.ms：等待批量的最大时间（默认0ms），与batch.size配合，允许生产者等待更多消息再发送；③compression.type：消息压缩类型（如lz4、snappy），减少网络传输开销；④buffer.memory：生产者内存缓冲区大小（默认33554432字节），避免因缓冲区满导致发送阻塞；⑤acks：确认机制（0、1、all），设置为1可在保证一定可靠性的同时提升性能。3.说明YARN中ApplicationMaster（AM）的主要职责。答案：AM是每个应用程序的管理者，核心职责包括：①向ResourceManager申请资源（通过RPC请求），并与NodeManager通信分配Container；②监控应用程序的运行状态（如任务进度、失败重试）；③与NodeManager协作启动/停止任务（如MapReduce的Mapper/Reducer）；④向ResourceManager汇报应用程序状态（如完成、失败）；⑤处理任务运行中的资源调整需求（如动态扩缩容）。三、案例分析题某公司Hadoop集群（HDFS+YARN）近期出现用户提交的Spark任务频繁失败，报错信息为“Containerexitedwithexitcode143”。作为运维工程师，请列出排查步骤及可能的解决方法。答案：排查步骤：1.查看YARN日志：通过yarnlogs-applicationId<appId>定位具体失败Container的日志，确认是任务代码错误还是资源问题。2.检查资源使用情况：通过YARNWebUI（8088端口）查看集群资源使用率（内存、CPU），确认是否因资源不足导致Container被强制kill（exitcode143通常为SIGTERM，可能是资源超用被NM终止）。3.分析NodeManager日志：在对应节点的NodeManager日志（logs/node-manager.log）中查找是否有“ContainerkilledbyNM”的记录，确认是否因内存溢出（如任务申请的内存不足，实际使用超过上限）。4.检查任务配置参数：查看Spark任务提交时的参数（如--executor-memory、--executor-cores），确认是否与集群资源规划匹配（如单个Container内存是否超过NodeManager的max-container-memory）。5.验证节点健康状态：通过ClouderaManager或Ambari检查节点的磁盘、网络、CPU是否正常，排除硬件故障导致的不稳定。可能的解决方法：①若因内存不足：调大executor-memory参数（需确保不超过NodeManager的单Container内存上限），或减少并行任务数（降低--num-executors）；②若因YARN资源分配策略问题：调整capacity-scheduler.xml中的队列容量或资源限制，避免队列资源不足；③若因任务代码问题（如内存泄漏）：优化Spark代码（如减少shuffle数据量、使用