2026年大数据平台运维管理人员考试题

2026年大数据平台运维管理人员考试题一、单项选择题（每题1分，共30分）1.Hadoop2.x中，HDFS数据块的默认大小是？A.64MBB.128MBC.256MBD.512MB2.HDFS中负责管理文件系统命名空间和元数据的组件是？A.DataNodeB.NameNodeC.SecondaryNameNodeD.ResourceManager3.在YARN资源调度框架中，负责集群资源统一管理和任务调度的核心组件是？A.NodeManagerB.ApplicationMasterC.ResourceManagerD.Container4.MapReduce计算模型中，Shuffle阶段的排序操作发生在？A.仅Map端B.仅Reduce端C.Map端和Reduce端均发生D.不进行排序5.Hive中元数据通常存储在下列哪种数据库中？A.HBaseB.RedisC.MySQL或DerbyD.MongoDB6.HBase中数据按什么顺序进行物理存储？A.列族字典序B.行键字典序C.时间戳顺序D.插入顺序7.ZooKeeper在大数据生态系统中主要承担的角色是？A.数据存储引擎B.分布式协调服务C.消息队列D.SQL计算引擎8.关于Kafka消息顺序性，下列说法正确的是？A.同一Topic全局有序B.同一分区内消息有序C.同一消费者组内有序D.消息天然无序9.Spark中RDD的Transformation操作（如map、filter）具有的特点是？A.立即执行B.惰性求值，遇到Action才执行C.只能执行一次D.必须缓存后执行10.Flink区别于传统批处理框架的重要特性是？A.仅支持批处理B.支持有状态流式计算和事件时间处理C.必须使用HDFS存储D.不需要资源管理器11.Linux系统中查看磁盘分区使用情况的命令是？A.free-mB.topC.df-hD.du-sh/tmp12.在Linux中，查看8080端口被哪个进程占用的命令是？A.ping8080B.lsof-i:8080或netstat-tunlp|grep8080C.ps-ef|grep8080D.top-p808013.Docker中构建镜像通常使用的命令是？A.dockerpullB.dockerbuildC.dockercommitD.dockerpush14.Kubernetes中用于管理无状态应用的控制器是？A.StatefulSetB.DaemonSetC.DeploymentD.Job15.下列工具中，通常用于日志采集并导入Kafka或HDFS的是？A.HiveB.FlumeC.HBaseD.ZooKeeper16.大数据平台监控中，CPU使用率、内存使用率、磁盘I/O吞吐属于哪类指标？A.业务指标B.性能指标C.安全指标D.日志指标17.HDFS中数据块的默认副本数通常是？A.1B.2C.3D.418.下列哪项不属于Hadoop生态系统的主流发行版？A.ApacheHadoopB.CDHC.HDPD.MySQL19.HBase中，当某个Region的数据量过大并频繁触发分裂时，最可能导致的问题是？A.查询性能下降B.数据永久丢失C.ZooKeeper宕机D.NameNode内存溢出20.Kafka消费者组中，下列哪种不属于常见的分区分配策略？A.RangeB.RoundRobinC.StickyD.Random21.SparkSQL中，DataFrame与DataSet的主要区别是？A.DataFrame有类型信息，DataSet无B.DataSet有类型信息，DataFrame是弱类型C.二者完全相同D.DataFrame只能处理流数据22.关于Hadoop中SecondaryNameNode的作用，下列说法正确的是？A.是NameNode的热备份节点B.定期合并编辑日志和镜像文件，辅助NameNode恢复C.负责客户端读写请求D.管理DataNode的注册23.关于Hive内部表和外部表的区别，下列说法正确的是？A.删除内部表时数据保留，删除外部表时数据删除B.删除内部表时数据删除，删除外部表时数据保留C.内部表和外部表在删除时行为完全一致D.外部表只能存储在HDFS中24.下列哪种方法不适合用于解决大数据平台中的数据倾斜问题？A.对倾斜键进行加盐处理B.使用Map端预聚合减少Reduce数据量C.增大分区数D.关闭集群监控系统25.运维中常说的“SLA”指的是？A.软件许可协议B.服务等级协议C.安全审计日志D.系统负载均衡26.大数据平台安全认证中，常用的身份认证框架是？A.JWTB.KerberosC.OAuth2.0D.SAML27.HDFS不适合处理的场景是？A.存储超大文件B.一次写入多次读取C.大量小文件存储D.高吞吐量数据访问28.下列哪个工具常用于Hadoop集群的部署、监控与管理？A.SqoopB.AmbariC.FlumeD.Kafka29.在Linux中，用于配置防火墙规则的常用工具是？A.vimB.firewalld或iptablesC.crontabD.systemctl30.集群节点时间不同步，最可能直接导致的问题是？A.磁盘空间不足B.分布式协调组件出现异常、日志时间错乱、认证失效C.网络带宽降低D.数据块丢失二、多项选择题（每题2分，共20分，少选得1分，错选不得分）1.HDFS的主要组成部分包括？A.NameNodeB.DataNodeC.SecondaryNameNodeD.ResourceManager2.YARN支持的常见调度器包括？A.FIFO调度器B.Capacity调度器C.Fair调度器D.Priority调度器3.下列哪些属于Spark支持的运行模式？A.Local模式B.Standalone模式C.YARN模式D.Kubernetes模式4.HBase的核心组件包括？A.HMasterB.RegionServerC.ZooKeeperD.DataNode5.大数据平台日常监控中通常需要关注的资源指标包括？A.CPU使用率B.内存使用率C.磁盘I/OD.网络吞吐量6.下列哪些属于常见的数据备份策略？A.全量备份B.增量备份C.差异备份D.实时备份7.Docker与虚拟机相比，通常具备的优势有？A.更轻量B.启动速度更快C.资源占用更低D.宿主机内核隔离性更强8.Kubernetes中的核心资源对象包括？A.PodB.ServiceC.DeploymentD.HDFS9.下列哪些属于大数据计算框架？A.MapReduceB.SparkC.FlinkD.HDFS10.下列哪些做法有助于提高HDFS集群的可用性？A.启用NameNodeHAB.配置合适的副本数C.定期执行fsck检查D.将DataNode全部部署在同一机架三、判断题（每题1分，共10分）1.HDFS非常适合存储大量小文件。2.ZooKeeper集群通常建议配置奇数个节点。3.Kafka消息默认会持久化到磁盘。4.Hive本质上是一个数据库管理系统。5.Spark相比MapReduce在迭代计算中通常具有更高的性能。6.Linux中chmod755表示属主拥有读写执行权限，属组和其他用户拥有读和执行权限。7.Docker容器与宿主机共享操作系统内核。8.Kubernetes中一个Pod可以包含多个容器。9.HBase是一种关系型数据库。10.监控告警只需要设置阈值即可，无需告警收敛和通知策略。四、简答题（每题5分，共15分）1.简述HDFSNameNodeHA（高可用）的基本实现原理。2.简述Kafka如何保证消息不丢失，从生产者、Broker、消费者三个层面说明。3.简述大数据平台日常巡检需要检查的主要内容（至少列出5项）。五、案例分析题（共25分）某大数据平台近期频繁出现MapReduce任务运行缓慢、部分任务失败的现象。运维人员登录集群后发现以下信息：-个别DataNode节点磁盘使用率达到95%以上；-YARN管理界面显示部分任务发生大量Reduce阶段数据倾斜；-一些任务因超出内存限制被ApplicationMaster主动杀掉；-部分节点存在时间不同步问题；-日志中出现较多Taskattemptfailedtoreportstatusfor600seconds。请根据以上信息，分析可能的原因，并提出排查步骤和优化方案。1.磁盘使用率过高导致DataNode写入变慢，甚至失败，影响HDFS吞吐量。2.Reduce数据倾斜导致个别节点负载过高，拖慢整个任务进度。3.任务内存分配过小或队列资源不足，导致Container超限被杀。4.节点时间不同步可能导致心跳超时、任务状态上报异常。5.网络波动或节点过载导致Task状态上报超时，出现Taskattemptfailedtoreportstatus。1.检查HDFS使用率：hdfsdfsadmin-report和df-h，清理过期数据或扩容。2.分析MapReduce任务日志：查看Reduce阶段输入数据分布，定位倾斜键。3.检查YARN队列资源：yarnapplication-status<app_id>和ResourceManager日志，分析Container内存分配情况。4.检查节点时间同步：对比各节点时间，查看NTP服务状态。5.检查网络延迟和节点负载，定位超时节点。1.清理临时文件和无用日志，扩容磁盘或调整数据存储策略。2.针对数据倾斜采取加盐、Map端预聚合、自定义分区器等手段。3.优化任务内存参数，如增大mapreduce.map.memory.mb、mapreduce.reduce.memory.mb，并合理设置队列最大资源。4.统一配置NTP时间同步，保障节点时间一致性。5.对超时节点进行隔离排查，必要时重启节点或调整任务超时参数。参考答案与解析一、单项选择题1.答案：B解析：Hadoop2.x默认块大小为128MB，比1.x的64MB更大，旨在降低元数据开销、提高大文件读写效率。2.答案：B3.答案：C4.答案：C解析：Map端输出会按分区和键进行排序；Reduce端从多个Map任务拉取数据后，还会进行归并排序，保证按键有序。5.答案：C解析：Hive默认使用内嵌Derby存储元数据，生产环境通常外置MySQL等关系型数据库，以便多用户并发访问。6.答案：B7.答案：B8.答案：B解析：Kafka只能保证单个分区内消息按照写入顺序进行消费，跨分区不保证全局顺序。9.答案：B10.答案：B11.答案：C12.答案：B13.答案：B14.答案：C解析：Deployment适合管理无状态应用；StatefulSet多用于有状态服务，如Kafka、HBase等。15.答案：B16.答案：B17.答案：C18.答案：D19.答案：A解析：Region过大会导致单点负载过高，分裂过程中的RegionServer压力增大，影响读写性能。20.答案：D21.答案：B22.答案：B解析：SecondaryNameNode不是热备份，它通过定期合并edits和fsimage来减少NameNode重启时的恢复时间。23.答案：B24.答案：D25.答案：B26.答案：B解析：Hadoop生态安全认证普遍集成Kerberos，用于节点和用户的身份认证。27.答案：C解析：大量小文件会占用大量NameNode内存，导致元数据膨胀，降低整体性能。28.答案：B29.答案：B30.答案：B二、多项选择题1.答案：ABC2.答案：ABC3.答案：ABCD4.答案：ABC5.答案：ABCD6.答案：ABCD7.答案：ABC解析：Docker容器共享宿主机内核，隔离性通常弱于虚拟机，因此D不正确。8.答案：ABC9.答案：ABC10.答案：ABC解析：DataNode分布式部署可提高容错性，全部部署在同一机架会降低机架容错能力。三、判断题1.答案：错误解析：大量小文件会导致NameNode元数据膨胀，导致内存和性能问题。2.答案：正确3.答案：正确4.答案：错误解析：Hive是构建在Hadoop之上的数据仓库工具，将SQL转换为MapReduce或Spark任务执行，本身不存储业务数据。5.答案：正确6.答案：正确7.答案：正确8.答案：正确9.答案：错误解析：HBase是非关系型分布式列式存储数据库，属于NoSQL范畴。10.答案：错误解析：告警需要合理的收敛、去重、通知和升级机制，避免告警风暴和漏报。四、简答题1.答案：通过配置两个NameNode，一个为Active，一个为Standby；二者共享同一份编辑日志，通常借助JournalNode集群保存edits日志。ActiveNameNode负责处理客户端请求并写入edits，StandbyNameNode实时从Jou