2026年大数据分析师（Hadoop）试题及答案

2026年大数据分析师（Hadoop）试题及答案单项选择题1.Hadoop3.4及以上版本中，HDFS默认的纠删码存储策略为？A.RS(3,2)B.RS(6,3)C.XOR(2,1)D.副本3策略答案：B解析：Hadoop3.x系列从3.2版本开始将RS(6,3)设为默认纠删码策略，该策略下存储开销仅为原始数据的1.5倍，相比传统3副本策略节省50%存储空间，同时可容忍3个数据块丢失，兼顾存储成本和可靠性，适合冷温热全层级数据存储场景。2.以下哪个组件是HadoopYARN原生支持云原生场景下GPU/NPU细粒度弹性调度的核心插件？A.CapacitySchedulerB.FairSchedulerC.Volcano调度插件D.FIFOScheduler答案：C解析：Volcano作为CNCF毕业的云原生批量调度项目，2024年完成与YARN的原生集成，成为Hadoop3.4版本默认的异构资源调度插件，支持GPU、NPU等加速资源的细粒度配额管理、弹性扩缩容、队列优先级调度，适配云原生混合部署场景。3.HDFS纠删码策略默认对多大规模以上的文件生效？A.128MBB.512MBC.1GBD.2GB答案：C解析：由于纠删码的编解码会占用额外CPU资源，小文件使用纠删码的开销远高于收益，因此HDFS默认设置1GB为纠删码生效阈值，小于1GB的文件默认采用3副本存储，超过阈值的文件可自动匹配纠删码策略存储。4.基于Hadoop生态做实时用户行为入湖分析时，以下哪种表设计可以最小化写入放大？A.HudiCopyOnWrite表B.HudiMergeOnRead表+异步CompactionC.Icebergv1版本表D.原生HiveORC分区表答案：B解析：HudiMergeOnRead（MOR）表写入时仅写入增量日志文件，后台异步执行Compaction合并基线数据和增量日志，写入放大率可控制在1.2-1.5倍，远低于CopyOnWrite表的3-4倍写入放大率，适合高吞吐实时写入场景。5.Hadoop3.x针对运行时长小于1分钟、处理数据量小于128MB的小作业，默认开启哪种优化模式降低调度开销？A.本地运行模式B.Uber任务模式C.容器复用模式D.内存计算模式答案：B解析：Uber任务模式下，小作业的Map和Reduce任务无需单独申请YARN容器，直接在ApplicationMaster进程中运行，可减少80%以上的调度启停开销，大幅提升小作业的运行效率。多项选择题1.以下属于Hadoop3.4版本新增特性的有？A.冷热温三层数据自动分层存储B.原生S3A协议兼容，无需第三方插件即可对接对象存储C.支持自定义纠删码策略D.NameNode基于Raft协议的多活部署答案：ABCD解析：Hadoop3.4版本实现了全层级存储自动管理，可根据数据访问频率自动在SSD、磁盘、对象存储间迁移数据；原生集成S3A协议，对接阿里云OSS、AWSS3等对象存储无需额外适配；支持用户自定义纠删码的条带大小、数据块校验块配比；Raft协议的NN多活模式替代原有的QJM主备模式，最多可支持5个NN节点同时提供服务，可用性从99.95%提升到99.995%。2.基于Hadoop生态做用户行为分析时，以下哪些配置可以有效提升查询效率？A.对高频关联字段user_id做分桶处理B.对常用过滤维度如dt、province做分区处理C.采用Parquet存储格式配合ZSTD压缩算法D.开启HDFS短路读取功能答案：ABCD解析：分桶可大幅提升Join查询的效率，避免全表扫描；分区可过滤掉不需要的分区数据，减少读取数据量；Parquet是列式存储格式，ZSTD压缩算法相比Snappy压缩率高30%、解压速度基本持平，可减少IO开销；短路读取允许客户端绕过DataNode进程直接读取本地磁盘上的块数据，可提升读取速度30%以上。3.以下哪些现象可以判定Hadoop集群的MapReduce任务存在数据倾斜？A.单个Reducer的运行时长是其他Reducer平均时长的10倍以上B.单个Map任务读取的数据量是其他Map平均读取量的5倍以上C.Shuffle阶段传输的数据量是原始输入数据量的3倍以上D.NameNode的RPC队列长时间处于满负荷状态答案：ABC解析：数据倾斜的核心表现是部分任务的负载远高于同阶段其他任务，A、B均属于典型的倾斜表现；Shuffle阶段数据量远超原始数据，通常是由于笛卡尔积或大key重复关联导致的倾斜；NameNodeRPC队列满是元数据压力过大的表现，通常由小文件过多导致，和数据倾斜无关。实操题1.现有HDFS路径/user/analyst/behavior_log下存储2025年全年用户点击日志，数据格式为Parquet，总大小12TB，共32亿条，字段为user_id(string)、click_time(bigint)、page_id(string)、device(string)、province(string)。需求是统计2025年每个省份下PVtop10的热门页面，要求执行时长不超过15分钟，现有集群为10个节点，单节点配置16核32G内存，YARN可用队列资源为80核160G内存。请写出完整的HiveSQL实现以及对应的优化参数配置，并说明参数作用。答案：优化参数配置：开启Map端预聚合，减少Shuffle阶段数据传输量sethive.map.aggr=true;自动识别小表并执行MapJoin，避免ReduceJoin的Shuffle开销sethive.auto.convert.join=true;sethive.mapjoin.smalltable.filesize=67108864;开启GroupBy倾斜优化，自动拆分倾斜key分两轮聚合sethive.groupby.skewindata=true;设置Parquet块大小为256MB，适配HDFS块大小，减少随机IOsetparquet.block.size=268435456;每个Reducer处理64MB数据，12TB数据共启动192个Reducer，适配集群资源sethive.exec.reducers.bytes.per.reducer=67108864;配置Map和Reduce容器的内存大小，避免OOMsetmapreduce.map.memory.mb=4096;setmapreduce.reduce.memory.mb=8192;setmapreduce.map.cpu.vcores=1;setmapreduce.reduce.cpu.vcores=2;SQL实现：withpage_pv_statas(selectprovince,page_id,count(1)aspv,row_number()over(partitionbyprovinceorderbycount(1)desc)asrankfrombehavior_logwhereclick_timebetweenunix_timestamp('2025-01-0100:00:00')andunix_timestamp('2025-12-3123:59:59')groupbyprovince,page_id)selectprovince,page_id,pvfrompage_pv_statwhererank<=10;解析：该配置下，Map端预聚合可将Shuffle数据量减少60%以上，倾斜优化可避免省份维度的大key倾斜问题，192个Reducer占用的资源为384核768G，队列可用资源可支持并行运行40个Reducer，总运行时长约为12分钟，符合要求。2.现有HDFS路径/user/raw/small_files下存储120万个小文件，平均文件大小8KB，总大小9GB，3副本存储共占用27GB空间，需要将这批小文件合并为平均1GB左右的大文件，并采用RS(6,3)纠删码存储，降低存储成本。请写出完整的操作命令和注意事项。答案：操作命令：目标目录提前设置纠删码策略hdfsec-setPolicy-path/user/merged/large_files-policyRS-6-3-1024k用DistCp批量合并小文件，设置9个Reducer，每个Reducer输出1GB左右的大文件hadoopdistcp-Dmapreduce.job.reduces=9/user/raw/small_files//user/merged/large_files/hadoopdistcp-Dmapreduce.job.reduces=9/user/raw/small_files//user/merged/large_files/验证合并结果和纠删码策略hdfsfsck/user/merged/large_files-files-blockshdfsec-getPolicy-path/user/merged/large_files注意事项：1.提前对目标目录设置纠删码策略，新写入的文件会自动采用该策略存储，合并后的9GB数据仅占用13.5GB存储空间，相比原3副本存储节省50%成本；2.设置Reducer数量为9，刚好每个Reducer处理1GB左右的数据，输出文件大小符合要求，避免生成新的小文件；3.合并完成后可删除原小文件目录，120万个小文件占用NameNode约120MB堆内存，合并后9个文件仅占用不到1KB堆内存，可大幅降低NameNode的元数据压力；4.若需要支持秒级查询，可将合并后的文件同步到Alluxio内存缓存层，进一步提升访问速度。案例分析题某电商公司2025年双11期间，Hadoop集群出现报表查询卡顿问题，业务侧用户行为分析报表的生成时长从平时的5分钟拉长到40分钟，集群监控数据如下：NameNode的RPC平均响应时间从10ms涨到800ms，DataNode的磁盘IO使用率平均为20%，YARN集群资源使用率仅为30%。请分析故障原因，给出排查步骤和解决方案。答案：故障原因分析：集群计算资源和存储IO都未达到瓶颈，仅NameNodeRPC响应时间异常升高，核心原因是双11期间实时写入任务生成了大量小文件，导致NameNode元数据压力陡增，RPC请求排队，进而影响所有查询任务的元数据获取效率，最终导致报表生成变慢。排查步骤：1.执行`hdfsfsck/user/report/-files`查看报表相关业务目录的文件数量，确认该目录下新增了180万个小于1MB的小文件；2.查看NameNode日志，搜索到大量"RPCqueueisfull"报错，确认RPC队列因请求过多出现溢出；3.执行`hdfsdfsadmin-report`查看集群块总数，相比双11前新增了210万个块，元数据内存占用增长了230MB，确认元数据压力过大。解决方案：临时缓解方案：1.立即清理HDFS临时目录下的过期小文件，删除近7天的临时任务输出文件；2.执行HadoopArchive命令合并业务目录下的小文件，1小时内完成180万个小文件的合并，块总数减少99%；3.动态调整NameNode的RPChandler数量从默认的100调整到500，提升RPC并发处理能力，调整后RPC平均响应时间降到15ms。长期优化方