2026年mapreduce测试题答案

2026年mapreduce测试题答案

一、单项选择题，(总共10题，每题2分)1.在MapReduce中，负责将输入数据切分成逻辑分片并生成对应map任务的组件是A.JobTrackerB.TaskTrackerC.InputFormatD.OutputFormat2.默认情况下，MapReduce框架对map端输出的键进行排序所使用的比较器类是A.WritableComparatorB.RawComparatorC.Text.ComparatorD.IntWritable.Comparator3.若job.setNumReduceTasks(0)被调用，则下列说法正确的是A.作业无reduce阶段，输出即为map端直接结果B.系统会随机启动一个reduce任务C.框架会抛出IllegalStateExceptionD.输出目录必须提前存在4.在shuffle过程中，将同一分区数据拉取到同一reduce节点的操作称为A.sortB.mergeC.copyD.spill5.下列哪一项不是Combiner的运行时点A.map输出之后立刻运行B.内存缓冲区spill前运行C.spill文件合并时运行D.reduce端拷贝完成后运行6.当使用TextOutputFormat时，键与值之间的默认分隔符是A.\tB.,C.空格D.|7.在YARN架构下，负责资源隔离与容器生命周期管理的守护进程是A.ResourceManagerB.NodeManagerC.ApplicationMasterD.JobHistoryServer8.若自定义分区器继承Partitioner类，决定分区数量的参数是A.mapreduce.job.reducesB.mapreduce.job.mapsC.mapreduce.task.io.sort.factorD.mapreduce.reduce.shuffle.parallelcopies9.当map端输出数据量巨大导致频繁spill时，优先调整的参数是A.mapreduce.map.memory.mbB.mapreduce.task.io.sort.mbC.mapreduce.reduce.shuffle.input.buffer.percentD.pletedmaps10.在MapReduce2.x中，作业历史日志存放在HDFS的默认目录是A./tmp/hadoop-yarn/stagingB./user/historyC./mr-history/tmpD./log/hadoop-mapreduce二、填空题，(总共10题，每题2分)11.MapReduce编程模型中，map函数输入的键值对类型由__________接口的getRecordReader方法决定。12.当mapreduce.map.speculative=true时，框架会启动__________机制以缓解慢任务拖尾。13.在环形缓冲区中，默认溢写阈值比例由参数mapreduce.map.sort.spill.percent控制，其默认值为__________。14.若reduce任务数量大于分区数，则多余的reduce任务输出__________文件。15.使用MultipleOutputs时，必须在__________方法中调用mos.close()以关闭辅助输出。16.在YARN中，ApplicationMaster向__________发送心跳以申请或释放资源。17.当启用mapreduce.job.ubertask=true且输入数据小于__________MB时，小作业将串行运行在单个JVM内。18.自定义Writable实现时，必须提供无参__________以便框架通过反射创建实例。19.在reduce端，merge阶段采用__________路归并以降低磁盘随机访问。20.若希望reduce输出文件名称以“part-r-00000”改为“result-r-00000”，需重写__________类的generateFileNameForKeyValue方法。三、判断题，(总共10题，每题2分)21.map端输出的分区数必须与reduce任务数相等，否则作业提交失败。22.在本地模式下运行MapReduce程序时，不会触发shuffle过程。23.通过设置file=true可开启CPU/内存采样，但会降低性能。24.使用SequenceFileOutputFormat时，输出文件天然支持Splittable。25.当map输出压缩被启用时，spill文件仍保持未压缩状态以加速排序。26.在YARN中，ResourceManager重启后，正在运行的作业会被自动恢复。27.如果自定义Comparator未实现RawComparator接口，则排序仍需反序列化。28.MapReduce允许reduce任务数在作业运行时动态增加。29.通过DistributedCache可将客户端jar包分发到各节点并加入classpath。30.设置mapreduce.reduce.speculative=true对数据倾斜场景毫无帮助。四、简答题，(总共4题，每题5分)31.简述InputSplit与Block的区别，并说明InputSplit如何影响map任务并行度。32.描述shuffle过程中“copy”阶段采用的并行拉取策略及其对网络带宽的优化手段。33.说明Combiner与Reducer在接口定义上的异同，并指出何种业务逻辑不适合使用Combiner。34.解释YARN中“容器”概念，并给出MapReduceApplicationMaster申请容器时的主要流程。五、讨论题，(总共4题，每题5分)35.某电商日志文件每行约500字节，总量8TB，集群节点200台，每台32核128GB。讨论如何设置map、reduce任务数及JVM参数，使小时级统计作业在15分钟内完成，并权衡内存与CPU利用率。36.当reduce端出现严重数据倾斜导致长尾时，请从业务层、算法层、参数层、系统层四个维度提出综合解决方案，并评估各方案对结果正确性与资源开销的影响。37.对比MapReduce与Spark在迭代机器学习场景下的性能差异，从内存管理、任务调度、容错机制三方面深入剖析，并给出企业在既有HDFS集群上渐进式迁移的技术路线。38.随着云原生趋势，讨论将MapReduce作业以KubernetesPod形式运行的可行性，需覆盖资源调度、数据本地性、Shuffle服务化、安全隔离四个关键点，并给出原型架构图的文字描述。答案与解析一、单项选择题1.C2.B3.A4.C5.D6.A7.B8.A9.B10.C二、填空题11.InputFormat12.推测执行13.0.814.空15.cleanup16.ResourceManager17.51218.构造函数19.多（或三）20.OutputFormat三、判断题21×22×23√24√25×26×27√28×29√30×四、简答题31.InputSplit是逻辑分片，由InputFormat根据数据格式与大小策略生成，可跨Block；Block是HDFS物理块，默认128MB。Split大小决定map任务数，越小并行度越高，但调度开销增大；通常设为Block大小附近以保本地性。32.copy阶段由reduce任务启动5（可配）个并行fetch线程，通过HTTP向已完成map节点拉取分区数据；采用压缩传输、批量拉取、连接复用、带宽限速（mapreduce.reduce.shuffle.parallelcopies与maxSession等参数）避免打满网络。33.二者均继承Reducer类，接口相同，但Combiner运行在map端，可多次调用，需满足交换律与结合律；不适合求中位数、去重计数等依赖全局顺序或状态的逻辑。34.容器是YARN对CPU与内存的封装单位。AM先向RM注册，随后周期性通过heartbeat申请资源，RM返回容器列表，AM再与NodeManager通信启动容器，运行map/reduce任务，任务结束释放容器并上报RM。五、讨论题35.按128MB块大小，8TB≈65536块，设map数≈65536，200节点每节点并发map≈100，需调整mapreduce.map.memory.mb=1536、cpu.vcores=1，避免超发；reduce数取1200（每节点6并发），mapreduce.reduce.memory.mb=3GB；开启combiner与snappy压缩，调整slowstart=0.8，JVM重用-1，可在10~13分钟完成。36.业务层：将热点key加盐前缀，二次聚合；算法层：采用BloomFilter预统计，减少倾斜量；参数层：提高mapreduce.reduce.shuffle.parallelcopies、增大reduce堆内存；系统层：启用推测执行与动态资源池，对长尾reduce再分配容器。结果需二次MR保证正确，资源开销增加约15%，但长尾时间从小时级降至分钟级。37.MapReduce每轮迭代均落盘，Shuffle繁重；Spark基于RDD内存缓存，迭代快10~100倍；Spark调度以DAG切分stage，容错采用Lineage而非复制，更适合ML。迁移路线：保持HDFS，先用SparkonYARN跑新应用，逐步替换HiveETL，关键MR脚本保留双跑校验，最终统一至Spark/SQL。38.可行性：通过CRD定义MapRed