2026年批量数据处理测试题及答案

2026年批量数据处理测试题及答案

一、单项选择题（总共10题，每题2分）1.以下哪项是Hadoop分布式文件系统（HDFS）的核心设计目标？A.支持小文件高效存储B.提供低延迟数据访问C.运行在通用硬件上的高容错性D.支持实时事务处理2.Spark中RDD（弹性分布式数据集）的主要特性是？A.不可变且可并行操作B.实时更新的内存表C.仅支持本地计算D.存储结构化关系数据3.数据清洗过程中，处理“年龄字段出现-5”的问题属于？A.处理缺失值B.处理重复值C.处理异常值D.处理格式不一致4.ETL流程中“T”指的是？A.抽取（Extract）B.转换（Transform）C.加载（Load）D.传输（Transfer）5.Kafka在批量数据处理中的主要作用是？A.分布式存储B.实时计算C.消息队列与缓冲D.数据清洗6.批量数据处理中，数据倾斜的典型表现是？A.任务执行时间差异大B.内存占用均匀C.网络传输延迟低D.存储容量不足7.HBase的数据模型中，“列族”的特点是？A.动态添加，需预定义B.仅支持字符串类型C.所有列族存储在同一文件D.列族数量无限制8.Flume在批量数据处理中的核心功能是？A.分布式计算B.日志收集与传输C.实时分析D.数据可视化9.以下属于批处理框架的是？A.StormB.FlinkC.SparkStreamingD.HadoopMapReduce10.Parquet文件格式的主要优势是？A.行式存储，适合随机读写B.列式存储，压缩效率高C.仅支持文本格式D.实时更新能力强二、填空题（总共10题，每题2分）1.Hadoop的默认NameNode通信端口是________。2.Spark的核心抽象是________（英文缩写）。3.数据清洗的常见步骤包括识别数据问题、________和验证清洗结果。4.ETL流程中“L”代表的操作是________。5.Kafka中用于组织消息的逻辑单元称为________。6.HBase中用于唯一标识一行数据的字段是________。7.MapReduce计算模型分为________和Reduce两个阶段。8.批量数据去重的常见方法包括哈希去重和________去重。9.分布式存储系统的核心特性包括高可用性和________。10.批量数据处理的典型延迟范围是________级（如秒级、分钟级）。三、判断题（总共10题，每题2分）1.HDFS适合存储大量小文件（）。2.Spark是基于内存计算的分布式框架（）。3.数据清洗仅需处理缺失值问题（）。4.Kafka只能用于实时数据处理场景（）。5.MapReduce任务必须用Java语言编写（）。6.HBase属于关系型数据库（）。7.数据倾斜会导致部分任务运行超时（）。8.Flume只能收集日志类型的数据（）。9.Parquet是典型的行式存储文件格式（）。10.批量数据处理适合实时性要求高的场景（）。四、简答题（总共4题，每题5分）1.简述数据清洗的常见方法及其适用场景。2.对比HadoopMapReduce与Spark在计算模型上的主要差异。3.列举ETL流程的主要步骤，并说明各步骤的核心目标。4.说明Kafka在批量数据处理中的核心作用及典型应用场景。五、讨论题（总共4题，每题5分）1.大数据场景下数据倾斜的主要原因是什么？可采取哪些策略缓解？2.选择批量数据处理框架（如Hadoop、Spark）时需考虑哪些关键因素？3.HDFS的副本机制如何影响数据可靠性与系统性能？4.数据湖与数据仓库在批量数据处理中的核心差异有哪些？答案及解析一、单项选择题1.C2.A3.C4.B5.C6.A7.A8.B9.D10.B二、填空题1.90002.RDD3.处理数据问题4.加载5.主题（Topic）6.RowKey（行键）7.Map8.排序9.可扩展性10.分钟三、判断题1.×2.√3.×4.×5.×6.×7.√8.×9.×10.×四、简答题1.数据清洗常见方法包括：①缺失值处理（删除、插补），适用于缺失比例低或需保留记录场景；②重复值处理（去重），适用于消除冗余数据；③异常值处理（修正、剔除），适用于数据分布异常场景；④格式不一致处理（统一格式），适用于多源数据整合。2.HadoopMapReduce基于磁盘计算，通过中间结果落盘实现容错，适合离线批处理；Spark基于内存计算，通过RDD的血缘关系实现容错，支持迭代计算和内存缓存，延迟更低，适合需要多次计算的场景（如机器学习）。3.ETL流程包括：①抽取（Extract）：从多源系统获取数据，目标是完整、准确；②转换（Transform）：清洗、整合、关联数据，目标是提升数据质量；③加载（Load）：将处理后的数据存入目标库，目标是高效写入。4.Kafka在批量处理中作为消息队列，核心作用是缓冲高并发数据流、解耦生产与消费系统、支持数据重放。典型场景如日志收集（前端日志经Flume写入Kafka，再由批量任务定时拉取处理）、多系统数据同步（作为中间介质暂存数据）。五、讨论题1.数据倾斜主因：数据分布不均（如某Key出现次数远高于其他）、分区策略不合理。缓解策略：调整分区函数（如加盐哈希）、预处理过滤高频Key、使用Combiner本地聚合、启用Spark的倾斜优化参数（如spark.sql.adaptive.skewJoin.enabled）。2.关键因素：①数据量（小数据用Spark，超大数据用Hadoop）；②实时性（批量选Hadoop/Spark，实时选Flink）；③计算复杂度（迭代计算选Spark）；④生态兼容性（与现有Hive、HBase的集成）；⑤资源成本（Spark内存需求高，Hadoop更省资源）。3.HDFS副本机制通过多副本（默认3份）存储提升可靠性，避免单节点故障导致数据丢失。但副本数增加会占用更多存储资源（3副本需3倍空间），且副本同步会增加网络开销；同时，计算时可就近读取副本，提升任务并行度，但过多副本可能导致节点间