(2025年)大数据技术的试题及答案

(2025年)大数据技术的试题及答案一、单项选择题（每题2分，共20分）1.在Hadoop3.x版本中，HDFS默认的块大小为（）。A.32MBB.64MBC.128MBD.256MB2.以下关于SparkRDD的描述中，错误的是（）。A.RDD是不可变的分布式数据集B.RDD支持基于内存的计算C.RDD的持久化操作会改变其血缘关系D.RDD的转换操作具有延迟执行特性3.ApacheFlink中，处理事件时间（EventTime）时，用于解决数据乱序问题的核心机制是（）。A.窗口（Window）B.水印（Watermark）C.检查点（Checkpoint）D.状态后端（StateBackend）4.以下NoSQL数据库中，基于列族（ColumnFamily）模型设计的是（）。A.RedisB.CassandraC.MongoDBD.HBase5.在Kafka中，消费者组（ConsumerGroup）的主要作用是（）。A.提高生产者的写入吞吐量B.实现消息的广播与负载均衡C.保证消息的Exactly-Once语义D.管理Broker的元数据信息6.数据湖（DataLake）与传统数据仓库（DataWarehouse）的核心区别在于（）。A.数据存储格式是否结构化B.是否支持实时查询C.数据处理的延迟要求D.数据建模的灵活性7.以下不属于SparkShuffle阶段优化手段的是（）。A.调整shuffle.partitions参数B.使用Kryo序列化替代默认序列化C.启用堆外内存（Off-HeapMemory）D.增加RDD的分区数8.在HBase中，RegionServer管理的基本数据单元是（）。A.RowB.ColumnFamilyC.RegionD.HFile9.联邦学习（FederatedLearning）在大数据场景中的主要应用目标是（）。A.提升模型训练的计算速度B.在不共享原始数据的前提下联合建模C.解决数据倾斜导致的模型偏差D.优化分布式存储的副本策略10.实时数仓（Real-TimeDataWarehouse）的典型技术栈中，负责将实时数据流写入OLAP数据库的组件通常是（）。A.FlinkB.KafkaC.DebeziumD.Canal二、填空题（每题2分，共20分）1.HadoopYARN中，负责资源管理和任务调度的核心组件是__________。2.SparkSQL中，用于将结构化数据抽象为分布式数据集的编程接口是__________。3.Flink的状态后端（StateBackend）支持三种类型：MemoryStateBackend、FsStateBackend和__________。4.Kafka的消息存储中，每个Partition会被划分为多个__________，以提高磁盘IO效率。5.数据倾斜（DataSkew）的常见解决方法包括增大并行度、__________和使用随机前缀聚合。6.湖仓一体（Lakehouse）架构的核心是通过__________层统一管理数据湖的元数据与数据仓库的事务性。7.在HBase中，用于加速随机读操作的内存缓存组件是__________。8.分布式计算框架中，__________机制通过记录操作日志，在节点故障时重新计算丢失的数据，避免全量数据复制。9.隐私计算（PrivacyComputing）的典型技术包括联邦学习、安全多方计算（MPC）和__________。10.实时流处理中，__________语义（Semantic）要求每条消息被处理且仅被处理一次，是金融等场景的核心需求。三、简答题（每题8分，共40分）1.简述MapReduce的执行流程，并说明Shuffle阶段的主要任务。2.对比Spark和Flink在流处理场景中的差异，重点说明两者对事件时间（EventTime）和处理时间（ProcessingTime）的支持方式。3.解释Kafka的ISR（In-SyncReplicas）机制，并说明其对消息可靠性和吞吐量的影响。4.数据湖的分层架构通常包括哪几层？各层的主要功能是什么？5.说明数据脱敏（DataMasking）在大数据安全中的作用，并列举三种常见的脱敏技术。四、综合题（每题10分，共20分）1.某电商公司需构建用户行为分析平台，要求支持实时订单数据（如下单时间、商品ID、金额）和离线用户画像数据（如年龄、地域）的融合分析。请设计该平台的技术架构，包括数据采集、存储、计算和分析组件的选型，并说明各组件的作用及数据流转流程。2.某企业在使用Spark处理用户点击日志时，出现部分任务执行超时、集群资源利用率不均衡的问题。经分析，问题由数据倾斜导致。请结合具体场景（如某热门商品的点击量占比90%），设计数据倾斜的诊断方法和解决方案，并说明关键参数的调整策略。答案一、单项选择题1.C（Hadoop3.x默认块大小为128MB，早期版本为64MB）2.C（持久化操作仅缓存计算结果，不改变血缘关系）3.B（水印是处理事件时间乱序的核心机制，标记当前事件时间的进展）4.D（HBase基于列族模型，Cassandra虽类似但属于宽列存储，需注意区分）5.B（消费者组通过分配Partition实现负载均衡，不同组可广播消息）6.A（数据湖存储原始、多格式数据，数据仓库需结构化建模）7.D（增加分区数可能加剧Shuffle压力，非优化手段）8.C（Region是HBase的基本管理单元，由多个Store组成）9.B（联邦学习核心是“数据不动模型动”，保护隐私）10.A（Flink作为流处理引擎，负责实时数据清洗后写入OLAP库）二、填空题1.ResourceManager（YARN的全局资源管理器）2.DataFrame（或Dataset，DataFrame是Dataset的特例）3.RocksDBStateBackend（Flink1.13+默认使用RocksDB）4.Segment（Kafka的Partition按Segment分割，每个Segment对应一个日志文件）5.预处理过滤热点数据（或加盐分组聚合）6.元数据（湖仓一体通过元数据层统一管理结构化与非结构化数据）7.BlockCache（HBase的读缓存，默认使用LRU策略）8.血缘（Lineage，Spark、Hadoop均依赖血缘恢复数据）9.同态加密（HE，隐私计算三大技术之一）10.Exactly-Once（精确一次处理语义）三、简答题1.MapReduce执行流程：输入数据被分割为多个Split，由Map任务处理并输出<Key,Value>对；Shuffle阶段将Map输出按Key分区、排序，传输到对应的Reduce任务；Reduce任务对相同Key的Value聚合，输出结果。Shuffle主要任务：分区（Partition）、排序（Sort）、合并（Combine，可选）、网络传输（Copy）、归并（Merge）。2.差异对比：Spark基于微批处理（Micro-Batch），将流视为连续的小批次数据，默认使用处理时间，事件时间需结合窗口和水印；Flink是真正的流处理，支持事件时间和处理时间的灵活切换，水印机制可动态调整乱序容忍度，支持更细粒度的时间窗口（如会话窗口）。3.ISR机制：Kafka中，ISR是与Leader保持同步的Follower集合。只有ISR中的Follower才能参与Leader选举，且消息需被ISR中的多数节点确认后才被标记为“已提交”。影响：ISR大小直接影响可靠性（ISR越大，容灾能力越强）和吞吐量（同步等待时间增加可能降低写入速度）。4.数据湖分层架构：原始层（RawLayer）：存储原始、未处理的数据（如CSV、JSON、Parquet）；清洗层（CleanLayer）：对数据进行去重、格式转换、缺失值填充，提供一致的结构化数据；聚合层（CuratedLayer）：基于业务需求构建主题表（如用户、订单），支持分析查询；应用层（ApplicationLayer）：为BI工具、机器学习模型提供接口。5.数据脱敏作用：在不影响数据可用性的前提下，隐藏敏感信息（如手机号、身份证号），防止数据泄露。常见技术：替换（如将“1381234”替换真实手机号）；掩码（部分隐藏，如“张”）；匿名化（通过哈希或加密转换，如SHA-256处理姓名）；泛化（将“25岁”泛化为“20-30岁”）。四、综合题1.技术架构设计：数据采集：实时订单数据通过Kafka（或Pulsar）采集，用户画像数据通过Sqoop/DataX从关系型数据库同步至HDFS或对象存储（如MinIO）。存储层：实时数据暂存Kafka；离线数据存储于数据湖（如AWSS3+Iceberg）；融合数据存储于实时数仓（如ApacheDoris）。计算层：实时处理使用Flink，完成订单数据的清洗、聚合（如每分钟订单量）；离线处理使用Spark，提供用户画像标签（如“高价值用户”）。分析层：通过BI工具（如Tableau）或机器学习平台（如MLflow）关联实时订单与用户画像，输出转化分析、精准营销等结果。数据流转：订单数据→Kafka→Flink（清洗）→Doris；用户画像→S3→Spark（处理）→Doris；Doris支持实时+离线联合查询。2.数据倾斜诊断与解决：诊断方法：查看SparkWebUI的Stage统计，定位执行时间过长的任务；分析ShuffleWrite/Read的字节数，确认是否存在某Partition数据量远大于其他；检查日志，识别热点Key（如某商品ID的点击次数异常高）。