(2025年)大数据试题及答案

(2025年)大数据试题及答案一、单项选择题（每题2分，共20分）1.在Hadoop3.x版本中，HDFS默认的块大小为（）。A.32MBB.64MBC.128MBD.256MB2.Spark中，以下哪项操作属于Transformation（）。A.collect()B.count()C.reduce()D.map()3.数据倾斜（DataSkew）通常会导致分布式计算任务出现（）。A.内存溢出（OOM）B.部分节点任务超时C.数据丢失D.网络带宽耗尽4.HBase的RowKey设计中，以下哪种策略最可能导致热点问题（）。A.加盐（Salting）B.哈希（Hashing）C.时间戳反转D.顺序递增5.Kafka中，消费者组（ConsumerGroup）的主要作用是（）。A.提高消息发送吞吐量B.实现消息的广播与负载均衡C.保证消息的Exactly-Once语义D.管理主题（Topic）的分区数量6.Flink的时间窗口（TimeWindow）中，滑动窗口（SlidingWindow）与滚动窗口（TumblingWindow）的主要区别是（）。A.窗口触发的时间间隔不同B.窗口是否允许数据重叠C.窗口的时间类型（事件时间/处理时间）不同D.窗口的聚合函数实现方式不同7.数据仓库（DataWarehouse）与数据湖（DataLake）的核心差异在于（）。A.存储介质（磁盘/对象存储）B.数据结构（结构化/非结构化）C.数据使用场景（分析/原始存储）D.元数据管理复杂度8.在数据脱敏（DataMasking）中，将“身份证号”中的出生年月部分替换为“”属于（）。A.匿名化（Anonymization）B.去标识化（De-identification）C.泛化（Generalization）D.加密（Encryption）9.以下哪项技术不属于实时流计算框架（）。A.ApacheStormB.ApacheFlinkC.ApacheSparkStreamingD.ApacheHive10.分布式系统中，CAP定理的三个特性不包括（）。A.一致性（Consistency）B.可用性（Availability）C.分区容错性（PartitionTolerance）D.持久性（Persistence）二、填空题（每空2分，共20分）1.Hadoop生态中，负责资源管理与任务调度的组件是__________。2.SparkRDD的五大特性包括：分区、依赖关系、计算函数、__________和__________。3.HBase的存储结构中，数据按__________排序存储，底层基于__________文件格式。4.Kafka的消息传递语义中，“至少一次”（AtLeastOnce）需要消费者确保__________。5.数据湖的典型技术栈中，用于统一元数据管理的组件是__________（如ApacheAtlas）。6.实时数仓的分层架构通常包括ODS层（原始数据层）、DWD层（明细数据层）、DWS层（汇总数据层）和__________层（应用数据层）。7.分布式计算中，Shuffle操作的本质是__________。三、简答题（每题8分，共40分）1.简述Hadoop生态中HDFS、YARN、MapReduce三者的协同工作流程。2.对比SparkRDD与DataFrame的区别，并说明DataFrame在性能优化上的优势。3.数据倾斜的常见检测方法有哪些？针对聚合类任务（如groupByKey）的数据倾斜，可采取哪些优化策略？4.实时流计算中，事件时间（EventTime）与处理时间（ProcessingTime）的区别是什么？Flink如何处理事件时间的乱序数据？5.数据治理的核心目标是什么？请列举至少5项数据治理的关键任务。四、综合题（每题10分，共20分）1.某电商企业需构建用户行为分析平台，要求支持以下需求：实时采集用户点击、下单、支付等行为日志（日均数据量约500GB）；支持实时统计“最近1小时各商品点击量”“当日各省份支付金额TOP10商品”；支持历史数据的离线分析（如用户留存率、商品复购率）。请设计该平台的技术架构，需明确各组件的作用及数据流转路径（可结合Hadoop、Spark、Flink、Kafka、HBase、Hive等技术）。2.某金融机构需处理海量交易日志（单日数据量1TB，字段包含交易时间、用户ID、交易金额、IP地址、设备号等），要求：检测异常交易（如同一用户短时间内高频交易、跨地域秒级交易）；保留原始日志用于合规审计；支持按用户、时间、地域维度的聚合分析。请设计数据处理方案，包括数据采集、存储、计算、异常检测的具体实现方法，并说明如何保障数据的时效性与准确性。答案一、单项选择题1.D（Hadoop3.x默认块大小调整为256MB，优化大文件存储效率）2.D（map()是转换操作，其他为行动操作）3.B（数据倾斜导致部分节点处理大量数据，任务超时）4.D（顺序递增RowKey会导致HBaseRegion热点）5.B（消费者组通过分区分配实现负载均衡，不同组可广播消息）6.B（滑动窗口允许数据重叠，滚动窗口无重叠）7.B（数据仓库以结构化数据为主，数据湖支持全类型数据）8.C（泛化通过模糊部分信息保护隐私）9.D（Hive是批处理数据仓库工具）10.D（CAP不包含持久性）二、填空题1.YARN（YetAnotherResourceNegotiator）2.优先位置（PreferredLocations）、分区器（Partitioner）3.RowKey、HFile4.提交偏移量（Offset）前完成消息处理5.元数据管理系统（或具体如ApacheAtlas）6.ADS（ApplicationDataService）7.跨节点的数据重组与分发三、简答题1.协同流程：用户提交MapReduce任务→YARN的ResourceManager（RM）分配Container资源→NodeManager（NM）启动ApplicationMaster（AM）→AM向RM申请计算资源，协调HDFS读取输入数据→Map任务处理分片数据，中间结果写入本地磁盘→Shuffle阶段将Map输出按Key分发到Reduce节点→Reduce任务聚合数据，结果写入HDFS。2.区别与优势：RDD是弹性分布式数据集，无结构信息；DataFrame是带Schema的RDD，支持结构化查询。性能优化：DataFrame通过Catalyst优化器进行逻辑计划与物理计划的优化（如谓词下推、列裁剪），减少计算量；基于内存列存储，提升IO效率；支持更高效的序列化（如Arrow格式）。3.检测与优化：检测方法：任务日志分析（观察各节点耗时、数据量）、监控工具（如SparkWebUI的ShuffleRead/Write统计）、抽样统计（对Key分布采样）。优化策略：增加并行度（提高分区数分散负载）、预处理（对高频Key加盐，聚合后去盐）、使用ReduceByKey替代GroupByKey（本地预聚合减少Shuffle数据量）、自定义分区器（按Key分布动态调整分区）。4.时间区别与处理：事件时间：数据提供的实际时间（如用户点击时间）；处理时间：数据被计算框架处理的时间（如服务器接收时间）。Flink通过水印（Watermark）机制处理乱序数据：水印标记“当前事件时间已处理到T”，延迟数据在水印到达前可被接收；超过水印的延迟数据可通过侧输出流（SideOutput）收集或丢弃。5.核心目标与任务：目标：保障数据的质量、安全性、可用性，支撑业务决策与合规要求。关键任务：数据质量管控（一致性、完整性）、元数据管理（血缘追踪）、数据安全与隐私保护（脱敏、权限控制）、数据标准制定（字段定义、编码规范）、数据生命周期管理（归档、删除）。四、综合题1.电商用户行为分析平台架构设计：数据采集：使用Flume或KafkaConnect采集客户端日志，发送至KafkaTopic（如user_behavior），作为实时与离线处理的统一数据源。实时处理：Flink消费Kafka数据，通过时间窗口（滚动窗口1小时）计算商品点击量，结果写入Redis（实时查询）或HBase（快速访问）；对支付数据按省份分组，使用滑动窗口（1天窗口，1小时滑动）聚合TOP10商品，结果写入ClickHouse（OLAP分析）。离线处理：Kafka数据通过SparkStreaming或Sqoop定时同步至HDFS，由Hive构建数据仓库（ODS→DWD→DWS→ADS），计算用户留存率、复购率等指标，结果存储至Hive表或MySQL（供BI工具调用）。数据流转：客户端→Kafka→Flink（实时）→Redis/HBase/ClickHouse；Kafka→HDFS→Hive（离线）→MySQL/BI。2.金融交易日志处理方案：数据采集：使用Kafka收集各业务系统的交易日志（Topic：transaction_log），支持高并发写入与多消费者订阅。存储设计：原始日志通过KafkaMirrorMaker备份至对象存储（如AWSS3）或HDFS，满足合规审计需求；实时处理的中间结果存储于HBase（按用户ID+时间戳分区，快速查询）。计算与检测：实时计算：Flink消费Kafka数据，使用事件时间窗口（5秒窗口）统计用户交易频次；结合地理位置库（如MaxMind），通过IP解析地域，检测跨地域秒级交易（如30秒内两地交易）。异常规则：设置阈值（如用户5秒内交易≥10次），触发报警（写入MySQL报警表或推送至消息队列）。聚合分析：离线层通过SparkSQL对H