2025年大数据试题与答案

2025年大数据试题与答案一、单项选择题（每题2分，共20分）1.关于HadoopHDFS的存储机制，以下描述错误的是：A.数据块默认大小为128MB（Hadoop3.x版本）B.副本数可通过dfs.replication参数调整，默认3个C.NameNode元数据存储在内存中，同时持久化到FsImage和EditLogD.DataNode通过心跳机制向NameNode汇报块信息，超时未汇报则数据块被标记为不可用2.以下哪项不是SparkRDD的特性？A.不可变性（Immutable）B.血统（Lineage）记录C.自动容错D.直接存储结构化数据3.在Kafka中，若要提高消费者组的消息处理吞吐量，最有效的方法是：A.增加主题的分区数B.提高生产者的发送速率C.增大消费者的fetch.min.bytes参数D.减少消费者组中的消费者数量4.关于数据湖（DataLake）与数据仓库（DataWarehouse）的区别，正确的是：A.数据湖存储结构化数据，数据仓库存储非结构化数据B.数据湖通常在分析前进行清洗（Schema-on-Write），数据仓库在分析时处理（Schema-on-Read）C.数据湖支持多类型数据存储（如文本、图像、日志），数据仓库以结构化数据为主D.数据湖的典型技术栈是Teradata、Oracle，数据仓库的典型技术栈是HDFS、DeltaLake5.Flink中处理事件时间（EventTime）时，关键机制是：A.水印（Watermark）提供B.窗口触发策略C.状态后端选择D.并行度调整6.以下哪项不属于数据倾斜（DataSkew）的常见表现？A.部分任务执行时间远长于其他任务B.Shuffle阶段网络传输量异常集中C.任务内存溢出（OOM）D.所有任务均按预期时间完成7.在HBase中，RowKey的设计原则不包括：A.散列化（避免热点）B.长度越短越好（减少存储开销）C.按业务逻辑有序（如时间戳降序）D.包含所有列的元信息8.ClickHouse作为列式数据库，其核心优势是：A.支持事务ACID特性B.高并发短查询处理C.实时数据分析（如秒级聚合）D.多表关联复杂查询9.关于Kudu的存储特性，以下描述正确的是：A.仅支持列式存储，不支持行式存储B.适合高频随机写和实时点查场景C.数据持久化仅依赖内存，无磁盘存储D.与Hive集成时无法支持ACID事务10.大数据平台的高可用（HA）设计中，通常不涉及以下哪个组件的冗余部署？A.HDFSNameNodeB.YARNResourceManagerC.KafkaBrokerD.SparkDriver二、填空题（每空2分，共20分）1.Hadoop生态中，负责资源管理和任务调度的组件是__________。2.Spark中，将RDD转换为DataFrame的关键方法是__________（需写出具体方法名）。3.Kafka主题（Topic）的分区（Partition）数量决定了消费者组中__________的最大数量。4.Flink的状态后端（StateBackend）支持三种类型：MemoryStateBackend、FsStateBackend和__________。5.数据仓库分层中，ODS层的全称是__________。6.HBase的RegionServer负责管理多个__________，每个该对象对应表的一个数据范围。7.数据脱敏的常用方法包括匿名化、__________和掩码处理（至少写一种）。8.在分布式系统中，CAP理论指的是一致性（Consistency）、可用性（Availability）和__________（需英文缩写）。9.实时计算中，Flink的窗口（Window）可分为时间窗口、计数窗口和__________。10.数据湖的典型存储格式（需写一种）是__________。三、简答题（每题8分，共40分）1.简述MapReduce中Shuffle阶段的主要流程，并说明其对任务性能的影响。2.对比SparkRDD和DataFrame的优缺点，说明在何种场景下更适合使用DataFrame。3.解释Flink的检查点（Checkpoint）机制，并说明其与保存点（Savepoint）的区别。4.设计一个电商用户行为日志（如点击、加购、下单）的数据采集方案，需说明使用的工具、数据格式及传输流程。5.数据治理中，如何通过元数据管理（MetadataManagement）提升数据资产的可管理性？四、综合题（每题10分，共20分）1.某电商企业需构建实时用户画像系统，要求实时处理用户行为数据（如浏览、购买、退货），并输出用户的实时标签（如“高价值用户”“活跃用户”）。请设计技术方案，包括数据采集、存储、计算、标签输出的全流程，需说明关键组件选型及各环节的作用。2.某金融机构面临数据质量问题（如缺失值、重复值、格式错误），需设计数据质量监控与治理方案。要求包含监控指标（如完整性、准确性）、监控工具选型、问题数据处理流程（如告警、修复），并说明如何通过自动化手段持续提升数据质量。答案一、单项选择题1.D（DataNode超时未汇报会被标记为不可用，但其存储的数据块会被其他节点复制，而非直接标记数据块不可用）2.D（RDD存储的是任意类型的Java/Scala对象，结构化数据由DataFrame/Dataset处理）3.A（分区数决定了消费者组的最大并行度，增加分区可提升吞吐量）4.C（数据湖支持多类型数据，数据仓库以结构化为主；数据湖是Schema-on-Read，数据仓库是Schema-on-Write）5.A（水印是事件时间处理的核心，用于确定事件时间进度）6.D（数据倾斜表现为任务执行不均，D选项是正常现象）7.D（RowKey不需要包含所有列信息，需简洁且散列）8.C（ClickHouse擅长实时聚合分析，不支持强事务和复杂关联）9.B（Kudu支持行式与列式混合存储，适合随机写和点查）10.D（SparkDriver通常不做HA，任务失败后由YARN或K8s重启）二、填空题1.YARN（YetAnotherResourceNegotiator）2.toDF()（需配合隐式转换importspark.implicits._）3.消费者（Consumer）4.RocksDBStateBackend5.操作数据存储层（OperationalDataStore）6.Region（区域）7.泛化（或脱敏、加密，合理即可）8.分区容忍性（PartitionTolerance，缩写P）9.会话窗口（SessionWindow）10.Parquet（或ORC、DeltaLake，合理即可）三、简答题1.Shuffle阶段流程：Map任务输出数据经分区（Partition）、排序（Sort）后写入本地磁盘；Reduce任务通过网络拉取各Map节点对应分区的数据，合并排序后输入Reducer处理。影响：Shuffle涉及磁盘IO和网络传输，是MapReduce性能瓶颈；分区策略（如HashPartitioner）和排序效率直接影响数据分布和Reduce负载。2.RDD优点：低抽象层级，灵活处理任意类型数据；缺点：无结构信息，无法利用优化器（Catalyst）。DataFrame优点：基于结构化Schema，支持SQL查询和优化（如执行计划优化），存储效率高（列式存储）；缺点：抽象层级高，复杂操作需通过API转换。适合场景：需要结构化处理、SQL支持或优化性能时（如大数据集聚合分析）。3.Checkpoint机制：Flink通过周期性快照（Snapshot）持久化任务状态（如窗口数据、累加器），用于故障恢复时从最近Checkpoint恢复状态。与Savepoint的区别：Checkpoint是自动、周期性的，用于故障恢复；Savepoint是手动触发的，支持版本升级、任务迁移，格式更通用。4.采集方案：工具选择Flume（日志收集）+Kafka（消息队列）。数据格式：JSON（包含用户ID、事件类型、时间戳、商品ID等字段）。流程：前端埋点提供日志→FlumeAgent收集日志→FlumeChannel暂存→FlumeSink将日志发送至KafkaTopic→下游实时计算（Flink）或离线处理（Spark）消费Kafka数据。5.元数据管理通过以下方式提升可管理性：①资产盘点：记录数据来源、存储位置、更新频率等，避免数据冗余；②血缘分析：追踪数据从提供到使用的全链路，定位问题数据源头；③语义关联：为字段添加业务含义（如“user_id”对应“用户唯一标识”），提升理解效率；④权限映射：关联元数据与访问权限，确保数据安全。四、综合题1.实时用户画像系统方案：数据采集：使用埋点SDK（如友盟）收集用户行为日志，通过Flume+Kafka（Topic：user_behavior）实时传输，确保低延迟（<500ms）。数据存储：Kafka作为实时缓冲区；历史数据存储至HDFS（Parquet格式）和HBase（RowKey=用户ID，列族=行为标签），支持快速查询。实时计算：Flink作为引擎，消费Kafka数据，定义事件时间窗口（如10分钟），计算用户近期行为指标（如点击次数>100→活跃用户；订单金额>5000→高价值用户）。状态后端选择RocksDB，支持大状态存储。标签输出：计算结果写入HBase（实时查询）和ClickHouse（离线分析），通过API（如RESTful）提供给业务系统（如推荐引擎、营销平台）。2.金融数据质量治理方案：监控指标：①完整性：字段非空率（如用户身份证号缺失率<0.1%）；②准确性：数据与业务规则匹配（如日期格式为“yyyy-MM-dd”）；③一致性：跨表数据逻辑一致（如用户年龄与注册时间计算结果一致）；④唯一性：重复记录数<0.05%。工具选型：使用ApacheAtlas管理元数据（定义质量规则）；Flink作为实时监控引擎（处理流数据）；Sqoop+ApacheDolphinScheduler调度离线任务（处理批量数据）；自研或第三方平台（如DataWorks）展示监控看板。处理流程：①规则配置：在Atlas中定义质量规则（如非空校验