2025年大数据习题库(附参考答案)

2025年大数据习题库(附参考答案)一、单项选择题（每题2分，共20分）1.关于HDFS的默认块大小，以下描述正确的是（）。A.32MBB.64MBC.128MBD.256MB参考答案：C2.Spark中，以下操作属于转换（Transformation）的是（）。A.collect()B.reduce()C.map()D.count()参考答案：C3.数据仓库（DataWarehouse）的核心特性不包括（）。A.面向主题B.实时性C.集成性D.时变性参考答案：B4.Kafka中，用于协调消费者组内分区分配的组件是（）。A.ZookeeperB.BrokerC.ConsumerCoordinatorD.Producer参考答案：C5.HBase的RowKey设计原则中，错误的是（）。A.长度越短越好（建议不超过16字节）B.避免热点（如时间戳作为前缀）C.按业务需求设计排序规则D.直接使用UUID作为RowKey参考答案：D6.分布式计算框架中，适合处理流数据的是（）。A.HadoopMapReduceB.SparkRDDC.FlinkD.Hive参考答案：C7.数据清洗中，处理缺失值的方法不包括（）。A.删除缺失值所在行B.用均值/中位数填充C.用KNN算法预测填充D.直接忽略缺失值（不处理）参考答案：D8.以下不属于NoSQL数据库的是（）。A.CassandraB.MongoDBC.MySQLD.Redis参考答案：C9.机器学习中，属于监督学习的算法是（）。A.K-meansB.决策树C.主成分分析（PCA）D.关联规则挖掘（Apriori）参考答案：B10.分布式系统中，CAP理论指的是（）。A.一致性、可用性、分区容错性B.一致性、原子性、持久性C.并发、可用、性能D.容量、可扩展、安全参考答案：A二、填空题（每空2分，共20分）1.Hadoop3.x中，HDFS的默认副本数是______。参考答案：32.Spark的RDD持久化级别中，`MEMORY_AND_DISK_SER`表示______。参考答案：数据优先存储在内存中，内存不足时存储到磁盘，且数据序列化后存储3.Kafka的消息传递语义中，“精确一次”（ExactlyOnce）需要结合生产者的幂等性、______和消费者的正确偏移量提交。参考答案：事务（Transactions）4.Flink的时间类型包括事件时间（EventTime）、摄入时间（IngestionTime）和______。参考答案：处理时间（ProcessingTime）5.数据湖（DataLake）与数据仓库的核心区别在于数据湖存储______，而数据仓库存储结构化数据。参考答案：原始的、多格式的数据（如半结构化、非结构化）6.HBase的表由RegionServer管理，每个Region对应表的一个______范围。参考答案：RowKey7.MapReduce中，Shuffle阶段的默认排序方式是按______排序。参考答案：键（Key）的字典序8.数据挖掘的主要任务包括分类、聚类、关联规则挖掘和______。参考答案：预测（或回归分析）9.分布式文件系统（如HDFS）的元数据（Metadata）存储在______节点中。参考答案：NameNode10.实时数据处理中，KafkaStreams的核心抽象是______，用于表示持续更新的数据集。参考答案：KStream/KTable三、简答题（每题8分，共40分）1.简述Hadoop2.x中YARN的架构及各组件的核心职责。参考答案：YARN（YetAnotherResourceNegotiator）的核心组件包括ResourceManager（RM）、NodeManager（NM）和ApplicationMaster（AM）。-RM：全局资源管理器，负责整个集群的资源（CPU、内存）分配和管理，包含调度器（Scheduler）和应用程序管理器（ApplicationsManager）。-NM：每个节点的代理，负责监控节点资源使用情况，启动/管理Container（资源容器），并向RM汇报状态。-AM：每个应用程序的“管理者”，向RM申请资源（通过Container），协调NM启动任务（如Map/Reduce任务），并监控任务执行状态。2.说明SparkRDD的持久化（Persistence）策略与检查点（Checkpoint）的区别。参考答案：-持久化（Persistence）：通过`persist()`或`cache()`将RDD存储在内存或磁盘中，避免重复计算。数据存储在计算节点的内存/磁盘中，属于“软持久化”，当节点故障时可能丢失数据。-检查点（Checkpoint）：通过`checkpoint()`将RDD写入分布式文件系统（如HDFS），属于“硬持久化”。检查点会切断RDD的依赖链（Lineage），适合长依赖的RDD（如迭代计算），提高容错性，但写入开销较大。3.数据清洗的主要步骤及常见技术有哪些？参考答案：主要步骤包括：（1）缺失值处理：删除缺失行、均值/中位数填充、模型预测填充（如KNN）；（2）异常值检测：基于统计（Z-score、IQR）、聚类（如DBSCAN）、孤立森林（IsolationForest）；（3）重复值处理：去重（如根据唯一标识去重）；（4）格式标准化：统一日期格式、单位转换（如厘米转米）；（5）一致性检查：修正矛盾数据（如年龄与出生日期冲突）。4.解释分布式系统中“最终一致性”（EventualConsistency）的含义，并举例说明其应用场景。参考答案：最终一致性是弱一致性的一种，保证在没有新更新的情况下，所有节点的数据最终会达到一致。例如：-分布式缓存（如RedisCluster）：当主节点更新数据后，异步同步到从节点，短时间内从节点可能读到旧值，但最终会同步；-电商系统的库存查询：用户下单后，库存数据在多个副本间异步同步，用户短时间内可能看到不同副本的库存，但最终所有副本会一致。5.简述Flink的窗口（Window）机制及其常见类型。参考答案：Flink通过窗口将无限流划分为有限的“桶”，便于批处理。常见窗口类型：-时间窗口（TimeWindow）：基于时间划分，如滚动窗口（TumblingWindow，无重叠）、滑动窗口（SlidingWindow，有重叠）、会话窗口（SessionWindow，按活动间隔划分）；-计数窗口（CountWindow）：基于数据条数划分，如滚动计数窗口（固定条数）、滑动计数窗口；-全局窗口（GlobalWindow）：所有数据属于同一窗口，需配合触发器（Trigger）使用。四、应用题（每题10分，共20分）1.设计一个电商用户行为分析的大数据处理流程，要求覆盖数据采集、存储、处理、分析环节，并说明各环节使用的技术工具。参考答案：（1）数据采集：用户点击、下单等行为数据通过埋点发送至Kafka（高吞吐、实时消息队列），日志文件通过Flume（日志采集工具）收集。（2）数据存储：实时数据流暂存于Kafka，历史数据存储至HDFS（分布式文件系统）；结构化行为数据（如用户ID、商品ID、时间戳）存入HBase（列式存储，支持快速随机读写）；分析结果存入ClickHouse（列式数据库，支持OLAP查询）或Elasticsearch（支持实时检索与可视化）。（3）实时处理：使用Flink对Kafka中的数据流进行实时计算（如实时UV、实时转化率），提取用户行为模式（如“浏览-加购-下单”路径）；离线处理使用SparkSQL对HDFS中的历史数据进行批量分析（如用户分群、复购率统计）。（4）分析与可视化：通过Hive（数据仓库工具）构建宽表，使用Superset或Tableau进行可视化，输出用户画像、热销商品排行、促销活动效果等报表。2.给定一个包含用户访问日志的文本文件（每行格式：IP地址时间访问URL状态码），要求用MapReduce统计“访问次数最多的前10个IP地址”。请写出Mapper和Reducer的核心逻辑，并说明如何优化性能。参考答案：（1）Mapper逻辑：-输入：每行日志（如“192.168.1.12024-10-0112:00:00/product200”）。-处理：提取IP地址作为Key，输出（IP,1）。（2）Reducer逻辑：-输入：（IP,[1,1,…,1]）。-处理