2025年大数据类试题和答案

2025年大数据类试题和答案一、单项选择题（每题2分，共20分）1.以下哪项不属于数据清洗的主要目的？A.去除重复数据B.填充缺失值C.减少数据存储量D.纠正数据中的错误格式答案：C2.HDFS默认的块大小在2025年主流配置中通常为？A.32MBB.64MBC.128MBD.256MB答案：D（注：随硬件发展，2025年HDFS块大小普遍提升至256MB以降低元数据管理开销）3.关于SparkRDD的特性，以下描述错误的是？A.不可变性（Immutable）B.自动容错（FaultTolerance）C.细粒度的内存管理D.基于血缘关系的计算优化答案：C（RDD采用粗粒度操作，而非细粒度内存管理）4.在Kafka架构中，负责消息持久化存储的核心组件是？A.ProducerB.ConsumerC.BrokerD.Zookeeper答案：C5.以下哪种算法属于无监督学习？A.逻辑回归B.随机森林C.K-means聚类D.支持向量机（SVM）答案：C6.数据仓库（DataWarehouse）的核心特征不包括？A.面向主题（SubjectOriented）B.实时更新（Real-timeUpdate）C.集成性（Integrated）D.历史数据存储（TimeVariant）答案：B（数据仓库通常批量更新，非实时）7.在分布式系统中，CAP定理指的是？A.一致性（Consistency）、可用性（Availability）、分区容错性（PartitionTolerance）B.计算（Compute）、存储（Storage）、网络（Network）C.并发（Concurrency）、原子性（Atomicity）、持久性（Persistence）D.压缩（Compression）、聚合（Aggregation）、并行（Parallelism）答案：A8.以下哪项不是流计算框架Flink的核心特性？A.事件时间（EventTime）处理B.有状态计算（StatefulProcessing）C.批流一体（Batch/StreamUnification）D.基于HDFS的分布式存储答案：D（Flink存储依赖外部系统，非内置HDFS）9.特征工程中，对类别型特征“用户性别”（取值为男/女/未知）进行编码时，最适合的方法是？A.归一化（Normalization）B.独热编码（One-HotEncoding）C.标准化（Standardization）D.对数变换（LogTransformation）答案：B10.在大数据可视化中，用于展示时间序列数据趋势的最佳图表类型是？A.散点图（ScatterPlot）B.柱状图（BarChart）C.折线图（LineChart）D.热力图（HeatMap）答案：C二、填空题（每空2分，共20分）1.Hadoop生态中，负责资源管理和任务调度的组件是__________。答案：YARN2.Spark的两种主要部署模式是__________和__________（任意写出两种）。答案：Standalone、YARN（或Mesos、Kubernetes）3.数据湖（DataLake）通常以__________格式存储原始数据，而数据仓库（DataWarehouse）多采用__________模型组织数据。答案：对象存储（或Parquet、ORC等列式）；星型/雪花4.分布式数据库HBase的底层存储依赖__________，其数据模型基于__________（键值/关系）。答案：HDFS；键值5.K-means算法的停止条件通常包括__________或__________（任意写出两种）。答案：达到最大迭代次数、簇中心不再变化6.实时数据流处理中，常见的窗口类型有__________、__________（任意写出两种）。答案：滚动窗口（TumblingWindow）、滑动窗口（SlidingWindow）（或会话窗口、全局窗口）三、简答题（每题8分，共40分）1.简述MapReduce的核心工作流程，并说明Shuffle阶段的主要作用。答案：MapReduce流程分为输入处理、Map阶段、Shuffle阶段、Reduce阶段和输出处理。具体步骤：（1）输入数据被划分为多个分片（Split），每个分片由一个Map任务处理；（2）Map任务对输入键值对（Key-Value）进行处理，输出中间键值对；（3）Shuffle阶段将Map输出的中间结果按Key分区（Partition）、排序（Sort）并传输到对应的Reduce任务；（4）Reduce任务对相同Key的Value进行聚合处理，输出最终结果。Shuffle的核心作用是实现数据从Map到Reduce的分发与排序，确保同一Key的所有Value被同一个Reduce任务处理。2.数据湖（DataLake）与数据仓库（DataWarehouse）的主要区别有哪些？（至少列出4点）答案：（1）数据类型：数据湖存储结构化、半结构化、非结构化数据（如日志、图片），数据仓库主要存储结构化数据；（2）数据处理阶段：数据湖在存储时不强制schema（Schema-on-Read），数据仓库在存储前定义schema（Schema-on-Write）；（3）应用场景：数据湖支持探索性分析、机器学习等复杂场景，数据仓库支持固定查询（如报表）；（4）存储成本：数据湖使用对象存储（如S3）成本更低，数据仓库依赖高性能存储（如关系型数据库）成本较高；（5）用户群体：数据湖面向数据科学家、分析师，数据仓库面向业务用户。3.分布式系统中，如何解决一致性（Consistency）与性能（Performance）的权衡问题？请举例说明。答案：分布式系统中，强一致性（如Raft协议）要求所有节点数据同步后才返回结果，性能较低但保证数据一致；弱一致性（如最终一致性）允许节点暂时不一致，但通过异步复制最终达成一致，性能较高。例如，电商系统的库存服务：若采用强一致性，每次下单需所有副本确认库存，延迟高；若采用最终一致性，允许主节点先扣减库存，异步同步到从节点，适合高并发场景，但需处理短暂的库存不一致问题（如通过版本号校验）。4.特征工程中，常用的特征构造方法有哪些？请结合具体业务场景说明其应用。答案：常用方法包括：（1）特征组合：将“用户年龄”和“月收入”组合为“收入年龄比”，用于预测消费能力；（2）时间特征提取：从“下单时间”中提取小时、星期几、是否为节假日，用于分析购物时段偏好；（3）统计特征：计算“近30天购买次数”“平均订单金额”等聚合特征，反映用户活跃度；（4）文本特征向量化：对“商品评论”进行词嵌入（Word2Vec），将文本转化为数值特征用于情感分析。例如，在预测用户复购模型中，通过组合“最近一次购买时间”和“历史购买频率”构造“活跃间隔”特征，能更准确识别潜在流失用户。5.简述实时流计算框架（如Flink）与批处理框架（如Spark）的主要差异。答案：（1）数据处理模式：流计算处理无界、实时数据流（Event-by-Event），批处理处理有界、离线数据集；（2）延迟：流计算延迟通常毫秒级，批处理延迟分钟级到小时级；（3）状态管理：流计算支持长时间有状态计算（如窗口聚合），批处理状态随任务结束释放；（4）时间语义：流计算支持事件时间（EventTime）和处理时间（ProcessingTime），批处理仅基于处理时间；（5）容错机制：流计算通过检查点（Checkpoint）实现精准一次（Exactly-Once）处理，批处理通过重新计算分片实现容错。四、应用题（每题20分，共60分）1.某电商平台需分析用户行为数据（包括点击、加购、下单、支付等事件），要求设计一个端到端的大数据处理流程。请说明各阶段的技术选型及关键步骤。答案：（1）数据采集：通过埋点工具（如GoogleAnalytics、神策）收集用户行为日志，格式为JSON；使用Kafka作为消息队列缓冲实时数据流，确保高并发下的消息不丢失。（2）数据存储：实时数据存储至HBase（支持快速读写）和ClickHouse（支持实时查询）；离线全量数据存储至对象存储（如AWSS3）或HDFS，格式为Parquet（列式存储，压缩率高）。（3）数据清洗：使用Flink进行实时清洗，过滤无效事件（如超时请求）、去重（基于事件ID）、补全缺失字段（如通过用户ID关联用户表填充地区信息）；离线清洗使用Spark，处理脏数据（如异常IP、非法时间戳）。（4）数据处理：实时处理：Flink计算实时转化率（点击→加购→下单）、热门商品排行（滑动窗口5分钟）；离线处理：Spark计算用户7日活跃留存、RFM（最近购买、频率、金额）分群。（5）数据分析与挖掘：使用MLlib训练用户分群模型（K-means），识别高价值用户；通过图计算（GraphX）分析用户行为路径，优化页面跳转逻辑。（6）可视化与应用：将结果输出至BI工具（如Tableau、Superset），展示实时交易大屏、用户分群报表；结果同步至CRM系统，用于精准营销（如向高价值用户推送优惠券）。2.某企业使用SparkSQL处理日均100GB的订单数据，近期查询性能下降。请从数据存储、查询优化、资源配置三个方面提出优化方案。答案：（1）数据存储优化：采用列式存储（如Parquet）替代文本格式（如CSV），减少I/O读取量；对数据按高频查询字段（如“订单日期”“用户地区”）分区（Partition），查询时仅扫描相关分区；对大表按“用户ID”分桶（Bucket），利用桶排序优化JOIN操作。（2）查询优化：避免全表扫描，添加WHERE条件过滤数据（如限制查询时间范围）；小表广播（BroadcastJoin）：将用户表（<1GB）广播至所有Executor，减少Shuffle数据量；调整JOIN顺序，将大表放在右侧（Spark优先处理左表）；使用谓词下推（PredicatePushdown），将过滤条件下推至存储层（如Parquet读取时直接过滤）。（3）资源配置优化：增加Executor数量（如从10个增至20个），提升并行度；调整Executor内存（如从8GB增至16GB），减少磁盘Shuffle（SpilltoDisk）；启用动态资源分配（DynamicAllocation），根据任务负载自动扩缩容；设置合理的Shuffle分区数（如spark.sql.shuffle.partitions=200），避免分区过多导致任务数膨胀。3.某金融机构需构建实时反欺诈系统，要求检测交易中的异常行为（如异地快速交易、大额度转账）。请设计基于流计算的技术架构，并说明各组件的作用及关键技术点。答案：技术架构包括数据采集层、流处理层、规则/模型层、决策输出层。（1）数据采集层：组件：消息队列（Kafka）、日志收集工具（Fluentd）；作用：实时采集交易数据（如用户ID、交易金额、IP地址、设备指纹）、用户信息（如历史交易记录）、外部数据（如黑名单库）；关键技术：多源数据合并（Kafka多Topic消费）、数据脱敏（加密用户敏感信息）。（2）流处理层：组件：Flink（或KafkaStreams）；作用：窗口计算：滑动窗口（10分钟）内统计用户交易次数、最大单笔金额；状态管理：存储用户历史交易IP、设备信息（使用FlinkState）；模式匹配：检测“2小时内跨3个城市交易”“单笔金额超过历史均值5倍”等规则；关键技术：事件时间处理（基于交易发生时间而非系统时间）、精准一次处理（Checkpoint机制）。（3）规则/模型层：组件：规则引擎（Drools）、机器学习模型（XGBoost）；作用：规则引擎：执行预定义规则（如“交易金额>50万元且非常用IP”）；模型预测：使用历史欺诈数据训练模型，实时预测交易欺诈概率；关键技