2026年大数据技术与应用考试试题及答案

2026年大数据技术与应用考试试题及答案一、单项选择题（每题1分，共20分。每题只有一个正确答案，请将正确选项字母填在括号内）1.在Hadoop生态中，负责资源管理与任务调度的组件是（）A.HDFS  B.YARN  C.MapReduce  D.Hive答案：B2.下列关于KafkaPartition的描述，正确的是（）A.一个Topic只能有一个PartitionB.Partition数量一旦创建便不可修改C.同一Partition内消息严格有序D.ConsumerGroup内每个Consumer必须订阅不同Partition答案：C3.SparkRDD的窄依赖是指（）A.父RDD每个分区只被子RDD一个分区使用B.父RDD每个分区被子RDD多个分区使用C.子RDD每个分区依赖所有父RDD分区D.需要Shuffle的依赖答案：A4.在Flink的时间语义中，EventTime是指（）A.数据进入Flink系统的时间B.数据被处理算子处理的时间C.事件在源头发生的时间D.检查点生成的时间答案：C5.下列算法中，常用于文本主题建模的是（）A.K-Means  B.Apriori  C.LDA  D.FP-Growth答案：C6.HBase中RowKey设计的最佳实践不包括（）A.长度越短越好  B.散列性高  C.含时间戳前缀  D.含连续数字序列答案：D7.在SparkMLlib中，用于特征标准化的类是（）A.StandardScaler  B.HashingTF  C.IDF  D.ChiSqSelector答案：A8.下列关于数据湖的说法，错误的是（）A.支持结构化与非结构化数据共存B.Schema-on-Write是其核心特征C.通常基于对象存储构建D.支持多引擎协同分析答案：B9.在ClickHouse中，最适合做高基数去重的数据结构是（）A.MergeTree  B.SummingMergeTree  C.AggregatingMergeTree  D.ReplacingMergeTree答案：C10.若某电商表order含列(user_id,sku_id,qty,price)，计算每个用户客单价（sum(qtyprice)/count(distinctorder_id)）应使用的SQL子句顺序为（）10.若某电商表order含列(user_id,sku_id,qty,price)，计算每个用户客单价（sum(qtyprice)/count(distinctorder_id)）应使用的SQL子句顺序为（）A.GROUPBYuser_id  B.GROUPBYorder_id  C.PARTITIONBYuser_id  D.DISTRIBUTEBYuser_id答案：A11.在Pythonpandas中，将DataFramedf的列col按字典dict_map做值映射，正确写法是（）A.df.col.map(dict_map)  B.df.col.apply(dict_map)C.df.col.replace(dict_map)  D.以上均可答案：D12.下列关于数据倾斜的说法，正确的是（）A.只会发生在Shuffle阶段  B.加随机前缀不能缓解C.预聚合是常用缓解手段  D.对CPU密集型任务影响最大答案：C13.在Airflow中，任务实例状态为upstream_failed的含义是（）A.自身代码抛异常  B.上游任务失败导致本任务无法调度C.被手动标记为失败  D.重试次数耗尽答案：B14.某模型在测试集AUC=0.91，但线上A/B实验CTR下降3%，最可能原因是（）A.训练集过采样  B.特征穿越  C.正则过强  D.学习率过大答案：B15.在Elasticsearch中，实现父子文档关联查询需要指定（）A._routing  B._parent  C._type  D._uid答案：B16.下列关于DeltaLake的Versioning特性，正确的是（）A.每次写入自动产生新版本号B.版本号只能回退到最近10次C.版本回退会物理删除后续文件D.不支持时间旅行查询答案：A17.在Spark3.0中，自适应查询执行（AQE）不会自动优化（）A.Join策略  B.Reducer数量  C.分区倾斜  D.存储格式答案：D18.某时序数据库采用LSMTree，其Compaction的主要目的是（）A.减少读放大  B.增加写吞吐  C.降低存储成本  D.提高网络利用率答案：A19.在PyTorch中，将模型参数迁移到GPU的指令是（）A.model.cuda()  B.model.to_gpu()  C.model.gpu()  D.model.device("gpu")答案：A20.下列关于联邦学习的隐私保护机制，属于加密方案的是（）A.差分隐私  B.同态加密  C.梯度压缩  D.本地SGD答案：B二、多项选择题（每题2分，共20分。每题有两个或两个以上正确答案，多选少选均不得分）21.下列属于NoSQL数据库CAP权衡中“牺牲一致性”的系统有（）A.Cassandra  B.MongoDB（默认写关注为1）  C.HBase  D.DynamoDB答案：ABD22.导致SparkJob出现FetchFailedException的原因包括（）A.Executor节点宕机  B.shuffle文件被清理  C.网络超时  D.序列化器不兼容答案：ABC23.在数据仓库分层模型中，DWD层负责的工作有（）A.维度退化  B.脏数据过滤  C.业务粒度统一  D.指标汇总答案：ABC24.下列属于FlinkCheckpoint持久化到HDFS的必要配置有（）A.state.backend:filesystem  B.state.checkpoints.dir:hdfs://...C.erval  D.jobmanager.execution.failover-strategy答案：ABC25.以下Python代码可正确实现DataFrame按user_id去重并保留最新一行的是（）A.df.sort_values("ts").drop_duplicates("user_id",keep="last")B.df.groupby("user_id").tail(1)C.df.drop_duplicates("user_id",keep="first")D.df.groupby("user_id").apply(lambdax:x.iloc[-1]).reset_index(drop=True)答案：ABD26.在推荐系统冷启动场景中，可采用的策略有（）A.基于内容推荐  B.利用社交网络信息  C.热门排行榜  D.强化探索答案：ABCD27.下列属于HiveLLAP（LowLatencyAnalyticalProcessing）特性的是（）A.常驻守护进程  B.结果缓存  C.向量化执行  D.自动索引答案：ABC28.关于GNN（图神经网络）的说法，正确的有（）A.可处理异构图  B.卷积操作在频域完成  C.消息传递是核心机制  D.必须全图训练答案：ABC29.下列指标中，可用于评估回归模型稳定性的有（）A.MAE标准差  B.PredictionIntervalCoverage  C.R²  D.残差自相关答案：ABD30.在Kubernetes中运行SparkonK8s模式的优势包括（）A.资源弹性  B.队列隔离  C.与大数据生态解耦  D.支持动态Executor答案：ACD三、填空题（每空2分，共20分）31.HDFS默认Block大小为________MB，若存储大量小文件，会显著增加________的内存压力。答案：128；NameNode32.在Spark中，将RDD[(K,V)]按Key进行分区内预聚合的参数是________，该优化可减少________数据量。答案：mapSideCombine；shuffle33.KafkaConsumer通过参数________控制一次poll的最大记录数，通过________提交位移实现精确一次语义。答案：max.poll.records；事务（或transactional）34.若某SQL执行计划出现“SortMergeJoin”，说明两张表已按________排序且使用了________连接算法。答案：JoinKey；归并35.在Pythonsklearn中，使用________方法可查看随机森林的特征重要性；若需输出OOB误差，需设置参数________。答案：feature_importances_；oob_score=True36.某时序表采用InfluxDB，写入数据时需指定________、________、________三大核心字段。答案：measurement；tag；field37.在ClickHouse中，创建分布式表需使用引擎________，并依赖________表实现本地数据切片。答案：Distributed；MergeTree（本地）38.若FlinkJob并行度为parallelism=8，KafkaTopic分区数为16，则每个Subtask消费________个分区；若Topic分区数改为6，则最多有________个Subtask同时消费。答案：2；639.在PyTorchLightning中，训练步返回字典需包含键________用于自动反向传播；若需手动优化，应重写方法________。答案：loss；configure_optimizers40.数据治理元数据三维模型包括业务元数据、________元数据、________元数据。答案：技术；操作四、简答题（共30分）41.（封闭型，6分）简述MapReduce中“数据本地性”优化的实现原理，并给出YARN调度器中的三种本地性级别。答案：YARN通过请求延迟调度实现数据本地性。当NodeManager心跳上报资源时，若其所在节点存有输入分片，则调度器优先将任务调度到该节点；若节点无数据但同机架存在，则退而求其次调度到同机架；若均不满足，则选择任意可用节点。三种本地性级别：node-local、rack-local、off-switch。42.（开放型，8分）某电商公司每日新增订单表order（分区ds）500GB，需与维度表dim_sku（10GB）关联，关联键sku_id。用户发现作业运行时间从30分钟增长到2小时，排查发现dim_sku被频繁FullScan。请给出三种以上优化方案并说明适用场景。答案：1.将dim_sku广播：若维度表小于20MB（可调），使用SparkSQLbroadcasthint，避免shuffle，适用小表场景。2.构建Bucket表：对order表按sku_id分桶256桶，dim_sku同样分桶，使相同sku_id落在同一节点，消除shuffle，适用于两表均大且频繁关联。3.构建星型模型：将dim_sku关键属性退化到order表，增加存储但减少Join，适用于属性变化低频。4.缓存维度表：在Spark中cache或persist(dim_sku)，适用于同一作业多次引用。5.使用Index：在Hive3.0+启用LLAP，对dim_skusku_id建ORCbloomfilter索引，减少扫描，适用于交互式查询。43.（封闭型，6分）写出FlinkSQL实现“每10秒统计近1分钟各用户订单金额”的连续查询语句，并指出其使用的时间语义。答案：```sqlSELECTuser_id,TUMBLE_START(proctime,INTERVAL'10'SECOND)ASwStart,SUM(amount)AStotalAmountFROMorder_streamGROUPBYuser_id,TUMBLE(proctime,INTERVAL'10'SECOND)```时间语义：ProcessingTime（若用rowtime则为EventTime）。44.（开放型，10分）某视频平台采用Lambda架构，批层用Spark离线计算用户日活，速度层用Flink实时计算，最后由服务层合并。近期发现合并后的日活曲线在零点出现断崖式下跌，而离线曲线正常。请给出排查思路与解决措施。答案：排查思路：1.检查FlinkCheckpoint是否跨天失败，导致零点数据丢失。2.确认KafkaTopic保留策略，是否因segment删除造成零点数据消费不到。3.核对Flink时间窗口，是否使用EventTime且watermark延迟导致跨天数据被丢弃。4.查看服务层合并逻辑，是否因缓存过期或时区转换错误将零点数据清零。解决措施：1.调整FlinkCheckpoint间隔与超时，确保跨天稳定。2.增大Kafkaretention.ms，保证凌晨数据可消费。3.允许window延迟到次日01:00关闭，使用allowedLateness+sideOutput。4.服务层合并时以离线结果为准校准零点，实时曲线做平滑补偿。五、应用题（共60分）45.（计算类，15分）某电商公司2025年“双11”0点~2点产生订单流，KafkaTopicorder_topic共24个分区，峰值QPS12万/秒，单条消息平均1KB。(1)估算峰值带宽（Gbps）；（3分）(2)若Consumer采用Flink，并行度=24，checkpoint间隔5秒，状态后端为RocksDB，每次checkpoint平均产生800MB状态文件，写入HDFS带宽限制1Gbps，计算是否会出现反压并给出调优方案；（7分）(3)若需保证端到端“精确一次”，写出KafkaProducer与FlinkSink的关键配置参数。（5分）答案：(1)峰值带宽=120000×1KB×8÷10^9=0.96Gbps。(2)每次checkpoint需写入800MB，5秒内完成，需带宽800×8÷5=1.28Gbps>1Gbps，存在反压风险。调优：①增大checkpoint间隔至10秒；②启用增量checkpoint；③压缩状态（snappy）；④提高HDFS副本管道并行度；⑤使用本地SSD作为RocksDB暂存。(3)Producer端：enable.idempotence=true，acks=all，retries=Integer.MAX_VALUE，max.in.flight.requests.per.connection≤5；FlinkSink端：deliveryGuarantee=EXACTLY_ONCE，checkpointingMode=EXACTLY_ONCE，transaction.timeout.ms=900000。46.（分析类，15分）给定用户行为表user_log(user_id,item_id,behavior,ts)，行为类型含pv、buy、cart、fav。(1)用SparkDataFrameAPI计算“转化率”漏斗：pv→cart→buy，要求输出各阶段用户数、转化率；（7分）(2)若数据倾斜在item_id=9999导致单个Task耗时10分钟，给出两种代码级缓解方案并给出伪代码。（8分）答案：(1)```pythonpv=df.filter("behavior='pv'").select("user_id").distinct()cart=df.filter("behavior='cart'").select("user_id").distinct()buy=df.filter("behavior='buy'").select("user_id").distinct()pv_cart=pv.join(cart,"user_id")pv_buy=pv_cart.join(buy,"user_id")pv_cnt=pv.count()cart_cnt=pv_cart.count()buy_cnt=pv_buy.count()print(pv_cnt,cart_cnt/pv_cnt,buy_cnt/cart_cnt)```(2)方案A：加盐打散```pythonfrompyspark.sql.functionsimportrand,concat,litskew_df=df.filter("item_id=9999").withColumn("salt",(rand()50).cast("int"))skew_df=df.filter("item_id=9999").withColumn("salt",(rand()50).cast("int"))normal_df=df.filter("item_id!=9999")combined=skew_df.union(normal_df)combined.groupBy(concat("item_id",lit("_"),"salt").alias("gid")).agg(...)```方案B：两阶段聚合```pythonstage1=df.filter("item_id=9999").groupBy("user_id").agg(collect_set("behavior").alias("acts"))stage2=stage1.selectExpr("explode(array('pv','cart','buy'))asbehavior","user_id").distinct()stage2.groupBy("behavior").count()```47.（综合类，30分）某市政府建设“城市大脑”，需融合交通、气象、社交媒体等多源数据，实现道路拥堵预测（未来30分钟）。技术约束：数据规模日增5TB，结构化与视频流并存；延迟≤5分钟；预测准确率≥85%；预算有限，需复用现有Hadoop集群。任务：(1)设计整体架构图（文字描述即可），说明各层技术与选型理由；（10分）(2)给出特征工程方案，含数据清洗、时空特征构建、多模态融合；（8分）(3)给出模型选型与训练策略，说明如何满足延迟与准确率；（7分）(4)给出模型上线后的监控指标体系。（5分）答案：(1)架构：①采集层：交通视频用FFmpeg推流至Kafkatopic_video；气象