2026年大数据技术与应用试题及答案

2026年大数据技术与应用试题及答案1.单项选择题（每题1分，共20分）1.1在HDFS中，负责保存文件块与DataNode映射关系的组件是A.NameNodeB.SecondaryNameNodeC.JobTrackerD.ResourceManager答案：A1.2下列算法中，最适合实时流式数据异常检测的是A.K-meansB.IsolationForestC.AprioriD.FP-growth答案：B1.3SparkSQL中，将DataFrame注册为临时视图的API是A.cache()B.persist()C.createOrReplaceTempView()D.registerTable()答案：C1.4在Kafka2.8之后，移除ZooKeeper依赖的新共识协议称为A.RaftB.ZabC.PaxosD.Gossip答案：A1.5若某列式存储文件采用DeltaLake，其事务日志保存在A._delta_log目录B._spark_metadata目录C._commits目录D._audit目录答案：A1.6Flink中，用于实现Exactly-Once语义的核心机制是A.CheckpointB.WindowC.TriggerD.Evictor答案：A1.7在AWSGlue数据目录中，分区信息以何种元数据表字段存储A.partitionKeysB.bucketColumnsC.sortColumnsD.skewedColumns答案：A1.8下列关于LSM-Tree的描述，错误的是A.写放大高于B+树B.读放大低于B+树C.适合写密集场景D.HBase采用LSM-Tree答案：B1.9使用Scikit-learn训练GBDT时，控制基学习器数量的超参数是A.max_depthB.n_estimatorsC.learning_rateD.subsample答案：B1.10在PyTorch中，将张量从CPU迁移到CUDA的函数是A.to_device()B.cuda()C.gpu()D.move()答案：B1.11若某Hive表存储格式为ORC，其默认压缩编码是A.SNAPPYB.LZ4C.ZLIBD.GZIP答案：C1.12下列指标中，用于评估多分类不平衡数据集的常用指标是A.AccuracyB.Macro-F1C.MSED.R²答案：B1.13在ClickHouse中，最适合做高基数去重的函数是A.uniqB.uniqCombinedC.uniqExactD.uniqHLL12答案：C1.14当Spark任务出现数据倾斜时，最有效的通用优化策略是A.提高executor内存B.增加shuffle分区数并加盐C.关闭推测执行D.降低并行度答案：B1.15下列关于数据湖仓一体（Lakehouse）的叙述，正确的是A.仅支持结构化数据B.依赖传统数据仓库ETLC.通过元数据层实现ACIDD.不支持流式写入答案：C1.16在TensorFlow2.x中，默认的分布式策略是A.MirroredStrategyB.MultiWorkerMirroredStrategyC.TPUStrategyD.ParameterServerStrategy答案：A1.17若使用Airflow，任务依赖关系通过哪个字段定义A.retriesB.depends_on_pastC.upstreamD.dag_id答案：B1.18下列关于数据血缘（DataLineage）的描述，错误的是A.可用于影响分析B.必须依赖静态代码扫描C.支持字段级追溯D.有助于合规审计答案：B1.19在Prometheus中，用于计算滑动平均的函数是A.rate()B.irate()C.avg_over_time()D.increase()答案：C1.20若某企业采用DataMesh架构，其核心原则不包括A.领域所有权B.自助平台C.集中式建模D.联邦治理答案：C2.多项选择题（每题2分，共20分，多选少选均不得分）2.1下列属于Hadoop3.x新特性的有A.YARN联邦B.纠删码C.NameNodeHAD.容器化支持答案：ABD2.2在Spark3.x中，自适应查询执行（AQE）可动态优化A.Join策略B.Reducer数量C.数据倾斜D.列式存储格式答案：ABC2.3以下哪些操作会触发Flink的CheckpointBarrierA.map()B.keyBy()C.broadcast()D.无状态filter()答案：BC2.4关于特征平台（FeatureStore）的功能，正确的有A.在线/离线一致性B.特征版本管理C.自动特征选择D.实时特征回填答案：ABD2.5在Kubernetes上运行SparkonK8s模式时，DriverPod的创建方式包括A.cluster模式B.client模式C.local模式D.none模式答案：AB2.6下列属于数据治理核心活动的是A.数据质量评估B.主数据管理C.数据资产定价D.元数据管理答案：ABD2.7使用Pandas2.0时，支持的后端引擎有A.NumPyB.PyArrowC.CythonD.Polars答案：AB2.8在Hive3.x中，实现物化视图自动重写的条件包括A.视图列与查询列完全匹配B.启用rewrite.enabledC.视图数据新鲜度满足阈值D.使用ORC格式答案：ABC2.9下列关于GPU加速数据库的描述，正确的有A.OmniSci采用LLVM动态编译B.Brytlyt基于PostgreSQLC.MapD已合并为HeavyDBD.所有JOIN均适合GPU答案：ABC2.10在数据安全合规中，属于GDPR数据主体权利的有A.被遗忘权B.可携带权C.修改权D.销售权答案：ABC3.填空题（每空1分，共20分）3.1HBase中，Region的默认大小为________GB，超过该阈值会触发________。答案：10，split3.2在SparkMLlib中，使用________算法可将高维稀疏特征向量压缩为低维稠密向量，常用参数k表示________。答案：PCA，主成分个数3.3KafkaProducer保证幂等性的配置项是________，其值应设为________。答案：enable.idempotence，true3.4若某Parquet文件采用PLAIN编码，则其最大优点是________，最大缺点是________。答案：解码速度快，压缩率低3.5在ClickHouse的MergeTree引擎中，数据按________排序，________字段用于采样。答案：ORDERBY，SAMPLEBY3.6TensorFlowExtended（TFX）中，________组件用于特征验证，________组件用于模型热更新。答案：TensorFlowDataValidation，TensorFlowServing3.7使用AirflowRESTAPI触发DAG时，HTTP方法为________，端点格式为________。答案：POST，/api/v1/dags/{dag_id}/dagRuns3.8在数据湖格式Iceberg中，快照过期时间由表属性________控制，默认单位是________。答案：history.expire.max-snapshot-age-ms，毫秒3.9若某企业采用DataOps实践，其CI/CD流水线必须包含________测试与________测试两个阶段。答案：数据质量，回归3.10在PromQL中，计算CPU使用率百分比的表达式为________，其中idle时间序列名为________。答案：100(avgby(instance)(rate(node_cpu_seconds_total{mode="idle"}[5m]))100)，node_cpu_seconds_total答案：100(avgby(instance)(rate(node_cpu_seconds_total{mode="idle"}[5m]))100)，node_cpu_seconds_total4.简答题（共6题，每题8分，共48分）4.1（封闭型）简述MapReduce与Spark在Shuffle机制上的三点差异，并指出哪一点对SSD环境优化最明显。答案：1.MapReduceShuffle必须落盘，Spark可内存+磁盘混合；2.MapReduce采用Pull-basedHTTP，Spark3.x引入Push-basedShuffle；3.MapReduce对map输出进行分区排序，Spark可在map端combine减少数据量。对SSD最明显的是第1点，减少磁盘随机写可显著降低延迟。4.2（开放型）某电商公司日增日志500TB，需构建实时数仓，请给出Lambda与Kappa架构的选型对比，并说明你的最终建议及理由（≥150字）。答案：Lambda需维护离线与实时两套代码，开发成本高，但容错好；Kappa仅流式代码，简化了链路，但对消息队列保留期要求长，重放成本高。考虑到公司已有Flink集群，且业务允许24小时保留期，建议采用Kappa，通过Iceberg存储实现流批一体，降低运维复杂度。4.3（封闭型）列出FlinkSQL实现IntervalJoin的语法模板，并指出时间属性字段必须满足的两个约束。答案：SELECTSELECTFROMAJOINBONA.key=B.keyANDA.tsBETWEENB.tsINTERVAL'10'MINUTEANDB.ts+INTERVAL'5'MINUTE;约束：1.两表必须定义event-time属性；2.必须指定watermark。4.4（开放型）描述在Kubernetes中运行SparkonK8s时，动态资源分配（DRA）的启用步骤及注意事项（≥120字）。答案：1.构建包含shuffle-service的Docker镜像；2.在spark-defaults.conf设置spark.dynamicAllocation.enabled=true；3.配置spark.shuffle.service.enabled=true并部署ExternalShuffleServiceDaemonSet；4.设置minExecutors与maxExecutors；5.确保K8sRBAC允许DriverPod创建/删除ExecutorPod；6.注意SSD本地盘需使用emptyDir卷防止数据丢失。4.5（封闭型）给出使用Scikit-learn进行时间交叉验证的代码片段，并解释为何不能使用传统KFold。答案：fromsklearn.model_selectionimportTimeSeriesSplittscv=TimeSeriesSplit(n_splits=5)fortrain_idx,test_idxintscv.split(X):model.fit(X[train_idx],y[train_idx])传统KFold随机打乱，导致未来数据泄漏到训练集，违反时间顺序。4.6（开放型）说明数据湖格式Delta、Iceberg、Hudi在并发写模型上的差异，并指出哪种场景下Hudi的MVCC更有优势（≥120字）。答案：Delta采用乐观并发控制，依赖文件级重命名原子性；Iceberg使用快照隔离，基于元数据层CAS；Hudi提供表级锁+MVCC，支持多写入端增量并发。对近实时UPSERT场景，Hudi的MVCC允许多个Flink流同时写入不同分区，冲突检测粒度更细，吞吐更高。5.应用题（共4题，共62分）5.1计算题（15分）某集群运行TeraSort基准，输入数据1TB，HDFS块大小128MB，副本系数3，NameNode内存中每个块元数据占用150字节。（1）计算NameNode需要多少内存保存所有块信息；（2）若启用纠删码RS(6,3)，副本系数降为1.5，求节省的磁盘空间百分比。答案：（1）块数=1TB/128MB=8192；元数据=8192×150B=1.2288MB（2）原磁盘=1TB×3=3TB；纠删码后=1TB×1.5=1.5TB；节省=(3-1.5)/3=50%5.2分析题（16分）给定某电商用户行为表user_action(user_id,item_id,category,behavior,ts)，数据量200亿行，存储于ORC分区表，按dt分区共30天。现需计算每个用户最近7天的点击去重商品数，要求输出：用户、商品数、日期。请写出SparkSQL优化后的完整脚本，并说明三点性能优化思路。答案：脚本：SETspark.sql.adaptive.enabled=true;SETspark.sql.adaptive.coalescePartitions.enabled=true;WITHtmpAS(SELECTuser_id,item_id,dt,ROW_NUMBER()OVER(PARTITIONBYuser_id,item_idORDERBYtsDESC)rnFROMuser_actionWHEREbehavior='click'ANDdtBETWEENdate_sub(current_date,6)ANDcurrent_date)SELECTuser_id,COUNT(DISTINCTitem_id)AScnt,dtFROMtmpWHERErn=1GROUPBYuser_id,dt;优化：1.利用分区裁剪减少90%扫描；2.使用ROW_NUMBER去重避免COUNTDISTINCT倾斜；3.启用AQE动态合并小分区。5.3综合题（17分）某市交通卡口每分钟产生1亿条车辆通行记录，结构为(camera_id,car_plate,pass_time,road_id,speed)。需实时识别套牌车：同一车牌在5分钟内出现在两个相距≥20km的卡口。请给出基于Flink的完整解决方案，包括：数据接入、距离计算、输出格式、容错策略，并估算所需TaskManager内存。答案：1.数据接入：KafkaTopicpartitions=600，单分区峰值3MB/s；2.使用AsyncI/O查询Redis获取卡口经纬度；3.keyBy(car_plate)后应用5分钟滚动窗口，窗口内收集所有(camera_id,lat,lon,pass_time)；4.两两计算Haversine距离≥20km则标记；5.输出：{car_plate,alert_time,camera_list,distance_km}；6.Checkpoint30s到HDFS