2026年大数据应用技术考试试题及答案

2026年大数据应用技术考试试题及答案一、单项选择题（每题1分，共20分。每题只有一个正确答案，请将正确选项字母填入括号内）1.在Hadoop生态中，负责资源管理与任务调度的组件是（）A.HDFS  B.YARN  C.MapReduce  D.Hive答案：B2.下列哪一项不是Kafka的核心概念（）A.Topic  B.Partition  C.Broker  D.DAG答案：D3.SparkRDD的窄依赖是指（）A.父RDD每个分区被子RDD多个分区依赖B.父RDD每个分区最多被子RDD一个分区依赖C.父RDD每个分区被子RDD全部依赖D.父RDD每个分区随机被子RDD依赖答案：B4.在Flink的时间语义中，EventTime是指（）A.数据进入Flink系统的时间B.算子处理数据的时间C.数据在源业务系统产生的时间D.数据被窗口触发的时间答案：C5.HBase中用于实现多版本并发控制的机制是（）A.WAL  B.MemStore  C.Timestamp  D.BloomFilter答案：C6.下列关于数据湖描述正确的是（）A.仅支持结构化数据存储B.Schema-on-Write是唯一写入模式C.存储原始数据并支持Schema-on-ReadD.不支持事务语义答案：C7.在ClickHouse的MergeTree引擎中，数据按什么排序存储（）A.随机哈希  B.主键  C.分区键  D.采样键答案：B8.使用Elasticsearch进行聚合分析时，若要统计每个品牌的平均售价，应选用的聚合类型是（）A.Terms+TopHits  B.Terms+Avg  C.DateHistogram  D.GeoDistance答案：B9.在数据治理成熟度模型DAMA-DMBOK2中，第4级“Managed级”的核心特征是（）A.流程标准化且可重复B.流程被监控与测量C.流程持续优化D.流程已建立但不可重复答案：B10.下列算法中，属于非监督学习的是（）A.随机森林  B.K-Means  C.XGBoost  D.逻辑回归答案：B11.在AWSS3中，存储类别GLACIER的最低存储时长费用按多少天计费（）A.30  B.60  C.90  D.180答案：C12.使用Python的pandas读取10GBCSV时，为降低内存占用，优先推荐的参数组合是（）A.dtype=str,nrows=1000B.iterator=True,chunksize=1_000_000C.compression='gzip',encoding='utf-8'D.index_col=0,parse_dates=True答案：B13.在数据血缘追溯中，最细粒度的血缘通常指（）A.表级血缘  B.字段级血缘  C.作业级血缘  D.集群级血缘答案：B14.下列关于ZooKeeper的CAP特性描述正确的是（）A.优先保证可用性  B.优先保证一致性  C.同时保证CA  D.同时保证AP答案：B15.在DeltaLake中，实现“时间旅行”查询的关键技术是（）A.SnapshotIsolation  B.VersionedParquetFiles  C.Write-AheadLog  D.Checkpoint答案：B16.若某Spark作业提交参数为--executor-memory4g--executor-cores2，则每个executor最多可同时运行的task数为（）A.1  B.2  C.4  D.8答案：B17.在数据质量维度中，“同一客户在不同系统生日不一致”违反的维度是（）A.完整性  B.一致性  C.唯一性  D.及时性答案：B18.下列关于数据倾斜优化手段，描述错误的是（）A.两阶段聚合  B.随机前缀扩容  C.增加reduce并行度  D.强制使用MapJoin答案：D19.在Gartner2025年战略技术趋势报告中，被称为“AIEngineering”的核心实践不包括（）A.DataOps  B.MLOps  C.DevSecOps  D.FinOps答案：D20.某企业日增日志5TB，保存30天，压缩比1:5，采用HDFS三副本，则所需物理存储约为（）A.30TB  B.90TB  C.150TB  D.300TB答案：B二、多项选择题（每题2分，共20分。每题有两个或两个以上正确答案，多选、少选、错选均不得分）21.以下属于FlinkCheckpoint的持久化存储可选方案的有（）A.HDFS  B.RocksDB  C.NFS  D.S3答案：A、C、D22.在构建实时数仓时，Lambda架构的固有缺陷包括（）A.维护两套代码  B.离线延迟大  C.重新计算成本高  D.无法支持交互查询答案：A、C23.关于数据资产目录的功能，正确的有（）A.元数据搜索  B.权限申请  C.影响分析  D.数据脱敏答案：A、B、C24.以下哪些属于GDPR规定的个人数据主体权利（）A.被遗忘权  B.可携带权  C.拒绝权  D.修改权答案：A、B、C、D25.在SparkSQL中使用Hint提示进行广播Join时，正确的写法有（）A./+BROADCAST(a)/  B./+MAPJOIN(b)/  C./+SHUFFLE_HASH(c)/  D.broadcast(spark.table("a"))A./+BROADCAST(a)/  B./+MAPJOIN(b)/  C./+SHUFFLE_HASH(c)/  D.broadcast(spark.table("a"))答案：A、B、D26.以下哪些指标可用于评估二分类模型的性能（）A.AUC-ROC  B.F1-score  C.MAE  D.LogLoss答案：A、B、D27.在HDFS的写入管道pipeline中，数据包确认机制具备的特征有（）A.逆序ACK  B.超时重试  C.数据校验和  D.副本自动删除答案：A、B、C28.使用Airflow进行任务编排时，可实现的特性有（）A.重试策略  B.条件分支  C.动态DAG生成  D.反向ETL答案：A、B、C29.以下属于数据安全脱敏算法的有（）A.掩码  B.哈希  C.加密  D.数据合成答案：A、B、C、D30.在Prometheus监控体系中，可采集的Flink指标类型有（）A.Operatorlatency  B.Backpressureratio  C.Checkpointduration  D.TaskManagerheapusage答案：A、B、C、D三、填空题（每空1分，共20分）31.在Hive中，将非分区表转换为分区表并重写数据的命令关键字是________。答案：ALTERTABLE…PARTITION32.KafkaConsumer的位移提交方式分为________提交和________提交两种。答案：自动；手动33.Spark的内存管理采用________内存与________内存统一管理模式（UnifiedMemoryManager）。答案：存储；执行34.在数据仓库分层模型中，DWD层的中文含义是________。答案：明细数据层35.在Python中，使用________库可以实现对超大数据集的分布式机器学习。答案：dask-ml36.在ClickHouse中，用于去重合并的引擎为________。答案：ReplacingMergeTree37.在数据治理元模型中，________元数据描述数据的技术特征，如字段类型、长度。答案：技术38.在FlinkCEP库中，模式序列followedBy与next的区别在于________是否允许中间出现其他事件。答案：followedBy39.在数据安全分类分级指南GB/T35273-2020中，个人敏感数据分为________级。答案：三40.在DeltaLake中，执行________命令可查看表历史版本。答案：DESCRIBEHISTORY41.在Elasticsearch集群中，默认主节点选举算法基于________算法。答案：Bully42.在HDFS联邦架构中，NameNode拆分为多个________命名空间。答案：独立/联邦43.在数据质量评价公式中，准确率=________/总记录数。答案：正确记录数44.在AWSGlue数据目录中，表与列的元数据通过________API被Athena调用。答案：GetTable45.在Spark3.x中，自适应查询执行简称为________。答案：AQE46.在数据资产估值的“成本法”模型中，重置成本=________+维护成本。答案：开发成本47.在Gartner定义的数据素养框架中，最高层级为________。答案：数据驱动文化48.在PromQL中，计算过去5分钟CPU平均使用率的函数为________。答案：rate49.在Hudi表类型中，支持行级更新的为________表。答案：Merge-On-Read50.在数据血缘可视化中，采用________图模型可表达字段级依赖。答案：有向无环图（DAG）四、简答题（共5题，每题8分，共40分）51.（封闭型）请简述MapReduce中“数据本地性”优化的三级优先级，并说明其对性能的影响。答案：（1）NODE_LOCAL：任务与数据在同一节点，无需网络IO，性能最佳；（2）RACK_LOCAL：任务与数据在同一机架不同节点，需经过交换机，性能次之；（3）OFF_SWITCH：任务与数据跨机架，网络开销最大，性能最差。通过调度器优先分配NODE_LOCAL可显著降低作业完成时间，提升集群吞吐。52.（开放型）某电商公司实时订单流每秒20万条，需5分钟内检测到异常金额订单（金额>均值+3σ）。请给出技术选型和核心实现思路。答案：技术选型：ApacheFlink+Kafka+Redis+Prometheus。实现思路：1.Kafka接收订单流，Topic按订单类型分区；2.Flink作业采用EventTime，滑动窗口30s，步长10s；3.使用Tumbling窗口预计算均值μ与标准差σ，存入Redis；4.下游ProcessFunction读取Redis最新μ、σ，判断金额>μ+3σ则输出告警；5.通过FlinkMetrics暴露异常计数，Prometheus采集并配置Grafana大盘；6.Checkpoint到HDFS保证Exactly-Once；7.并行度设置与Kafka分区一致，确保顺序性；8.采用AsyncI/O访问Redis降低延迟，P99<1s。53.（封闭型）列举HiveonTez相较HiveonMR在执行计划层面的三项优化，并给出具体说明。答案：（1）DAG模型替代多阶段MR，减少中间落盘；（2）Container复用，减少JVM启动开销；（3）动态并行度调整，根据数据量自动设置Reducer数，避免过多小文件。54.（开放型）某省政务大数据中心需对人口库进行去重融合，源系统包括公安、社保、卫健，数据量各1亿条，无统一主键。请设计一套完整的数据治理流程，并说明关键技术。答案：流程：1.数据接入：使用Sqoop/OGG全量+增量入湖，Hudi记录版本；2.标准化：制定统一编码（UTF-8）、日期格式（yyyy-MM-dd）、行政区划代码表；3.质量稽核：DQC规则含completeness、consistency、accuracy，输出评分卡；4.实体解析：采用概率图模型（Fellegi-Sunter）+机器学习（XGBoost）计算匹配概率，阈值0.85；5.人工审核：低置信度记录进入众包平台，标注后回流训练；6.主数据管理：使用ApacheAtlas建立实体ID，生成全局唯一GID；7.隐私合规：敏感字段采用格式保持加密（FPE）与Tokenization；8.服务发布：通过API网关提供实时查询，QPS5万，延迟<100ms；9.持续运营：建立数据Owner机制，月度SLA报告，问题闭环率>95%。55.（封闭型）简述数据湖仓一体（LakeHouse）的四项核心技术特征，并指出其解决传统数仓的哪些痛点。答案：特征：（1）事务支持：ACID保证并发读写；（2）元数据层：统一Catalog，支持SchemaEvolution；（3）存算分离：对象存储+计算弹性；（4）开放格式：Parquet/ORC免锁定。痛点：消除数据冗余、降低ETL成本、提供实时更新、避免供应商锁定。五、应用题（共4题，共70分）56.（计算类，15分）某互联网公司采用HDFS存储广告日志，每日新增500GB未压缩文本，压缩比1:4，采用三副本，预留20%磁盘空间，计算规划3年所需硬盘裸容量（按365天/年），并给出公式步骤。答案：日压缩后=500GB÷4=125GB日物理=125GB×3=375GB3年逻辑=125GB×365×3=136.875TB3年物理=375GB×365×3=410.625TB预留20%，则裸容量=410.625TB÷0.8=513.28TB≈514TB公式：裸容量=日新增×压缩比倒数×副本数×天数×年数÷(1-预留率)57.（分析类，20分）给定某Spark作业事件日志片段，Driver出现java.lang.OutOfMemoryError:GCoverheadlimitexceeded，Executor日志正常。请：（1）给出三种可能根因；（2）提供对应的诊断命令或工具；（3）给出调优方案。答案：（1）根因：a.Driver拉取大量数据（collect、take）；b.广播变量过大（>8GB默认限制）；c.元数据过多，如大量小文件分区。（2）诊断：a.使用gclog-XX:+PrintGCDetails观察FullGC频率；b.SparkHistoryServer查看Stages中collect算子；c.jmap-histo查看内存对象分布。（3）调优：a.避免collect，改用write落盘；b.增大Driver内存：--driver-memory16g；c.关闭广播：spark.sql.autoBroadcastJoinThreshold=-1；d.合并小文件：datasource.coalesce(200)写入；e.升级Spark3.x启用AQE动态分区裁剪。58.（综合类，20分）某市交通委构建车辆轨迹实时大屏，数据源为6万出租车GPS上行，峰值每秒12万条，每条约120B，需求：延迟<3s，支持最近30天轨迹回放、按车牌查询、区域热力图。请给出架构图、组件选型、关键表结构、读写链路及性能估算。答案：架构：Kafka(3节点)→Flink(20TM)→HBase(Rowkey=车牌+时间戳)→Redis缓存→Grafana大屏组件：Kafka:100分区，replica=2，压缩LZ4Flink:EventTime,Checkpoint30s→S3，并行度100HBase:预分区800，Snappy压缩，BlockCache=25%Redis:集群模式16主，每主8GB，Key=车牌+小时，Value=GeoHash列表表结构：create'taxi_traj',{NAME=>'d',COMPRESSION=>'SNAPPY',TTL=>'2592000'}Rowkey:reverse(车牌)+Long.Max-时间戳读写链路：写：GPS→Netty→Kafka→Flink→HBase异步批量Put，缓存200ms读：SpringBoot→Redis命中→HBase补全→返回前端性能：写：12万/s×120B≈14.4MB/s，Kafka单分区峰值=1.2万/s，100分区富余读：车牌查询返回1小时轨迹≈3600条，P99<500ms热力图：Flink滑动窗口1min，输出到Druid，QPS500，延迟<2s59.（综合类，15分）某金融公司需对交易流水进行风控模型训练，特征工程需计算近30天每用户每日聚合指标（交易次数、金额均值、标准差、最大单笔、异地登录次数），原始流水表user_trade字段：user_id,trade_time,amount,city_code,status。数据量：500亿条，存储在Hive分区表，分区字段dt。请编写完整SparkSQL脚本，要求：（1）过滤status='SUCCESS'；（2）计算上述5个指标；（3）输出到Hive表user_feature_30d，分区字段dt；（4