2026年大数据技术与应用知识考试试题及答案

2026年大数据技术与应用知识考试试题及答案一、单项选择题（每题1分，共20分。每题只有一个正确答案，请将正确选项字母填入括号内）1.在Hadoop生态中，负责资源管理与任务调度的组件是（）A.HDFS  B.YARN  C.MapReduce  D.Hive答案：B2.SparkCore默认的存储级别是（）A.MEMORY_ONLY  B.MEMORY_AND_DISK  C.DISK_ONLY  D.OFF_HEAP答案：A3.下列算法中，属于非监督学习的是（）A.随机森林  B.K-Means  C.逻辑回归  D.SVM答案：B4.Kafka中保证分区消息顺序写入的核心机制是（）A.ConsumerGroup  B.PartitionLeader  C.OffsetCommit  D.ZookeeperLock答案：B5.在Flink的时间语义中，事件时间（EventTime）由以下哪项决定（）A.数据进入Source算子时的系统时间  B.数据产生时携带的时间戳C.数据进入窗口时的处理时间  D.Checkpoint触发时间答案：B6.使用HBaseRowKey设计时，为了避免热点，下列做法最有效的是（）A.使用自增ID  B.使用哈希前缀+时间戳  C.使用纯时间戳  D.使用倒序域名答案：B7.在数据仓库分层理论中，DWD层的主要作用是（）A.原始数据保留  B.明细数据清洗与规范化  C.汇总指标计算  D.维度退化答案：B8.下列关于数据湖描述正确的是（）A.仅支持结构化数据  B.Schema-on-Write是其核心特征C.支持多种计算引擎直接访问原始数据  D.不支持ACID事务答案：C9.在SparkSQL中，将DataFrame注册为临时视图的API是（）A.cache()  B.createTempView()  C.persist()  D.registerTable()答案：B10.使用Elasticsearch进行聚合分析时，保证字段可被聚合的必要条件是（）A.字段类型为text  B.字段类型为keyword或打开fielddataC.字段开启store=true  D.字段关闭doc_values答案：B11.在ClickHouse中，最适合做高并发点查的引擎是（）A.MergeTree  B.ReplacingMergeTree  C.SummingMergeTree  D.Log答案：A12.下列关于数据倾斜优化手段，描述错误的是（）A.两阶段聚合（局部聚合+全局聚合）  B.增加并行度C.使用随机前缀打散Key  D.将Reduce端Join改为Map端Join答案：D（Map端Join无法解决Reduce端数据倾斜）13.在Kafka2.8之后，移除Zookeeper依赖后的替代组件是（）A.KRaft  B.ControllerQuorum  C.BrokerRaft  D.ZooKeeper-less答案：A14.使用Airflow进行任务编排时，Sensor算子的poke模式属于（）A.阻塞模式  B.轮询模式  C.事件驱动模式  D.回调模式答案：B15.在FlinkCEP中，定义“followedByAny”语义时，允许的事件间隔是（）A.严格连续  B.允许中间有其他事件  C.允许中间跳过相同事件  D.不允许超时答案：B16.下列关于HiveonTez与HiveonMR对比，正确的是（）A.Tez执行计划仍为多阶段Job  B.Tez无法共享数据ShuffleC.Tez使用DAG模型减少落盘  D.Tez不支持容器复用答案：C17.在数据治理体系中，负责定义业务术语、维护数据字典的角色是（）A.数据Owner  B.数据Steward  C.数据Custodian  D.数据User答案：B18.使用HDFSFederation的主要目的是（）A.提高单NameNode内存上限  B.降低DataNode磁盘损坏率C.支持多租户隔离  D.支持EC纠删码答案：A19.在Spark3.0之后，自适应查询执行（AQE）默认不自动优化的场景是（）A.动态合并Shuffle分区  B.动态调整Join策略C.动态优化数据倾斜  D.动态调整并行度答案：D（需手动开启）20.下列关于DeltaLake的“TimeTravel”功能，底层实现依赖（）A.事务日志JSON文件  B.Parquet列统计  C.HiveMetastore版本  D.HDFS快照答案：A二、多项选择题（每题2分，共20分。每题有两个或两个以上正确答案，多选、少选、错选均不得分）21.下列属于NoSQL数据库CAP理论中“可用性”牺牲的场景有（）A.MongoDB写关注级别{w:"majority"}  B.HBaseRegionServer宕机恢复C.Cassandra一致性级别ALL  D.Redis哨兵模式主从切换答案：A、C22.在SparkStreaming中，可能导致数据重复消费的原因包括（）A.Receiver模式未开启WAL  B.Direct模式手动维护Offset失败C.Checkpoint与KafkaOffset不同步  D.处理逻辑幂等性缺失答案：A、B、C、D23.以下属于FlinkCheckpoint屏障（Barrier）机制保证Exactly-Once的关键点有（）A.Barrier对齐  B.异步快照  C.幂等Sink  D.两阶段提交答案：A、B、C、D24.关于数据仓库维度建模，下列说法正确的有（）A.星型模型比雪花模型查询性能高  B.退化维度存储在事实表C.桥接表解决多值维度  D.代理键应具有业务含义答案：A、B、C25.在Elasticsearch集群中，导致“脑裂”现象的潜在因素有（）A.网络分区  B.master节点GC停顿过长  C.discovery.zen.minimum_master_nodes设置过低D.客户端使用Sniff模式答案：A、B、C26.使用Hadoop3.x的YARNCapacityScheduler时，可动态调整的资源包括（）A.Queue容量  B.UserLimitFactor  C.最大AM资源比例  D.NodeLabel资源量答案：A、B、C、D27.下列属于数据血缘元数据采集方式的有（）A.SQL静态解析  B.运行时Hook  C.日志正则抽取  D.Agent字节码注入答案：A、B、C、D28.在ClickHouse中，能够提高并发读写的优化手段有（）A.使用PREWHERE替代WHERE  B.开启max_threads=1C.采用LZ4压缩算法  D.使用Distributed表引擎分片答案：A、C、D29.下列关于GFS与HDFS对比，正确的有（）A.GFS支持记录追加（RecordAppend）  B.HDFS2.x支持NameNodeHAC.GFS采用链式复制  D.HDFS默认块大小64MB答案：A、B、C30.在数据安全合规中，属于GDPR“数据主体权利”的有（）A.被遗忘权  B.数据可携权  C.限制处理权  D.数据财产权答案：A、B、C三、填空题（每空1分，共20分）31.HDFS默认块大小在Hadoop3.x中为________MB。答案：12832.Spark中，RDD的五大特征分别为：分区列表、________函数、依赖关系、分区器、________存储。答案：compute、preferredLocations33.Kafka的ISR列表指与Leader保持同步的________集合。答案：副本（Replica）34.Flink的StateBackend中，RocksDBStateBackend将工作状态存储在________文件系统。答案：本地磁盘（或本地RocksDB）35.Hive默认的SerDe处理文本表时，行分隔符为________。答案：\n36.Elasticsearch集群中，索引默认被分成________个主分片。答案：137.ClickHouse的MergeTree引擎中，数据按________文件存储列数据。答案：.bin38.数据治理国际标准ISO________定义了数据治理框架。答案：3850539.在SparkSQL中，函数`percentile_approx`返回类型为________。答案：double40.HBase中，用于批量写入的接口类为________。答案：Put41.数据仓库缓慢变化维类型2通过增加________字段标识历史版本。答案：代理键（或SurrogateKey）42.DeltaLake的Merge语句中，匹配源表且满足条件时执行________子句。答案：WHENMATCHEDTHENUPDATE43.Airflow的XCom机制默认将消息序列化后存入________表。答案：xcom44.在FlinkSQL中，声明事件时间属性需使用________关键字。答案：WATERMARK45.GFS论文中，Master节点将块位置信息缓存在________中，减少客户端访问Master。答案：客户端缓存（或ClientCache）46.使用Hadoop3.x的ErasureCoding策略RS-6-3，存储冗余度为________。答案：1.547.数据资产目录中，技术元数据通常包括：库表结构、________、数据血缘。答案：字段血缘（或字段映射）48.Spark3.0引入的Hint`REPARTITION_BY_RANGE`使用的分区器为________。答案：RangePartitioner49.在PostgreSQL中，开启逻辑复制需设置参数________为logical。答案：wal_level50.GDPR规定数据泄露后，数据控制者需在________小时内向监管机构报告。答案：72四、简答题（共6题，每题10分，共60分）51.（封闭型）简述MapReduce中Shuffle阶段的具体流程，并指出可优化的两个关键点。答案：（1）Map端：每个Map任务将输出数据根据分区函数写入环形内存缓冲区，当阈值达到80%触发Spill，Spill线程将数据按分区、排序后溢写到磁盘，形成多个溢写文件，最终合并成一个大文件并生成索引。（2）Reduce端：通过HTTP拉取各自分区的数据，进行归并排序，生成有序大文件供Reduce函数迭代。优化点：①Combiner减少网络传输；②调整io.sort.factor增加合并流数量，减少磁盘IO。52.（开放型）某电商公司每日新增订单数据量约500GB，需支持实时GMV大屏与离线报表。请给出Lambda架构与Kappa架构两套方案的技术选型对比，并说明如何降低Lambda架构的维护成本。答案：Lambda架构：实时层：Kafka→Flink→Redis→API；离线层：Sqoop→Hive→SparkSQL→MySQL。Kappa架构：统一Kafka→Flink→ClickHouse→API。对比：Lambda需维护两套代码，数据口径难一致；Kappa仅需一套流代码，但要求消息队列可重放历史。降低维护成本：①共用KafkaTopic，使用Flink双流Join替代离线回刷；②指标统一定义在Git仓库，通过CI自动生成FlinkSQL与SparkSQL；③使用Airflow统一调度，实时任务失败自动降级到离线补数。53.（封闭型）给出HBaseRowKey设计的三原则，并针对“查询最近7天某用户订单”场景给出具体RowKey示例。答案：原则：①长度原则：不超过100字节；②散列原则：避免热点；③唯一原则。示例：RowKey=`hash(user_id%100)+reverse(timestamp)+order_id`，其中`reverse(timestamp)`=Long.MAX_VALUE-currentTime，保证最近数据排在前面，查询时设置StartRow与StopRow为`hash(XX)+reverse(ts-7d)`到`hash(XX)+reverse(ts)`。54.（开放型）某日志文件每行包含`user_id,event_time,event_type`，数据量2TB，需统计每日UV、TOP10事件。请分别给出SparkRDD、SparkSQL、SparkStructuredStreaming三种实现思路，并指出内存占用最低的方案。答案：RDD：textFile→map→filter→distinct→count；TOP10使用map→reduceByKey→sortByKey。SparkSQL：创建临时视图，SQL：`SELECTCOUNT(DISTINCTuser_id),event_typeFROMlogGROUPBYevent_type`。StructuredStreaming：KafkaSource→watermark10min→dropDuplicates→groupBywindow→count。内存最低：StructuredStreaming采用状态存储RocksDB，增量计算，无需全量加载。55.（封闭型）解释Flink的Checkpoint与Savepoint的区别，并说明如何配置Checkpoint保留策略避免磁盘打满。答案：区别：①触发方式：Checkpoint由Flink定时触发，Savepoint需手动触发；②目标：Checkpoint用于故障恢复，Savepoint用于版本升级；③格式：Checkpoint可增量，Savepoint为全量；④删除策略：Checkpoint默认保留1个，Savepoint不自动删除。配置：state.checkpoints.num-retained=2；state.checkpoints.dir设置OSS/HDFS路径；开启增量快照state.backend.incremental=true；使用retentionpolicy：ExternalizedCheckpointCleanup.RETAIN_ON_CANCELLATION。56.（开放型）某金融公司需构建实时反欺诈模型，特征包括近30天交易次数、金额均值、异地登录标志，模型需每5min更新。请给出端到端技术架构，并说明如何保证特征一致性。答案：架构：数据源：MySQLBinlog→Kafka→FlinkCEP→RedisFeatureStore；离线补充：Hive近30天特征→Airflow每日回刷至Redis；模型：TensorFlowSavedModel，通过Flink异步IO调用；一致性：①Flink使用KeyedState保存用户级特征，Checkpoint到HDFS；②Redis采用String+Lua脚本原子更新；③每日凌晨用Hive数据校验Redis，差异>1%触发告警；④版本控制：特征ID与模型版本绑定，灰度发布。五、应用题（共4题，每题20分，共80分）57.（计算类）某电商大促期间，KafkaTopic`order`每秒写入5万条订单，单条平均1KB，副本因子3，保留72小时。计算该Topic所需磁盘空间（不考虑压缩），并给出Partition数量估算过程。答案：单秒数据量：50000×1KB=50MB；72小时总量：50MB×3600×72=12.96TB；副本空间：12.96TB×3=38.88TB；额外10%索引：38.88×1.1≈42.8TB。Partition估算：目标单Partition吞吐≈10MB/s，需50MB/s÷10MB/s=5Partition；考虑峰值2倍，取10Partition；再按Broker数量（10台）对齐，最终取20Partition。58.（分析类）给出某Spark任务日志片段：`Stage10contains2000tasks,1990taskscompletedin2s,10tasksrunningfor60s,ShuffleRead9GB/9GB,ShuffleWrite100MB`。分析数据倾斜原因，并给出三步定位命令及最终优化代码。答案：原因：某Key数据量巨大，导致10Task处理9GB数据。定位：①`spark-sql>SELECTkey,count()cFROMlogGROUPBYkeyORDERBYcDESCLIMIT10;`①`spark-sql>SELECTkey,count()cFROMlogGROUPBYkeyORDERBYcDESCLIMIT10;`②`hdfsdfs-get/tmp/shuffle_id_10/part-000xx`查看文件大小；③`spark-submit--confspark.sql.adaptive.enabled=false`复现，确认倾斜Key。优化：a.两阶段聚合：`SELECTkey,sum(cnt)FROM(SELECTrandom_key,key,count()cntFROMlogGROUPBYrandom_key,key)GROUPBYkey;``SELECTkey,sum(cnt)FROM(SELECTrandom_key,key,count()cntFROMlogGROUPBYrandom_key,key)GROUPBYkey;`b.增加盐值：`rdd.map(x=>(x._1+Random.nextInt(50),x._2)).reduceByKey(_+_).map(x=>(x._1.split("_")(0),x._2)).reduceByKey(_+_)`c.开启AQE：`spark.sql.adaptive.enabled=truespark.sql.adaptive.skewJoin.enabled=truespark.sql.adaptive.skewJoin.threshold=256MB`59.（综合类）某公司拟将本地IDC的Hive数据仓库迁移至阿里云EMR，要求零停机、数据0丢失、回滚窗口24小时。请给出详细迁移步骤、验证方案及回滚策略。答案：步骤：①网络：通过高速通道将IDC与EMRVPC打通，打通Kerberos互信；②数据全量：使用DistCp将Hive表数据并行拷贝至OSS，带宽限速500MB/s，耗时=10TB/500MB/s≈5.6小时；③元数据：使用HiveReplication功能，将HiveMetastore元数据导出MySQLdump，导入EMRRDS；④增量同步：IDC部署KafkaConnect，监听MySQLBinlog与HDFSeditlog，实时写入EMRKafka；EMR侧Flink消费写入临时表；⑤双跑验证：a.数据量：每日凌晨对比`SELECTCOUNT()`与`SELECTCOUNT()WHEREdt=当天`；a.数据量：每日凌晨对比`SELECTCOUNT()`与`SELECTCOUNT()WHEREdt=当天`；b.指标：抽取100张核心表，对比SUM、MAX、MIN，差异<0.001%；c.业务：灰度10%BI查询流量至EMRPresto，对比结果；⑥