2026年大数据技术与应用考核试卷及答案

2026年大数据技术与应用考核试卷及答案一、单项选择题（每题1分，共20分。每题只有一个正确答案，请将正确选项字母填入括号内）1.在HDFS中，NameNode的主要职责是（）A.存储实际数据块B.管理文件系统元数据C.执行Map任务D.执行Reduce任务答案：B2.下列哪一项不是Kafka的核心组件（）A.ProducerB.ConsumerC.BrokerD.JobTracker答案：D3.Spark中RDD的窄依赖是指（）A.父RDD的每个分区被子RDD的多个分区使用B.父RDD的每个分区最多被子RDD的一个分区使用C.父RDD的每个分区被全部子RDD分区使用D.子RDD的分区数大于父RDD答案：B4.在Flink的时间语义中，EventTime是指（）A.数据进入Flink系统的时间B.数据被窗口算子处理的时间C.事件在源系统发生的时间D.数据被Sink写出时间答案：C5.下列关于Hive的描述正确的是（）A.Hive支持行级更新B.Hive默认使用Tez引擎C.HiveQL最终会转化为MapReduce任务D.Hive不支持分区表答案：C6.HBase中用于实现高可用的模块是（）A.ZooKeeperB.JobTrackerC.TaskTrackerD.Flume答案：A7.在数据仓库分层结构中，DWD层的主要作用是（）A.保存原始日志B.保存明细事实数据C.保存汇总指标D.保存维度数据答案：B8.使用Scala编写Spark程序时，下列哪个操作是行动操作（）A.mapB.filterC.reduceByKeyD.count答案：D9.在Elasticsearch中，默认的分片数是多少（）A.1B.3C.5D.7答案：C10.下列关于数据倾斜的描述错误的是（）A.会导致Reduce任务耗时差异大B.可通过加盐方式缓解C.只会发生在Map阶段D.可通过两阶段聚合缓解答案：C11.在Kafka中，offset由谁维护（）A.ZooKeeperB.ProducerC.ConsumerD.Broker答案：C12.下列哪项不是Hadoop3.x的新特性（）A.YARN支持GPU调度B.ErasureCodingC.NameNode联邦D.MapReduce支持Lambda架构答案：D13.在Flink的Checkpoint机制中，Barrier的作用是（）A.标记数据结束B.触发算子快照C.触发窗口计算D.触发Watermark答案：B14.下列关于数据湖的说法正确的是（）A.只支持结构化数据B.不支持Schema演进C.通常使用对象存储作为底层D.不支持ACID事务答案：C15.在SparkSQL中，下列哪个函数用于解析JSON字符串（）A.from_jsonB.to_jsonC.explodeD.split答案：A16.下列哪项不是数据治理的核心域（）A.元数据管理B.数据质量管理C.数据安全D.数据压缩算法答案：D17.在ClickHouse中，最适合做高基数去重的数据结构是（）A.MergeTreeB.SummingMergeTreeC.AggregatingMergeTreeD.ReplacingMergeTree答案：C18.下列关于Airflow的描述正确的是（）A.仅支持小时级调度B.DAG只能线性依赖C.使用Python代码定义工作流D.不支持重跑历史任务答案：C19.在数据质量评估指标中，Completeness用于衡量（）A.数据是否重复B.数据是否缺失C.数据是否一致D.数据是否及时答案：B20.下列关于DeltaLake的叙述正确的是（）A.不支持时间旅行B.不支持并发写入C.基于Parquet存储并添加事务日志D.仅支持Spark引擎答案：C二、多项选择题（每题2分，共20分。每题有两个或两个以上正确答案，多选、少选、错选均不得分）21.下列属于NoSQL数据库的有（）A.MongoDBB.HBaseC.RedisD.Oracle答案：ABC22.下列哪些操作会导致SparkShuffle（）A.groupByKeyB.reduceByKeyC.mapD.join答案：ABD23.关于Flink的StateBackend，下列说法正确的有（）A.MemoryStateBackend将状态保存在TaskManager内存B.RocksDBStateBackend支持增量CheckpointC.FsStateBackend将状态保存在HDFSD.所有StateBackend都支持异步快照答案：ABC24.下列属于数据质量规则类型的有（）A.唯一性B.及时性C.可读性D.一致性答案：ABD25.在Hadoop生态中，下列哪些组件支持SQL-like查询（）A.HiveB.PigC.ImpalaD.Drill答案：ACD26.下列哪些属于流处理中的窗口类型（）A.TumblingWindowB.SlidingWindowC.SessionWindowD.GlobalWindow答案：ABC27.下列关于Kafka副本机制的描述正确的有（）A.副本数可大于Broker数B.Leader副本负责读写C.ISR列表中副本必须与Leader同步D.副本因子为1时无高可用答案：BCD28.下列哪些属于数据血缘的采集方式（）A.静态解析SQLB.运行时HookC.日志解析D.人工填报答案：ABCD29.下列哪些属于SparkMLlib支持的算法（）A.ALSB.GBDTC.KMeansD.XGBoost答案：ABC30.下列哪些属于数据脱敏的常用算法（）A.MD5B.AESC.TokenizationD.数据掩码答案：BCD三、填空题（每空1分，共20分）31.HDFS默认块大小为________MB，Hadoop3.x可支持最大________GB。答案：128，51232.Spark中，________是面向数据集的分布式并行计算引擎，________是面向数据流的分布式并行计算引擎。答案：RDD，DStream33.Flink中，________是一种特殊的事件，用于触发窗口计算，其值默认比最大事件时间小1毫秒。答案：Watermark34.Kafka的________机制保证了同一分区内的消息顺序性。答案：分区顺序35.在Hive中，________表可以动态分区，________表不支持事务。答案：外部，非ACID36.HBase中，________用于实现RowKey前缀查询，________用于实现列族级别的TTL。答案：RowKey设计，ColumnFamilyTTL37.Elasticsearch的________查询用于全文检索，________聚合用于分组统计。答案：match，terms38.在数据仓库中，________模型通过事实表和维度表实现数据组织，________模型通过宽表实现数据组织。答案：星型，宽表39.ClickHouse的________引擎支持主键索引，________引擎支持聚合汇总。答案：MergeTree，SummingMergeTree40.数据治理框架中，________用于定义数据标准，________用于监控数据质量。答案：数据标准管理，数据质量监控四、简答题（共6题，每题8分，共48分）41.（封闭型）简述MapReduce中Combiner的作用及使用条件。答案：Combiner是本地端的Reducer，用于减少Map输出数据量，降低网络传输开销；使用条件：函数需满足结合律和交换律，如sum、max；不能改变最终计算结果；仅适用于Reduce端可累加的操作；由Job显式设置；不保证一定执行。42.（开放型）请给出三种解决Spark数据倾斜的方案，并说明适用场景。答案：1.加盐二次聚合：适用于聚合类操作，如groupByKey，先对key加随机前缀局部聚合，再去前缀全局聚合；2.扩容+随机前缀join：适用于大表join小表，将小表扩容N倍并加随机前缀，大表key同样加随机前缀，分散热点；3.自定义分区：适用于key分布已知，将热点key单独拆分区，使用自定义Partitioner；4.广播join：适用于小表(<10MB)，将小表广播到各Executor，避免shuffle；5.采样拆分：适用于key可枚举，采样找出热点key，单独处理后再合并。43.（封闭型）写出Flink实现Exactly-Once语义的两项核心技术，并简要说明原理。答案：1.Checkpoint：定期插入Barrier，对齐各算子输入，异步快照算子状态到分布式存储；故障时从最近成功快照恢复；2.两阶段提交Sink：预提交阶段将数据写入外部系统但不提交，收到Checkpoint完成通知后再正式提交；失败则回滚预提交数据。44.（开放型）某电商公司订单表order（order_id,user_id,amount,order_time）数据量500亿行，请设计ClickHouse表引擎、分区键、排序键、索引，并说明理由。答案：引擎：MergeTree；分区键：toYYYYMM(order_time)，按月分区，避免分区过多；排序键：(user_id,order_time)，满足按用户查询和按时间范围查询；索引：user_id作为跳表索引，加速用户级过滤；附加：使用CODEC(ZSTD(3))压缩，节省磁盘；设置TTLorder_time+INTERVAL3YEAR，自动清理过期数据。45.（封闭型）列举Hive中导致小文件产生的三种操作，并给出合并小文件的两种方法。答案：操作：动态分区插入、Reduce数过多、ETL任务异常重跑；合并：1.设置hive.merge.mapfiles=true，Map-only任务后触发合并；2.使用ALTERTABLEtable_nameCONCATENATE；3.重建表并插入overwrite，设置distributebyrand()控制Reduce数。46.（开放型）说明数据血缘在数据治理中的价值，并给出构建血缘图谱的三种技术路径。答案：价值：影响分析、故障溯源、合规审计、数据质量定位、资产盘点；技术路径：1.SQL静态解析：使用ApacheCalcite解析ETL脚本，提取输入输出表；2.运行时Hook：在Spark、Flink中监听LineageLogger，实时上报血缘；3.日志解析：解析Hive、Impala查询日志，通过正则提取表级血缘；4.元数据爬虫：定期扫描调度平台任务定义，构建任务级血缘；5.人工标注：对脚本无法解析的复杂逻辑提供人工补录入口。五、应用题（共4题，共62分）47.（计算类，15分）某日志文件大小300GB，HDFS块大小128MB，每个块副本数3，计算实际存储占用量；若采用Hadoop3.x的ErasureCoding策略RS(6,3)，计算存储占用量，并给出节省比例。答案：块数=300×1024/128=2400块；副本存储=2400×128×3=921600MB=900GB；RS(6,3)存储系数=1.5；EC存储=300×1.5=450GB；节省比例=(900-450)/900=50%。48.（分析类，15分）给定用户行为表user_log(user_id,event_time,event_type,page_id)，需统计近30分钟各页面的PV、UV，要求延迟<1分钟。请写出FlinkSQL完整语句，包含源表、视图、窗口、Watermark、Sink表，并说明并行度设置。答案：CREATETABLEsource_log(user_idBIGINT,event_timeTIMESTAMP(3),event_typeSTRING,page_idSTRING,WATERMARKFORevent_timeASevent_timeINTERVAL'5'SECOND)WITH('connector'='kafka','topic'='user_log','properties.bootstrap.servers'='kafka:9092','format'='json');CREATETABLEsink_metrics(window_startTIMESTAMP(3),window_endTIMESTAMP(3),page_idSTRING,pvBIGINT,uvBIGINT,PRIMARYKEY(page_id,window_start)NOTENFORCED)WITH('connector'='upsert-kafka','topic'='page_metrics','properties.bootstrap.servers'='kafka:9092','key.format'='json','value.format'='json');INSERTINTOsink_metricsSELECTTUMBLE_START(event_time,INTERVAL'1'MINUTE)ASwindow_start,TUMBLE_END(event_time,INTERVAL'1'MINUTE)ASwindow_end,page_id,COUNT()ASpv,COUNT()ASpv,COUNT(DISTINCTuser_id)ASuvFROMsource_logWHEREevent_type='view'GROUPBYpage_id,TUMBLE(event_time,INTERVAL'1'MINUTE);并行度：source并行度=Kafka分区数=20；窗口算子并行度=page_id哈希桶数=60；sink并行度=20；总并行度=60。49.（综合类，16分）某公司拟建设实时数仓，要求：1.支持秒级延迟的OLAP查询；2.支持离线修正；3.支持数据版本回滚；4.存储成本低于副本3倍。请给出技术选型、架构图文字描述、数据流说明、回滚方案。答案：技术选型：Kafka→Flink→DeltaLake(Parquet+S3)→Presto；架构：1.采集层：APP→LogServer→Kafka；2.计算层：FlinkKafkaSource→双流join→写入DeltaSink；3.存储层：DeltaLakeonS3，启用ZSTD压缩+ErasureCoding；4.查询层：PrestoonDelta；数据流：Kafka保留7天，FlinkCheckpoint30s，Delta按小时生成版本；离线修正：Spark批任务overwrite指定分区，Delta生成新版本；回滚：使用Delta时间旅行VERSIONASOF语法，Presto通过DeltaConnector指定版本号查询；成本：EC1.5倍，压缩比5:1，综合存储成本为原始0.3倍，低于3倍要求。50.（综合类，16分）某风控系统需实时检测异常转账，规则：1.同一用户10分钟内连续转账≥5次；2.单次金额≥1万元；3.累计金额≥10万元；4.收款账户首次出现。请给出FlinkCEP完整代码（Scala），包含模式定义、匹配后输出结构、侧输出流标记风险等级“高”。答案：caseclassTransfer(user_id:String,tx_id:String,amount:Double,ts:Long,payee:String)valenv=StreamExecutionEnvironment.getExecutionEnvironmentenv.setParallelism(8)valsource=env.addSource(newFlinkKafkaConsumer[String]("transfer",newSimpleStringSchema,kafkaProps)).map(JSON.parseObject).map(obj=>Transfer(obj.getString("user_id"),obj.getString("tx_id"),obj.getDouble("amount"),obj.getLong("ts"),obj.getString("payee"))).assignAscendingTimestamps(_.ts)valpattern:Pattern[Transfer,Transfer]=Pattern.begin[Transfer]("start").where(_.amount>=10000).followedBy("next").where(_.amount>=10000).timesOrMore(4).within(Time.minutes(10))valpatternStream=CEP.pattern(source.keyBy(_.user_id),pattern)valoutTag=OutputTag[String]("high-risk")valresult=patternStream.select(outTag){(pattern:Map[String,Iterable[Transfer]],ts:Long)=>{vallist=pattern.values.flatten.toList.sortBy(_.ts)valtotal=list.map(_.amount).sumvalpayees=list.map(_.payee).distinctif(total>=100000&&payees.size>=1)s"""{"user_id":"listelsenull}}(x=>x)result.getSideOutput(outTag).addSink(newFlinkKafkaProducer[String]("risk-alarm",newSimpleStringSchema,kafkaProps))env.execute("transfer-cep")六、设计题（共1题，30分）51.某视频平台日均新增原始日志5TB，保留30天，需支持：1.实时推荐特征更新（延迟<30s）；2.离线用户画像T+1更新；3.即席查询响应<3s；4.数据安全等级为三级，需脱敏。请给出完整数据生命周期设计，包括：a.技术组件选型与版本；b.分层模型（ODS→DWD→DWS→ADS）表结构示例（每层至少1表）；c.实时与离线链路数据流图文字描述；d.脱敏策略与加解密方案；e.资源估算与成本模型（服务器、存储、网络）。答案：a.组件：Kafka2.8、Flink1.16、DeltaLake2.3、