2026年大数据技术专升本真题及答案

2026年大数据技术专升本真题及答案1.单项选择题（每题2分，共20分）1.1在HDFS中，NameNode的主要职责是A.存储实际数据块B.维护文件系统元数据C.执行Map任务D.执行Reduce任务答案：B1.2下列哪一项不是Kafka的核心组件A.ProducerB.ConsumerC.BrokerD.JobTracker答案：D1.3Spark中RDD的窄依赖是指A.父RDD每个分区被子RDD多个分区使用B.父RDD每个分区被子RDD一个分区使用C.父RDD每个分区被缓存D.父RDD每个分区被持久化到磁盘答案：B1.4在Flink的时间语义中，EventTime是指A.数据进入Flink系统的时间B.数据被窗口算子处理的时间C.数据在源端产生的时间D.数据被Sink写出时间答案：C1.5HBase中RowKey设计的最佳实践不包括A.散列性B.有序性C.长度尽可能长D.业务可读性答案：C1.6下列关于数据仓库Hive的描述正确的是A.Hive支持行级更新B.Hive默认执行引擎为TezC.HiveQL最终会被编译成MapReduce任务D.Hive不支持分区表答案：C1.7在Elasticsearch中，文档不可变的根本原因是A.倒排索引不可更改B.段文件一旦生成即只读C.主分片数量不可变D.集群状态不可变答案：B1.8使用Scala编写Spark程序时，下列哪个操作是行动算子A.mapB.filterC.reduceByKeyD.collect答案：D1.9在数据治理成熟度模型DAMA-DMBOK中，最高级是A.初始级B.管理级C.优化级D.已定义级答案：C1.10下列关于数据湖的说法错误的是A.支持结构化与半结构化数据B.强调先建模后入湖C.通常采用对象存储D.与数据仓库互补而非替代答案：B2.多项选择题（每题3分，共15分，多选少选均不得分）2.1下列属于NoSQL数据库CAP定理中“分区容忍性”实现策略的有A.最终一致性B.读写分离C.多副本同步D.两阶段提交答案：A、B、C2.2在SparkSQL中，Catalyst优化器包含的优化阶段有A.逻辑计划优化B.物理计划生成C.代码生成D.磁盘块放置答案：A、B、C2.3关于Kafka的ConsumerGroup，以下说法正确的有A.组内每个分区只能被一个消费者实例消费B.组间广播消费C.组内再均衡由Coordinator负责D.消费者可以动态加入或退出答案：A、B、C、D2.4下列属于FlinkCheckpointing可靠性的保障机制有A.Barrier对齐B.异步快照C.幂等SinkD.预写日志答案：A、B、C、D2.5在数据安全领域，GDPR规定的数据主体权利包括A.被遗忘权B.数据可携权C.数据盈利权D.限制处理权答案：A、B、D3.填空题（每空2分，共20分）3.1HDFS默认块大小为________MB，在Hadoop3.x中可支持最大________GB。答案：128，103.2Spark中每个Executor分配的________数量决定了同一时刻可并行执行的________数量。答案：core，task3.3Flink的StateBackend中，________状态后端将工作状态存储在TaskManager内存，________状态后端将工作状态存储在RocksDB。答案：MemoryStateBackend，RocksDBStateBackend3.4在数据质量维度中，________指数据值与真实世界一致的程度，________指同一数据在不同位置保持一致的程度。答案：准确性，一致性3.5Kafka的________索引文件用于快速定位消息在.log文件中的物理偏移，文件扩展名为________。答案：offset，.index3.6Hive中，________函数用于将多行合并成一行，________子句用于实现行转列。答案：collect_list，LATERALVIEWexplode3.7Elasticsearch集群中，________节点负责集群元数据管理，________节点负责数据存储与检索。答案：Master，Data3.8在数据湖架构中，________层保存原始未经处理的原始数据，________层保存经过清洗、转换后的可信数据。答案：Bronze，Silver3.9数据血缘追踪通常采用________图模型，节点代表________，边代表依赖关系。答案：有向，数据实体3.10在Scala中，________关键字用于定义不可变变量，________关键字用于定义可变变量。答案：val，var4.判断题（每题1分，共10分，正确打“√”，错误打“×”）4.1SparkStreaming的DStream本质上是RDD的序列。答案：√4.2HBase中列族的数量越多，随机读性能越高。答案：×4.3Flink的TableAPI与DataStreamAPI可以相互转换。答案：√4.4Elasticsearch默认使用TF-IDF作为文本相似度评分算法。答案：√4.5Kafka的Producer发送消息时，若acks=0则一定不丢消息。答案：×4.6Hive的ORC文件格式支持谓词下推。答案：√4.7数据湖必须基于HadoopHDFS实现。答案：×4.8GDPR规定数据控制者必须在72小时内向监管机构报告数据泄露事件。答案：√4.9在Spark中，使用广播变量可以减少网络传输的冗余数据。答案：√4.10数据治理仅关注数据质量，不包括元数据管理。答案：×5.简答题（每题8分，共40分）5.1简述MapReduce中Shuffle阶段的具体流程，并指出其对性能影响最大的两个参数。答案：Shuffle阶段包括Map端溢写、分区、排序、合并、溢写文件归并，Reduce端拷贝、归并排序、分组。对性能影响最大的参数为io.sort.mb（Map端环形缓冲区大小）与mapreduce.reduce.shuffle.parallelcopies（Reduce端并行拷贝线程数）。5.2说明SparkSQL中CBO（基于代价优化）的统计信息收集方式，并给出两种触发收集的命令。答案：CBO依赖表/列的统计信息，包括行数、列基数、最大最小值、空值率等。收集命令：ANALYZETABLEtable_nameCOMPUTESTATISTICS;ANALYZETABLEtable_nameCOMPUTESTATISTICSFORCOLUMNScol1,col2;5.3列举HBaseRowKey设计的三条原则，并解释“热点效应”产生的原因。答案：原则：1.长度原则（不超过100字节）；2.散列原则（哈希、反转、盐值）；3.业务原则（可逆、可拼接）。热点效应：连续RowKey被写入同一Region，导致该RegionServer负载过高，形成写入热点。5.4解释Flink的“精确一次”语义实现机制，并说明Barrier对齐的作用。答案：通过异步Barrier快照+可重放Source+幂等Sink实现。Barrier作为特殊事件注入数据流，当算子收到Barrier即触发状态快照，对齐机制确保所有输入流的Barrier到达后才进行快照，保证状态一致性。5.5给出数据质量维度中的“及时性”定义，并写出一种量化指标公式。答案：及时性指数据从产生到可用的时间延迟。量化公式：Timeliness=max(0,1–(实际延迟时间–可接受延迟时间)/可接受延迟时间)，值域[0,1]，越接近1越及时。6.计算与分析题（共45分）6.1（10分）某电商公司使用Spark对1TB日志进行WordCount，集群共10节点，每节点4核16GB。已知HDFS块大小128MB，每个Map任务处理一个块，Reduce任务数设为200。（1）计算Map任务数；（2）若每个Map任务平均运行30秒，Reduce任务平均运行45秒，求理论最短作业完成时间（忽略Shuffle与调度延迟）。答案：（1）1TB=1024GB=1024×1024MB，块数=1024×1024/128=8192个Map任务。（2）Map阶段并行度=10×4=40，Map总时间=ceil(8192/40)×30=6150秒；Reduce阶段并行度=min(200,40)=40，Reduce总时间=ceil(200/40)×45=225秒；理论最短完成时间=max(6150,225)=6150秒。6.2（10分）给定KafkaTopic：order，分区数6，副本因子3，min.insync.replicas=2，Producer配置acks=all，retries=Integer.MAX_VALUE，enable.idempotence=true。（1）若某时刻ISR列表为[1,2,3]，Broker4宕机，是否影响写入？（2）若Broker1、2同时宕机，是否影响写入？答案：（1）Broker4不在ISR，且副本因子3，剩余ISR=3≥2，不影响写入。（2）ISR剩余[3]，数量=1<2，无法达到min.insync.replicas，写入失败，客户端抛NotEnoughReplicasException。6.3（12分）Flink作业消费Kafka，每秒10000条订单，窗口大小1分钟，滑动步长10秒，使用EventTime，WaterMark延迟5秒。（1）计算同时打开的窗口数量；（2）若某条数据EventTime=T，它会被哪些窗口包含？答案：（1）窗口长度60s，滑动10s，同时打开窗口=ceil(60/10)=6个。（2）窗口起始时间满足：T–5–60<start≤T–5，且startmod10=0，故start∈{T–5–50,T–5–40,…,T–5–10}，共6个窗口。6.4（13分）某HBase表存储用户画像，RowKey设计为“userId+timestamp”，预分区10个，Region按userId首字母哈希分布。（1）指出该设计的缺陷；（2）给出改进方案并计算新方案下Region数量；（3）说明如何使用Salting技术避免热点，并给出伪代码。答案：（1）缺陷：timestamp导致连续写入，热点集中在最新Region。（2）改进：将userId反转+哈希取模作为前缀，预分区按哈希范围均匀分布，Region数保持10即可。（3）Salting：取userId哈希后模10，拼接到RowKey前。伪代码：salt=(userId.hashCode()&Integer.MAX_VALUE)%10;rowkey=Bytes.toBytes(String.format("%01d_%s",salt,userId));7.综合设计题（共40分）7.1（20分）某省交通厅拟建设实时路况数据湖，日均接入车辆GPS轨迹2TB，保留30天，需支持实时拥堵预警（延迟≤5秒）、离线历史轨迹分析、数据血缘追踪、合规删除（GDPR）。要求：（1）画出整体架构图（文字描述即可），标注主要组件与数据流向；（2）给出分层设计（Bronze/Silver/Gold）各层格式、压缩、分区策略；（3）说明如何实现“合规删除”与“数据血缘”技术方案。答案：（1）架构：GPS终端→Kafka→FlinkCEP→Kafka（预警事件）+HudiDeltaStreamer→数据湖（Bronze/Silver/Gold）→Elasticsearch（实时检索）+SparkSQL（离线分析）+Atlas（血缘）+Ranger（权限）。（2）分层：Bronze：原始JSON，Snappy压缩，按天/小时分区，存储在OSS；Silver：经Flink清洗去重，Parquet列存，ZSTD压缩，按vehicle_id+日期分区，启用HudiMOR表，保留30天；Gold：聚合层，路段级5分钟粒度，ORC格式，BZIP2压缩，按路段+日期分区。（3）合规删除：Hudi支持RecordLevelDelete，通过GDPR作业扫描车辆ID，生成DeleteRecord写入Hudi，触发LogCompaction，物理删除在下次Compaction完成；AtlasHook捕获HudiCommit，记录血缘，Ranger提供API级数据定位，确保删除范围可追溯。7.2（20分）某银行搭建实时反欺诈系统，需秒级检测多笔交易中的“环形转账”模式（A→B→C→A）。要求：（1）给出基于FlinkCEP的检测逻辑（含Pattern定义、窗口、超时处理）；（2）说明状态后端选型与容量估算（日均交易5亿笔，状态需保留24小时）；（3）给出Exactly-Once端到端实现方案（Source为Kafka，Sink为MySQL）。答案：（1）Pattern：Pattern.<Transaction>begin("first").where(t->true).next("second").where(newIterativeCondition<Transaction>(){publicbooleanfilter(Transactiont,Contextctx){Transactionfirst=ctx.getEventsForPattern("first").iterator().next();returnt.