2026年大数据技术与应用职业资格考试试卷及答案

2026年大数据技术与应用职业资格考试试卷及答案一、单项选择题（每题1分，共20分。每题只有一个正确答案，请将正确选项字母填入括号内）1.在Hadoop生态中，负责资源管理与任务调度的组件是（）A.HDFS  B.YARN  C.MapReduce  D.Hive答案：B2.下列关于KafkaPartition的描述，正确的是（）A.一个Topic只能有一个PartitionB.Partition数量一旦创建不可修改C.同一Partition内消息严格有序D.ConsumerGroup内每个Consumer可重复消费同一Partition答案：C3.SparkRDD的宽窄依赖划分中，属于宽依赖的操作是（）A.map  B.filter  C.union  D.groupByKey答案：D4.在Flink的时间语义中，EventTime是指（）A.数据进入Flink系统的时间B.数据在Source产生的原始时间戳C.窗口触发计算的时间D.数据被Sink写出时间答案：B5.使用HBaserowkey设计时，为避免热点应优先采用（）A.自增Long  B.哈希前缀+时间戳  C.逆序时间戳  D.固定字符串答案：B6.在数据仓库分层模型中，DWD层主要完成（）A.原始数据保留  B.明细数据清洗与规范化  C.维度建模  D.面向应用汇总答案：B7.某电商表user_order(order_id,user_id,sku_id,amt,dt)，计算每个用户2025年累计消费金额，SQL正确的是（）A.SELECTuser_id,SUM(amt)FROMuser_orderWHEREdt>='2025-01-01'GROUPBYuser_idB.SELECTuser_id,SUM(amt)FROMuser_orderWHEREYEAR(dt)=2025C.SELECTuser_id,SUM(amt)FROMuser_orderGROUPBYuser_idD.SELECTuser_id,COUNT(amt)FROMuser_orderWHEREdtBETWEEN'2025-01-01'AND'2025-12-31'答案：A8.在数据质量评估指标中，反映“同一字段在不同系统取值一致”的指标是（）A.完整性  B.一致性  C.唯一性  D.及时性答案：B9.使用PySpark将DataFramedf写入Parquet分区表，按dt分区且采用覆盖模式，正确语句是（）A.df.write.mode("append").partitionBy("dt").parquet(path)B.df.write.mode("overwrite").partitionBy("dt").parquet(path)C.df.saveAsTable("t",mode="overwrite",partitionBy="dt")D.df.write.insertInto("t",overwrite=True)答案：B10.在Elasticsearch中，对text字段执行精确匹配查询应使用的检索方式是（）A.term  B.match  C.match_phrase  D.query_string答案：A11.某集群每日新增100GB文本日志，保存90天，采用LZO压缩比3:1，则存储量约为（）A.300GB  B.900GB  C.3TB  D.9TB答案：C12.在数据脱敏场景，将手机为138****5678，属于（）12.在数据脱敏场景，将手机为138****5678，属于（）A.掩码  B.哈希  C.加密  D.令牌化答案：A13.根据GDPR，数据主体行使“被遗忘权”时，数据控制者完成删除最长不得超过（）A.7天  B.15天  C.30天  D.90天答案：C14.在SparkSQL中，将两个DataFrame按user_id外连接并保留左表全部记录，应使用（）A.join(df2,Seq("user_id"),"inner")B.join(df2,Seq("user_id"),"left")C.join(df2,Seq("user_id"),"right")D.union(df2)答案：B15.下列算法中，常用于文本主题建模的是（）A.K-means  B.DBSCAN  C.LDA  D.Apriori答案：C16.在AWS云平台中，托管Hadoop服务称为（）A.Redshift  B.EMR  C.Kinesis  D.Glue答案：B17.某模型AUC从0.81提升到0.83，其业务解释最合理的是（）A.模型预测误差降低约2%B.正样本排序能力改善，但需结合阈值综合评估C.准确率一定提高D.召回率一定下降答案：B18.在Scala中，以下哪个是不可变集合（）A.ArrayBuffer  B.List  C.Array  D.HashMap答案：B19.在数据治理成熟度模型中，第4级“量化管理”特征不包括（）A.数据质量KPI量化  B.数据资产货币化  C.数据质量自动修复  D.数据质量报告定期发布答案：C20.某流处理任务并行度为8，KafkaTopic有16Partition，Flink默认消费组并行度为（）A.8  B.16  C.1  D.32答案：A二、多项选择题（每题2分，共20分。每题有两个或两个以上正确答案，多选、少选、错选均不得分）21.下列属于HDFS高可用机制组成的有（）A.JournalNode  B.ZKFC  C.NameNode  D.DataNode  E.ResourceManager答案：ABC22.关于SparkStreaming+Kafka集成，下列说法正确的有（）A.DirectAPI由Driver定期查询Kafka偏移量B.Receiver模式需要WAL保证零丢失C.Direct模式并行度与KafkaPartition数量无关D.从Kafka0.10开始推荐使用Direct模式E.手动维护偏移量可实现Exactly-Once答案：ABDE23.以下属于列式存储格式的有（）A.ORC  B.Parquet  C.Avro  D.JSON  E.CarbonData答案：ABE24.在数据血缘追踪中，自动采集元数据的技术包括（）A.SQL解析  B.Hook探针  C.日志扫描  D.手动登记  E.爬虫抓取答案：ABC25.以下属于FlinkCheckpoint组成部分的有（）A.Barrier  B.StateSnapshot  C.WAL  D.ACK  E.Savepoint答案：AB26.关于数据倾斜，常用优化手段有（）A.两阶段聚合  B.增加并行度  C.随机前缀打散  D.使用map-sidejoin  E.提高JVM堆内存答案：ACD27.以下属于NoSQL数据库的有（）A.MongoDB  B.Cassandra  C.Neo4j  D.HBase  E.PostgreSQL答案：ABCD28.在机器学习特征工程中，处理高基数类别变量可采用（）A.One-hotencoding  B.Targetencoding  C.Embedding  D.Hashingtrick  E.StandardScaler答案：BCD29.以下属于数据安全等级保护2.0“安全区域边界”要求的有（）A.边界防护  B.访问控制  C.入侵防范  D.可信验证  E.安全审计答案：ABCE30.在DataOps核心实践里，包含（）A.持续集成  B.环境隔离  C.自动化测试  D.敏捷治理  E.数据自服务答案：ABCE三、填空题（每空2分，共20分）31.Hadoop3.x默认的HDFS块大小为________MB。答案：12832.Spark中，设置RDD缓存到内存且采用序列化存储的算子是________。答案：persist(StorageLevel.MEMORY_ONLY_SER)33.KafkaConsumer提交偏移量的接口有两种：自动提交和________提交。答案：手动（或同步/异步）34.Flink窗口函数中，对连续区间按事件时间每5分钟统计一次，应使用________窗口。答案：TumblingEventTimeWindows35.在Hive中，将字符串'2025-06-20'转换为日期类型的函数是________。答案：to_date()36.Elasticsearch默认集群名称是________。答案：elasticsearch37.数据仓库缓慢变化维类型2通过增加________字段保留历史版本。答案：代理键（或surrogatekey）38.在Pythonpandas中，对DataFramedf按列col降序排列并取前10行，语句为________。答案：df.sort_values('col',ascending=False).head(10)39.某表列c存储JSON字符串，MySQL8.0提取字段name的函数为________。答案：JSON_EXTRACT(c,'$.name')40.数据治理元数据国家标准GB/T34963-2017将元数据分为业务元数据、技术元数据和________元数据。答案：管理四、判断题（每题1分，共10分。正确打“√”，错误打“×”）41.HDFSNameNode的fsimage文件保存了块与DataNode的实时映射关系。  答案：×42.SparkSQL的catalyst优化器支持基于代价的优化。  答案：√43.Kafka的ISR列表中，只要Leader存活即可保证消息不丢失。  答案：×44.Flink的Checkpoint机制依赖外部系统如HDFS用于存储状态快照。  答案：√45.HiveonTez执行引擎支持DAG级优化，性能优于MapReduce。  答案：√46.在数据挖掘中，提升度（Lift）大于1表示规则前后项负相关。  答案：×47.使用Z-Score标准化后，变量均值一定为0，方差一定为1。  答案：√48.MongoDB默认写入级别为acknowledged，可保证写入到Primary即返回成功。  答案：√49.数据备份策略中，差异备份耗时一定比增量备份短。  答案：×50.在深度学习框架TensorFlow2.x中，tf.keras.metrics.AUC默认采用梯形法则计算面积。  答案：√五、简答题（每题10分，共30分）51.（封闭型）简述MapReduce中Shuffle阶段的具体流程，并指出其性能瓶颈点。答案：Shuffle指从Map输出到Reduce输入的完整数据搬运过程，包括：（1）Map端：分区（Partitioner）、内存缓冲区（环形缓冲区80%阈值）、溢写（Spill）、合并（Combiner可选）、压缩（可选），生成多个溢写文件，最终合并为一个大文件并建立索引。（2）Reduce端：通过HTTP拉取（Fetcher）各自分区的数据，对多个Map输出进行归并排序（MergeSort），按key分组后送入Reduce函数。性能瓶颈：1.磁盘IO频繁：溢写、归并产生大量磁盘读写；2.网络带宽：跨节点拉取数据；3.内存压力：缓冲区不足导致频繁溢写；4.排序开销：全局排序在数据量大时成为CPU热点；5.小文件过多：Merge阶段打开文件句柄数高，触发系统限制。52.（开放型）某省政务大数据平台需整合公安、社保、税务、交通四部门数据，形成自然人综合库。请从数据标准、数据质量、数据安全、共享机制四个维度提出治理方案，并给出落地优先级。答案：1.数据标准：制定《自然人基础数据规范》，统一身份证为唯一主键，定义姓名、性别、出生日期等公共字段标准格式、代码集；建立省标与国标映射表；采用UTF-8编码；发布元数据注册库，强制新增系统注册。2.数据质量：构建质量规则库：身份证18位校验、姓名非空且不含数字、出生日期与身份证一致、多部门地址标准化冲突检测；部署实时+离线质检引擎，异常数据进入待整改区，整改率纳入部门KPI；引入区块链存证，确保整改过程可追溯。3.数据安全：按等保2.0三级要求，划分安全域，边界部署防火墙、IPS、API网关；敏感字段（身份证、住址）采用国密SM4加密+格式保持脱敏；建立数据分级分类，涉密数据走加密隧道；引入零信任架构，动态权限由统一身份认证平台（IAM）下发；所有访问日志接入省大数据局审计中心，保存不少于6个月。4.共享机制：采用“目录+需求”双清单模式，部门发布资源目录，使用者在线申请；通过省数据共享交换平台以API、库表、文件三种方式提供服务；建立共享协议模板，明确用途、范围、周期、责任；对高价值数据采用“以数换数”激励机制，鼓励数据反哺。落地优先级：阶段1（0-3个月）：标准制定+目录梳理；阶段2（3-6个月）：安全基线+质检规则上线；阶段3（6-12个月）：共享流程+运营考核；阶段4（12个月后）：区块链存证+数据资产货币化探索。53.（封闭型）说明Flink实现端到端Exactly-Once语义的三要素，并给出Kafka→Flink→HDFS管道的两阶段提交步骤。答案：三要素：1.可重放数据源（如Kafka支持按偏移量重放）；2.状态一致性快照（Checkpoint）；3.输出端支持事务或幂等写。两阶段提交步骤：（1）预提交：FlinkCheckpointCoordinator触发Barrier，各算子完成状态快照并调用HDFSSink的preCommit，将数据以.temp后缀写入临时文件，并持久化偏移量到外部存储；（2）提交：当所有算子反馈OK后，Coordinator发出commit指令，Sink将.temp文件rename为正式文件（原子操作），并向Kafka提交消费偏移量；若任一节点失败，触发abort，删除.temp文件，回滚到上一次成功Checkpoint，实现端到端Exactly-Once。六、应用题（共50分）54.计算题（10分）某电商公司2025年“618”大促，0点-2点订单表order(order_id,user_id,sku_id,price,qty,order_time)共4亿条记录，平均每条120Byte。现需使用SparkSQL计算每小时销售额、订单量，并找出每小时内Top100热销商品。集群配置：10节点，每节点16核64GB，HDD4×6TB。（1）估算输入数据量（GB），并给出合理的RDD缓存策略。（2）写出核心SQL及调优参数。答案：（1）120Byte×4×10^8≈48GB；考虑中间膨胀（分组、排序），缓存采用MEMORY_AND_DISK_SER，cache()前执行filter与select，减少70%体积。（2）SQL：```sqlSELECThour(order_time)ashr,sku_id,SUM(priceqty)asgmv,SUM(priceqty)asgmv,COUNT()asord_cntCOUNT()asord_cntFROMorderWHEREorder_timeBETWEEN'2025-06-1800:00:00'AND'2025-06-1802:00:00'GROUPBYhour(order_time),sku_id```Top100：```sqlSELECTFROM(SELECTFROM(SELECT,ROW_NUMBER()OVER(PARTITIONBYhrORDERBYgmvDESC)asrnFROMtmpSELECT,ROW_NUMBER()OVER(PARTITIONBYhrORDERBYgmvDESC)asrnFROMtmp)tWHERErn<=100```调优：spark.sql.shuffle.partitions=200；spark.sql.adaptive.enabled=true；spark.serializer=org.apache.spark.serializer.KryoSerializer；spark.default.parallelism=160；spark.executor.memory=8g；spark.executor.cores=4；启用动态资源分配。55.分析题（15分）给定用户行为表user_log(user_id,event_type,event_ts,page_id,device_id)，需计算次日留存率（D1Retention）。（1）给出基于SQL的精确计算逻辑（支持MySQL8.0）。（2）若表每日新增20亿条、保存30天，指出性能瓶颈，并给出基于Hive+Tez的优化方案。答案：（1）```sqlWITHfirst_loginAS(SELECTuser_id,MIN(DATE(event_ts))asftFROMuser_logWHEREevent_type='launch'GROUPBYuser_id),second_dayAS(SELECTDISTINCTuser_id,DATE(event_ts)asdtFROMuser_logWHEREevent_type='launch')SELECTa.ftasreg_dt,COUNT(DISTINCTa.user_id)asreg_users,COUNT(DISTINCTb.user_id)asret_users,ROUND(COUNT(DISTINCTb.user_id)/COUNT(DISTINCTa.user_id),4)asd1_retentionFROMfirst_loginaLEFTJOINsecond_daybONa.user_id=b.user_idANDb.dt=DATE_ADD(a.ft,INTERVAL1DAY)GROUPBYa.ft```（2）瓶颈：20亿×30≈600亿行，全表扫描+去重耗CPU/IO；Shuffle数据量大；Join倾斜。优化：1.分区：按dt分区，每日20亿行拆分为512个桶（bucket），减少扫描；2.预聚合：新建dws_user_first_launch表，每日ETL计算新增用户，降低重复计算；3.MapJoin：second_day表过滤后小于500MB，采用map-sidejoinhint；4.列式+压缩：ORC+ZLIB，压缩比8:1；5.执行引擎：Tez+向量化读取，开启LLAP；6.统计信息：ANALYZETABLE收集rowcount，优化器选择BroadcastJoin。56.综合设计题（25分）某市交通局拟建设“智慧交通实时监测平台”，需求：1.接入1.2万辆出租车GPS，频率30s/条，峰值QPS4万；2.接入500个道路卡口视频流，每路1Mbps，需实时识别车牌；3.实时统计任意路段5分钟内的车流量、平均速度；4.支持离线查询近90天轨迹；5.系统需支持等保三级、灾备RPO<5min、RTO<30min。请给出总体技术架构（图示+文字），并详细说明：（1）数据采集层技术选型与并发能力估算；（2）流计算框架选型及窗口设计；（3）存储层选型与分层模型；（4）视频结构化处理方案；（5）高可用与灾备设计。答案：（1）采集层：出租车GPS采用MQTToverTLS，部署LVS+Keepalived+EMQX集群（10节点，每节点20万并发），总承载40万并发，满足4万QPS；卡口视频采用RTMP推流到省边缘节点，使用Nginx+RTMPModule转码成H.264，再送入KafkaTopic：traffic_vide