2026年继续教育公需科目大数据技术及应用试题及答案

2026年继续教育公需科目大数据技术及应用试题及答案一、单项选择题（每题1分，共20分。每题只有一个正确答案，请将正确选项的字母填在括号内）1.下列哪一项最能准确描述大数据的“4V”特征中的“Velocity”？A.数据体量巨大B.数据类型繁多C.数据产生与处理速度快D.数据价值密度低答案：C2.在Hadoop生态中，负责资源管理与任务调度的组件是：A.HDFSB.MapReduceC.YARND.Hive答案：C3.某电商公司每日新增订单数据约50TB，若采用HDFS三副本策略，则实际存储量约为：A.50TBB.100TBC.150TBD.200TB答案：C4.SparkCore默认的存储级别是：A.MEMORY_ONLYB.MEMORY_AND_DISKC.DISK_ONLYD.OFF_HEAP答案：A5.在Kafka中，负责持久化消息并以顺序写方式保证高吞吐量的组件是：A.ProducerB.ConsumerC.BrokerD.ZooKeeper答案：C6.下列算法中，最适合在MapReduce框架下实现“迭代直到收敛”场景的是：A.K-MeansB.AprioriC.PageRankD.SVM答案：C7.某企业使用HBase存储用户画像，RowKey设计为“userId+timestamp”，若大部分查询为“最近7天”范围扫描，则最易产生的性能问题是：A.热点写B.热点读C.全表扫描D.列族膨胀答案：A8.在Flink的Checkpoint机制中，用于实现“精确一次”语义的核心技术是：A.幂等写B.两阶段提交C.异步快照D.事件时间答案：B9.下列关于数据湖的说法，错误的是：A.原始数据先清洗后入湖B.支持结构化与非结构化数据共存C.通常采用对象存储作为底层D.计算存储分离答案：A10.某省政务共享交换平台采用“数据分级分类”策略，其中“一级敏感”数据加密算法优先选择：A.DESB.3DESC.AES-128D.AES-256答案：D11.在SparkSQL中，将DataFrame注册为临时视图的API是：A.cache()B.createOrReplaceTempView()C.persist()D.registerTable()答案：B12.下列关于数据倾斜的解决方案，属于“两阶段聚合”思想的是：A.增加reduce并行度B.局部聚合+全局聚合C.使用随机前缀D.使用Combiner答案：B13.某市交通卡口每秒过车约3万条，若采用Kafka做缓冲，单分区最大吞吐1万条/秒，则至少需要的分区数为：A.1B.2C.3D.4答案：C14.在Elasticsearch中，用于实现近实时搜索的底层数据结构是：A.B+树B.LSM树C.倒排索引D.哈希索引答案：C15.下列关于数据血缘（DataLineage）的描述，正确的是：A.只能记录表级依赖B.无法捕获SQL中的where条件C.可用于影响分析与溯源D.不适用于实时流计算答案：C16.某金融公司采用“Lambda架构”，其SpeedLayer主要使用：A.HiveB.SparkStreamingC.MySQLD.HDFS答案：B17.在数据质量管理框架中，用于衡量“同一主键在不同系统出现次数不一致”的指标是：A.完整性B.一致性C.唯一性D.及时性答案：C18.下列关于ZooKeeper的说法，正确的是：A.采用Paxos算法B.临时节点在客户端断开后自动删除C.所有节点均可写D.不支持监听机制答案：B19.某运营商使用FlinkCEP检测“5分钟内同一用户连续失败10次”的异常登录，其关键配置是：A.滑动窗口+Pattern.where()B.会话窗口+Pattern.times()C.滚动窗口+Pattern.followedBy()D.全局窗口+Pattern.until()答案：B20.在数据资产目录中，用于描述“字段业务含义”的元数据属于：A.技术元数据B.操作元数据C.管理元数据D.业务元数据答案：D二、多项选择题（每题2分，共20分。每题有两个或两个以上正确答案，多选、少选、错选均不得分）21.下列属于NoSQL数据库的有：A.MongoDBB.HBaseC.Neo4jD.Oracle答案：A、B、C22.在Spark中，可能导致Shuffle的操作包括：A.groupByKeyB.reduceByKeyC.mapD.distinct答案：A、B、D23.关于数据仓库与数据湖的差异，正确的有：A.数据仓库采用写时模式B.数据湖采用读时模式C.数据仓库更适合探索性分析D.数据湖存储原始数据答案：A、B、D24.下列属于FlinkTimeCharacteristics的有：A.ProcessingTimeB.EventTimeC.IngestionTimeD.WindowTime答案：A、B、C25.在HDFS的写入流程中，客户端需要与以下哪些节点交互：A.NameNodeB.DataNodeC.SecondaryNameNodeD.JournalNode答案：A、B26.下列关于数据脱敏的说法，正确的有：A.掩码规则需可逆B.需保持数据业务特征C.需支持动态脱敏D.需记录脱敏算法版本答案：B、C、D27.在Kafka中，以下哪些命令可以查看topic的消息条数：A.kafka-console-consumer.shB.kafka-run-class.shkafka.tools.GetOffsetShellC.kafka-topics.sh--describeD.kafka-consumer-groups.sh答案：B、D28.下列属于数据治理核心域的有：A.元数据管理B.主数据管理C.数据标准管理D.数据生命周期管理答案：A、B、C、D29.在SparkMLlib中，属于分类算法的包括：A.RandomForestClassifierB.LogisticRegressionC.KMeansD.NaiveBayes答案：A、B、D30.下列关于数据资产估值的方法，属于成本法的包括：A.重置成本B.市场对比C.折旧摊销D.数据维护成本答案：A、C、D三、填空题（每空1分，共20分）31.Hadoop3.x之后，YARN支持的最大内存默认单位是________MB。答案：102432.在Spark中，RDD的五大属性包括partitioner、preferredLocations、________、________、________。答案：dependencies、partitioner、checkpointData、storageLevel、iteratorSplit33.HBase中，用于管理Region生命周期的进程名称是________。答案：HMaster34.Flink的Checkpoint屏障（Barrier）由________注入到数据流。答案：JobManager35.Kafka的consumer采用________方式实现负载均衡。答案：分区再均衡（Rebalance）36.数据质量维度中，衡量“数据是否及时到达”的指标简称________。答案：时效性37.在Elasticsearch的DSL查询中，用于实现模糊匹配的参数为________。答案：fuzziness38.数据仓库分层模型中，用于存放经过轻度汇总数据的一层通常称为________层。答案：DWS（数据服务层）39.在数据治理成熟度模型中，最高级别称为________级。答案：优化（Optimized）40.我国《数据安全法》正式实施日期为________年9月1日。答案：2021四、判断题（每题1分，共10分。正确打“√”，错误打“×”）41.Spark的Driver程序可以与Executor位于同一JVM内。答案：√42.HBase的Cell版本号默认使用系统当前毫秒时间戳。答案：√43.Kafka的Producer发送消息时，若未指定partition，则随机选择。答案：×（采用轮询或粘性策略）44.Flink的Watermark机制可以保证事件时间窗口的完整性。答案：√45.数据湖必须基于HadoopHDFS构建。答案：×46.在数据脱敏中，哈希函数属于可逆算法。答案：×47.ZooKeeper的ZAB协议与Paxos协议完全等价。答案：×48.Elasticsearch默认分片数一旦创建不可修改。答案：√49.数据资产目录必须包含字段级血缘信息。答案：×50.我国《个人信息保护法》将“敏感个人信息”与“重要数据”视为同一概念。答案：×五、简答题（共30分）51.（封闭型，6分）简述MapReduce中“Shuffle”阶段的具体流程，并指出其性能瓶颈。答案：（1）Map端：每个Map任务将输出结果根据partition策略写入环形内存缓冲区，当缓冲比例达阈值（默认80%）触发溢写，生成溢写文件，并进行分区、排序、合并（combiner可选）。（2）Reduce端：通过HTTP拉取各自分区的数据，进行归并排序，最终生成有序输入。性能瓶颈：磁盘IO频繁、网络拉取数据量大、排序耗时、内存压力大。52.（开放型，8分）某省卫健委拟建设“健康医疗大数据平台”，需整合医院、疾控、医保、社康等多源异构数据。请从数据治理角度提出三条关键策略，并说明落地难点。答案：策略1：建立统一主数据标准，以居民健康卡号为主键，制定代码集、值域、语义规则；难点在于历史系统改造阻力大，业务部门协同难。策略2：构建元数据与血缘平台，自动抽取ETL脚本、API、报表的字段级血缘；难点在于脚本不规范、闭源系统无法解析。策略3：实施分级分类安全治理，对敏感字段采用动态脱敏与加密存储；难点在于性能损耗、密钥管理复杂、合规审计成本高。53.（封闭型，6分）写出Flink实现“5分钟内订单金额超过1000元且订单数大于5笔”的CEP核心代码片段（Java或Scala均可），并指出使用的窗口类型。答案：```scalavalpattern=Pattern.begin[Order]("start").where(_.amount>0).times(6).consecutive.within(Time.minutes(5))valpatternStream=CEP.pattern(orderStream.keyBy(_.userId),pattern)valalertStream=patternStream.select(pattern=>{valsum=pattern.get("start").map(_.amount).sumvalcnt=pattern.get("start").size(pattern.get("start").head.userId,sum,cnt)}).filter(_._2>1000)```窗口类型：事件时间会话窗口（通过within实现）。54.（开放型，10分）某视频平台每日产生500亿条用户行为日志，需支持秒级实时推荐与离线模型训练。请设计一套“流批一体”架构，说明技术选型、数据分层、一致性保障及资源隔离方案。答案：（1）技术选型：采集层使用Kafka+Flume；流计算使用Flink（事件时间+Watermark+Checkpoint）；批计算使用Spark；存储层使用HDFS+Iceberg构建湖仓一体；在线服务使用Redis+Elasticsearch。（2）数据分层：ODS保留原始日志，DWD清洗去重，DWS汇总用户分钟级特征，ADS输出实时特征向量。（3）一致性：Iceberg通过快照隔离保证流批读写一致；Flink两阶段提交写入Iceberg；Redis采用幂等写。（4）资源隔离：YARN队列划分实时、离线、模型训练三级队列，采用DominantResourceFairness策略；FlinkonKubernetes单独集群，避免抢占；网络层面通过VPC子网隔离。六、应用题（共50分）55.（计算类，15分）某电商公司使用SparkSQL对订单表order_detail（字段：order_id,user_id,sku_id,price,qty,order_date）进行统计，需求：计算2025年11月每个用户购买金额排名，输出用户ID、总金额、排名，且只保留前1%用户（四舍五入）。（1）写出完整SQL；（2）若表数据量900亿行，采用ORC+ZLIB压缩，平均压缩比4:1，估算扫描数据量（GB）；（3）若集群单核吞吐2MB/s，给出估算CPU核·时。答案：（1）SQL：```sqlWITHamtAS(SELECTuser_id,SUM(priceqty)AStotal_amtSELECTuser_id,SUM(priceqty)AStotal_amtFROMorder_detailWHEREorder_dateBETWEEN'2025-11-01'AND'2025-11-30'GROUPBYuser_id),rankedAS(SELECTuser_id,total_amt,ROW_NUMBER()OVER(ORDERBYtotal_amtDESC)ASrn,COUNT()OVER()AScntCOUNT()OVER()AScntFROMamt)SELECTuser_id,total_amt,rnFROMrankedWHERErn<=ROUND(cnt0.01)WHERErn<=ROUND(cnt0.01)ORDERBYrn;```（2）扫描数据量：900亿行≈900×120字节≈10800GB原始文本；压缩后10800/4=2700GB。（3）CPU核·时：2700GB≈2700×1024MB；单核2MB/s→需1382400秒≈384核·时。56.（分析类，15分）某市交通局采集出租车GPS点，字段：vehicle_id,longitude,latitude,speed,gps_time。需求：检测“车辆连续30秒速度为0且经纬度变化小于0.0001度”的疑似趴窝事件，并去重（同一车辆5分钟内仅报一次）。给出Flink完整实现思路（含关键算子、状态设计、去重策略）。答案：（1）源：Kafka消费GPS流，提取事件时间，生成WaterMark（允许乱序5秒）。（2）keyBy(vehicle_id)，使用KeyedProcessFunction，状态存储：ValueState<Long>lastAlertTs；ListState<GpsPoint>buffer；（3）processElement：将点加入buffer，注册30秒事件时间定时器；（4）onTimer：遍历buffer，若所有点speed=0且经纬度变化<0.0001度，则判定趴窝；若lastAlertTs为空或当前时间lastAlertTs>5分钟，则输出并更新lastAlertTs；（5）buffer清理：使用TimerService注册cleanTimer，保留最近35秒数据；（6）侧输出流：将报警写入Kafka，供下游短信平台消费。57.（综合类，20分）某大型央企集团拟建设“集团级数据中台”，需整合ERP、MES、CRM、IoT等120套系统，数据量PB级