2026年高职(大数据技术与应用专业)大数据技术与应用综合技能测试题及答案

2026年高职(大数据技术与应用专业)大数据技术与应用综合技能测试题及答案1.单项选择题（每题1分，共20分）1.1在HDFS中，NameNode的主要职责是A.存储实际数据块B.管理文件系统元数据C.执行Map任务D.压缩数据答案：B1.2SparkCore默认的存储级别是A.MEMORY_ONLYB.MEMORY_AND_DISKC.DISK_ONLYD.OFF_HEAP答案：A1.3Kafka中保证分区消息顺序性的关键机制是A.ConsumerGroupB.PartitionLeaderC.Offset单调递增D.Zookeeper锁答案：B1.4Flink的Checkpoint机制基于以下哪种一致性协议A.Two-PhaseCommitB.Chandy-LamportC.PaxosD.Raft答案：B1.5在Hive中，以下哪种文件格式支持行级索引A.TextFileB.SequenceFileC.ORCD.CSV答案：C1.6HBase的Region分裂触发条件不包括A.文件大小超过阈值B.列族数量过多C.手动splitD.预分区策略答案：B1.7使用Sqoop将MySQL数据导入Hive时，--split-by参数的作用是A.指定目标表B.指定并行切分列C.指定压缩算法D.指定字符集答案：B1.8在Scala中，以下哪个操作符用于惰性连接两个RDDA.++B.unionC.cartesianD.zip答案：B1.9Elasticsearch默认的分片数配置项是A.index.number_of_shardsB.cluster.max_shardsC.node.shard.limitD.index.max_result_window答案：A1.10使用pandas读取10GBCSV文件时，最节省内存的做法是A.使用read_csv()并设置dtypeB.先压缩为zip再读取C.转换为Excel再读取D.使用pickle格式答案：A1.11在Airflow中，Sensor任务的状态机中，最终成功状态是A.successB.upstream_failedC.skippedD.sensing答案：A1.12以下哪种图算法适合发现社交网络中的“桥接”用户A.PageRankB.TriangleCountC.BetweennessCentralityD.ConnectedComponents答案：C1.13在YARN容量调度器中，队列资源抢占的默认超时是A.0msB.5000msC.15000msD.30000ms答案：C1.14使用Kettle将JSON文件写入Parquet时，核心步骤是A.JSONInput→HadoopFileOutputB.JSONInput→ParquetOutputC.JSONInput→SelectValues→ParquetOutputD.JSONInput→ModifiedJavaScript→ParquetOutput答案：C1.15在Prometheus的PromQL中，rate()函数要求指标类型为A.GaugeB.HistogramC.CounterD.Summary答案：C1.16若LSTM模型出现过拟合，以下调参策略无效的是A.增加dropoutB.减小batchsizeC.增加时间步长D.加入正则化答案：C1.17在AWSGlue中，用于定义ETL脚本的语言是A.JavaB.ScalaC.PySparkD.Ruby答案：C1.18使用DBSCAN聚类时，若minPts=5，ε=0.5，某点邻域内仅4个点，则该点被标记为A.核心点B.边界点C.噪声点D.簇中心答案：C1.19在Tableau中，将纬度字段拖至视图后默认的聚合方式是A.AVGB.COUNTDC.ATTRD.无聚合答案：D1.20根据《个人信息保护法》，处理敏感个人信息应当取得A.口头同意B.默示同意C.单独同意D.推定同意答案：C2.多项选择题（每题2分，共20分；多选少选均不得分）2.1下列属于Hadoop3.x新特性的有A.YARNFederationB.ErasureCodingC.NameNodeHAD.IntraDataNodeDiskBalancer答案：ABD2.2SparkSQL支持的数据源包括A.JDBCB.ParquetC.HiveD.MongoDB答案：ABCD2.3关于Flink的EventTime，正确的有A.需要指定TimestampAssignerB.必须搭配WatermarksC.允许乱序数据D.处理时间一定大于事件时间答案：ABC2.4以下哪些操作会触发RDD的宽依赖A.groupByKeyB.reduceByKeyC.distinctD.map答案：ABC2.5在HBase中，可用于RowKey设计的策略有A.加盐B.哈希C.反转D.预分区答案：ABCD2.6KafkaProducer的acks参数取值可为A.0B.1C.2D.all答案：ABD2.7使用TensorFlowServing部署模型时，必须提供的文件有A.saved_model.pbB.variables目录C.assets目录D.config.txt答案：ABC2.8以下属于数据质量维度的是A.准确性B.一致性C.及时性D.可解释性答案：ABC2.9在Linux中，可用于查看磁盘I/O实时情况的命令有A.iostatB.iotopC.vmstatD.top答案：ABC2.10根据GB/T35273-2020，个人信息控制者应当A.建立个人信息保护影响评估制度B.公布投诉渠道C.默认关闭个性化推送D.数据出境前进行安全评估答案：ABD3.填空题（每空1分，共20分）3.1HDFS默认块大小在Hadoop3.x中为________MB。答案：1283.2SparkContext的默认并发任务数由配置项________决定。答案：spark.default.parallelism3.3Flink中设置并行度的命令关键字为________。答案：setParallelism3.4Kafka的日志清理策略compact会保留相同key的________消息。答案：最新3.5Hive中，用于将查询结果插入本地目录的关键词是________。答案：local3.6HBase的底层存储文件格式是________。答案：HFile3.7Sqoop将数据导出到MySQL时，若目标表已存在，需加参数________。答案：--update-modeallowinsert3.8Elasticsearch集群发现机制默认使用________协议。答案：ZenDiscovery（7.x之前）或SeedHosts（7.x之后）3.9pandas中，将DataFrame转为稀疏矩阵的方法为________。答案：to_sparse()（≤1.1版本）或astype(“Sparse”)3.10Airflow的DAG文件必须包含的全局变量名为________。答案：dag3.11在Prometheus中，拉取目标配置位于________文件。答案：prometheus.yml3.12YARN中，负责资源隔离的子系统为________。答案：cgroups3.13LSTM的门控单元包括输入门、遗忘门和________。答案：输出门3.14使用sklearn的Pipeline时，最后一步必须是________对象。答案：estimator3.15Tableau计算字段中，返回当前系统时间的函数为________。答案：NOW()3.16AWSS3中，存储类________适用于每月访问一次的数据。答案：STANDARD_IA3.17Linux下，将文件权限设置为“属主可读写，其他人无权限”的数字模式是________。答案：6003.18在Python中，使用________库可实现协程级别的并发文件下载。答案：aiohttp3.19数据血缘的英文术语为________。答案：DataLineage3.20《数据安全法》正式施行日期为________年9月1日。答案：20214.判断题（每题1分，共10分；正确打“√”，错误打“×”）4.1Spark的Driver可以与Executor位于同一节点。答案：√4.2HDFS的NameNodeHA共享edits日志的介质必须是NFS。答案：×4.3Flink的Checkpoint屏障一定会导致数据延迟增大。答案：×4.4Kafka的ConsumerOffset只能存储于Zookeeper。答案：×4.5Hive的UDF必须继承org.apache.hadoop.hive.ql.exec.UDF。答案：√4.6HBase中列族数量越多，性能越好。答案：×4.7使用Grafana配置告警通道时支持Webhook。答案：√4.8在MongoDB中，分片键一旦指定不可修改。答案：√4.9数据湖只能存储结构化数据。答案：×4.10差分隐私技术通过加入噪声保护个体隐私。答案：√5.简答题（每题5分，共25分）5.1简述MapReduce中Shuffle阶段的具体流程，并指出优化Shuffle的两种常见手段。答案：Shuffle阶段包括Map端溢写、分区、排序、合并、Reduce端拷贝、归并排序。优化手段：1.调整io.sort.factor增大归并流数量；2.启用map端压缩减少网络传输量。5.2说明SparkSQL的Catalyst优化器的工作步骤。答案：1.解析SQL生成UnresolvedLogicalPlan；2.分析器结合Catalog解析为LogicalPlan；3.优化器基于规则（谓词下推、列裁剪等）优化；4.生成PhysicalPlan；5.选择最优物理计划执行。5.3列举Flink实现端到端Exactly-Once语义的三要素，并简要解释。答案：1.可重放Source（如Kafka支持offset重置）；2.状态一致性快照（Checkpoint）；3.幂等或两阶段提交Sink（如Pravega、Kafka事务Producer）。5.4写出HBaseRowKey设计的三条基本原则，并给出电商订单场景示例。答案：原则：1.唯一性；2.散列性避免热点；3.可逆性支持范围查询。示例：订单表RowKey=reverse(userId)+timestamp，既分散又支持按用户+时间范围扫描。5.5说明数据倾斜在Spark中的典型表现及两种缓解方案。答案：表现：某task耗时远大于其他，OOM或长时间卡在99%。方案：1.两阶段聚合（加盐局部聚合→去盐全局聚合）；2.将倾斜key单独处理，其余正常并行。6.应用题（共65分）6.1计算题（10分）某电商公司2025年“双11”产生120亿条订单明细，每条约0.8KB，需保存3份，HDFS块大小128MB，不考虑压缩，求理论最小存储块数。答案：总数据量=120×10^8×0.8KB=9.6×10^10KB=9.6×10^7MB冗余后=9.6×10^7×3=2.88×10^8MB块数=2.88×10^8÷128=2.25×10^6块答：225万块6.2分析题（15分）给出某Kafka集群参数：单broker磁盘1TB，保留7天，每秒写入3万条，平均每条1KB，副本因子2，求所需broker数下限，并指出瓶颈。答案：日数据量=30000×86400×1KB≈2.592×10^12KB≈2.47TB7天总量≈17.3TB副本后≈34.6TB单盘1TB，需盘数≥35，若单broker挂12盘，则broker≥⌈35/12⌉=3瓶颈：磁盘带宽与网络打满，需额外30%余量，建议5台。6.3综合设计题（20分）设计实时数仓链路：业务MySQL→实时采集→Kafka→Flink→Iceberg→Superset。要求：1.给出组件选型与版本；2.画出数据流图；3.说明Exactly-Once实现；4.列出监控指标。答案：1.选型：Debezium2.5→Kafka3.7→Flink1.18→Iceberg1.4→Superset3.02.图：MySQL→DebeziumCDC→KafkaTopic→FlinkSQL→Icebergtable→SupersetDatasource3.Flink启用Checkpoint30s，KafkaProducer事务提交；Iceberg通过FlinkSink两阶段提交。4.监控：Kafkalag、Flinkcheckpointduration、Icebergcommitlatency、Supersetqueryerrorrate。6.4编程题（20分）使用PySpark完成以下需求：读取HDFS目录/user/order/20261111下Parquet，过滤status=’paid’，按user_id分组求订单金额总和，将结果写入MySQL表paid_summary（user_id,total_amount），要求采用批量写入并指定5个分区。写出完整代码并注明关键配置。答案：```python