2026年大数据分析工程师技术操作考试试题及答案

2026年大数据分析工程师技术操作考试试题及答案一、单项选择题（每题2分，共20分）1.在Hadoop生态中，负责资源调度与任务管理的组件是A.HDFS  B.YARN  C.MapReduce  D.Hive答案：B2.下列Spark算子中，属于行动（Action）类型的是A.map  B.filter  C.reduceByKey  D.count答案：D3.在Kafka2.8版本之后，可替代ZooKeeper实现元数据自管理的特性名称是A.KRaft  B.Quorum  C.Raft-K  D.MetaStore答案：A4.使用FlinkCEP库检测“连续三次登录失败”事件时，核心需要定义的抽象是A.Pattern  B.Window  C.Trigger  D.Evictor答案：A5.在HBase中，可用于快速定位Region所在RegionServer的元数据表是A..META.  B.-ROOT-  C.hbase:meta  D.zookeeper:/hbase/rs答案：C6.若某Hive表的分区字段为dt（string），查询2025年10月全部数据，最高效的写法是A.wheredtlike'2025-10%'B.wheresubstr(dt,1,7)='2025-10'C.wheredtbetween'2025-10-01'and'2025-10-31'D.whereyear(dt)=2025andmonth(dt)=10答案：C7.在Presto中，对ORC格式的表进行谓词下推优化，需开启的会话属性是A.pushdown_enabled  B.orc_predicate_pushdown_enabledC.hive.orc_predicate_pushdown  D.optimizer.orc_pushdown答案：C8.使用Pythonpandas读取一个10GBCSV文件，内存不足报错，最合理的替代方案是A.使用read_csv参数nrows分批读取B.使用modin.pandas替代pandasC.使用pyarrow.dataset进行内存映射D.以上均可答案：D9.在Airflow中，负责周期性调度DAG的核心进程是A.WebServer  B.Scheduler  C.Worker  D.Flower答案：B10.某模型在测试集上的混淆矩阵如下，则其F1-score为预测1 0真18020真01090A.0.84  B.0.87  C.0.89  D.0.91答案：A解析：Precision=80/(80+10)=0.8889，Recall=80/(80+20)=0.8，F1=2PR/(P+R)=0.8421二、多项选择题（每题3分，共15分，多选少选均不得分）11.关于Parquet列式存储格式，下列说法正确的有A.支持嵌套数据模型  B.支持多种编码及压缩算法C.与Avro相比，Schema演化更灵活  D.支持谓词下推答案：ABD12.在SparkStructuredStreaming中，以下可作为Sink端的有A.Kafka  B.Console  C.Memory  D.Hive答案：ABCD13.使用Elasticsearch进行聚合分析时，以下属于Metrics聚合的有A.Terms  B.Cardinality  C.Percentiles  D.Tophits答案：BCD14.关于数据湖Iceberg，下列特性正确的有A.支持ACID事务  B.支持行级更新删除C.支持隐藏分区  D.仅支持Spark引擎答案：ABC15.在Kubernetes上部署Flink作业，需自定义的资源对象包括A.FlinkDeployment  B.JobManager  C.TaskManager  D.ConfigMap答案：AD三、填空题（每空2分，共20分）16.在Linux中，查看当前文件夹下各子目录磁盘占用大小的命令是________。答案：du-h--max-depth=117.SparkSQL中，将DataFrame注册为临时视图的函数是________。答案：createOrReplaceTempView18.MySQL8.0中，支持原生JSON数据类型的二进制存储格式名称是________。答案：JSON19.在Flink的时间语义中，________时间能够保证在乱序场景下的精确一次性计算。答案：事件（EventTime）20.HDFS默认块大小在Hadoop3.x中为________MB。答案：12821.在Python中，使用________库可以实现对GBDT模型的SHAP值解释。答案：shap22.若某KafkaTopic有5个分区，ConsumerGroup内有7个消费者，最多同时有________个消费者可分配到分区。答案：523.在Airflow的DAG文件中，用于定义任务依赖的位运算符是________。答案：>>24.在ClickHouse中，对MergeTree表进行去重查询应使用________关键字。答案：DISTINCT（或FINAL，视场景）25.在PromQL中，计算过去5分钟CPU平均使用率的表达式为________。答案：rate(cpu_seconds_total[5m])四、判断题（每题1分，共10分，正确打“√”，错误打“×”）26.HDFSNameNode的内存大小与文件数量无关，仅与副本数有关。答案：×27.Spark的RDD一旦生成，其分区数量不可改变。答案：×28.Kafka的ConsumerOffset可以存储在Kafka内部主题__consumer_offsets中。答案：√29.在Hive中，使用ORC格式比TextFile格式更节省存储且查询更快。答案：√30.Flink的Checkpoint机制依赖于外部持久化存储，如HDFS或S3。答案：√31.Elasticsearch默认使用TF-IDF作为相关性评分算法。答案：√（7.x之前，之后默认BM25）32.在Presto中，可以跨多个Catalog进行JOIN查询。答案：√33.ClickHouse的ReplacingMergeTree引擎会在后台自动删除重复数据，无需用户干预。答案：×（需使用FINAL或去重查询）34.使用pandas的merge函数时，on参数省略则默认按同名列关联。答案：√35.Airflow的TaskInstance状态“upstream_failed”表示上游任务失败，当前任务不会被执行。答案：√五、简答题（共25分）36.（开放型，8分）简述Lambda架构与Kappa架构的核心差异，并给出各自适用场景。答案要点：1)Lambda：批层+速层+服务层，批层保证准确性，速层保证低延迟，维护两套代码。2)Kappa：仅流处理，通过重放消息队列实现离线等效计算，一套代码。3)适用：Lambda适合已有大量批处理资产、对延迟要求适中；Kappa适合事件源完整、重放成本低、延迟要求极高。37.（封闭型，7分）某电商公司订单表order（order_id,user_id,amount,dt）为分区表，分区字段dt（string，格式yyyy-MM-dd）。现需统计2025-10-01至2025-10-07期间，每日新老用户的订单金额分布（新用户定义为历史从未下单）。请给出HiveSQL实现。答案：```sqlwithfirst_orderas(selectuser_id,min(dt)asfirst_dtfromordergroupbyuser_id),dailyas(selectdt,user_id,sum(amount)asamtfromorderwheredtbetween'2025-10-01'and'2025-10-07'groupbydt,user_id)selecta.dt,casewhena.dt=b.first_dtthen'new'else'old'endasuser_type,sum(a.amt)astotal_amountfromdailyajoinfirst_orderbona.user_id=b.user_idgroupbya.dt,casewhena.dt=b.first_dtthen'new'else'old'end;```38.（开放型，10分）描述在Spark3.x中如何利用AdaptiveQueryExecution（AQE）优化Join过程中产生的数据倾斜，并给出配置参数及原理。答案要点：1)AQE在运行时收集Map端统计信息，动态调整Reduce分区数。2)倾斜检测：spark.sql.adaptive.skewJoin.enabled=true，通过spark.sql.adaptive.skewJoin.skewedPartitionFactor（默认5）与spark.sql.adaptive.skewJoin.skewedPartitionThresholdInBytes（默认256MB）判断。3)优化策略：将倾斜分区拆成多个小任务，并行处理，避免长尾。4)结合动态分区裁剪、动态合并小文件，整体提升性能。5)无需修改业务代码，仅开启配置即可生效，兼容BroadcastHashJoin、SortMergeJoin。六、应用题（共60分）39.（计算类，15分）某运营商存储用户流量日志，单条日志大小约0.8KB，每日产生800亿条，保存30天，副本因子3，压缩比5:1。计算所需HDFS存储空间（结果以TB为单位，保留两位小数），并给出计算过程。答案：单条原始大小=0.8KB日原始=800×10^8×0.8KB=6.4×10^10KB=64TB压缩后=64/5=12.8TB副本后=12.8×3=38.4TB30天=38.4×30=1152.00TB40.（分析类，15分）使用SparkStructuredStreaming消费KafkaTopic：pageview（字段：user,page,ts），每5分钟输出一次最近一小时每个页面的独立访客数（UV）。请写出完整代码（PythonAPI），要求使用Watermark机制，输出模式为Append，Sink为Console。答案：```pythonfrompyspark.sqlimportSparkSessionfrompyspark.sql.functionsimportwindow,col,countDistinctspark=SparkSession.builder.appName("uv").getOrCreate()spark.sparkContext.setLogLevel("WARN")df=spark.readStream.format("kafka")\.option("kafka.bootstrap.servers","kafka:9092")\.option("subscribe","pageview")\.load()\.selectExpr("cast(valueasstring)asvalue")\.selectExpr("split(value,',')[0]asuser","split(value,',')[1]aspage","cast(split(value,',')[2]astimestamp)asts")df=df.withWatermark("ts","30minutes")\.groupBy(window(col("ts"),"60minutes","5minutes"),col("page"))\.agg(countDistinct("user").alias("uv"))query=df.writeStream.outputMode("append")\.format("console")\.option("truncate","false")\.trigger(processingTime='5minutes')\.start()query.awaitTermination()```41.（综合类，30分）某视频平台拟构建实时指标看板，需求如下：a)实时统计5分钟粒度视频播放量、播放时长、卡顿次数；b)维度：视频ID、设备类型（iOS/Android/Web）、地区；c)延迟<2分钟，历史数据回溯7天；d)峰值QPS30万/秒，日均100亿条日志；e)需支持即席多维OLAP查询，响应时间<1秒。请给出完整技术方案，包括：1)日志采集与缓冲层设计；2)流式计算框架选型与资源估算；3)存储层选型及表结构设计；4)OLAP引擎选型与索引/物化策略；5)端到端Exactly-Once保障措施。答案：1)采集：APP端埋点→HTTP/HTTPS上报→Nginx+Lua接收→本地磁盘刷盘→FlumeAgent→Kafka；Topic按日志类型分3个，分区数=峰值QPS/单分区吞吐≈300000/10000=30，副本因子3。2)计算：Flink1.17，TaskManager16vCore