2026年大数据分析师能力测试题及答案

2026年大数据分析师能力测试题及答案一、单项选择题（每题2分，共30分）1.某电商公司每日新增订单数据约5亿条，需实时计算近30分钟GMV（成交金额），以下哪种技术组合最适合？A.HadoopMapReduce+HiveB.SparkStreaming+RedisC.Flink+Kafka+DruidD.Presto+MySQL答案：C解析：Flink提供毫秒级延迟的流处理，Kafka作为高吞吐消息队列，Druid支持亚秒级OLAP查询，三者组合可满足实时聚合需求。2.在构建用户画像时，对“最近7天浏览但未购买”的标签，最合理的特征工程方式是：A.直接统计7天内浏览次数B.计算浏览-购买转化率并做分桶C.使用TF-IDF提取浏览商品文本特征D.将浏览序列输入Word2Vec生成向量答案：B解析：转化率指标直接反映行为差异，分桶后可降低过拟合风险，且解释性强。3.使用梯度提升树（GBDT）训练模型时，发现训练AUC=0.98，验证AUC=0.72，以下调参策略最优先的是：A.增加学习率B.减小max_depthC.增加subsampleD.增加n_estimators答案：B解析：深度过大导致过拟合，优先降低模型复杂度。4.对包含1%缺失值的数值型变量，以下处理方式中信息损失最小的是：A.直接删除样本B.用全局均值填充C.用MICE多重插补D.新建“是否缺失”哑变量并均值填充答案：C解析：MICE通过链式方程考虑变量间关系，插补误差最低。5.在SparkSQL中，执行selectpercentile_approx(col,0.5)fromtable时，底层采用的算法是：A.精确排序B.蓄水池采样C.t-DigestD.HyperLogLog答案：C解析：percentile_approx使用t-Digest结构，内存占用与数据量无关，误差小于1%。6.某时序数据需预测未来12期，序列呈明显趋势与月度季节性，以下模型组合中RMSE最低的是：A.SARIMA(1,1,1)(1,1,1,12)B.Prophetwithyearly&weeklyseasonalityC.LSTMwith128hiddenunitsD.XGBoostwithlag1~12特征答案：A解析：SARIMA显式建模趋势与季节性，参数少，小样本下稳健。7.对高维稀疏文本分类，以下方法中训练速度最快的是：A.线性SVM+哈希TrickB.随机森林+TF-IDFC.CNN+Word2VecD.BERTfine-tuning答案：A解析：哈希Trick避免词典构建，线性SVM复杂度O(n)，适合高维稀疏。8.使用HiveonTez执行大表join时，发现Reducer数量仅1，最可能的原因是：A.mapreduce.job.reduces设置过小B.连接键严重倾斜C.文件格式为ORCD.未开启vectorization答案：B解析：倾斜键导致哈希分区失效，所有数据落入同一reduce。9.在Kafka中，topic有6partition，consumergroup含4实例，以下说法正确的是：A.每个实例固定消费1个partitionB.最多2实例处于空闲C.rebalance耗时与partition数无关D.实例数大于partition数时多余实例不消费答案：D解析：Kafka保证一partition同一时刻仅被一实例消费，多余实例空闲。10.对二分类问题，正负样本比1:99，以下评价指标最能反映少数类性能的是：A.AccuracyB.F1-scoreC.ROC-AUCD.Log-loss答案：B解析：F1综合precision与recall，对不平衡敏感。11.使用PySparkMLlib训练ALS矩阵分解时，以下参数对冷启动用户影响最大的是：A.rankB.alphaC.regParamD.implicitPrefs答案：C解析：regParam控制正则强度，冷启动用户特征向量受正则影响显著。12.在HDFS写入文件时，客户端首先请求：A.NameNode分配blockB.DataNode直接写入C.SecondaryNameNode复制D.JournalNode同步答案：A解析：NameNode负责元数据，返回block位置后客户端才流式写入DataNode。13.对包含1亿节点的图，求两跳邻居数量，以下工具内存占用最低的是：A.NetworkXB.Neo4jC.GraphXD.Neo4jwithCypher+APOC答案：C解析：GraphX基于Spark分布式内存计算，单机工具无法承载。14.在Python中使用pandas处理10GBCSV，以下操作最节省内存的是：A.直接read_csvB.read_csv(dtype=str)C.read_csv(usecols=[...])D.转换为HDF5再读取答案：C解析：只加载所需列，内存与列数成比例下降。15.对实时风控系统，要求50ms内返回结果，以下特征计算方式可行的是：A.离线批处理T+1B.SparkStreaming2s批C.FlinkCEPonKafkaD.HiveLLAP答案：C解析：FlinkCEP支持事件驱动，延迟可低至毫秒级。二、多项选择题（每题3分，共30分）16.以下属于数据血缘元数据的是：A.字段级依赖B.作业运行时长C.表级ETL脚本URLD.字段安全等级答案：A、C解析：血缘关注“从哪来、到哪去”，运行时长与安全等级属运维与治理范畴。17.使用HiveSQL时，可触发MapJoin的情况是：A./+mapjoin(b)/提示B.小表小于25MB自动转换C.使用sortmergebucketjoinD.开启hive.auto.convert.join答案：A、B、D解析：C属于SMBjoin，需bucket且排序，不走MapJoin。18.以下关于数据湖说法正确的是：A.存储原始格式数据B.支持schema-on-readC.必须基于HDFSD.可与数据仓库共存答案：A、B、D解析：数据湖可基于S3、OSS等对象存储，非必须HDFS。19.在特征选择中，基于模型系数绝对值过滤的优点包括：A.可解释性强B.支持非线性关系C.计算快D.适用于正则化模型答案：A、C、D解析：线性模型系数解释直观，但无法捕获非线性。20.以下Python库支持GPU加速的是：A.cuDFB.RapidscuMLC.Dask-cudaD.scikit-learn1.3答案：A、B、C解析：scikit-learn主要CPU，1.3版仅少量实验性GPU支持。21.在A/B测试中，以下做法可减少第二类错误的是：A.增加样本量B.提升显著性水平αC.减小方差D.使用配对t检验答案：A、C、D解析：提升α增加第一类错误，与第二类错误反向。22.使用Airflow调度时，以下operator可用于数据质量检查的是：A.GreatExpectationsOperatorB.SQLCheckOperatorC.BashOperatorD.EmailOperator答案：A、B解析：C、D需自行封装检查逻辑，非原生质量算子。23.以下关于Zookeeper在Hadoop生态中的作用正确的是：A.HDFSHA故障转移B.HBaseRegionServer协调C.Kafkaoffset存储D.YARN资源调度答案：A、B、C解析：YARN调度由ResourceManager内部完成，不依赖ZK。24.在构建实时数仓时，Lambda架构的缺点包括：A.维护两套代码B.重新处理成本高C.延迟低至毫秒D.存储冗余答案：A、B、D解析：Lambda延迟由速度层决定，通常秒级，非毫秒。25.以下属于数据资产目录核心功能的是：A.语义搜索B.权限申请工作流C.字段级血缘可视化D.数据脱敏规则答案：A、B、C解析：脱敏规则属安全组件，非目录必需。三、填空题（每空2分，共20分）26.在Spark中，RDD的______函数用于按key重新分区并排序，输出文件整体有序。答案：repartitionAndSortWithinPartitions27.若MySQL表order含索引idx(user_id,create_time)，则查询whereuser_id=100andcreate_time>='2026-01-01'______使用索引下推。答案：会解析：复合索引最左前缀匹配，且范围条件后仍可下推过滤。28.在Python中，使用______库可实现在单机上对大于内存的CSV进行分组聚合。答案：Dask29.某Kafka集群副本因子3，min.insync.replicas=2，当2个broker宕机时，生产者配置acks=all将______写入成功。答案：无法解析：剩余副本<2，不满足min.insync条件，返回NotEnoughReplicasException。30.在FlinkTableAPI中，声明事件时间属性需使用______函数。答案：rowtime31.对高基数类别变量，采用______编码可在线性模型中避免维度爆炸且保留排序信息。答案：target（或mean）32.使用HBaserowkey设计避免热点，常见策略是______。答案：加盐（或反转）33.在数据仓库中，维度表随时间变化但需保留历史，应采用______类型。答案：SCD2（SlowlyChangingDimensionType2）34.在SQL中，计算累计分布函数需使用______窗口子句。答案：ROWSBETWEENUNBOUNDEDPRECEDINGANDCURRENTROW35.若深度学习模型训练损失震荡剧烈，可添加______回调自动降低学习率。答案：ReduceLROnPlateau四、简答题（每题10分，共40分）36.描述一次完整的数据倾斜定位与优化过程，语言不限，需给出代码片段与前后对比指标。答案：场景：Spark任务统计广告点击数，按ad_id分组，80%时间耗在单个reduce。定位：```pythonspark.sql("selectad_id,count(*)cntfromloggroupbyad_idorderbycntdesclimit20").show()```发现top1ad_id计数占总量45%。优化：1.两阶段聚合：先局部聚合，再全局聚合。```pythonrdd.map(lambdax:(x.ad_id,x)).mapPartitions(local_agg).reduceByKey(global_agg)```2.加盐：对top10ad_id随机前缀0-9，二次聚合去除前缀。3.调整并行度：setspark.sql.shuffle.partitions=800。结果：任务时长由45min降至6min，reduce阶段最大耗时由38min降至1.2min，内存峰值下降60%。37.说明如何在Flink中实现Exactly-Once端到端语义，需包含Source、Sink、检查点配置细节。答案：1.Source：KafkaConsumer设置mit=false，依赖Flink定期提交offset至checkpoint。2.Checkpoint：开启exactly-once模式，间隔5s，使用RocksDBStateBackend存储到HDFS，配置：```javaenv.enableCheckpointing(5000,CheckpointingMode.EXACTLY_ONCE);env.setStateBackend(newRocksDBStateBackend("hdfs://namenode:9000/flink/checkpoints"));```3.Sink：使用TwoPhaseCommitSinkFunction，预提交阶段将数据写入Kafka事务，收到checkpoint通知后正式提交。4.幂等：Kafkaproducer配置transactional.id，保证重试不重复。5.恢复：作业失败时从最新checkpoint恢复，offset与状态一致，实现端到端exactly-once。38.给出一种基于深度学习的多模态商品推荐模型架构，说明数据输入、特征融合、损失函数与线上serving方案。答案：架构：输入：图像：商品主图224×224，ResNet50提取2048维向量。文本：标题+属性，BERT-base输出768维向量。交互：用户点击序列，Transformerencoder输出512维向量。融合：三向量拼接后接3层MLP（2048→1024→256→64），输出融合向量u。损失：BatchSoftmax+负采样，温度系数0.05。训练：使用TensorFlow2.0，AdamWlr=1e-4，batch=512，GPU4卡混合精度。Serving：导出SavedModel，TFServing+gRPC，线上缓存用户向量，商品向量预计算存入Milvus，Top200ANN召回后精排。39.解释数据仓库分层模型中DWD、DWS、ADS的区别，并给出电商场景各层表示例。答案：DWD（明细层）：保留最细粒度，统一字段命名与类型。例：dwd_order_detail，字段order_id、sku_id、user_id、price、qty、create_time，不做聚合。DWS（汇总层）：按主题轻度汇总，支持复用。例：dws_user_sku_day，统计user+sku维度每日下单次数、金额，减少重复计算。ADS（应用层）：面向业务需求高度汇总，可直接报表。例：ads_vip_dashboard，统计vip用户月度GMV、复购率，字段少、延迟低，供BI展示。分层好处：减少重复开发、降低存储、提升一致性，上层变更不影响下层。五、编程题（每题20分，共40分）40.用PySpark实现滑动窗口UV计算：输入为(user_id,event_time)日志，输出每10分钟窗口内UV，允许1分钟延迟，窗口滑动5分钟，结果写入Parquet。答案：```pythonfrompyspark.sqlimportSparkSessionfrompyspark.sql.functionsimportwindow,colspark=SparkSession.builder.appName("SlidingUV").getOrCreate()df=spark.readStream.format("kafka")\.option("kafka.bootstrap.servers","kfk1:9092")\.option("subscribe","events")\.load()\.selectExpr("CAST(valueASSTRING)asuid","CAST(timestampASTIMESTAMP)asts")result=df.groupBy(window(col("ts"),"10minutes","5minutes"),col("uid")).count().groupBy("window").count().selectExpr("window.startasstart_time","countasuv")query=result.writeStream\.format("parquet")\.option("path","hdfs://namenode/uv_output")\.option("checkpointLocation","/checkpoints/uv")\.outputMode("append")\.trigger(processingTime='1minute')\.start()query.awaitTermination()```41.用Python实现一个内存受限的TopK频繁项算法，数据为10亿级字符串流，内存限制1GB，K=100，返回精确结果。答案：采用LossyCounting算法：```pythonimportcollectionsclassLossyCounting:def__init__(self,max_error):self.max_error=max_errorself.bucket=1self.counters=collections.defaultdict(int)self.delta={}defadd(self,item):self.counters[item]+=1ifself.counters[item]==1:self.delta[item]=self.bucket1iflen(self.counters)>1/self.max_error:forkinlist(self.counters):ifself.counters[k]+self.delta[k]<=self.bucket:delself.counters[k]delself.delta[k]self.bucket+=1deftopk(self,k):returnsorted(self.counters.items(),key=lambdax:-x[1])[:k]lc=LossyCounting(max_error=1e-4)withopen("stream.txt")asf:forlineinf:lc.add(line.strip())print(lc.topk(100))```理论保证：误差εN，内存O(1/ε)，取ε=0.0001，内存约100MB，可处理10亿条。六、综合分析题（每题30分，共30分）42.某短视频平台拟上线“沉浸式广告”，即在用户上下滑视频中插播广告，需实时预估用户对当前广告完成率（即观看15s以上概率）。给定：用户侧：近7天完播率、滑动速度、时段、设备、关注列表embedding。广告侧：行业、时长、前3s帧embedding、历史平均完播率。上下文：网络类型、亮度、音量、