大数据分析能力2026年试题及答案

大数据分析能力2026年试题及答案一、单项选择题（每题2分，共20分。每题只有一个正确答案，请将正确选项的字母填在括号内）1.在Hadoop生态中，负责资源管理与任务调度的组件是（）A.HDFS  B.YARN  C.MapReduce  D.Hive答案：B2.下列关于数据湖描述正确的是（）A.仅支持结构化数据  B.schema-on-write是核心特征  C.对象存储可作为底层实现  D.不支持流式写入答案：C3.在SparkSQL中，用于将DataFrame注册为临时视图的API是（）A.cache()  B.createTempView()  C.persist()  D.registerTable()答案：B4.某电商用户行为表user_action(user_id,sku_id,action_ts,action_type)，若要计算最近30天每个用户的去重SKU浏览量，应使用的SQL子句是（）A.COUNT(DISTINCTsku_id)WHEREaction_type='browse'ANDaction_ts>=CURRENT_DATE-30B.COUNT(sku_id)WHEREaction_type='browse'ANDDATEDIFF(CURRENT_DATE,action_ts)<=30C.COUNT(DISTINCTsku_id)OVER(PARTITIONBYuser_idORDERBYaction_tsROWS30PRECEDING)D.SELECTDISTINCTsku_idGROUPBYuser_idHAVINGMAX(action_ts)>=CURRENT_DATE-30答案：A5.使用Python的pandas读取10GBCSV文件时，内存占用远超10GB，最可能的原因是（）A.文件存在大量重复行  B.默认dtype推断为object  C.未设置索引列  D.未关闭low_memory选项答案：B6.在Flink中，下列哪个Operator保证Exactly-Once语义的关键机制（）A.CheckpointBarrier  B.Watermark  C.AsyncI/O  D.StateTTL答案：A7.对高维稀疏特征进行降维时，兼顾计算效率与可解释性，首选（）A.t-SNE  B.PCA  C.AutoEncoder  D.LDA答案：B8.某分类模型在测试集上Accuracy=0.96，但AUC=0.51，最合理的解释是（）A.数据极度不平衡  B.过拟合  C.特征缺失  D.学习率过高答案：A9.在Kafka中，保证同一分区消息全局有序的配置是（）A.retries>0  B.max.in.flight.requests.per.connection=1  C.acks=0  D.enable.idempotence=false答案：B10.使用HBaseRowKey设计避免出现热点，下列策略无效的是（）A.加盐前缀  B.反转时间戳  C.随机散列  D.自增ID答案：D二、多项选择题（每题3分，共15分。每题有两个或两个以上正确答案，请将所有正确选项的字母填在括号内，漏选、错选均不得分）11.下列属于NoSQL数据库CAP理论中“可用性”体现的是（）A.读写请求在节点故障时仍可返回成功  B.系统返回结果可能非最新版本  C.写入需多数节点确认  D.客户端可继续写入任一存活节点答案：A、B、D12.在SparkMLlib中，适合处理类别特征>1000维的编码方式有（）A.OneHotEncoder  B.StringIndexer  C.TargetEncoder  D.QuantileDiscretizer答案：A、B、C13.下列Python库支持GPU加速的二维矩阵运算有（）A.NumPy  B.CuPy  C.PyTorch  D.JAX答案：B、C、D14.关于数据仓库星型模型，下列说法正确的有（）A.事实表外键关联维度表  B.维度表存在冗余  C.查询性能优于三范式  D.更新维度属性需更新事实表答案：A、B、C15.在AB实验评估指标中，属于“比率型”指标的有（）A.人均GMV  B.转化率  C.次日留存率  D.平均停留时长答案：B、C三、填空题（每空2分，共20分）16.在Hive中，将字符串'2026-03-01'转为日期类型的函数是________。答案：to_date()17.若某电商订单表order_info(order_id,user_id,order_amt,order_ts)分区字段为dt，现需删除2025年12月全部分区，HQL语句为：ALTERTABLEorder_infoDROPPARTITION________;答案：(dt<'2026-01-01')18.在FlinkTableAPI中，声明事件时间属性且允许5秒乱度的语句为.watermark(rowtime,________)。答案：rowtime-5.seconds19.使用sklearn训练随机森林时，控制单棵树最大深度的参数名是________。答案：max_depth20.在PostgreSQL中，建立BRIN索引的语法关键字为________。答案：USINGbrin21.若Rediskey的内存淘汰策略设置为allkeys-lfu，当内存不足时，优先淘汰________的key。答案：访问频率最低22.在TensorFlow2.x中，关闭eagerexecution的代码为tf.________.run_functions_eagerly(False)。答案：config.experimental23.某时序数据库采用LSMTree存储引擎，写入流程先写入________文件再合并。答案：MemTable24.在数据治理元数据标准中，描述字段业务含义的属性称为________。答案：BusinessTerm25.使用Scala编写SparkStructuredStreaming，输出模式为Complete时，必须调用________方法。答案：agg()四、简答题（共30分）26.（封闭型，6分）简述HDFS写入流程中Packet与Ack的交互顺序，并指出数据节点故障时的容错策略。答案：客户端将文件切分为Block，每个Block按64KB拆分为Packet；客户端向NameNode申请DataNode列表形成Pipeline；Packet顺流写入，每个DataNode缓存并转发下游，同时逆向返回Ack；客户端收到最后一个Ack即确认写入成功。若某DataNode故障，Pipeline立即移除该节点，NameNode重新复制块至新节点保证副本数。27.（开放型，8分）某短视频平台日均上传量1亿条，每条视频平均50MB，存储周期90天，请给出可扩展的冷数据存储方案，需说明技术选型、成本控制及数据取回时效。答案：采用对象存储分层方案：1）热数据7天放标准存储，选用阿里云OSSStandard，支持毫秒取回；2）温数据8–30天放IA存储，成本下降40%，取回秒级；3）冷数据31–90天放Archive型，成本下降80%，取回1分钟；4）元数据与索引存入HBase+Elasticsearch，保证查询；5）通过Lifecycle规则自动迁移，结合CDN预热保证用户体验；6）预估总容量450PB，采用ErasureCoding减少1/3冗余，综合TCO较纯标准存储下降55%。28.（封闭型，6分）说明A/B实验“样本量”计算所需统计量，并给出比例型指标双侧检验公式。答案：需给定：基线转化率p、最小可检测差异δ、显著性水平α、检验效能1-β。公式：n=[Z_(1-α/2)√(2p(1-p))+Z_β√(p(1-p)+(p+δ)(1-p-δ))]²/δ²29.（开放型，10分）某金融风控模型需融合银行流水文本与征信结构化数据，请设计端到端特征工程与模型训练流程，需说明外部数据获取、文本处理、样本不平衡处理及模型可解释性方案。答案：1）数据获取：通过API拉取征信JSON，银行PDF流水经OCR解析为文本；2）文本处理：采用Bi-LSTM+CRF抽取交易摘要实体，构建词袋+TF-IDF，再用Doc2Vec获得300维句向量；3）结构化特征：按月份聚合收入、支出、稳定性交叉特征共120维；4）样本不平衡：负样本占比3%，采用SMOTE过采样+LightGBMscale_pos_weight=30；5）模型：Wide&Deep，Wide端为规则+交叉特征，Deep端为Embedding拼接；6）可解释性：使用SHAP计算特征贡献，对文本维度采用IntegratedGradient可视化关键词；7）监控：PSI>0.1触发重训，KS下降5%告警；8）合规：保存可解释报告供审计，敏感特征脱敏。五、应用题（共35分）30.（计算类，10分）某电商公司2025年12月促销，用户访问日志表visit_log(user_id,page_id,ts)记录50亿行，存储为ORC格式，压缩率8:1。集群配置：10节点，每节点16核64GB。现需统计“当日连续3次浏览同一page_id的用户数”。（1）给出基于SparkSQL的完整实现，要求避免数据倾斜；（2）估算执行耗时并说明瓶颈。答案：（1）```sqlWITHtmpAS(SELECTuser_id,page_id,ts,ROW_NUMBER()OVER(PARTITIONBYuser_idORDERBYts)rnFROMvisit_logWHEREdt='2025-12-12'),grpAS(SELECTuser_id,page_id,ts,rn,ROW_NUMBER()OVER(PARTITIONBYuser_idORDERBYts)-ROW_NUMBER()OVER(PARTITIONBYuser_id,page_idORDERBYts)grp_idFROMtmp),cntAS(SELECTuser_id,page_id,grp_id,COUNT()cSELECTuser_id,page_id,grp_id,COUNT()cFROMgrpGROUPBYuser_id,page_id,grp_id)SELECTCOUNT(DISTINCTuser_id)FROMcntWHEREc>=3;```采用salting：若user_id热点，追加rand()%100作为saltkey，先局部聚合再全局聚合。（2）输入数据约50GB（压缩后），Map阶段约5分钟，Shuffle200GB，网络带宽10Gb/s，估算Shuffle耗时20分钟，Reduce聚合2分钟，总耗时约27分钟；瓶颈为Shuffle网络IO。31.（分析类，12分）给定交易数据表trade(order_id,user_id,amt,ts)，需实时检测“5分钟内累计金额超过10万元”的用户并触发风控。（1）设计FlinkCEP方案，给出核心Pattern代码；（2）说明如何保证Exactly-Once端到端输出到Kafka。答案：（1）```javaPattern<Trade,?>pattern=Pattern.<Trade>begin("start").timesOrMore(1).greedy().where(newIterativeCondition<Trade>(){publicbooleanfilter(Tradet,Contextctx)throwsException{doublesum=0;for(Tradee:ctx.getEventsForPattern("start")){sum+=e.amt;}returnsum>=100000;}}).within(Time.minutes(5));```采用循环模式+迭代条件，状态后端RocksDB。（2）开启Checkpoint，间隔10秒，Exactly-Once模式；SinkKafka设置两阶段提交，checkpoint时预提交事务，checkpoint完成时正式提交；若失败则abort，Kafka隔离级别read_committed。32.（综合类，13分）某市交通局提供2025年全年出租车GPS数据，表结构gps(car_id,lon,lat,ts)共1.2TB，需完成“高峰时段热点区域聚类”并可视化。要求：a)给出基于DBSCAN的分布式实现框架与关键参数；b)说明空间索引优化；c)输出结果存储至PGIS供Web秒级渲染；d)评估聚类效果指标。答案：a)采用Spark+GeoSpark，EPSG:4524投影，eps=500m，minPts=10，分