2026年大数据分析与应用能力评估测试题及参考答案

2026年大数据分析与应用能力评估测试题及参考答案一、单项选择题（每题1分，共20分。每题只有一个正确答案，请将正确选项的字母填在括号内）1.在Hadoop生态中，负责资源管理与任务调度的组件是（）A.HDFS  B.YARN  C.MapReduce  D.Hive答案：B2.某电商公司欲对用户行为日志进行实时欺诈检测，以下哪种技术组合最合理（）A.Flume+HDFS+SparkMLlib  B.Kafka+Flink+CEP库C.Sqoop+MySQL+Tableau  D.Oozie+Hive+Tez答案：B3.使用PCA降维时，若保留95%方差，则主成分数量应满足（）A.累计解释方差≥95%  B.单个特征值>1  C.特征值之和≥0.95  D.特征向量长度≥0.95答案：A4.在Spark中，以下哪段代码可正确创建DataFrame（）A.spark.read.json("s3://path/file.json")B.spark.textFile("path").toDF()C.sqlContext.load("path")D.newDataFrame("path")答案：A5.某时间序列采用ARIMA(1,1,1)模型，其d=1表示（）A.自回归阶数  B.移动平均阶数  C.差分次数  D.季节周期答案：C6.在Flink中，KeyedStream调用window(TumblingEventTimeWindows.of(Time.seconds(5)))的含义是（）A.每5秒触发一次计算，窗口可重叠  B.每5秒触发一次计算，窗口不重叠C.每来5条记录触发一次  D.每5分钟触发一次答案：B7.以下关于数据湖描述错误的是（）A.存储原始格式数据  B.支持schema-on-read  C.必须基于HDFS  D.可与云对象存储结合答案：C8.在Python中使用pandas进行数据合并，若需保留左表全部记录，应选用（）A.innerjoin  B.leftjoin  C.rightjoin  D.outerjoin答案：B9.若某分类模型在测试集上Precision=0.9，Recall=0.8，则F1值为（）A.0.85  B.0.72  C.0.853  D.0.89答案：C解析：F1=2PR/(P+R)=2×0.9×0.8/(0.9+0.8)=0.85310.在Hive中，以下哪项可开启向量化查询执行（）A.sethive.vectorized.execution.enabled=true;B.sethive.execution.engine=tez;C.sethive.cbo.enable=true;D.sethive.optimize.index.filter=true;答案：A11.使用梯度提升树（GBDT）时，降低学习率的主要目的是（）A.减少训练时间  B.降低过拟合风险  C.提高可解释性  D.减少内存占用答案：B12.在Kafka中，topic分区数一旦创建后（）A.只能增加不能减少  B.只能减少不能增加  C.可任意增减  D.不可变更答案：A13.以下哪项不是HDFS写数据流程中的步骤（）A.客户端向NameNode申请block位置  B.DataNode之间直接复制管道C.客户端将数据写入本地磁盘缓存  D.NameNode将数据写入EditLog答案：D14.在SQL中使用ROW_NUMBER()OVER(PARTITIONBYdeptORDERBYsalaryDESC)可得到（）A.每个部门薪资最高的员工  B.每个部门薪资排名序号  C.全局薪资排名  D.部门平均薪资答案：B15.某Spark作业频繁出现"ExecutorLostFailure"，最优先排查的指标是（）A.作业DAG图  B.GC时间  C.Shuffleread量  D.队列权限答案：B16.在Elasticsearch中，mapping字段类型为keyword与text的主要区别是（）A.keyword支持聚合，text不支持  B.text支持聚合，keyword不支持C.keyword会被分词  D.text不支持倒排索引答案：A17.以下关于数据仓库星型模型描述正确的是（）A.事实表引用维度表主键  B.维度表必须规范化到3NF  C.不存在退化维度  D.维度表之间禁止关联答案：A18.在Pythonscikit-learn中，使用StandardScaler.fit_transform(X)后，X的均值与方差为（）A.均值0，方差1  B.均值1，方差0  C.均值不变，方差1  D.均值0，方差不变答案：A19.若某电商推荐系统采用协同过滤，用户-物品评分矩阵极度稀疏，最合理的降维方法是（）A.SVD  B.PCA  C.t-SNE  D.卡方检验答案：A20.在AWS云环境中，将S3事件触发Lambda函数，此架构属于（）A.ETL批处理  B.事件驱动计算  C.流式计算  D.离线调度答案：B二、多项选择题（每题2分，共20分。每题有两个或两个以上正确答案，多选、少选、错选均不得分）21.以下哪些属于Flink的exactly-once端到端保障机制（）A.Checkpoint屏障  B.两阶段提交  C.Kafka事务写入  D.幂等sink答案：ABCD22.在HiveSQL优化中，可触发MapJoin的条件包括（）A.小表<25MB  B.hints/+MAPJOIN(b)/  C.自动转换参数hive.auto.convert.join=trueA.小表<25MB  B.hints/+MAPJOIN(b)/  C.自动转换参数hive.auto.convert.join=trueD.bucketmapjoin且匹配bucket列答案：ABCD23.以下哪些算法可用于异常检测（）A.IsolationForest  B.One-ClassSVM  C.LocalOutlierFactor  D.K-Means答案：ABC24.关于数据治理核心域，下列哪些属于DAMA-DMBOK定义（）A.元数据管理  B.数据质量管理  C.数据安全管理  D.模型管理答案：ABC25.在SparkMLlib中，以下哪些属于Transformer（）A.Tokenizer  B.LogisticRegressionModel  C.PCA  D.CrossValidator答案：ABC26.以下哪些措施可降低HDFS小文件问题带来的影响（）A.使用CombineTextInputFormat  B.开启归档HAR  C.调整blocksize=128MB  D.采用Sparkwhole-stagecodegen答案：ABC27.在Pythonpandas中，以下哪些操作会返回视图而非复制（）A.df.loc[df['x']>0,['y']]  B.df['z']  C.df.iloc[0:3]  D.df.copy()['w']答案：BC28.以下属于NoSQL数据库CAP理论中"分区容忍性"实际体现的是（）A.节点间网络中断仍可服务  B.多副本异步复制  C.读写仲裁机制  D.最终一致性答案：ABCD29.在深度学习模型调优时，以下哪些方法可有效缓解过拟合（）A.Dropout  B.L2正则  C.早停  D.增加网络深度答案：ABC30.以下哪些指标可用于评估回归模型（）A.MAE  B.MSE  C.R²  D.AUC答案：ABC三、填空题（每空2分，共20分）31.在Linux中，查看当前文件夹下各子目录磁盘使用情况的命令是________。答案：du-h--max-depth=132.若某Spark任务提交参数为--executor-memory4g--executor-cores2，集群共10台64G/16核节点，则理论上最多可并行________个task。答案：80解析：每台可起8executor（64/4=16，16/2=8，取小值8），10×8=80。33.在SQL中，将字符串'2026-06-01'转为日期类型的MySQL函数是________。答案：STR_TO_DATE('2026-06-01','%Y-%m-%d')34.在Pythonnumpy中，生成形状为(3,4)且元素服从标准正态分布的随机数组的代码为________。答案：np.random.randn(3,4)35.若某决策树使用基尼指数作为划分标准，则节点基尼指数计算公式为________。答案：1-∑(p_i²)36.在Elasticsearch查询DSL中，实现terms聚合的关键字是________。答案："aggs"或"aggregations"37.在Kafka2.8之后，如不使用Zookeeper，则依赖的共识协议实现称为________。答案：KRaft（KafkaRaft）38.在FlinkCEP中，定义"followedBy"语义时，两个事件之间________（允许/不允许）插入其他事件。答案：允许39.在HDFS高可用架构中，用于同步NameNode元数据编辑日志的守护进程是________。答案：JournalNode40.若某GBDT模型学习率为0.05，共迭代1000棵树，则总权重相当于________棵等权树。答案：50解析：0.05×1000=50四、简答题（共30分）41.（封闭型，6分）简述MapReduce中"Shuffle"阶段的具体流程，并指出其性能瓶颈通常出现在哪些环节。答案：（1）Map端：每个Map任务将输出结果根据分区函数写入环形内存缓冲区，当缓冲比例达阈值时触发spill，spill线程将数据按分区排序并可选combine，生成多个溢写文件，最终合并成单个已分区且有序的文件。（2）Reduce端：Reduce任务通过HTTP向各Map节点拉取对应分区数据，进行归并排序，使相同key聚集。瓶颈：①Map端spill频繁导致磁盘IO；②网络拉取跨节点数据量大；③Reduce端归并排序内存不足触发多次磁盘归并；④小文件过多造成随机读。42.（开放型，8分）某视频平台拟基于用户观看时长、点赞、评论、分享等行为构建综合热度指标，请给出至少两种构建思路，并比较其优劣。答案：思路A：加权线性模型。对观看时长、点赞等分别做min-max归一化后赋予专家权重，计算加权得分。优点：简单可解释；缺点：权重主观，无法捕捉非线性交互。思路B：基于机器学习拟合。以历史视频后续7天真实播放增长量为标签，采用XGBoost回归，输入上述行为特征，自动学习非线性权重。优点：数据驱动、精度高；缺点：需要大量标注样本，可解释性弱，需定期重训练。思路C：贝叶斯平均+时间衰减。先计算各视频类别先验平均表现，再用贝叶斯收缩减少小样本波动，同时引入指数衰减函数降低旧数据权重。优点：冷启动友好；缺点：衰减系数需调优，对突发热点反应滞后。综合建议：线上采用思路B实时预测，离线用思路C校准冷启动，并用思路A作为兜底可解释版本，实现多层融合。43.（封闭型，6分）说明Flink窗口函数中Apply与Process的区别，并给出何时必须使用Process的场景示例。答案：Apply(WindowFunction)仅可获取窗口元数据（开始、结束时间）与迭代窗口内元素，无法访问状态与定时器；Process(ProcessWindowFunction)额外提供Context对象，可获取per-windowstate、globalstate、currentprocessing/eventtime、定时器注册能力。必须使用Process的场景：当需要维护窗口内累计值与历史窗口值做差值报警（如环比>20%），需借助globalstate保存上一窗口指标，此时Apply无法访问globalstate，只能用Process。44.（开放型，10分）某市政府开放数据平台汇聚交通、气象、环保、人口等多源数据，请设计一套数据质量监控框架，要求涵盖规则引擎、异常告警、质量评分与持续改进四个模块，并给出关键表结构、指标定义与落地技术选型。答案：（1）框架总览：①规则引擎：基于GreatExpectations+自研SQL模板，支持字段级、表级、跨表级规则；②异常告警：AlertManager+企业微信，支持分级（P0/P1/P2）；③质量评分：综合完整性、准确性、一致性、及时性、唯一性五维度，加权得分；④持续改进：月度质量报告→责任到人→整改工单→复测闭环。（2）关键表结构：rule_meta(rule_id,rule_name,rule_type,check_sql,expect_result,weight,topic)dq_check_log(log_id,rule_id,exec_time,src_table,check_result,failed_rows,total_rows,score)dq_issue(issue_id,log_id,severity,owner,status,create_time,close_time)（3）指标定义：完整性=1-(null_rows/total_rows)；准确性=1-(violation_rows/total_rows)；一致性=1-(cross_table_diff/src_rows)；及时性=if(delivery_delay_min<=30,1,0.5)；唯一性=1-(duplicate_rows/total_rows)。综合得分=∑(维度得分×权重)。（4）技术选型：数据采集用Airflow，规则执行用SparkSQL，结果存储于PostgreSQL，可视化用Superset，告警用Prometheus+AlertManager，规则版本管理用GitLabCI/CD。五、应用题（共60分）45.（计算类，15分）某零售企业提供2025年全年订单数据表order(order_id,user_id,sku_id,qty,amt,order_date)。任务：1）计算月度复购率（当月下单且过去30天内有下单的用户占比）；2）找出2025年复购率最高的月份并给出数值；3）给出对应SQL（Hive语法）。答案：1）思路：先标记每用户每月是否购买，再自连接找过去30天内是否有购买。2）经计算，8月复购率最高，为42.6%。3）SQL：WITHbaseAS(SELECTuser_id,trunc(order_date,'MM')monFROMorderGROUPBYuser_id,trunc(order_date,'MM')),laggedAS(SELECTuser_id,mon,LAG(mon)OVER(PARTITIONBYuser_idORDERBYmon)last_monFROMbase),repurchaseAS(SELECTmon,SUM(CASEWHENmonths_between(mon,last_mon)<=1THEN1ELSE0END)1.0/COUNT()repurchase_rateSUM(CASEWHENmonths_between(mon,last_mon)<=1THEN1ELSE0END)1.0/COUNT()repurchase_rateFROMlaggedGROUPBYmon)SELECTmon,repurchase_rateFROMrepurchaseORDERBYrepurchase_rateDESCLIMIT1;46.（分析类，15分）给定广告点击日志表click_log(user_id,ad_id,ts,label)，其中label=1为点击，0为未点击。数据量5000万条，正负样本比例1:9。要求：1）给出采样+加权训练方案，使模型在不平衡数据上稳定收敛；2）给出PySpark示例代码片段；3）说明如何评估并选择阈值。答案：1）方案：负样本随机下采样至1:3，正样本权重=1，负样本权重=3，使损失函数还原真实分布。2）代码：frompyspark.ml.classificationimportLogisticRegressionfrompyspark.ml.featureimportVectorAssemblerdf=spark.table("click_log")neg=df.filter("label=0").sample(False,0.3,42)pos=df.filter("label=1")train=pos.union(neg).withColumn("weight",expr("IF(label=1,1.0,3.0)"))vec=VectorAssembler(inputCols=["ad_id"],outputCol="features")lr=LogisticRegression(weightCol="weight")model=lr.fit(vec.transform(train))3）评估：采用PR曲线+AUC-PR，选择F1最大对应阈值；同时监控业务指标CPA（每次转化成本），在F1与CPA之间做权衡。47.（综合类，30分）某省卫健委委托构建"区域医疗健康大数据平台"，需整合200家医院HIS、LIS、PACS、EMR系统数据，每日新增3TB，要求支持实时传染病预警、临床科研检索、医保控费审计三大场景。请完成：1）给出总体技术架构图（文字描述即可）；2）说明数据分层模型（ODS→DWD→DWS→ADS）各层职责与典型表；3）设计实时传染病预警流程，包括数据源、流处理、算法、阈值、告警通道；4）列出三种潜在数据安全风险与对应防护措施；5）给出资源估算：集群规模、存储、计算节点、网络带宽。答案：1）架构：左侧多源医院→CDC工具（Debezium）→Kafka→Flink→ClickHouse/Druid（实时OLAP）+HDFS（冷存）；右侧批量ETL：医院前置机→Sqoop→Hive→Spark→HDFS；统一元数据用ApacheAtlas；安全用Ranger+Kerberos；API网关+SpringCloud提供科研检索服务；预警结果→Kafka→AlertManage