2026年大数据分析师职业技能测评考试试题及答案解析

2026年大数据分析师职业技能测评考试试题及答案解析1.单项选择题（每题1分，共20分）1.1在Hadoop3.x版本中，默认的块大小为A.64MB  B.128MB  C.256MB  D.512MB答案：B解析：Hadoop3.x将默认块大小从2.x的128MB提升至256MB，但安装包仍保留128MB作为首次格式化时的缺省值，故选B。1.2下列哪一项不是Kafka的核心组件A.Producer  B.Consumer  C.Broker  D.JobTracker答案：D解析：JobTracker是Hadoop1.x的MapReduce调度器，与Kafka无关。1.3在SparkSQL中，用于注册临时视图的API是A.createOrReplaceTempView  B.registerTempTable  C.cache  D.persist答案：A解析：Spark2.0起统一使用createOrReplaceTempView，registerTempTable已废弃。1.4若随机变量X~N(μ,σ²)，则P(μ-1.96σ≤X≤μ+1.96σ)约为A.90%  B.95%  C.99%  D.99.7%答案：B1.5在Pythonpandas中，将DataFramedf的缺失值按列均值填充的代码是A.df.fillna(df.mean())  B.df.fillna(df.median())  C.df.dropna()  D.erpolate()答案：A1.6下列算法中，属于集成学习Bagging思想的是A.AdaBoost  B.RandomForest  C.XGBoost  D.LightGBM答案：B1.7在Hive中，分桶表使用的关键字是A.PARTITIONEDBY  B.CLUSTEREDBY  C.SORTEDBY  D.DISTRIBUTEBY答案：B1.8若逻辑回归模型输出概率为0.8，则对应的对数几率（log-odds）为A.0.8  B.1.25  C.ln(0.8)D.ln(4)答案：D解析：log(0.8/0.2)=ln4≈1.386。1.9Flink的Exactly-Once语义依赖以下哪项技术A.Checkpoint  B.Window  C.Trigger  D.Slot答案：A1.10在SQL优化中，最可能触发全表扫描的写法是A.WHEREid=100  B.WHEREYEAR(create_time)=2025  C.WHEREstatusIN(1,2)D.WHEREnameLIKE'abc%'答案：B解析：对列使用函数导致索引失效。1.11下列关于HDFS写入流程正确顺序是A.客户端→NameNode→DataNode→Pipeline→AckB.客户端→DataNode→NameNode→Pipeline→AckC.NameNode→客户端→DataNode→Pipeline→AckD.DataNode→客户端→NameNode→Pipeline→Ack答案：A1.12在PCA降维中，主成分方差贡献率等于A.特征值/特征值之和  B.特征向量/特征向量之和  C.协方差/协方差之和  D.标准差/标准差之和答案：A1.13使用K-means时，若聚类数k大于真实簇数，则轮廓系数（Silhouette）通常A.增大  B.减小  C.不变  D.先增后减答案：B1.14在Airflow中，任务依赖使用下列哪个对象定义A.Sensor  B.Operator  C.DAG  D.TaskInstance答案：C1.15下列关于数据湖说法错误的是A.支持结构化与半结构化数据  B.默认Schema-on-Read  C.必须基于HDFS  D.可与云对象存储结合答案：C1.16在Spark中，使用广播变量主要解决A.数据倾斜  B.大表join小表  C.Shuffle过多  D.内存溢出答案：B1.17若时间序列采用ARIMA(1,1,1)模型，则其d=A.0  B.1  C.2  D.3答案：B1.18在Elasticsearch中，分片分配的最小单位是A.Index  B.Shard  C.Segment  D.Node答案：B1.19下列关于数据仓库星型模式描述正确的是A.事实表与维度表均为规范化表  B.维度表高度反规范化  C.不存在事实表  D.维度表之间必须直接关联答案：B1.20在Python中，使用multiprocessing模块时，跨进程共享只读大数据对象的最佳方式是A.Queue  B.Pipe  C.Manager  D.内存映射文件+广播答案：D2.多项选择题（每题2分，共20分；多选少选均不得分）2.1下列属于NoSQL数据库的有A.MongoDB  B.HBase  C.Neo4j  D.ClickHouse  E.Oracle答案：ABCD2.2关于SparkRDD的窄依赖，正确的有A.map  B.filter  C.union  D.join  E.cogroup答案：ABC2.3以下属于特征选择过滤法（Filter）的有A.方差选择  B.卡方检验  C.递归特征消除  D.互信息  E.L1正则答案：ABD2.4在Linux中，可用于查看大文件前N行的命令有A.head  B.sed  C.awk  D.cat  E.tail答案：ABC2.5下列指标可用于不平衡分类评估的有A.F1-score  B.AUC-ROC  C.Precision@K  D.Cohen’sKappa  E.MAE答案：ABCD2.6关于Hive与SparkSQL对比，正确的有A.Hive默认引擎为MapReduce  B.SparkSQL支持窗口函数  C.Hive支持动态分区  D.SparkSQL无法访问Hive表  E.Hive3.x支持LLAP答案：ABCE2.7以下属于时间序列分解成分的有A.Trend  B.Seasonal  C.Residual  D.Autocorrelation  E.Noise答案：ABCE2.8在Python中，可用来实现模型并行的深度学习框架有A.PyTorchDDP  B.Horovod  C.TensorFlowMirroredStrategy  D.XGBoost  E.DeepSpeed答案：ABCE2.9关于数据治理关键活动，正确的有A.元数据管理  B.数据质量  C.主数据管理  D.数据安全  E.数据备份答案：ABCD2.10以下关于Flink窗口函数描述正确的有A.Tumbling窗口可重叠  B.Sliding窗口可重叠  C.Session窗口通过间隙时间触发  D.CountWindow基于元素个数  E.GlobalWindow需自定义触发器答案：BCDE3.填空题（每空2分，共20分）3.1在MySQL8.0中，支持原生JSON类型的二进制存储格式是________。答案：BSON（或MySQLJSON，内部采用二进制编码，官方称binaryJSON）3.2若某电商订单表字段order_status包含值0,1,2,3，欲将其独热编码为4列，pandas代码为pd.get_dummies(df['order_status'],prefix='status',________=False)。答案：drop_first3.3在Spark中，设置Shuffle分区数为200的代码为spark.conf.set("spark.sql.shuffle.partitions",________)。答案：2003.4已知某决策树节点信息增益为0.31，分裂前熵为0.92，则分裂后加权熵为________。答案：0.61解析：信息增益=父熵-子熵，故子熵=0.92-0.31=0.61。3.5在Linux中，将本地文件file.csv上传至HDFS目录/data/raw/的命令为________。答案：hdfsdfs-putfile.csv/data/raw/3.6在Pythonsklearn中，使用StandardScaler对训练集拟合后，对测试集进行变换的代码为scaler.________(X_test)。答案：transform3.7若某Hive表分区字段为dt且格式为yyyy-MM-dd，查询2025年10月所有分区的WHERE子句可写为dtbetween'2025-10-01'and________。答案：'2025-10-31'3.8在Elasticsearch7.x中，默认每个索引的主分片数为________。答案：13.9若某GBDT模型学习率为0.05，迭代1000棵树，则总权重相当于________棵常规模型。答案：50解析：0.05×1000=50。3.10在FlinkTableAPI中，将流表注册为临时视图使用的方法为tableEnv.________("viewName",table)。答案：createTemporaryView4.简答题（封闭型，每题6分，共30分）4.1简述HDFSNameNode高可用（HA）架构中ZKFC的作用，并说明其如何防止脑裂。答案：ZKFC（ZKFailoverController）是Zookeeper客户端与NameNode守护进程的融合代理，负责健康监测、Zookeeper会话维护及隔离（fencing）。当主NN故障，ZKFC在Zookeeper上删除对应临时节点，触发备NN升主；升主前，ZKFC通过RPC调用原主NN的transitionToStandby，若原主无响应则sshfence将其进程杀死，确保仅一个活跃NameNode，防止脑裂。4.2写出Spark中累加器（Accumulator）的初始化、累加与读取流程，并指出其局限性。答案：初始化：valacc=sc.longAccumulator("errCnt")；累加：在RDD算子内acc.add(1)；读取：driver程序中acc.value。局限性：仅driver可读取最终值，executor端读取不到；不能保证任务失败重试时的精确一次性，需幂等操作；不支持复杂聚合逻辑。4.3说明A/B测试中使用序贯检验（SequentialTest）相对于固定样本检验的优势，并给出适用前提。答案：序贯检验允许实时累积数据并动态停止实验，显著减少样本量与实验时长；优势在于降低机会成本、提升迭代速度。前提：指标为连续或二项分布；可接受早期停止带来的Ⅰ类错误膨胀需通过边界函数（如SPRT、GroupSequential）控制；实验流量需可动态调整；业务允许早期决策。4.4解释数据倾斜在MapReduce中发生的原因，并列举三种以上缓解方案。答案：原因：key分布不均导致大量记录集中到少数reducer。方案：1.自定义分区函数，将热点key打散；2.增加reduce任务数，降低单任务负载；3.采用两阶段聚合（Combiner+局部聚合）；4.对倾斜key单独处理，如加盐再二次聚合；5.使用Hive的skewjoin优化，将倾斜key存入临时表，map端完成join。4.5写出使用Pythonstatsmodels实现ADF单位根检验的代码模板，并说明如何根据返回结果判断平稳性。答案：importstatsmodels.tsa.stattoolsastsresult=ts.adfuller(series,regression='ct')print('ADF:',result[0],'p:',result[1])若ADF统计量小于1%、5%、10%临界值且p值<0.05，则拒绝原假设（存在单位根），序列平稳；否则非平稳。5.简答题（开放型，每题10分，共20分）5.1某视频平台拟构建实时指标“过去5分钟各省份播放成功率”，数据源为Kafka日志，字段含province、status（0=失败，1=成功）。请给出基于Flink的完整技术方案，包括数据清洗、窗口、状态、Sink及Exactly-Once保证。答案：1.Source：FlinkKafkaConsumer，开启Checkpoint，Kafka事务生产者保证可重放；2.清洗：map函数解析JSON，过滤脏数据，使用OutputTag侧输出流记录异常；3.keyBy(province)，定义5分钟TumblingProcessingTimeWindows；4.聚合：AggregateFunction<Log,Acc,Result>，Acc维护成功数、总数；5.状态：采用ValueState存储上一窗口结果用于环比告警，开启RockDBStateBackend，增量Checkpoint；6.Sink：利用TwoPhaseCommitSinkFunction写入MySQL，预提交阶段执行insertintovalues(?,?,?)onduplicatekeyupdate；7.Exactly-Once：Checkpoint间隔30s，超时1min，失败时从最近一次Checkpoint恢复；8.监控：通过FlinkMetrics上报成功率至Prometheus，Grafana配置环比告警阈值<98%。5.2描述一次你主导的离线数据仓库分层模型重构案例，说明原方案痛点、新分层设计、ETL优化、上线灰度策略及最终收益。答案：背景：原电商ODS→DW→DM三层耦合，大量宽表重复计算，每日耗时8h。痛点：1.无明细层，复用困难；2.维度更新滞后，缓慢变化维采用全量覆盖；3.调度无优先级，核心报表等待长；4.无数据质量监控。新设计：引入DWD（明细）、DIM（维度）、DWS（汇总）、ADS（应用）四层；采用星型+雪花混合，维度表每日快照+历史拉链；DWS按主题域预聚合，使用ORC+ZSTD压缩。ETL优化：1.使用Spark3AQE自动分区合并；2.大表join采用bucket64+sortmergejoin；3.引入Iceberg0.13，upsert模式去重；4.维度采用SCD2，通过FlinkCDC实时同步MySQL。灰度：双跑7天，对比记录数、金额指标差异<0.01%；夜间切换，回滚方案保留旧表。收益：任务数从420降至180，存储节省38%，核心报表产出时间由8h降至2.5h，SLA提升至99.9%，数据发现平均提前5h。6.应用题（计算类，共20分）6.1某零售公司2024年12月销售数据如下（单位：万元）：日期 销售额1日 1202日 1323日 1454日 1585日 170要求：(1)使用3日移动平均预测6日销售额；(2)建立线性回归y=β0+β1t，给出β1与β0的最小二乘估计；(3)计算回归的决定系数R²。答案：(1)预测=(145+158+170)/3=157.67万元(2)均值t=3，y=145；Σ(t-t̄)(y-ȳ)=46，Σ(t-t̄)²=10；β1=4.6，β0=145-4.6×3=131.2(3)ȳ=145，Σ(y-ȳ)²=2180；Σ(y-ŷ)²=21.6；R²=1-21.6/2180≈0.99017.应用题（分析类，共20分）7.1给定用户行为宽表user_act（user_id,session_id,page,stay_time,ts），需计算“跳出会话”占比（仅1条记录的会话）。请写出SparkSQL实现，并说明如何优化大表扫描。答案：SQL：SELECTCOUNT(IF(cnt=1,1,NULL))/COUNT()ASbounce_rateSELECTCOUNT(IF(cnt=1,1,NULL))/COUNT()ASbounce_rateFROM(SELECTsession_id,COUNT()AScntFROMuser_actGROUPBYsession_id)t;FROM(SELECTsession_id,COUNT()AScntFROMuser_act