2026年数据科学与大数据技术能力测评试题及答案

2026年数据科学与大数据技术能力测评试题及答案1.单项选择题（每题2分，共20分）1.1在HDFS中，NameNode的主要职责是A.存储实际数据块B.管理文件系统元数据C.执行Map任务D.执行Reduce任务答案：B1.2下列哪种损失函数最适合用于多分类且类别互斥的问题A.均方误差B.二元交叉熵C.分类交叉熵D.HingeLoss答案：C1.3Spark中RDD的哪一项转换操作会产生宽依赖A.mapB.filterC.unionD.groupByKey答案：D1.4在Pythonpandas里，对DataFramedf按列col升序排序并返回新对象的正确写法是A.df.sort_values('col')B.df.sort('col')C.df.order('col')D.df.sorted('col')答案：A1.5使用PCA降维时，各主成分之间的关系是A.线性相关B.正交C.协方差为任意值D.相关系数为1答案：B1.6在Flink的时间语义中，EventTime是指A.数据进入Flink系统的时间B.算子处理记录的时间C.记录本身携带的时间戳D.窗口触发计算的时间答案：C1.7下列关于HBase的描述，错误的是A.面向列存储B.强一致性读写C.支持多行事务D.基于HDFS答案：C1.8在深度学习中，批归一化（BatchNormalization）通常放在A.卷积层之前B.激活函数之后C.激活函数之前D.池化层之后答案：C1.9若随机变量X~N(μ,σ²)，则P(μ-σ≤X≤μ+σ)约为A.50%B.68%C.95%D.99%答案：B1.10在Kafka中，负责消费者组再均衡的协议组件是A.ProducerB.ConsumerCoordinatorC.ZooKeeperD.BrokerLeader答案：B2.多项选择题（每题3分，共15分；每题至少有两个正确答案，多选少选均不得分）2.1下列哪些算法可以处理类别不平衡A.SMOTEB.EasyEnsembleC.随机森林D.XGBoost的scale_pos_weight答案：A,B,D2.2关于SparkSQL的Catalyst优化器，正确的有A.使用规则优化逻辑执行计划B.支持代价模型选择物理计划C.支持代码生成D.只能优化Hive表答案：A,B,C2.3以下哪些属于NoSQL数据库的CAPtrade-off典型表现A.MongoDB默认CPB.Cassandra强调APC.HBase强调CPD.RedisCluster强调CA答案：B,C2.4在Pythonscikit-learn中，可用于特征选择的模块有A.SelectKBestB.RFEC.VarianceThresholdD.PCA答案：A,B,C2.5下列关于A/B测试的陈述，正确的有A.显著性水平α=0.05表示有5%概率拒绝真原假设B.功效1-β越高，所需样本量越大C.检验统计量服从t分布时可用z检验近似大样本D.停止实验越早，I型错误风险越小答案：A,B,C3.填空题（每空2分，共20分）3.1在梯度下降中，若损失函数L(θ)对参数θ的一阶导数为g，二阶导数为h，则牛顿法更新公式θ←θ-______。答案：g/h3.2使用MapReduce实现两表连接时，若一张表很小，可将其分发到各节点缓存，这种技术称为______连接。答案：Map-side/广播3.3在Flink中，窗口Assigner将无限流切分有限块，若窗口长度10分钟、滑动步长5分钟，则该窗口类型称为______窗口。答案：滑动3.4若某Hive表分区字段为dt，查询2025年6月所有数据，SQL谓词应写dtbetween'2025-06-01'and______。答案：'2025-06-30'3.5在Pythonnumpy中，生成形状(3,4)且元素为0到1均匀分布随机数组的代码为np.random.______(3,4)。答案：rand3.6在XGBoost中，控制基学习器数量的参数名为______。答案：n_estimators/num_round3.7在Kafka2.8之后，如不使用ZooKeeper，则依赖的替代共识模块称为______。答案：KRaft3.8若某分类模型在测试集上TP=90，FN=10，FP=30，TN=70，则召回率R=______。答案：0.93.9在SQL中，计算分组后各组行数的窗口函数写法为______()OVER(PARTITIONBY...)。答案：COUNT()答案：COUNT()3.10在深度学习卷积网络中，若输入张量形状为(N,C,H,W)，卷积核大小k×k，输出通道M，步幅s，填充p，则输出特征图高度为______。答案：⌊(H+2p−k)/s⌋+14.简答题（封闭型，每题8分，共24分）4.1描述HDFS写入流程，并指出数据完整性如何保障。答案：客户端向NameNode请求创建文件，NN检查权限并返回可写DataNode列表；客户端将数据切分成packet，以流式方式先写入第一个DN，该DN转发给下一个DN，形成pipeline；每个DN收到packet后落盘并向前一个DN发送ack，最终客户端收到全部ack后通知NN关闭文件。完整性通过每个packet的校验和与块级别的crc32校验文件保障，DN定期通过blockscanner比对校验和，发现损坏则向NN汇报，NN调度剩余副本重新复制达到副本系数。4.2解释随机森林的OOB误差估计原理，并说明其优点。答案：对每棵树，约37%样本未被抽中作为训练集，称为OOB样本；预测时仅用这些样本投票或平均，得到OOB预测，汇总所有树的OOB预测即可计算OOB误差。优点：无需额外验证集，不浪费数据；在训练同时即可评估泛化能力，可用于变量重要性计算及模型选择。4.3对比BatchGradientDescent与StochasticGradientDescent的收敛特性及适用场景。答案：BGD使用全部样本计算梯度，方向准确但计算量大，收敛稳定，适合小数据集或高精度需求；SGD每次随机单样本（或小批量）更新，梯度噪声大，但更新频繁，可逃离局部极小，适合大规模数据及在线学习；BGD收敛曲线平滑，SGD波动大但总体呈下降趋势；学习率衰减策略下SGD最终可收敛到近似最优。5.简答题（开放型，每题10分，共20分）5.1某电商公司日增日志5TB，需实时统计分省份销售额，要求延迟<5秒。请给出技术选型、架构图要点及Exactly-Once实现策略。答案：技术选型：Kafka→Flink→Redis/ClickHouse。架构：日志采集用Filebeat→KafkaTopic按省份分区；Flink作业使用EventTime+WaterMark，窗口长度1秒，允许乱序3秒；状态后端RocksDB+开启checkpoint10秒一次，使用两阶段提交Sink到ClickHouse；KafkaConsumer采用FlinkKafkaSource的commitoffsetoncheckpoint实现端到端Exactly-Once；Redis用于毫秒级大屏缓存，通过Flink异步IO写入。若ClickHouse失败，checkpoint失败自动回滚，保证不重不漏。5.2某医疗影像数据集样本量仅2000张，需训练深度网络进行肺结节良恶性分类。请提出数据、模型、训练、评估四方面的具体策略，并解释为何有效。答案：数据：使用随机旋转、翻转、弹性变形、GAN生成伪样本、多中心外部验证集扩增至1万张；模型：采用在ImageNet预训练的ResNet50，替换最后全连接为二分类，加入Dropout0.5与LabelSmoothing0.1；训练：冻结前面两层epoch5，再微调全网络，使用Cosine退火学习率，早期停止patience=10，交叉熵损失+加权样本缓解不平衡；评估：五折分层交叉验证，指标用AUC、敏感性、特异性，绘制PR曲线，使用Grad-CAM可视化医生可解释性；小数据集下迁移学习利用低层通用特征，数据增强降低过拟合，加权损失与早停提升泛化，可视化增强临床接受度。6.应用题（计算类，12分）6.1给定如下交易数据，用户ID、商品ID、评分（1-5）：U1,A,5U1,B,3U1,C,2U2,A,3U2,B,4U3,A,2U3,B,4U3,C,5使用基于用户的协同过滤，采用余弦相似度，预测U2对C的评分。答案：步骤1：构建用户向量U1:(5,3,2)U2:(3,4,0)U3:(2,4,5)步骤2：计算U2与U1、U3的余弦相似度sim(U2,U1)=(3×5+4×3+0×2)/(√(3²+4²)×√(5²+3²+2²))=27/(5×√38)≈0.88sim(U2,U3)=(3×2+4×4+0×5)/(5×√(2²+4²+5²))=22/(5×√45)≈0.66步骤3：加权平均预测r̂_{U2,C}=(0.88×2+0.66×5)/(0.88+0.66)=(1.76+3.3)/1.54≈3.29答案：3.3（保留一位小数）7.应用题（分析类，13分）7.1某市地铁闸机每分钟进站人数序列X_t，样本期2025年4月1日至30日，共43200个观测点。经ADF检验p=0.18，KPSS检验p<0.01。（1）该序列是否平稳？说明理由。（2）给出使序列平稳的两种不同方法并写出对应模型公式。（3）若采用SARIMA，请给出阶数选择流程及评价标准。答案：（1）非平稳；ADF不能拒绝单位根原假设，KPSS拒绝平稳原假设，双检验一致表明存在单位根或趋势。（2）方法一：一阶差分∇X_t=X_t−X_{t−1}，模型∇X_t=μ+ε_t；方法二：去趋势后差分，先拟合X_t=α+βt+η_t，得残差η_t，再对η_t做AR(1)：η_t=ϕη_{t−1}+ε_t。（3）流程：①对原始序列观察ACF/PACF，确认季节周期s=1440分钟；②对∇_sX_t=(1-B^s)X_t及∇X_t分别检验平稳；③使用auto_arima或逐步搜索，候选阶数p,q∈[0,5]，P,Q∈[0,2]，d,D∈[0,1]；④用AICc、BIC取最小，交叉验证滚动窗口MAPE<5%为优；⑤残差Ljung-Box检验p>0.05，Q-Q图近似直线。8.应用题（综合类，16分）8.1某视频平台拟构建实时异常检测系统，识别CDN流量突增。提供近30天每秒请求数，共2.6×10^9条记录。要求：a)离线训练模型；b)在线检测延迟<2秒；c)误报率<1%；d)支持水平扩展。请给出完整解决方案，包括数据预处理、特征工程、模型选择、上线流程、效果评估与回滚策略。答案：数据预处理：用Flink消费Kafka每秒聚合QPS、带宽、状态码4xx/5xx比例，写入Hive分区表；离线采样10%即2.6×10^8条，缺失值用线性插值，去除节假日已知峰值。特征工程：滑动窗口特征（过去1/5/15分钟均值、标准差、斜率）、同比特征（上周同日同时段均值）、环比特征（上一周期差分）、频域特征（每小时FFTtop3幅值）。模型选择：离线用IsolationForest+在线Kolmogorov-Smirnov检验双层方案。IF训练：contamination=0.01，n_estimators=500，max_features=0.8，特征缩放用RobustScaler；KS检验：实时缓存最近3600点，滑动检验最新60点是否来自同一分布，显著性α=0.001。上线流程：①离线训练后导出PMML，存入HDFS；②FlinkCEP作业读取PMML，使用JPMML-evaluator，每2秒计算特征，IF异常分>0.7且KSp<0.001则触发告警；③Sink到Kafka告警Topic，Elasticsearch仪表盘可视化。效果评估：离线用PR-AUC，交叉验证平均0.92；在线灰度7天，与运维人工标注对比，误报率0.8%，召回率96%；通过Flaky测试注入已知流量尖峰，延迟1.3秒检测。回滚策略：若误报率>1%或延迟>2秒持续5分钟，自动降级为规则阈值方案（3σ），同时通知运维；模型回滚通过配置中心切换，无需重启作业。9.编程题（20分）9.1使用PySpark实现以下需求：输入：Hive表user_action（user_idSTRING,item_idSTRING,actionSTRING,tsBIGINT），action∈{'view','buy'}；输出：统计每个用户最近7天（以ts为准，单位秒）的购买转化率（buy/view），若view=0则输出NULL；要求：①仅用DataFrameAPI；②支持分区并行；③代码可直接在spark-sqlCLI运行。请写出完整代码并给出关键执行计划截图文字描述。答案：```pythonfrompyspark.sqlimportSparkSessionfrompyspark.sql.functionsimportcol,count,when,current_timestampspark=SparkSession.builder.appName("conversion_rate").enableHiveSupport().getOrCreate()df=spark.table("user_action")计算7天前边界boundary=int(spark.sql("selectunix_timestamp()7243600").head()[0])boundary=int(spark.sql("selectunix_ti