2026年数据分析与处理考试试卷及答案

2026年数据分析与处理考试试卷及答案一、单项选择题（每题2分，共20分。每题只有一个正确答案，请将正确选项字母填入括号内）1.在Pythonpandas中，若df为DataFrame对象，下列代码执行后，df.shape的变化是（）```pythondf.dropna(axis=1,how='all',inplace=True)```A.列数一定减少B.行数一定减少C.列数可能减少D.行数可能减少答案：C2.对一组右偏的连续型数据做对数变换，其偏度将（）A.增大B.不变C.减小D.先增大后减小答案：C3.在SQL中，若要计算每个用户最近一次的登录日期，应使用的窗口函数是（）A.ROW_NUMBER()B.RANK()C.DENSE_RANK()D.LAG()答案：A4.在机器学习中，若特征X与目标Y的互信息I(X;Y)=0，则以下说法正确的是（）A.X与Y独立B.X与Y线性无关C.X对Y的预测能力为0D.以上均正确答案：D5.使用K-means聚类时，若初始质心选择不当导致空簇，合理的处理策略是（）A.降低K值B.重新随机初始化该簇质心C.删除该簇对应样本D.增加最大迭代次数答案：B6.在A/B测试中，若检验指标为转化率，样本量固定，显著性水平α从0.05调整到0.01，则（）A.第一类错误概率降低B.第二类错误概率降低C.检验功效增加D.最小可检测效应增大答案：A7.在Python中，使用scikit-learn的StandardScaler对训练集拟合后，对测试集应（）A.重新fit后再transformB.直接transformC.先fit_transform再transformD.无需处理答案：B8.对高维稀疏文本数据，以下模型最不适合的是（）A.线性SVMB.多项式朴素贝叶斯C.随机森林D.逻辑回归答案：C9.在时间序列分解中，季节因子之和应满足（）A.等于0B.等于周期长度C.等于1D.等于趋势项均值答案：B10.在PySpark中，以下操作会触发宽依赖的是（）A.mapB.filterC.unionD.groupByKey答案：D二、多项选择题（每题3分，共15分。每题有两个或两个以上正确答案，请将所有正确选项字母填入括号内，漏选、错选均不得分）11.下列属于处理类别变量缺失值的合理方法有（）A.用众数填补B.新增“Missing”类别C.用目标编码均值填补D.删除缺失样本答案：ABD12.关于主成分分析（PCA），以下说法正确的有（）A.主成分方向是协方差矩阵的特征向量B.各主成分之间线性无关C.保留主成分数量可基于累计解释方差比D.PCA对变量量纲敏感答案：ABCD13.在Python中，以下能正确实现“将DataFrame列名中所有空格替换为下划线”的代码有（）A.df.columns=df.columns.str.replace('','_')B.df.rename(columns=lambdax:x.replace('','_'),inplace=True)C.df.columns=[col.replace('','_')forcolindf.columns]D.df.columns.map(lambdax:x.replace('','_'))答案：ABC14.以下属于过拟合常见现象的有（）A.训练误差持续下降而验证误差上升B.模型在训练集上准确率达100%C.权重系数绝对值过大D.交叉验证标准差远大于均值答案：ABC15.在SQL中，使用WITH语句（CTE）的优点包括（）A.提高可读性B.避免重复计算C.自动创建临时索引D.支持递归查询答案：ABD三、填空题（每空2分，共20分。请将答案直接填写在横线上）16.在Pythonpandas中，将字符串列date_str转换为日期类型，且格式为'%Y-%m-%d'，代码为：df['date']=pd.to_datetime(df['date_str'],________________)。答案：format='%Y-%m-%d'17.若随机变量X~N(μ,σ²)，则其峰度为_______。答案：318.在梯度下降中，若损失函数对参数θ的偏导数为g，学习率为η，则参数更新公式为θ:=_______。答案：θηg19.使用5折交叉验证时，若总样本量为1000，则每折训练集样本量约为_______。答案：80020.在SQL中，计算用户留存率时，常用______连接将次日活跃的用户与首日活跃用户关联。答案：LEFTJOIN21.在Pythonnumpy中，生成服从标准正态分布的100×5数组的代码为：np.random._________(size=(100,5))。答案：randn22.若特征A与B的皮尔逊相关系数为-0.9，则A与B呈_______相关。答案：强负23.在scikit-learn中，使用网格搜索时，通过_______参数指定评估指标。答案：scoring24.在PySparkDataFrame中，查看执行计划的命令是df._________()。答案：explain25.在时间序列预测中，若模型残差通过Ljung-Box检验的p值>0.05，说明残差_______。答案：无显著自相关四、简答题（共25分）26.（封闭型，6分）简述K-fold交叉验证的步骤，并说明stratifiedK-fold与普通K-fold的区别。答案：步骤：1.将数据集打乱；2.划分为K个大小相近的子集；3.依次用K-1个子集训练，剩余1个子集验证；4.计算K次验证指标的平均值作为模型性能估计。区别：stratifiedK-fold在划分时保持每个子集中类别比例与整体一致，适用于类别不平衡数据，普通K-fold仅随机划分。27.（开放型，9分）某电商APP在首页上线新推荐算法，运营团队希望评估其对GMV的提升。请设计一套完整的因果推断方案，包括数据收集、实验设计、指标选择、统计检验及潜在偏差的处理。答案：1.数据收集：用户维度：user_id、注册时间、历史GMV、活跃度、设备类型；行为维度：曝光时间、点击、下单、支付金额；日志埋点：确保实验组与对照组曝光标记唯一。2.实验设计：采用随机对照试验（RCT），按用户粒度随机分流，实验组使用新算法，对照组使用原算法；分流比例1:1，使用哈希分区保证一致性；实验周期覆盖完整购买周期（如两周），避免周末/促销干扰。3.指标选择：核心指标：人均GMV（实验期支付金额/用户数）；护栏指标：点击率、退货率、页面停留时长，防止伤害用户体验。4.统计检验：假设检验：H0:μ_exp≤μ_ctrl，H1:μ_exp>μ_ctrl；使用Welch’st检验处理方差异质；计算最小可检测效应（MDE）与功效（power=80%）。5.潜在偏差处理：网络效应：采用聚类随机化（按地理区域或邀请码簇）；学习效应：实验前设置7天wash-out；多重检验：对护栏指标采用Bonferroni校正；样本不平衡：使用CUPED方差缩减，以历史GMV为协变量。6.结果解读：若p<0.05且人均GMV提升>1%，则建议全量；同步输出置信区间与灵敏度分析，评估极端用户影响。28.（封闭型，5分）给定线性回归模型y=Xβ+ε，ε~N(0,σ²I)，证明最小二乘估计量β̂=(XᵀX)⁻¹Xᵀy是无偏估计。答案：E[β̂]=E[(XᵀX)⁻¹Xᵀy]=(XᵀX)⁻¹XᵀE[y]=(XᵀX)⁻¹XᵀXβ=β故β̂是无偏估计。29.（开放型，5分）解释“数据泄露”在机器学习中的含义，列举三种常见泄露场景并给出预防措施。答案：含义：训练集信息在不知情下包含了测试集或未来信息，导致模型评估虚高。场景与预防：1.时间泄露：用未来特征预测过去目标；预防：按时间切分训练/测试集。2.特征泄露：特征工程时使用了与目标高度相关的衍生变量；预防：在训练集上单独拟合编码器/标准化器。3.交叉验证泄露：整体数据先做特征选择再做CV；预防：将特征选择嵌入每折CV内部。五、应用题（共50分）30.（计算类，15分）某短视频平台随机抽取10000条视频，记录其播放完成率x（已做min-max归一化到[0,1]）与点赞数y。已知：∑x_i=6500，∑y_i=130000，∑x_i²=4900，∑y_i²=2000000，∑x_iy_i=95000。（1）求样本相关系数r；（5分）（2）建立一元线性回归模型y=β₀+β₁x，求β̂₁与β̂₀；（5分）（3）若某视频x=0.8，预测其点赞数。（5分）答案：（1）x̄=6500/10000=0.65，ȳ=130000/10000=13S_xx=∑x_i²nx̄²=4900-10000×0.65²=4900-4225=675S_yy=∑y_i²nȳ²=2×10⁶-10000×13²=2×10⁶-1.69×10⁶=0.31×10⁶=310000S_xy=∑x_iy_inx̄ȳ=95000-10000×0.65×13=95000-84500=10500r=S_xy/√(S_xxS_yy)=10500/√(675×310000)=10500/√209250000≈10500/14465≈0.726（2）β̂₁=S_xy/S_xx=10500/675≈15.56β̂₀=ȳ-β̂₁x̄=13-15.56×0.65≈13-10.11≈2.89（3）ŷ=2.89+15.56×0.8≈2.89+12.45≈15.34（百条）即约1534次点赞。31.（分析类，15分）下表为某电商大促期间用户支付转化漏斗数据：环节UV转化率（到下一环节）首页曝光5,000,00045%商详页2,250,00020%加购450,00050%下单225,00080%支付成功180,000—（1）计算整体转化率（曝光到支付）；（3分）（2）若希望支付成功UV达到250,000，假设各环节转化率不变，需增加多少首页曝光UV？（6分）（3）若只能选择一个环节进行优化，应优先优化哪一环节？请用“机会模型”量化说明。（6分）答案：（1）整体转化率=180000/5000000=3.6%（2）设需曝光UV为X，则X×0.45×0.2×0.5×0.8=250000X=250000/(0.45×0.2×0.5×0.8)=250000/0.036≈6,944,445需增加：6,944,445-5,000,000≈1,944,445（3）机会模型：每提升1%绝对转化率带来的新增支付UV=当前UV×1%×后续转化率乘积首页：5000000×1%×0.2×0.5×0.8=4000商详页：2250000×1%×0.5×0.8=9000加购：450000×1%×0.8=3600下单：225000×1%×0.8=1800支付：180000×1%无后续商详页环节机会最大，应优先优化。32.（综合类，20分）某城市公交IC卡数据包含字段：card_id、line_id、bus_id、trade_time、trade_type（0=上车，1=下车）、amount。数据量约50亿条，存储于Hive表ods.bus_trade。现需完成以下任务：a.计算2025-10-01当日每条线路的客运量（上车人数）与客运周转量（上车人数×平均运距），其中运距需通过上下车匹配获得；（8分）b.识别2025-10-01的“异常大客流”线路，定义为客运量超过该线路过去30天同期（同一小时）均值3倍标准差；（6分）c.将结果写入ADS层表ads.line_abnormal_flow，字段：line_id、stat_date、hour、passenger_vol、avg_30d、std_30d、abnormal_flag，并给出建表与写入脚本。（6分）答案：a.上下车匹配SQL（简化版，假设已分区）：```sqlWITHget_onAS(SELECTcard_id,line_id,bus_id,trade_timeFROMods.bus_tradeWHEREtrade_type=0ANDdt='2025-10-01'),get_offAS(SELECTcard_id,line_id,bus_id,trade_timeFROMods.bus_tradeWHEREtrade_type=1ANDdt='2025-10-01'),matchedAS(SELECTg.card_id,g.line_id,unix_timestamp(f.trade_time)-unix_timestamp(g.trade_time)ASride_secFROMget_ongJOINget_offfONg.card_id=f.card_idANDg.line_id=f.line_idANDf.trade_timeBETWEENg.trade_timeANDg.trade_time+interval2hour),line_statAS(SELECTline_id,COUNT()ASpassenger_vol,COUNT()ASpassenger_vol,SUM(ride_sec)AStotal_secFROMmatchedGROUPBYline_id)SELECTline_id,passenger_vol,total_sec/3600ASpassenger_hourFROMline_stat;```b.异常大客流检测：```sqlWITHtodayAS(SELECTline_id,hour(trade_time)AShour,COUNT()ASvolSELECTline_id,hour(trade_time)AShour,COUNT()ASvolFROMods.bus_tradeWHEREtrade_type=0ANDdt='2025-10-01'GROUPBYline_id,hour(trade_time)),historyAS(SELECTline_id,hour(trade_time)AShour,AVG(COUNT())ASavg_30d,AVG(COUNT())ASavg_30d,STDDEV_POP(COUNT())ASstd_30dSTDDEV_POP(COUNT())ASstd_30dFROMods.bus_tradeWHEREtrade_type=0ANDdtBETWEEN'2025-09-01'AND'2025-09-30'GROUPBYline_id,hour(trade_time)),joinedAS(SELECTt.line_id,t.hour,t.vol,h.avg_30d,h.s