2026年数据科学与大数据分析综合能力考试试卷及答案

2026年数据科学与大数据分析综合能力考试试卷及答案1单选题（每题2分，共20分）1.1在Spark3.4中，下列哪一项参数最直接决定DataFrame执行物理计划时是否采用BroadcastHashJoin？A.spark.sql.adaptive.enabledB.spark.sql.shuffle.partitionsC.spark.sql.autoBroadcastJoinThresholdD.spark.sql.statistics.histogram.enabled答案：C1.2给定一个包含1000万条记录、100个特征的稀疏文本数据集，若采用MinHashLSH进行近似去重，下列签名长度组合在0.9召回率下假阳性最低的是A.128×1B.64×2C.32×4D.16×8答案：B1.3在Python3.11的pandas2.0中，对同一DataFrame连续调用df.groupby('key').sum()与df.groupby('key',observed=True).sum()结果可能不同的是A.key列存在NaNB.key为category类型且包含未出现的类别C.key为int64且含空值D.key为float64且含重复值答案：B1.4使用XGBoost2.0训练二分类模型时，若eval_metric选择'auc'，则earlystopping默认监控的指标是A.训练集aucB.验证集aucC.训练集loglossD.验证集logloss答案：B1.5在Hadoop3.4的YARNCapacityScheduler中，下列配置项用于控制单个用户最多可占用队列资源百分比的是A.yarn.scheduler.capacity.<queue-path>.minimum-user-limit-percentB.yarn.scheduler.capacity.<queue-path>.user-limit-factorC.yarn.scheduler.capacity.<queue-path>.maximum-capacityD.yarn.scheduler.capacity.<queue-path>.state答案：A1.6对于服从N(μ,σ²)的独立同分布样本，若使用Bootstrap估计σ的95%置信区间，当原始样本量n=20，Bootstrap次数B=5000时，下列说法正确的是A.区间宽度随B增大而趋于0B.区间覆盖率在n固定时随σ增大而下降C.区间覆盖率在B→∞时趋于0.95D.区间宽度与σ²成正比答案：C1.7在Kafka3.5中，topic副本数为3，min.insync.replicas=2，producer配置acks=all，当ISR列表中仅剩1个副本时，producer会A.继续正常发送B.抛出NotEnoughReplicasExceptionC.自动降级为acks=1D.等待ISR恢复至2后继续答案：B1.8使用PyTorch2.1实现BERT微调时，若采用mixedprecision训练，下列哪一项操作必须由程序员手动完成A.loss缩放B.梯度缩放更新C.模型参数半精度转换D.autocast上下文管理答案：B1.9在SQL:2016标准中，用于计算分位数且支持withingroup语法的聚合函数是A.PERCENTILE_CONTB.MEDIANC.PERCENT_RANKD.CUME_DIST答案：A1.10某电商公司采用AB实验评估推荐算法，若每日活跃用户数100万，预期提升转化率相对+1%，power=0.8，α=0.05（双侧），则所需最小实验天数约为（已知日均转化率2%）A.7B.14C.28D.56答案：C2多选题（每题3分，共15分，多选少选均不得分）2.1下列属于Flink1.17端到端exactly-once语义必须满足的条件有A.source支持重放B.checkpoint间隔小于处理延迟C.sink支持两阶段提交D.启用unalignedcheckpointE.使用RockDBStateBackend答案：A、C2.2在Pythonscikit-learn1.3中，关于Pipeline与ColumnTransformer组合使用的正确说法有A.可在Pipeline内嵌套ColumnTransformerB.ColumnTransformer可接收多个Pipeline作为变换器C.若某列变换后维度变化，后续estimator必须支持可变维度D.设置remainder='drop'后未被选择的列会被删除E.使用memory参数可缓存中间结果答案：A、B、D、E2.3下列措施可有效降低深度学习模型在GPU上的显存峰值（PyTorch2.1）A.使用gradientcheckpointingB.将batchsize设为1C.使用torch.cuda.amp.autocastD.采用DeepSpeedZeRO-3E.把optimizerstate移至CPU答案：A、C、D、E2.4关于Hive3.2事务表（ACID）的描述正确的有A.必须分桶且桶文件格式为ORCB.支持update/delete语法C.支持快照级别读一致性D.支持非ORC格式写入E.支持通过KafkaConnect实时写入答案：A、B、C2.5在数据治理体系中，属于数据质量维度“一致性”验证常用的技术有A.字段级跨系统校验和B.参照完整性约束C.数据血缘追踪D.主数据管理（MDM）E.数据单元测试答案：A、B、D3填空题（每空2分，共20分）3.1在PostgreSQL15中，对jsonb列data执行路径查询提取键info下第0个元素文本值的SQL表达式为________。答案：data#>>'{info,0}'3.2若随机变量X~Binomial(n=100,p=0.02)，用正态近似计算P(X≥5)时的连续性校正后半段表达式为________。答案：P(X≥4.5)=P(Z≥(4.5−2)/√1.96)3.3在Spark3.4的DataFrameAPI中，将列col按指定分位数0.25、0.5、0.75离散化为桶，生成新列bucket的代码片段为________。答案：bucketizer=Bucketizer(splits=[-inf,df.approxQuantile('col',[0.25,0.5,0.75],0.01)[0],...],inputCol='col',outputCol='bucket')3.4在Linux环境下，使用curl命令将本地文件data.csv通过HTTPPUT上传至HDFSWebHDFS接口，需添加的头部选项为________。答案：-H"Content-Type:application/octet-stream"-XPUT3.5在Python3.11中，使用concurrent.futures.ProcessPoolExecutor并行读取多个parquet文件并返回pandasDataFrame列表，需设置的多进程启动方式为________以避免CUDA上下文冲突。答案：spawn3.6若采用LSHForest进行k=10近邻搜索，当哈希表数L=20，每表哈希函数数k=8，则单次查询需计算的哈希桶数上限为________。答案：L×2^k=20×256=51203.7在TensorFlow2.12中，若模型输出为logits，标签为0/1，需使用的内置损失函数类为________。答案：tf.keras.losses.BinaryCrossentropy(from_logits=True)3.8在HiveSQL中，将字符串'2026-03-0114:30:00'转换为Unix时间戳的函数表达式为________。答案：unix_timestamp('2026-03-0114:30:00','yyyy-MM-ddHH:mm:ss')3.9在PromQL中，计算过去5分钟HTTP请求平均延迟的表达式为________。答案：rate(http_request_duration_seconds_sum[5m])/rate(http_request_duration_seconds_count[5m])3.10若使用Zookeeper3.8管理Flink高可用，则集群启动后必须在ZK路径________下创建leader节点。答案：/flink/default/leader4简答题（共25分）4.1封闭型（5分）说明在DeltaLake2.4中，如何通过checkpoint机制将事务日志的JSON文件合并为Parquet格式的checkpoint文件，并指出该过程对读取端性能的影响。答案：DeltaLake在每次触发checkpoint时，驱动线程会扫描自上次checkpoint以来新增的所有JSON日志条目，将其解析为AddFile、RemoveFile、Metadata等操作记录，按内部Schema写入_parquet格式的checkpoint文件（默认每10次提交触发）。读取端在启动时只需读取最新checkpoint文件及之后的少量JSON，即可重建当前快照，避免遍历全部历史JSON，从而将元数据加载耗时从O(n)降至O(1)，显著缩短大型表冷启动时间。4.2开放型（10分）某视频平台每日新增1亿条用户行为日志，字段含user_id、video_id、event_type、ts。现需实时统计过去1分钟各视频观看人数（去重），延迟≤2秒。请给出完整技术方案，包括流式框架选型、状态存储、去重算法、exactly-once保证及扩容策略。答案：1.框架：采用Flink1.17，启用checkpoint3秒一次，端到端exactly-once。2.source：Kafka3.5，topic分区数=300，单分区峰值5万条/秒。3.去重算法：滑动窗口长度1分钟，滑动步长10秒；使用RocksDBStateBackend存储user_id布隆过滤器，假阳性率0.1%，内存约60MB/窗口。4.状态描述符：MapState<video_id,RoaringBitmap>，keyByvideo_id后并行度=300，单并行度状态<200MB。5.增量清理：注册EventTime定时器，窗口关闭后异步清除过期状态。6.sink：RedisCluster，使用Lua脚本保证incr操作原子性，keyttl=90秒。7.扩容：Kafka分区数可动态扩展，Flinkrescale通过savepoint恢复；RocksDB使用增量checkpoint，上传HDFS，扩容后本地SSD缓存重建<30秒。8.监控：自定义metric上报窗口输出条数、状态大小、迟到元素数；配置Grafana告警阈值状态>500MB或延迟>2秒。4.3封闭型（5分）写出在Pythonscikit-learn1.3中，利用RandomizedSearchCV对梯度提升树进行超参数调优时，如何固定随机种子以保证结果可复现的完整代码片段（含参数空间、cv、n_iter、评分）。答案：```pythonfromsklearn.ensembleimportGradientBoostingClassifierfromsklearn.model_selectionimportRandomizedSearchCVparam_dist={'n_estimators':[100,300,500],'max_depth':[3,4,5],'learning_rate':[0.01,0.05,0.1],'subsample':[0.6,0.8,1.0]}gb=GradientBoostingClassifier(random_state=42)search=RandomizedSearchCV(gb,param_dist,n_iter=20,cv=5,scoring='roc_auc',random_state=42,n_jobs=-1)search.fit(X,y)```4.4开放型（5分）说明在Snowflake中，如何利用TimeTravel与Zero-CopyCloning在5分钟内完成一张10TB生产表到测试环境的回溯复制，并给出SQL步骤及权限要求。答案：1.确认生产表`prod_db.fact_orders`保留期≥2天。2.创建测试数据库`createdatabasetest_dbcloneprod_dbat(timestamp=>dateadd(minute,-120,current_timestamp()));`3.上述语句利用Zero-CopyCloning，仅复制元数据，耗时<30秒，存储费用不变。4.权限：执行者需拥有prod_db的USAGE权限及ACCOUNTADMIN角色或具备CREATEDATABASE权限；测试库继承原库权限，后续可单独授权。5.验证：`selectcount()fromtest_db.public.fact_orders;`行数应与两小时前一致。5.验证：`selectcount()fromtest_db.public.fact_orders;`行数应与两小时前一致。5应用题（共40分）5.1计算类（10分）某电商网站2025年12月全站用户行为数据存储于Hive表`user_log(user_idstring,item_idstring,behaviorstring,dtstring)`，数据量2000亿行，ORC格式，压缩后约30TB。现需计算当月每个用户最早一次购买时间（behavior='buy'），输出表`first_buy(user_id,first_buy_date)`。要求：a)给出SQL实现并说明执行计划优化点；b)估算Reducer端内存峰值并给出防止OOM的两项配置。答案：a)SQL：```sqlsethive.execution.engine=tez;sethive.optimize.metadataonly=true;createtablefirst_buyasselectuser_id,min(dt)asfirst_buy_datefromuser_logwherebehavior='buy'groupbyuser_id;```优化：1.采用Tez引擎，开启vectorization；2.利用ORCmin/max索引，rowgroup级别跳过非buy记录；3.开启`hive.groupby.skewindata=true`自动拆解热点user_id；4.采用map-side聚合减少网络shuffle。b)估算：假设用户数5亿，平均每条购买记录1.2条，shuffle数据量≈5亿×24字节≈12GB；单Reducer默认1GB，需约12个Reducer。若存在热点用户，单Reducer可能接收>3GB，内存峰值约4GB。防止OOM：1.设置`hive.tez.java.opts=-Xmx6g`提高堆内存；2.设置`hive.exec.reducers.bytes.per.reducer=536870912`（512MB）增加Reducer数至24个。5.2分析类（10分）给定一份脱敏医疗数据：表`diagnosis(patient_id,age,sex,region,disease_code,diagnosis_date)`，需评估“区域医疗资源差异是否导致某罕见病（code=R50）确诊延迟”。定义延迟=首诊到确诊间隔天数。提供：1.构建分析数据集的可重复SQL；2.选择适当的统计检验并说明理由；3.给出Python代码计算p值与效应量，并解释结果。答案：1.SQL：```sqlwithfirst_diagas(selectpatient_id,min(diagnosis_date)asfirst_datefromdiagnosisgroupbypatient_id),r50as(selectpatient_id,diagnosis_dateasr50_datefromdiagnosiswheredisease_code='R50'),joinedas(selectf.patient_id,age,sex,region,datediff(r.r50_date,f.first_date)asdelayfromfirst_diagfjoinr50ronf.patient_id=r.patient_id)selectfromjoined;selectfromjoined;```2.选择Kruskal-Wallis检验，因延迟分布右偏、方差不齐，且区域>2组。3.Python：```pythonfromscipy.statsimportkruskalimportpandasaspddf=pd.read_sql(query,conn)grouped=[df[df.region==r]['delay'].valuesforrindf.region.unique()]stat,p=kruskal(grouped)stat,p=kruskal(grouped)eta_sq=sum([len(g)(np.median(g)-np.median(df.delay))**2forgingrouped])/((len(df)-1)np.var(df.delay))eta_sq=sum([len(g)(np.median(g)-np.median(df.delay))**2forgingrouped])/((len(df)-1)np.var(df.delay))print(p,eta_sq)```结果示例：p=0.002，eta²=0.018，表明区域差异虽统计显著，但效应量小，临床意义有限。5.3综合类（20分）某市交通管理局提供2025年全年出租车GPS数据，表`gps(car_id,longitude,latitude,speed,direction,ts)`，每日约500GB，共180天。现需完成：A.构建实时+离线一体化Pipeline，计算任意1km×1km网格任意5分钟内的平均车速、车辆数；B.支持历史回滚与预测补全缺失网格；C.给出存储、计算、查询三层的技术选型、表结构、索引、压缩比、成本估算；D.评估方案在2026年数据量翻倍后的横向扩展策略。答案：A.Pipeline：1.实时层：Kafka→Flink1.17→Redis；GPS流通过AsyncI/O调用GeoHash=6（约1.2km）作为key，5分钟滚动窗口聚合avg(speed)、count(distinctcar_id)，写入RedisHash，ttl=2小时。2.离线层：Spark3.4每日批处理，输入ORC分区表`ods.gps(dt,hour)`，输出Delta表`dws.grid_speed(grid_id,window_start,window_end,avg