2026年大数据分析实战测试卷

2026年大数据分析实战测试卷1.单选题（每题2分，共20分）1.1在Hadoop3.x默认配置下，一个128MB的文本文件被切分成几个InputSplit（块大小128MB，副本因子3）？A.1  B.2  C.3  D.4答案：A1.2Spark3.4中，下列哪一项RDD操作会触发宽依赖？A.map  B.filter  C.union  D.groupByKey答案：D1.3使用Pythonpandas1.5读取一个10GBCSV时，为降低内存占用，最佳实践是：A.dtype=str  B.chunksize=50000  C.engine=’c’  D.low_memory=False答案：B1.4在Flink1.17的Event-Time语义下，Watermark用于解决：A.数据倾斜  B.背压  C.乱序事件  D.CheckPoint失败答案：C1.5某电商表user_order(user_id,order_id,amount,dt)，计算用户近30天GMV，最合理的Hive分区字段是：A.user_id  B.order_id  C.amount  D.dt答案：D1.6下列哪种可视化图形最适合展示“连续变量与连续变量”的线性关系？A.饼图  B.箱线图  C.散点图  D.雷达图答案：C1.7在Kafka3.5中，当producer设置acks=all时，最少需要多少台broker应答才能返回成功？A.1  B.副本数/2  C.全部ISR  D.任意一台答案：C1.8使用XGBoost1.7训练二分类模型，eval_metric选择auc，当训练AUC=0.98、验证AUC=0.72时，最可能发生了：A.欠拟合  B.过拟合  C.样本不平衡  D.特征泄露答案：B1.9在SQL中，窗口函数ROW_NUMBER()OVER(PARTITIONBYdeptORDERBYsalaryDESC)的作用是：A.每个部门工资升序排名  B.全局工资排名  C.每个部门工资降序排名  D.部门内去重答案：C1.10某集群每天新增日志500GB，保存90天，压缩比1:5，副本2，则存储裸容量约为：A.18TB  B.9TB  C.45TB  D.90TB答案：A2.多选题（每题3分，共15分；多选少选均不得分）2.1下列属于Hive3.x支持的文件存储格式有：A.ORC  B.Parquet  C.SequenceFile  D.RCFile  E.AVRO答案：ABCDE2.2Spark3.x的Catalyst优化器会进行哪些静态优化？A.谓词下推  B.列裁剪  C.常量折叠  D.动态分区裁剪  E.代码生成答案：ABCE2.3以下哪些操作可以降低HiveSQL产生的小文件？A.增大reduce任务数  B.使用distributebyrand()  C.启用merge小文件参数  D.使用ORC+压缩  E.减少map数答案：BCD2.4在Pythonscikit-learn1.3中，可用于处理类别型特征的方法有：A.OneHotEncoder  B.OrdinalEncoder  C.LabelEncoder  D.TargetEncoder  E.StandardScaler答案：ABCD2.5关于Flink的Checkpoint机制，正确的是：A.基于Chandy-Lamport算法  B.支持Exactly-Once  C.必须依赖外部存储  D.可配置异步快照  E.失败时自动回滚到最近一次成功点答案：ABDE3.填空题（每空2分，共20分）3.1在Linux中，查看当前文件夹下各子目录磁盘使用大小的命令是______-h--max-depth=1。答案：du3.2Spark中，将DataFrame注册为临时视图的API是createOrReplace______。答案：TempView3.3MySQL8.0中，查看慢查询是否开启的变量名是_______query_log。答案：slow3.4在Python3.11中，使用_______库可以完成GPU加速的pandas操作（开源项目）。答案：cudf3.5HDFS默认块大小为_______MB（Hadoop3.x）。答案：1283.6在机器学习混淆矩阵里，真正例的英文缩写是______。答案：TP3.7Elasticsearch7.x中，默认分片数为______。答案：13.8在Kafka中，消费者组重新均衡的协议名称是_______Protocol。答案：Cooperative3.9在SQL中，将字符串日期’2026-06-01’转换为时间戳的函数是unix______。答案：timestamp3.10在Tableau中，将多个工作表放入同一页面展示的功能叫______。答案：Dashboard4.判断题（每题1分，共10分；正确打“√”，错误打“×”）4.1SparkSQL支持Hive的所有UDF。 答案：√4.2HDFS的NameNode单点故障问题在Hadoop2.x已彻底解决。 答案：√4.3XGBoost只能运行在使用梯度提升树的场景，不支持线性模型。 答案：×4.4Flink的TableAPI与DataStreamAPI可以完全无缝互转。 答案：√4.5在Pythonpandas中，merge默认采用innerjoin。 答案：√4.6Kafka的topic分区数一旦创建不可修改。 答案：×4.7使用ORC格式存储的Hive表可以支持事务UPDATE。 答案：√4.8在Linux中，top命令可以查看每个CPU核心的使用率。 答案：√4.9逻辑回归的决策边界一定是线性的。 答案：√4.10Airflow的DAG文件必须放在dags文件夹下才能被调度。 答案：√5.简答题（封闭型，每题5分，共15分）5.1简述MapReduce中Shuffle阶段的具体流程。答案：Map端将输出结果按分区函数写入环形缓冲区，当缓冲区达到阈值（默认80%）触发溢写，溢写前进行分区和排序，若配置Combiner则本地聚合；溢写文件多次合并成一个大文件并保留索引。Reduce端通过HTTP拉取对应分区的数据，合并后按key排序，最终交付reduce函数处理。5.2列举Spark3.x提供的三种共享变量并说明用途。答案：1.广播变量（BroadcastVariables）：将只读数据集高效分发到各节点，减少网络传输；2.累加器（Accumulators）：分布式计数器，用于作业级指标收集；3.分布式缓存表（临时视图）：跨多次查询共享中间结果，提高交互式分析性能。5.3写出Flink实现Exactly-Once语义的两项核心技术。答案：1.分布式异步Checkpoint机制，基于Chandy-Lamport算法定期制作一致性快照；2.可回放源+幂等写入，如Kafka作为source可重置offset，Sink支持幂等或两阶段提交（2PC），确保故障恢复后数据既不重也不漏。6.简答题（开放型，每题10分，共20分）6.1某视频APP日活2000万，平均每人上传3条短视频，每条视频元数据约2KB，播放日志约0.5KB/条，平均每人每天观看50条。请设计一套端到端的大数据架构（采集、存储、处理、分析、可视化），要求支持实时Top100排行与离线多维分析，并说明技术选型理由。答案：1.采集：APP端埋点→Fluentd→Kafka；视频元数据走业务API直接写入MySQL，再Canal至Kafka。2.存储：Kafka保留3天；热数据用Flink写入ClickHouse用于实时查询；冷数据用Spark写入Hive（ORC+ZLIB），按dt,hour分区。3.处理：a.实时：FlinkSQL计算1min窗口播放次数、完播率，更新ClickHouse表，异步写Redis缓存，提供Top100接口。b.离线：Airflow每日调度SparkSQL，对Hive表按视频、地域、终端等维度预聚合，输出ADS层宽表。4.分析：Presto对接Hive做Ad-hoc；Superset连接Presto与ClickHouse制作Dashboard；实时排行直接读Redis。5.选型理由：Kafka支持高吞吐；Flink低延迟；ClickHouse单表千亿行秒级；Hive+ORC压缩高、生态成熟；Presto免搬迁；Superset开源、权限可控。6.2你负责的风控模型在灰度期间出现“分数分布整体右移，但坏账率无改善”的现象，请给出排查思路与改进方案。答案：排查：1.检查样本是否与训练集同分布（时间窗口、客群、渠道）；2.查看特征漂移（PSI>0.2的变量）；3.确认评分卡映射公式是否被误改；4.核对标签定义是否变化（坏账口径延长）。改进：1.重新采样最近两个月坏样本微调模型；2.对漂移大的特征使用分箱后WOE再训练；3.引入新数据源（设备指纹、社交图谱）；4.上线后采用Champion-Challenger框架，持续监控KS、AUC、PSI，若7天无改善则回滚。7.计算题（共20分）7.1（8分）某电商促销页进行A/B测试，对照组曝光120万人，转化1.8万人；实验组曝光115万人，转化2.07万人。计算两组转化率、相对提升率，并用正态近似给出差异的95%置信区间，判断实验是否显著。答案：对照转化率p1=1.8/120=1.5%，实验p2=2.07/115=1.8%；相对提升=(1.8%-1.5%)/1.5%=20%；合并方差SE=sqrt(p(1-p)(1/n1+1/n2))，p=(1.8+2.07)/(120+115)=0.01644；SE=sqrt(0.01644×0.98356×(1/1200000+1/1150000))=0.000528；Z=(0.018-0.015)/0.000528=5.68；95%CI差异=0.003±1.96×0.000528=[0.00196,0.00404]不包含0，显著。7.2（12分）给定用户-商品评分矩阵R（5万用户×2万商品，稀疏度0.2%），采用SparkALS训练隐语义模型，rank=50，alpha=40，lambda=0.1，迭代10次。已知集群共20节点，每节点8核、32GB。①估算参数总数量；②若使用float32存储，估算模型内存；③若每次迭代Shuffle写2TB临时数据，集群万兆网络，估算单迭代Shuffle耗时；④指出内存不足时的两种调优手段。答案：①参数=用户数×rank+商品数×rank=5e4×50+2e4×50=3.5e6，float32占4字节，模型=3.5e6×4=14MB。②训练时还需存储用户/商品特征向量、梯度、标签等，峰值≈2倍，约30MB，远小于单节点内存，可广播。③Shuffle写2TB=2e12B，万兆网=1.25e9B/s，理论最小时间=2e12/1.25e9=1600s≈26.7min；考虑磁盘、并发，实际约40min。④调优：1.提高spark.sql.shuffle.partitions至1000以上，降低单分区数据；2.使用内存+磁盘序列化存储级别，或启用AdaptiveQueryExecution自动减小Reduce端内存占用。8.综合分析题（共30分）背景：某市交通局提供2025年出租车GPS点数据，字段：vehicle_id,longitude,latitude,status(0空载/1载客),timestamp。数据量约2TB，已按天分区存入Hive表ods_taxi_gps。需求如下：a.计算每日早晚高峰（7:00-9:00、17:00-19:00）各区域的平均空载率；b.找出连续载客里程>30km的订单（采样间隔30秒，允许5%点缺失）；c.实时监测“异常聚集”——某半径500米圆周内同时出现>50辆空车且持续>10分钟。任务：8.1（10分）给出离线部分的完整ETL流程（含SQL/伪代码），要求使用SparkSQL完成a、b，并说明如何估算计算资源。答案：a.维度表：dim_region(grid_id,geom)将城市划分为1km×1km网格；ods_taxi_gps清洗过滤后，建临时视图t1：SELECTvehicle_id,status,dt,hour,grid_idFROMods_taxi_gpsLATERALVIEWexplode(array(……))WHERE(hourBETWEEN7AND8)OR(hourBETWEEN17AND18);聚合：SELECTdt,grid_id,SUM(CASEWHENstatus=0THEN1ELSE0END)/COUNT()ASavg_empty_ratioSUM(CASEWHENstatus=0THEN1ELSE0END)/COUNT()ASavg_empty_ratioFROMt1GROUPBYdt,grid_id;b.订单切割：使用“载客状态=1且相邻点时间差<180s”作为连续段；Spark窗口：SELECTvehicle_id,trip_id,SUM(haversine(lag_lon,lag_lat,lon,lat))/1000AStrip_kmFROM(SELECT,FROM(SELECT,SUM(CASEWHENstatus=0ORunix_timestamp(timestamp)-unix_timestamp(lag_time)>180THEN1ELSE0END)OVER(PARTITIONBYvehicle_idORDERBYtimestamp)AStrip_idFROM(SELECT,LAG(timestamp)OVER(PARTITIONBYvehicle_idORDERBYtimestamp)lag_time,FROM(SELECT,LAG(timestamp)OVER(PARTITIONBYvehicle_idORDERBYtimestamp)lag_time,LAG(longitude)OVER(...)lag_lon,LAG(latitude)OVER(...)lag_latFROMods_taxi_gps)t)t2GROUPBYvehicle_id,trip_idHAVINGtrip_km>30;资源估算：2TB/90天≈22GB/天，Spark3