(2026年)大数据学科质量测评试卷及答案

(2026年)大数据学科质量测评试卷及答案1.单项选择题（每题2分，共20分）1.1在HDFS中，NameNode的主要职责是A.存储实际数据块B.维护文件系统元数据C.执行Map任务D.压缩数据答案：B1.2下列算法中，时间复杂度为O(nlogn)的是A.冒泡排序B.归并排序C.计数排序D.桶排序答案：B1.3SparkRDD的transformation操作特点是A.立即触发计算B.返回一个新RDDC.将结果写入磁盘D.释放内存答案：B1.4在Kafka中，保证分区内部消息顺序的组件是A.ConsumerGroupB.PartitionC.BrokerD.Zookeeper答案：B1.5若随机变量X~N(μ,σ²)，则P(μ-σ≤X≤μ+σ)约为A.50%B.68%C.95%D.99%答案：B1.6在HiveQL中，执行“SELECTexplode(array(1,2,3))”会返回的行数为A.1B.2C.3D.0答案：C1.7下列关于LSM-Tree的叙述，正确的是A.读放大低，写放大高B.读放大高，写放大低C.读写放大均低D.读写放大均高答案：B1.8使用PageRank时，阻尼系数通常设为A.0.1B.0.5C.0.85D.1.0答案：C1.9在Flink中，事件时间语义需要依赖A.处理时间戳B.WatermarkC.CheckpointD.Slot答案：B1.10下列存储格式中，支持列式存储且原生支持嵌套数据模型的是A.CSVB.AvroC.ParquetD.SequenceFile答案：C2.多项选择题（每题3分，共15分；多选少选均不得分）2.1下列属于NoSQL数据库的有A.HBaseB.MongoDBC.Neo4jD.PostgreSQL答案：ABC2.2在机器学习中，可用于处理过拟合的策略有A.L2正则化B.DropoutC.增加训练轮数D.早停答案：ABD2.3下列Python库中，提供分布式DataFrame接口的有A.DaskB.PandasC.RayDatasetD.Modin答案：ACD2.4关于数据仓库Kimball维度建模，正确的有A.星型模式B.雪花模式C.宽表模式D.第三范式答案：AB2.5下列指标可用于评估二分类模型性能的有A.ROC-AUCB.F1-scoreC.Silhouette系数D.PR-AUC答案：ABD3.填空题（每空2分，共20分）3.1在HBase中，RowKey按照________顺序存储，因此设计时需避免________热点。答案：字典，RowKey3.2若某Spark作业提交参数为--executor-memory4g--num-executors10，则集群最多可申请________GB内存。答案：403.3给定时间序列采用ARIMA(1,1,1)模型，则其差分次数d=________。答案：13.4在Elasticsearch中，用于近似聚合、节省内存的数据结构叫________。答案：HyperLogLog3.5在数据治理元模型中，________用于描述数据项的业务含义，________用于记录数据项的技术格式。答案：业务术语，数据字典3.6使用PCA降维时，若保留前k个主成分，则新特征空间的维度为________。答案：k3.7在Kafka2.8之后，默认的集群管理器由Zookeeper替换为________。答案：KRaft3.8在FlinkCEP库中，模式序列“a+”表示事件a出现________次或以上。答案：13.9根据CAP理论，HBase在分区故障时优先保证________和________。答案：一致性，分区容错性3.10在数据脱敏技术中，k-匿名要求每条记录至少有________条相同准标识符记录。答案：k-14.简答题（共25分）4.1（封闭型，6分）简述MapReduce中Shuffle阶段的数据流动过程，并指出其性能瓶颈。答案：Map端将输出结果根据分区函数写入环形内存缓冲区，当阈值达到80%触发Spill线程，将数据溢写到磁盘并进行分区、排序、可选Combine；Reduce端通过HTTP拉取对应分区数据，进行归并排序。性能瓶颈：磁盘I/O频繁、网络拉取带宽、归并排序CPU开销。4.2（开放型，9分）某电商公司每日新增订单数据量约2TB，需构建实时数仓。请给出技术选型方案（采集、存储、计算、查询），并说明理由。答案：采集层使用Kafka，支持高吞吐、低延迟；存储层选用IcebergonHDFS，提供ACID、时间旅行；计算层使用FlinkSQL，支持流批一体，端到端exactly-once；查询层采用Trino，提供秒级OLAP，兼容MySQL协议。理由：Kafka可线性扩展，Iceberg避免小文件问题，Flink保证实时性，Trino降低Ad-Hoc门槛。4.3（封闭型，5分）写出使用Python实现Min-Max归一化的代码，要求支持NumPy数组。答案：```pythonimportnumpyasnpdefminmax_scale(x):return(xx.min())/(x.max()x.min())```4.4（开放型，5分）解释“数据漂移”概念，并给出两种检测方法。答案：数据漂移指生产数据分布与训练数据分布不一致。检测方法：1.统计检验——对连续特征使用KS检验，对离散特征使用卡方检验，p值<0.05则报警；2.模型法——训练辅助二分类模型区分新旧数据，若AUC>0.8则认为漂移显著。5.应用题（共40分）5.1计算类（10分）某数据集包含10亿条记录，每条记录100字节，HDFS块大小128MB，副本因子3，计算实际存储占用（保留两位小数）。答案：单条记录100B，10亿条→100×10^9B≈93.13GB块数=93.13GB/128MB≈745每块副本3，实际存储=745×128MB×3≈286.10GB5.2分析类（15分）给定用户行为表user_action(user_idINT,item_idINT,tsBIGINT)，需统计最近7天每日新增用户数（首次出现视为新增）。请写出FlinkSQL实现，并说明状态存储策略。答案：```sqlCREATETEMPORARYTABLEuser_first(user_idINT,first_dateSTRING,PRIMARYKEY(user_id)NOTENFORCED)WITH('connector'='upsert-kafka','topic'='user_first','key.format'='json','value.format'='json');INSERTINTOuser_firstSELECTuser_id,DATE_FORMAT(FIRST_VALUE(ts),'yyyy-MM-dd')ASfirst_dateFROM(SELECTuser_id,ts,ROW_NUMBER()OVER(PARTITIONBYuser_idORDERBYts)ASrnFROMuser_actionWHEREts>=UNIX_TIMESTAMP(CURRENT_DATE)72436001000WHEREts>=UNIX_TIMESTAMP(CURRENT_DATE)72436001000)tWHERErn=1;SELECTfirst_date,COUNT()ASnew_usersSELECTfirst_date,COUNT()ASnew_usersFROMuser_firstGROUPBYfirst_date;```状态存储策略：使用RocksDBStateBackend，开启增量Checkpoint，TTL设为9天，防止状态无限增长。5.3综合类（15分）某市政府开放交通卡口数据集，字段：卡口编号、车牌、通过时间、车道、车速。需求：a)实时识别套牌车（同一车牌5分钟内出现在两个不同卡口）；b)离线统计每月最拥堵的TOP10卡口（以通过车辆数衡量）；c)保证数据安全，车牌需脱敏。请给出完整技术方案，含架构图描述、核心表结构、关键代码片段。答案：架构：Flume-Kafka-Flink-Redis-Hive-Iceberg-Superset；脱敏模块基于FlinkUDF，采用AES加密后四位。核心表：```sqlCREATETABLEcar_pass(camera_idSTRING,plate_hashSTRING,-脱敏后pass_timeTIMESTAMP(3),laneINT,speedDOUBLE,WATERMARKFORpass_timeASpass_timeINTERVAL'30'SECOND)WITH(...);```套牌实时检测：```javaPattern<Row,Row>pattern=Pattern.<Row>begin("first").where(newSimpleCondition<Row>(){@Overridepublicbooleanfilter(Rowr){returntrue;}}).within(Time.minutes(5));PatternStream<Row>patternStream=CEP.pattern(keyBy(plate_hash),pattern);DataStream<Alert>alerts=patternStream.select((Map<String,List<Row>>m)->{Rowr1=m.get("first").get(0);Rowr2=m.get("first").get(1);if(!r1.getField("camera_id").equals(r2.getField("camera_id"))){returnnewAlert(r1.getField("plate_hash"),"cloned_plate");}returnnull;});```离线统计：```sqlINSERTINTOtop_camera_monthSELECTcamera_id,COUNT()AScnt,DATE_FORMAT(pass_time,'yyyy-MM')ASmonthSELECTcamera_id,COUNT()AScnt,DATE_FORMAT(pass_time,'yyyy-MM')ASmonthFROMcar_passGROUPBYcamera_id,DATE_FORMAT(pass_time,'yyyy-MM');```脱敏UDF：```javapublicclassMaskPlateextends