2026年大数据分析技术培训试卷及答案

2026年大数据分析技术培训试卷及答案一、单项选择题（每题1分，共20分。每题只有一个正确答案，请将正确选项字母填在括号内）1.在Hadoop生态中，负责资源管理与任务调度的组件是（）A.HDFS  B.YARN  C.MapReduce  D.Hive答案：B2.下列关于数据湖描述正确的是（）A.仅支持结构化数据  B.强制预定义模式C.原始数据先清洗后存储  D.存储原始数据并延迟绑定模式答案：D3.SparkRDD的transformation操作特点是（）A.立即触发计算  B.生成新的RDD并记录血统C.将结果写回HDFS  D.自动持久化到内存答案：B4.使用Kafka保证消息全局有序，应选择的配置是（）A.单分区+单消费者组  B.多分区+多消费者组C.单分区+多消费者组  D.多分区+单消费者组答案：A5.在ClickHouse中，最适合做高基数去重且内存可控的函数是（）A.uniq  B.uniqCombined  C.uniqExact  D.uniqHLL12答案：B6.数据仓库星型模型中，事实表通常不会包含（）A.外键  B.度量值  C.时间戳  D.冗余描述字段答案：D7.下列算法中，属于无监督特征降维的是（）A.LDA  B.PCA  C.SVM  D.XGBoost答案：B8.Flink的Checkpoint机制基于（）A.分布式快照  B.两阶段提交  C.预写日志  D.主从复制答案：A9.在PythonPandas中，对DataFramedf按列col进行分组并求均值，正确写法是（）A.df.groupby('col').mean()  B.df.groupby(col).mean()C.df.groupBy('col').avg()  D.df.agg({'col':'mean'})答案：A10.当Hive表存储格式为ORC时，提升查询效率最有效的表级优化手段是（）A.压缩算法选GZ  B.建立布隆过滤索引C.关闭向量化读取  D.增大splitsize答案：B11.下列关于HBase读路径说法正确的是（）A.先读HFile再读MemStore  B.先读BlockCache再读HFileC.先读WAL再读HFile  D.先读MemStore再读HFile答案：D12.在数据治理元数据中，描述“字段含义”属于（）A.业务元数据  B.技术元数据  C.操作元数据  D.管理元数据答案：A13.使用Airflow调度任务时，设置重试间隔为5分钟、最多重试3次，应配置（）A.retry_delay=timedelta(minutes=5),retries=3B.retry_interval=5,max_retry=3C.retry_backoff=5,retry_limit=3D.retry_timeout=300,retry_count=3答案：A14.在A/B测试中，若检验功效不足，最可能出现的错误是（）A.Ⅰ型错误增大  B.Ⅱ型错误增大C.置信区间变窄  D.P值必然小于0.05答案：B15.使用Elasticsearch进行聚合后想获取精确而非近似结果，应设置（）A.size=0  B.shard_size=0  C.compositeaggregation  D.terms.collect_mode=BREADTH_FIRST答案：C16.在ScalaSpark中，以下哪个操作会引入宽依赖（）A.map  B.filter  C.reduceByKey  D.mapPartitions答案：C17.数据资产目录最核心的作用是（）A.降低存储成本  B.提升数据可发现性C.加密敏感字段  D.自动清洗脏数据答案：B18.在Tableau中，将维度字段转换为连续度量，应右键选择（）A.转换为度量  B.转换为连续C.地理角色  D.创建数据桶答案：B19.使用Prophet预测时，若节假日效应持续后延，应调整的参数是（）A.changepoint_prior_scale  B.holidays_prior_scaleC.seasonality_prior_scale  D.interval_width答案：B20.在数据安全分类分级中，属于“核心数据”的是（）A.已公开统计报表  B.用户订单流水C.国家经济运行原始数据  D.脱敏后样本数据答案：C二、多项选择题（每题2分，共20分。每题至少有两个正确答案，多选、少选、错选均不得分）21.下列属于时间序列异常检测算法的有（）A.S-H-ESD  B.IsolationForest  C.LSTM-VAE  D.DBSCAN答案：A、B、C22.在数据质量评估维度中，属于完整性指标的有（）A.字段空值率  B.记录缺失率  C.主键唯一性  D.参照完整性违反数答案：A、B、D23.以下做法可有效降低Kafka集群延迟的有（）A.增大batch.size  B.使用SSD磁盘C.启用零拷贝机制  D.降低linger.ms答案：B、C、D24.使用Python进行特征缩放时，下列哪些类支持fit_transform接口（）A.StandardScaler  B.MinMaxScaler  C.RobustScaler  D.Normalizer答案：A、B、C25.关于数据血缘解析技术，正确的有（）A.SQL静态解析可提取表级血缘  B.动态钩子可捕获字段级血缘C.视图展开会降低血缘精度  D.血缘图可用图数据库存储答案：A、B、D26.在AWS云平台上，适合运行SparkServerless作业的服务有（）A.EMRonEC2  B.Glue  C.EMRServerless  D.Athena答案：B、C27.以下属于数据脱敏技术的有（）A.掩码屏蔽  B.同态加密  C.数据伪造  D.可逆加密答案：A、C28.在构建实时数仓时，常用的流式Join方式有（）A.IntervalJoin  B.TemporalTableJoinC.WindowJoin  D.ShuffleHashJoin答案：A、B、C29.关于模型可解释性，下列说法正确的有（）A.SHAP值满足局部准确性  B.LIME构建局部代理模型C.PermutationImportance与模型无关  D.PartialDependence能反映特征交互答案：A、B、C30.在数据产品定价策略中，属于成本导向的有（）A.边际成本加成  B.ROI目标定价C.量本利分析定价  D.竞争导向定价答案：A、C三、填空题（每空1分，共20分）31.Hadoop3.x的HDFS默认块大小为________MB。答案：12832.Spark的默认并行度参数为________。答案：spark.default.parallelism33.在MySQL8.0中，支持原生JSON类型的存储引擎是________。答案：InnoDB34.数据治理国际标准ISO________专门描述数据质量管理。答案：ISO800035.使用Python调用requests库时，设置超时的参数名为________。答案：timeout36.在TableauLOD表达式中，关键字FIXED表示________级别计算。答案：指定维度37.Flink的StateBackend默认配置为________。答案：HashMapStateBackend38.数据资产估值的“成本法”公式为：重置成本－________－功能性贬值－经济性贬值。答案：物理折旧39.在Elasticsearch7.x中，默认的最大返回窗口为________条。答案：1000040.使用Prophet时，若要让模型自动检测变点，应设置参数________为True。答案：changepoint_prior_scale（注：实际为changepoints自动推断，但填空题按题意填changepoint_prior_scale）41.在Scala中，惰性求值关键字为________。答案：lazy42.数据仓库分层模型中，DWD层的中文含义是________。答案：明细数据层43.在Linux中，查看磁盘I/O性能的常用工具是________。答案：iostat44.XGBoost的目标函数由损失函数和________两部分组成。答案：正则化项45.在Kafka中，消费者位移存储于________主题。答案：__consumer_offsets46.数据安全能力成熟度模型DSMM共分________个等级。答案：547.在PostgreSQL中，实现行级安全的机制缩写为________。答案：RLS48.使用Airflow的Sensor算子时，设置超时时间的参数为________。答案：timeout49.在HBase中，Region的默认大小为________GB。答案：150.在数据可视化中，遵循“图表零撒谎”原则需从坐标轴________开始。答案：0四、简答题（共30分）51.（封闭型，6分）简述MapReduce中Shuffle阶段的具体流程，并指出优化数据倾斜的两种策略。答案：（1）流程：①Map端：每个Map任务将输出结果按分区函数（默认hash）写入环形内存缓冲区；当缓冲比例达阈值时，触发溢写，生成溢写文件，同时进行排序与可选合并（combiner）。②Copy阶段：Reduce端通过HTTP拉取各自分区的所有溢写文件。③Merge阶段：Reduce将多个溢写文件进行多路归并，生成最终有序输入。（2）优化策略：①自定义分区函数，将热点key打散到更多分区；②在Map端增加combiner，提前聚合，减少网络传输量；③对倾斜key单独采样，启动两阶段聚合（先局部聚合，再全局聚合）。52.（开放型，8分）某电商公司“秒杀”场景下，QPS峰值达20万，需实时统计商品维度已售库存。请设计一套基于Flink的精确一次解决方案，要求说明状态存储、容错机制及端到端一致性保障。答案：①数据源：Kafka，3副本，单topic按商品ID分区，保证单分区有序。②Flink作业：–使用RichFlatMapFunction维护MapState<商品ID,库存>；–开启Checkpoint，周期5s，使用RocksDBStateBackend，增量快照上传S3；–启用exactly-once模式，checkpoint超时30s，失败率阈值3次。③端到端一致性：–KafkaProducer端采用两阶段提交，设置transactional.id；–Flinkcheckpoint完成后，调用KafkaCommitter提交事务；–下游MySQL采用幂等更新：insert…onduplicatekeyupdate。④降级策略：当checkpoint连续失败时，作业自动重启并回滚到最新成功快照，库存状态不丢失。53.（封闭型，6分）写出使用Python完成下列操作的完整代码：读取Parquet文件parquet_path，计算列col_A的缺失率，并将缺失行按col_B升序导出为新的CSV文件out_path。答案：```pythonimportpandasaspddf=pd.read_parquet(parquet_path)missing_rate=df['col_A'].isna().mean()print("缺失率：{:.2%}".format(missing_rate))df_missing=df[df['col_A'].isna()].sort_values('col_B')df_missing.to_csv(out_path,index=False)```54.（开放型，10分）某金融公司构建“实时反欺诈”模型，需融合交易流水、用户画像、设备指纹三条流。请给出特征拼接、模型推理、结果回写的完整技术架构图（文字描述），并说明如何解决三流时间对齐问题。答案：架构描述：①交易流：Kafkatopictx，JSON格式，含tx_id、uid、amount、timestamp；②用户画像流：Kafkatopicprofile，Avro格式，含uid、score、timestamp；③设备指纹流：Kafkatopicdevice，Protobuf格式，含uid、device_id、risk_tag、timestamp。Flink作业：1.使用ConnectedStreams将tx与profile连接，采用IntervalJoin，允许profile延迟5s；2.同理，将中间结果再与device流IntervalJoin，延迟3s；3.得到统一宽表后，调用预训练XGBoost模型（PMML格式），通过JPMML-Spark进行推理，输出欺诈概率；4.结果写回Kafkatopicresult，并异步落库到Redis供API查询，TTL设置1小时。时间对齐：–采用事件时间，提取Kafka自带timestamp或业务字段；–设置3条流的水位线，取最小值作为联合水位；–对迟到数据使用侧输出流，写入“延迟队列”Topic，供离线补偿校准。五、应用题（共60分）55.（计算类，15分）某视频平台日活1000万，平均每人观看20条短视频，每条视频记录含用户ID(8B)、视频ID(8B)、时长(4B)、时间戳(8B)、设备ID(16B)。（1）计算每日原始数据存储量（GB），保留两位小数；（2）若采用Parquet+LZ4压缩，压缩比4:1，求压缩后大小；（3）若保存7天，并采用HDFS三副本，求集群所需磁盘空间；（4）若使用ErasureCodingRS-6-3策略，磁盘利用率提升多少个百分点（保留一位小数）。答案：（1）单条记录=8+8+4+8+16=44B；日记录数=1×10^7×20=2×10^8；原始=44×2×10^8=8.8×10^9B≈8.19GB。（2）压缩后=8.19/4≈2.05GB。（3）三副本=2.05×3×7=43.05GB。（4）RS-6-3利用率=6/9=66.7%，三副本利用率=1/3=33.3%，提升33.4个百分点。56.（分析类，15分）给出某零售集团2025Q1季度销售明细CSV片段（已脱敏），包含字段：date、store_id、sku_id、qty、price、discount。请完成：（1）使用SparkSQL创建临时视图并计算每个门店的客单价（销售额/订单数），按客单价降序取前10；（2）找出折扣率>30%且销量>100的SKU，列出其平均售价；（3）使用窗口函数计算每个SKU在其门店内的销量排名，取前3名；（4）将结果写入MySQL表top_store、high_discount、sku_rank，给出建表与写入语句。答案：```scala//1valdf=spark.read.option("header","true").csv("sales.csv")df.createOrReplaceTempView("sales")valtopStore=spark.sql("""SELECTstore_id,SUM(qtyprice(1-discount))/COUNT(DISTINCTconcat(date,store_id,sku_id))ASavg_priceSELECTstore_id,SUM(qtyprice(1-discount))/COUNT(DISTINCTconcat(date,store_id,sku_id))ASavg_priceFROMsalesGROUPBYstore_idORDERBYavg_priceDESCLIMIT10""")//2valhighDisc=spark.sql("""SELECTsku_id,AVG(price(1-discount))ASavg_sale_priceSELECTsku_id,AVG(price(1-discount))ASavg_sale_priceFROMsalesWHEREdiscount>0.3ANDqty>100GROUPBYsku_id""")//3valskuRank=spark.sql("""SELECTstore_id,sku_id,qty,RANK()OVER(PARTITIONBYstore_idORDERBYqtyDESC)ASrnkFROMsalesWHERErnk<=3""")//4topStore.write.format("jdbc").option("url","jdbc:mysql://mysql:3306/retail").option("dbtable","top_store").option("user","root").option("password","**").mode("overwrite").save().option("user","root").option("password","**").mode("overwrite").save()//其余同理```MySQL建表：CREATETABLEtop_store(store_idVARCHAR(20),avg_priceDECIMAL(10,2));57.（综合类，30分）某市政府开放数据平台需发布“交通流量”数据集，原始数据为卡口过车记录，含车牌、卡口编号、通过时间、车道、车速、车型。要求：①对车牌进行脱敏，保持唯一性且可逆（授权后可恢复）；②数据需支持按时