2026年spark高级技术期末测试题及答案

2026年spark高级技术期末测试题及答案

一、单项选择题（每题2分，共20分）1.在Spark3.4中，当启用AdaptiveQueryExecution后，下列哪一项不会被运行时自动优化？A.Reducer数量B.Join策略C.数据倾斜分区拆分D.RDD的存储级别2.使用SparkStructuredStreaming进行端到端exactly-once语义处理时，外部系统必须同时满足的条件是：A.幂等写与可重放源B.事务写与幂等源C.幂等写与可重放源或事务写与可重放源D.仅需要checkpoint目录位于HDFS3.在Spark3.x的Catalyst优化器中，关于Cost-BasedOptimization（CBO）的描述正确的是：A.仅支持Hive表统计信息B.统计信息缺失时自动回退到RBOC.必须手动运行ANALYZETABLECOMPUTESTATISTICSFORCOLUMNSD.对DataFrameAPI无效4.当使用RocksDB作为StateStoreProvider时，相比默认的HDFS-backed状态存储，其最大优势是：A.减少GC压力并支持增量checkpointB.提高并发度C.降低网络开销D.无需序列化5.在SparkonKubernetes模式下，动态资源分配要真正释放ExecutorPod，必须打开的配置项是：A.spark.kubernetes.executor.deleteOnTermination=trueB.spark.dynamicAllocation.enabled=trueC.spark.kubernetes.allocation.pods.allocator=directD.spark.shuffle.service.enabled=true6.关于Spark3.4的PandasAPIonSpark，下列说法错误的是：A.默认使用PySpark引擎B.支持distributedpandasUDFC.所有pandas函数都能零成本迁移D.可通过spark.sql.execution.arrow.pyspark.enabled加速7.在GraphFrames中，执行连通分量算法时，为了降低迭代次数，最有效的预处理步骤是：A.预先进行顶点ID排序B.使用checkpoint间隔C.将图转换为DAGD.预先过滤度为1的顶点8.当广播变量大小超过spark.sql.autoBroadcastJoinThreshold且强制执行broadcastjoin时，系统会：A.抛出异常B.自动回退到sortmergejoinC.仍然尝试广播并可能导致OOMD.提示警告并忽略hint9.在Spark3.x中，使用AES-256对Shuffle数据进行加密时，密钥协商依赖的组件是：A.HadoopKMSB.Spark内置KeyManagerC.JavaJCEKSD.KubernetesSecrets10.对于DeltaLake2.3，在并发写冲突检测中，下列哪种操作最容易出现Serializable冲突？A.两个作业同时追加相同分区B.一个作业更新分区A，另一作业读取分区BC.一个作业更新分区A，另一作业也更新分区AD.一个作业仅查询最新版本二、填空题（每题2分，共20分）11.Spark3.4中，将一条逻辑计划转换为可执行物理计划的核心组件是________。12.在StructuredStreaming中，连续处理（ContinuousProcessing）默认的checkpoint间隔为________毫秒。13.若要在PySpark中开启SparkConnect，需先启动的Server端进程名称是________。14.当使用CustomMetric实现用户自定义累加器时，必须继承的基类是________。15.在SparkonKubernetes模式下，DriverPod的请求CPU与限制CPU不一致时，资源调度器名称是________。16.在CBO中，列统计信息中的ndv缩写含义是________。17.使用RocksDBStateStore时，控制每次checkpoint产生SST文件数量的参数是________。18.在GraphFrames的motiffinding语法中，表示顶点a到顶点b有一条边的模式写法是________。19.当启用spark.sql.adaptive.coalescePartitions.enabled后，合并分区的最小默认大小由参数________决定。20.DeltaLake中，通过________命令可以查看某张表的历史版本元数据。三、判断题（每题2分，共20分）21.Spark3.4的AESshuffle加密对CPU的额外开销通常低于5%。22.在StructuredStreaming中，如果watermark设置为1小时，则任意状态键在内存中最长保留1小时。23.使用PySpark的PandasAPI时，arrow优化开启后仍可能出现fallback到非arrow路径的情况。24.Catalyst优化器在解析阶段已经确定join顺序，后续无法通过AQE调整。25.在Kubernetes集群中，ExecutorPod的gracefulshutdown超时由spark.kubernetes.executor.gracefulShutdownPeriod控制。26.DeltaLake的Z-ORDER索引可以显著降低按非排序列查询时的文件跳过效率。27.GraphFrames的SVD++算法内置支持隐式反馈数据。28.当使用Bucketizer进行特征离散化时，如果输入值为边界值，则统一归入上桶。29.在Spark3.x中，动态分区裁剪要求事实表与维度表均为Parquet格式。30.启用spark.sql.execution.arrow.maxRecordsPerBatch参数可以防止PySpark中一次性传输过大Arrow批次。四、简答题（每题5分，共20分）31.简述在千亿级日志场景中，如何利用StructuredStreaming与DeltaLake实现端到端exactly-once，并说明checkpoint与WAL的角色差异。32.说明在Spark3.4中，如何通过AQE动态优化数据倾斜，并给出关键配置参数及其作用。33.描述在Kubernetes集群上运行Spark作业时，Driver与ExecutorPod故障恢复机制的异同点。34.解释GraphFrames在迭代式图算法中如何使用checkpoint与索引策略降低Lineage膨胀，并给出最佳实践参数。五、讨论题（每题5分，共20分）35.讨论在混合负载（ETL+交互式查询）场景下，如何利用Spark3.x的ResourceProfile与DynamicResourcePool实现资源隔离，并评估其对总拥有成本（TCO）的影响。36.针对金融级实时风控需求，探讨StructuredStreaming结合DeltaLake的Merge操作在毫秒级延迟上的可行性，并提出至少两种降级方案。37.分析在多云环境中，SparkonKubernetes相较于YARN的优劣，重点从安全、弹性、成本三个维度展开，并给出可量化的对比指标。38.结合2026年硬件趋势（CXL内存扩展、ARM众核、DPU加速），展望Spark在存储计算分离架构下的演进方向，并评估对现有RDD/DataFrameAPI的兼容性挑战。答案与解析一、单项选择题1.D2.C3.B4.A5.A6.C7.D8.C9.A10.C二、填空题11.QueryExecution12.10013.SparkConnectServer14.AccumulatorV215.KubernetesCustomResourceScheduler16.numberofdistinctvalues17.spark.sql.streaming.stateStore.rocksdb.checkpointSstFileNum18.(a)-[e]->(b)19.spark.sql.adaptive.advisoryPartitionSizeInBytes20.DESCRIBEHISTORY三、判断题21.T22.F23.T24.F25.T26.F27.F28.F29.F30.T四、简答题31.利用可重放Kafka源+DeltaLake幂等写实现exactly-once；checkpoint记录偏移与状态，WAL记录Delta事务日志，前者保证消费不丢不重复，后者保证多版本原子可见。32.AQE通过运行时统计检测倾斜分区，自动拆分并复制小表侧，关键参数：spark.sql.adaptive.skewJoin.enabled、spark.sql.adaptive.skewJoin.skewedPartitionThresholdInBytes、spark.sql.adaptive.skewJoin.skewedPartitionFactor。33.Driver故障由Kubernetes自动重启Pod，依赖checkpoint恢复；Executor故障由Driver移除并申请新Pod，无需重启Driver，两者均通过PVC保留shuffle数据，但Driver需重算无checkpoint的RDD。34.每5次迭代调用graph.checkpoint()，顶点使用indexed命名减少重复查找，设置spark.graphx.checkpointInterval=5，同时缓存度>10的顶点表，降低lineage膨胀90%以上。五、讨论题35.通过ResourceProfile为ETL分配大内存低CPU、为交互查询分配低内存高CPU，DRP按队列权重动态调整，TCO下降18%（CPU利用率+27%，内存浪费-35%）。36.毫秒级延迟需将Merge改为异步微批+预写日志，降级方案：1.降级为Lambda架构，实时层仅告警；2.使用FlinkCEP前置，Spark仅离线校准。37.K8s安全：Pod级RBAC+NetworkPolicy，YARN需额外K