2026年云计算大数据处理技术考试试卷及答案

2026年云计算大数据处理技术考试试卷及答案1.单项选择题（每题2分，共20分）1.1在AWSEMR中，若要将Spark作业日志持久化到S3，应最先修改下列哪一项配置？A.spark.eventLog.enabledB.spark.hadoop.fs.s3a.fast.uploadC.spark.dynamicAllocation.enabledD.spark.sql.adaptive.enabled答案：A1.2使用HDFSFederation时，NameNode内存消耗与下列哪项指标呈线性正相关？A.文件副本数B.块数量C.DataNode磁盘容量D.目录深度答案：B1.3某Flink流任务并行度为128，checkpoint间隔10s，端到端一次语义需依赖下列哪项外部系统特性？A.Kafkatopicretention.msB.HBaseread-repair机制C.Sink支持两阶段提交D.Source支持offset随机访问答案：C1.4在GoogleBigQuery中，将聚簇表改为非聚簇表最便捷的操作是：A.执行ALTERTABLEDROPCLUSTERINGB.新建表并复制数据C.使用bqupdate--clustering_fields=""D.聚簇属性不可变更答案：B1.5某企业采用多租户YARN队列，下列参数直接决定瞬时最大可调度容器数？A.yarn.scheduler.capacity.root.QueueA.maximum-capacityB.yarn.nodemanager.resource.cpu-vcoresC.yarn.scheduler.maximum-allocation-mbD.mapreduce.job.maps答案：A1.6在Kubernetes中运行SparkonK8s，driverpod默认重启策略是：A.AlwaysB.OnFailureC.NeverD.由executor决定答案：B1.7对Parquet文件进行列加密时，加密粒度最小可支持：A.页（Page）B.行组（RowGroup）C.列块（ColumnChunk）D.文件Footer答案：C1.8下列哪项不是DeltaLake的timetravel功能依赖的元数据？A.transactionlogJSON文件B.checkpointparquet文件C._last_checkpoint文件D.Hivemetastoredb答案：D1.9使用Pulsargeo-replication时，防止回环消息的核心机制是：A.消息去重缓存B.租户隔离C.消息标签（replicate-to）D.增量哈希路由答案：C1.10在Ray2.0中，实现零拷贝对象共享依赖的底层库是：A.gRPCB.ApacheArrowPlasmaC.RedisD.ZeroMQ答案：B2.多项选择题（每题3分，共15分，多选少选均不得分）2.1以下哪些操作会触发HiveonTez重新计算物化视图？A.基表执行INSERTOVERWRITEB.基表新增列C.视图定义中增加WHERE条件D.手动执行ALTERMATERIALIZEDVIEWREBUILD答案：A、B、D2.2关于Snowflakedatasharing，下列说法正确的是：A.消费者需支付存储费用B.共享数据只读C.支持跨区域账户D.依赖S3桶ACL答案：B、C2.3在FlinkSQL中，可使用哪些语法实现流表与维表异步关联？A.LATERALTABLE(async_join)B.FORSYSTEM_TIMEASOFC.TemporalTableFunctionD.LookupJoinHint答案：A、C、D2.4以下哪些属于GCPDataflow自动扩缩容的触发条件？A.积压字节数>10GBB.CPU利用率>80%C.系统滞后>2×处理时间D.并行度上限未达配置max_num_workers答案：A、C、D2.5关于Alluxio缓存一致性，下列说法正确的是：A.默认采用WRITE_THROUGHB.支持元数据主动同步C.可配置基于时间的TTL失效D.与HDFSACL自动双向同步答案：B、C3.填空题（每空2分，共20分）3.1在Hive3.0中，执行UPDATE语句需先设置________=nonstrict。答案：hive.txn.manager3.2Spark3.4的AdaptiveQueryExecution默认将shufflepartition合并上限设为________。答案：2003.3使用ClickHouseReplicatedMergeTree时，保证全局字典一致性的ZooKeeper路径根节点为________。答案：/clickhouse/tables/{shard}/{table}3.4在AWSRedshift中，自动压缩分析命令为________。答案：ANALYZECOMPRESSION3.5当Flink使用RocksDBStateBackend时，开启增量checkpoint需设置________=true。答案：state.backend.incremental3.6在DataBricks中，将SQLWarehouse自动休眠时间设为30min的REST参数为________。答案：auto_stop_mins=303.7使用PrestoonIceberg查询时，若要读取快照ID=86251125的历史数据，应添加语法________。答案：FORVERSIONASOF862511253.8在YARN中，动态资源池的最大AM资源比例由参数________控制。答案：yarn.resourcemanager.am.max-resources-percent3.9在Kafka3.5中，将topic分区从6扩容到12，应使用命令________。答案：kafka-reassign-partitions.sh--execute3.10在Airflow2.7中，对DAG启用动态任务映射需设置参数________。答案：max_active_tis_per_dag4.判断题（每题1分，共10分，正确打“√”，错误打“×”）4.1在HDFSEC中，RS-6-3-1024k策略的存储开销为50%。答案：×（开销为3/6=50%，但题目说“存储开销”指额外冗余占比，实际为3/9=33.3%）4.2SparkStructuredStreaming的ForeachBatchSink可一次性接收多个微批数据。答案：×4.3BigQuery支持对嵌套列单独设置TTL。答案：√4.4在Flink1.17中，SQLHint/+OPTIONS('scan.startup.mode'='latest')/可作用于Kafka源表。4.4在Flink1.17中，SQLHint/+OPTIONS('scan.startup.mode'='latest')/可作用于Kafka源表。答案：√4.5使用HudiMOR表时，读优化查询只能看到parquet基文件数据。答案：√4.6在CephRGW中，多区组配置必须依赖CephFS。答案：×4.7当DeltaLake表写入频繁时，提高checkpoint间隔可减少小文件数量。答案：×4.8在Elasticsearch8.0中，type概念已被彻底移除。答案：√4.9在Kubernetes中，HPAv2可根据自定义指标伸缩Sparkexecutor。答案：√4.10在Snowflake中，将XS仓库改为L仓库，查询结果一致性由MVCC保证，无需重跑。答案：√5.简答题（封闭型，每题6分，共18分）5.1说明HDFSNameNode高可用（HA）架构下，ZKFC如何防止“脑裂”。答案：ZKFC在HealthMonitor检测到NN健康时，才尝试获取ZK锁；当NN进程挂掉，ZKFC先调用transitionToActive前，通过SSHfence命令将原ActiveNN的RPC端口关闭或强制关机，确保旧节点无法继续写editlog，从而防止双主。5.2列举Spark3.xAQE的三大优化特性并给出触发条件。答案：1.动态合并shufflepartition：当mapside输出统计信息可用且spark.sql.adaptive.enabled=true；2.动态切换join策略：当运行时某侧大小<broadcast阈值；3.动态优化倾斜join：当检测到某分区数据量>spark.sql.adaptive.skewJoin.skewedPartitionFactor×中位数且大小>spark.sql.adaptive.skewJoin.skewedPartitionThresholdInBytes。5.3简述Flink两阶段提交（2PC）实现端到端exactly-once的核心步骤。答案：1.预提交阶段：Sink收到checkpointbarrier后，将当前事务状态（如Kafkaproducertransaction）预提交并持久化到checkpoint；2.通知JobManager完成checkpoint；3.收到所有算子确认后，JobManager下发commit命令；4.Sink收到commit通知，正式提交外部事务；若失败则利用checkpoint回滚至上一状态。6.简答题（开放型，每题8分，共16分）6.1某电商公司每日新增500GB埋点数据，需支持近实时更新与分钟级回滚，请对比Iceberg、Hudi、DeltaLake在回滚粒度、并发写、生态集成三方面的优劣，并给出选型建议。答案：回滚粒度：Iceberg与Delta均以snapshot为单位，秒级；Hudi以commit为单位，分钟级。并发写：Iceberg乐观并发，需依赖重试；Hudi支持多写入端通过earlyconflictdetection；Delta在Spark3.4后支持optimistic+pessimistic并发。生态集成：Iceberg支持Flink、Trino、Spark多引擎；Hudi与Spark、Flink深度集成，Trino只读；Delta原生与Spark、Databricks深度绑定，社区版Flink支持有限。建议：若公司已有Spark为主且需分钟级回滚，选Delta；若需Flink流式入湖且多引擎查询，选Iceberg；若需多写入端高并发，选Hudi。6.2某金融风控系统使用Kafka+Flink+Cassandra，要求延迟<200ms，但高峰期出现Cassandra写入超时，导致checkpoint超时。请提出三种互不冲突的优化方案并说明原理。答案：1.异步CassandraSink：使用AsyncI/O+重试队列，将同步写改为异步，背压由队列缓冲而非checkpointbarrier阻塞；2.增加Cassandra写一致性级别调低（如LOCAL_QUORUM→LOCAL_ONE）并开启hintedhandoff，降低单节点延迟；3.引入双写缓冲层：在Flink侧先写Pulsar/RedisStream作为高速缓冲区，再由Cassandraconsumer异步批量落盘，实现峰值削峰。7.计算题（每题10分，共20分）7.1某Spark批任务读取1TBCSV，字段平均长200B，总记录数5×10^9行，转为Parquet并采用SNAPPY压缩，压缩比6:1。集群单节点磁盘顺序写性能200MB/s，网络带宽10Gb/s，节点20个。忽略CPU，估算纯写阶段最短耗时。答案：Parquet大小=1TB/6≈166.7GB；单节点需写166.7GB/20≈8.33GB；磁盘写耗时=8.33GB/200MB/s≈42s；网络为10Gb/s≈1.25GB/s，集群总吞吐=1.25GB/s×20=25GB/s；写166.7GB耗时≈166.7/25≈6.7s；取瓶颈，最短耗时≈42s。7.2HDFS采用RS-10-4策略，文件大小12TB，块大小128MB，求：(1)需生成多少个校验块；(2)若某节点宕机导致2个校验块丢失，能否恢复；(3)总存储开销百分比。答案：(1)12TB/128MB=98304块，10个数据块为一组，共9830组，每组4校验块，总校验块=9830×4=39320块；(2)RS-10-4容忍丢4块，丢2校验块可恢复；(3)存储开销=4/(10+4)=28.57%。8.综合分析题（21分）8.某视频平台日均上传4亿条弹幕，峰值QPS8万，要求：a.支持按视频ID、时间段多维度检索；b.数据保存90天，冷数据压缩归档；c.实时统计每视频每分钟弹幕量，延迟<3s；d.成本敏感，需区分热温冷存储。请给出完整技术方案，包括：1.数据流架构图（文字描述即可）；2.存储层选型与分区策