2026年大数据与云计算技术考试试卷及答案

2026年大数据与云计算技术考试试卷及答案1.单项选择题（每题2分，共20分）1.1在HDFS中，负责维护文件系统命名空间并管理客户端对文件的访问的守护进程是A.DataNode  B.NodeManager  C.NameNode  D.ResourceManager答案：C1.2下列关于MapReduceshuffle过程的说法，正确的是A.Map端排序发生在combiner之后  B.Reduce端拉取的是未经排序的分区数据C.默认分区器为HashPartitioner  D.Spill文件直接传输给Reduce任务答案：C1.3在AWSWell-ArchitectedFramework中，用于评估“基础设施即代码”实践是否成熟的设计支柱是A.可靠性  B.性能效率  C.运营卓越  D.成本优化答案：C1.4某Spark作业设置spark.sql.shuffle.partitions=400，但观察到只有200个task实际运行，最可能的原因是A.数据量小于128MB  B.使用了coalesce(200)C.开启了动态资源分配  D.使用了sort-mergejoin答案：B1.5下列存储类型中，最适合存放需要频繁随机读写的结构化小对象的是A.AmazonS3  B.AmazonEBSgp3  C.AmazonGlacier  D.AmazonEFS答案：B1.6在Kubernetes中，用于声明“Pod期望在具有SSD磁盘的节点上运行”的对象是A.Toleration  B.DaemonSet  C.NodeAffinity  D.PersistentVolumeClaim答案：C1.7某云原生应用使用Istio进行灰度发布，若将20%流量导至v2版本，应配置的CRD资源是A.Gateway  B.DestinationRule  C.VirtualService  D.EnvoyFilter答案：C1.8在Flink中，以下状态后端支持异步快照且默认使用RocksDB的是A.MemoryStateBackend  B.FsStateBackend  C.RocksDBStateBackend  D.NiFiStateBackend答案：C1.9某企业使用多云CDN，GSLB依据实时延迟将用户解析至最优PoP，该调度算法属于A.加权轮询  B.地理就近  C.响应时间优先  D.最小连接数答案：C1.10在数据湖架构中，提供ACID语义并支持行级更新的开源表格式是A.ORC  B.Parquet  C.DeltaLake  D.Avro答案：C2.多项选择题（每题3分，共15分；多选少选均不得分）2.1以下关于YARN容量调度器（CapacityScheduler）的特性，正确的有A.支持动态队列容量伸缩  B.默认使用FIFO策略C.可配置最大应用并发数  D.支持资源抢占答案：A、C、D2.2在GoogleCloudPlatform中，可用来实现无服务器数据流水线的托管服务包括A.CloudFunctions  B.CloudRun  C.Dataflow  D.CloudComposer答案：A、B、C、D2.3下列属于云安全责任共担模型中“客户侧”责任的有A.对象存储桶的访问策略  B.物理机房进出控制C.虚拟机GuestOS补丁  D.云防火墙规则配置答案：A、C、D2.4在SparkStructuredStreaming中，可用来实现端到端exactly-once语义的sink有A.MySQL（通过幂等写）  B.Kafka（幂等+事务）C.HDFS（通过checkpoint）  D.Console（追加模式）答案：A、B、C2.5以下关于Serverless容器平台（如AWSFargate、阿里云ECI）的描述，正确的有A.按vCPU-秒计费  B.用户无需管理底层宿主机C.支持挂载云盘持久化  D.自动垂直伸缩至256vCPU答案：A、B、C3.填空题（每空2分，共20分）3.1在HDFS联邦（Federation）架构中，每个NameNode管理________的命名空间，DataNode向所有NameNode注册同一份________数据。答案：独立（或部分）；块（block）3.2在AWSS3中，开启________功能后，对象在上传完成30天自动迁移至GlacierDeepArchive存储类。答案：生命周期（Lifecycle）策略3.3Kubernetes的Service对象通过________机制实现PodIP变化后的透明访问。答案：kube-proxy+ClusterIP（或iptables/IPVS）3.4在Flink中，窗口分配器________会在事件时间超过watermark时触发窗口计算。答案：EventTimeTrigger3.5在多云成本治理中，________指标用于衡量每花费1美元带来的业务价值，公式为“业务总收入/云支出”。答案：ROI（或云投资回报率）3.6在BigQuery中，________子句可在查询结果写入目标表前按列进行去重。答案：MERGE…WHENNOTMATCHEDTHENINSERT…（或DISTINCT，但标准答案为MERGE）3.7在OpenStack中，________组件提供块存储服务，对应AWS的EBS功能。答案：Cinder3.8在数据湖屋（LakeHouse）架构中，________层负责统一元数据管理，使Hive、Presto、Spark共享同一张表。答案：HiveMetastore（或统一Catalog）3.9在Prometheus监控体系中，________采集器可暴露JVM指标，供Grafana展示。答案：JMXExporter3.10在Serverless工作流（如AWSStepFunctions）中，________状态类型用于并行执行多个分支。答案：Parallel4.判断改错题（每题2分，共10分；先判断对错，若错则给出正确表述）4.1在Spark中，RDD的lineage信息在shuffle操作后会被丢弃。答案：错；lineage信息在shuffle后仍然保留，用于容错。4.2AmazonDynamoDB全局二级索引（GSI）的读写容量必须与基表保持一致。答案：错；GSI可单独设置RCU/WCU。4.3Kubernetes的ConfigMap大小上限为1MiB。答案：对。4.4在FlinkCEP库中，模式序列必须以“.begin”开始，以“.end”结束。答案：错；可以不显式指定.end，模式可开放结尾。4.5多云灾备场景中，RPO=0意味着数据零丢失，通常需采用同步复制。答案：对。5.简答题（封闭型，每题5分，共15分）5.1说明HDFSShort-CircuitLocalReads机制的工作原理及其对性能的影响。答案：该机制允许客户端在读取本地DataNode上的块文件时，绕过DataNode进程，直接通过UnixDomainSocket打开块文件。减少一次内核态到用户态的数据拷贝，降低CPU开销，提升顺序读吞吐约10%–30%。5.2列举三种降低云数据传输费用（DataTransferCost）的实践。答案：1)使用CloudFront/CDN缓存，减少跨区域回源；2)将EC2与S3部署在同一区域，利用VPCEndpoint避免公网流出；3)采用AZ亲和性调度，减少跨AZ流量。5.3简述Kubernetes中PodDisruptionBudget（PDB）的作用与配置字段。答案：PDB用于限制在自愿中断（如节点升级、缩容）期间可同时终止的Pod数量，保证应用可用性。核心字段：minAvailable（最小可用副本数）或maxUnavailable（最大不可用副本数），以及selector匹配目标Pod。6.简答题（开放型，每题10分，共20分）6.1某电商公司“618”大促期间，订单流突发增长10倍，导致Kafka集群出现ISR频繁收缩、消费延迟增大。请从生产者、Broker、消费者三侧给出至少五项可落地的优化措施，并说明预期收益。答案示例：1)生产者开启压缩（lz4），降低网络IO30%，减少Broker磁盘写入；2)调大Broker端num.replica.fetchers=8，加快follower同步，缩短ISR收缩时间；3)将log.segment.bytes从1GB下调至256MB，加速过期segment删除，降低磁盘抖动；4)消费者增加partition数量（由60→240），提升并行度，单partitionlag下降70%；5)使用KafkaExporter+Grafana预警，ISR<replicas-1持续30s即触发扩容脚本，自动化水平扩容Broker，峰值延迟从5s降至500ms。6.2某市政府构建“城市大脑”，需整合交通、公安、气象等20个委办局数据，数据量级为PB级，更新频率从分钟级到秒级不等。请设计一套基于数据湖+数据仓库融合（LakeHouse）的多云架构，要求：1)支持ACID更新；2)支持离线分析与实时大屏；3)满足等保三级。画出逻辑架构图（文字描述即可），并说明关键组件选型理由。答案示例：采集层：使用FlinkCDC+Kafka，秒级同步Oracle/SQLServer增量；存储层：对象存储（OSS/S3）存原始区，DeltaLake格式构建LakeHouse，开启columnmapping与Z-order，提升点查性能；计算层：EMRSpark批处理做T+1汇总，Flink实时计算做1min窗口聚合；服务层：Hologres/Redshift提供即席查询，Superset大屏展示；安全：KMS加密，RAM细粒度授权，VPC私网传输，审计日志入LTS，满足等保三级；多云：生产云+异地灾备云，DeltaLake深度复制+跨区域复制，RPO<15min。7.计算题（每题10分，共20分）7.1某Spark批作业处理100TBSnappy压缩的Parquet文件，集群共200executor，每executor4vCPU、16GBRAM，单核每秒可解码+扫描120MB。假设压缩比5:1，实际需读取数据量20TB，计算理论最小耗时；若开启下推过滤后仅扫描30%数据，再考虑shuffle写2TB、网络带宽10Gb/s，估算最终耗时。答案：1)理论扫描量=20TB×0.3=6TB=6×1024×1024MB；2)总核数=200×4=800；3)扫描耗时=6×1024×1024/(120×800)=65.5s≈1.1min；4)Shuffle写2TB，跨机传输，10Gb/s有效按70%计=7Gb/s=0.875GB/s；5)传输耗时=2×1024/0.875≈2338s≈39min；6)最终耗时≈40min（受限于网络）。7.2某企业使用AWSS3Intelligent-Tiering存放500TB图片，月访问模式如下：前7天10%数据被读取，之后30天无访问。已知：Standard存储0.023/答案：1)500TB=500×1024×1024MB，对象数=500×1024×1024/2=262144000；2)监控费=262144×0.0025/1000=655.36USD；3)10%数据=50TB，仍留Standard，费用=50×1024×0.023=1177.6USD；4)90%数据=450TB，自动降至InfrequentAccess，单价$0.0125，费用=450×1024×0.0125=5760USD；5)Intelligent-Tiering总费用=655.36+1177.6+5760=7592.96USD；6)纯Standard费用=500×1024×0.023=11776USD；7)节省=11776−7592.96=4183.04USD/月。8.综合分析题（20分）背景：某视频直播平台日活3000万，峰值QPS80万，产生两类日志：1)用户行为日志（JSON，约5KB/条）；2)礼物交易日志（Protobuf，约0.5KB/条）。要求：a)端到端延迟≤3s；b)支持按用户ID、房间ID多维度ad-hoc查询；c)存储成本≤0.01元/GB/天；d)支持7天热数据、90天冷数据、3年归档。请给出完整技术方案，包括：1)采集与缓冲设计；2)实时处理与维表关联；3)存储分层与格式选型；4)索引与查询加速；5)成本与性能量化结果。答案：1)采集：使用自研LogSDK→边缘Kafka（三副本，lz4压缩），单partition峰值10MB/s，行为日志与交易日志分topic；2)实时：FlinkSQL1.15，行为日志解析→过滤→维表关联（HBase，用户画像），开2min