2025年大数据与云计算应用能力考试试卷及答案

2025年大数据与云计算应用能力考试试卷及答案一、单项选择题（每题2分，共30分）1.以下哪项属于云计算PaaS层服务？A.阿里云ECS弹性计算服务B.腾讯云数据库TDSQL托管服务C.华为云ModelArts机器学习平台D.亚马逊S3对象存储服务2.大数据处理中，用于描述数据从产生到分析全流程的术语是？A.数据湖B.数据管道（DataPipeline）C.数据立方体D.数据仓库3.Hadoop3.x版本中，HDFS默认数据块大小为？A.64MBB.128MBC.256MBD.512MB4.以下哪项不是SparkRDD的特性？A.不可变性（Immutable）B.分区性（Partitioned）C.容错性（FaultTolerant）D.实时性（Real-time）5.云计算中实现资源弹性扩展的关键技术是？A.虚拟化B.容器化C.自动伸缩组（AutoScalingGroup）D.负载均衡6.大数据场景下，用于处理海量半结构化数据的存储方案通常是？A.关系型数据库（如MySQL）B.列式数据库（如HBase）C.文档数据库（如MongoDB）D.键值数据库（如Redis）7.云原生架构中，用于服务发现与负载均衡的核心组件是？A.KubernetesServiceB.DockerComposeC.PrometheusD.Grafana8.以下哪项符合CAP定理中“一致性（Consistency）”的定义？A.系统部分节点故障时仍能响应请求B.所有节点在同一时间看到相同的数据C.数据更新操作在有限时间内完成D.系统支持水平扩展答案：B9.大数据清洗中，处理“年龄字段出现-5或200”的异常值时，最合理的方法是？A.直接删除该记录B.用字段平均值填充C.检查数据采集逻辑并修正D.标记为缺失值后建模处理10.公有云与私有云混合部署的模式称为？A.多云（Multi-Cloud）B.混合云（HybridCloud）C.社区云（CommunityCloud）D.边缘云（EdgeCloud）11.SparkStreaming处理数据的最小时间单位是？A.批次（BatchInterval）B.窗口（Window）C.检查点（Checkpoint）D.DStream12.以下哪项是对象存储（如AWSS3）的核心优势？A.支持高并发小文件读写B.提供文件级的POSIX接口C.按对象元数据灵活检索D.适合块级存储场景13.大数据分析中，用于发现数据中隐含关联规则的算法是？A.K-means聚类B.Apriori算法C.线性回归D.决策树14.云计算服务中，“按使用量付费”的定价模式对应？A.订阅制（Subscription）B.按需付费（Pay-as-you-go）C.预留实例（ReservedInstances）D.竞价实例（SpotInstances）15.分布式系统中，ZooKeeper主要用于解决？A.数据存储一致性B.任务调度C.配置管理与协调D.实时计算二、填空题（每空1分，共20分）1.大数据的“5V”特征包括大量（Volume）、高速（Velocity）、多样（Variety）、低价值密度（Value）和__________（Veracity）。2.云计算三层服务模式中，SaaS的全称是__________。3.Hadoop生态中，负责资源管理与任务调度的组件是__________。4.Spark计算模型基于__________（弹性分布式数据集）实现容错。5.云存储中，__________存储适用于需要块级访问的场景（如数据库存储）。6.数据预处理的关键步骤包括数据清洗、__________、数据转换和数据规约。7.Kubernetes中，用于管理容器生命周期的最小单元是__________。8.实时数据处理框架Flink的核心抽象是__________（数据流）。9.大数据隐私保护技术中，通过模糊化敏感信息（如将“1381234”替换手机号）的方法称为__________。10.分布式文件系统HDFS的元数据存储在__________节点中。11.云原生架构的核心技术包括容器化、__________和DevOps。12.数据仓库的典型特征包括面向主题、__________、集成性和稳定性。13.机器学习中，将非结构化文本转换为数值向量的常用方法是__________（如TF-IDF）。14.云计算容灾方案中，__________（冷备/热备）指备用系统实时同步主系统数据。15.大数据处理框架中，__________（计算引擎）适合迭代计算场景（如机器学习）。16.容器编排工具Kubernetes的调度组件是__________。17.数据湖（DataLake）与数据仓库的核心区别在于数据湖存储__________格式数据。18.分布式系统中，__________算法用于解决共识问题（如Raft、Paxos）。19.云安全中，__________（IAM）用于管理用户身份与权限。20.实时流数据处理中，__________窗口（TumblingWindow）是无重叠的固定时间窗口。三、简答题（每题6分，共30分）1.简述MapReduce的执行流程，并说明Shuffle阶段的作用。答案：MapReduce流程包括：（1）输入分片（InputSplit）：将输入数据切分为多个分片，每个分片对应一个Map任务；（2）Map阶段：每个Map任务处理分片数据，输出键值对（Key-Value）；（3）Shuffle阶段：将Map输出的键值对按Key分区、排序并传输到对应的Reduce任务；（4）Reduce阶段：对相同Key的Value进行聚合处理；（5）输出结果。Shuffle阶段的核心作用是实现数据从Map到Reduce的分发与排序，确保同一Key的数据被同一Reduce任务处理。2.比较公有云与私有云的适用场景，并说明混合云的优势。答案：公有云适用于资源需求波动大、成本敏感的中小企业（如电商大促期间的弹性扩容）；私有云适用于对数据隐私和合规要求高的行业（如金融、政府）。混合云结合两者优势：核心业务数据存储于私有云保障安全，弹性业务（如用户行为分析）部署于公有云降低成本，同时支持跨云资源调度与数据流动。3.说明Spark与HadoopMapReduce在处理迭代计算时的差异，并解释原因。答案：Spark基于内存计算，将中间结果存储在RDD中，避免了MapReduce每次迭代都需读写HDFS的开销；MapReduce每次迭代需将中间结果写入磁盘，导致高I/O延迟。因此，Spark在机器学习、图计算等迭代场景中性能显著优于MapReduce。4.列举数据湖的典型技术栈（至少4种），并说明数据湖解决了传统数据仓库的哪些问题。答案：数据湖技术栈包括存储层（如AWSS3、HDFS）、元数据管理（如ApacheAtlas）、查询引擎（如Presto、Hive）、处理引擎（如Spark、Flink）。数据湖解决了传统数据仓库的问题：（1）支持多格式数据（结构化、半结构化、非结构化）；（2）保留原始数据（无需提前清洗）；（3）支持更灵活的分析场景（如机器学习、实时分析）。5.简述云原生应用的设计原则（至少4条），并说明其对企业数字化转型的价值。答案：设计原则：（1）容器化：通过Docker等工具实现环境一致性；（2）微服务架构：拆分为独立部署的小服务；（3）声明式API：通过配置文件定义资源状态；（4）可观测性：集成监控（Prometheus）、日志（ELK）、追踪（Jaeger）；（5）弹性扩展：基于负载自动调整资源。价值：提升应用交付效率（DevOps）、降低运维成本、支持快速迭代，助力企业快速响应市场需求。四、应用题（每题10分，共20分）1.某电商企业需构建用户行为分析系统，要求实时处理页面浏览、商品点击、加购等行为数据（日均数据量约500GB，峰值流量2万条/秒）。请设计技术方案，包括数据采集、存储、处理、分析环节的技术选型及理由。答案：（1）数据采集：使用Flume或KafkaConnect实时采集终端埋点数据，Kafka作为消息队列缓冲峰值流量（支持高吞吐量、持久化存储）。（2）数据存储：实时数据存储至HBase（支持高并发读写）或ClickHouse（列式存储，适合实时查询）；原始数据备份至对象存储（如AWSS3）作为数据湖。（3）数据处理：实时处理使用Flink（低延迟、支持事件时间窗口），计算UV、转化率等指标；离线处理使用Spark（批处理+机器学习）分析用户画像。（4）数据分析：通过Superset或Tableau可视化，输出用户行为漏斗、热门商品排行等报表；结合机器学习模型（如XGBoost）预测用户购买意向。2.某金融机构计划将核心业务系统迁移至私有云，要求高可用（故障恢复时间<30秒）、数据安全（符合GDPR）。请设计云架构方案，说明关键组件（如计算、存储、网络、安全）的选型及实现方式。答案：（1）计算层：采用Kubernetes集群部署微服务，每个服务部署3个副本（分布在不同可用区），通过LivenessProbe自动重启故障容器；使用负载均衡器（如NGINX）分发流量。（2）存储层：数据库（如PostgreSQL）采用主从复制+共享存储（如Ceph块存储），确保数据强一致性；日志与配置存储使用分布式文件系统（如CephFS）。（3）网络层：划分隔离的VPC子网（应用、数据库、管理），通过网络ACL限制跨子网访问；使用VPN连接本地数据中心与私有云。（4）安全层：IAM（身份与访问管理）实现最小权限原则；数据加密（传输层TLS1.3，存储层AES-256）；部署WAF（Web应用防火墙）防御SQL注入等攻击；定期进行渗透测试与合规审计。五、综合分析题（10分）某制造企业计划构建工业大数据平台，目标是通过设备传感器数据（每秒10万条，包含温度、振动、转速等20+维度）预测设备故障，优化维护计划。请分析该平台面临的技术挑战，并提出对应的解决方案。答案：技术挑战及解决方案：（1）高并发数据采集：传感器数据流量大（10万条/秒），传统采集工具（如Flume）可能出现丢包。解决方案：采用分布式消息队列（如Kafka集群），分区数设置为CPU核心数×2，通过消费者组并行消费；使用轻量级协议（如MQTT）减少传输开销。（2）多源异构数据整合：传感器数据（时序）、设备台账（结构化）、维修记录（非结构化）格式不一。解决方案：构建数据湖存储原始数据（Parquet格式压缩），通过ApacheAtlas管理元数据；使用SparkSQL统一查询不同格式数据，通过时间戳关联多源数据。（3）实时故障预测延迟要求高：需在设备异常后5秒内触发预警。解决方案：实时处理使用Flink的CEP（复杂事件处理）引擎，定义振动值超阈值+温度连续上升的组合规则；模型推理部署为轻量级服务（如TensorFlowServing），集成到流处理流程