2026年云计算与大数据技术考试试题及答案

2026年云计算与大数据技术考试试题及答案一、单项选择题（每题2分，共20分）1.下列哪一项不属于云计算的五大核心特征？A.按需自助服务B.资源池化C.本地固定容量D.快速弹性2.在云计算服务模式中，用户直接使用云服务商提供的应用程序，这种模式是？A.IaaSB.PaaSC.SaaSD.DaaS3.HDFS中默认的副本因子为？A.1B.2C.3D.54.相比MapReduce，Spark的主要优势在于？A.基于磁盘计算B.基于内存计算C.只能处理结构化数据D.不支持流处理5.下列哪个组件是Hadoop的分布式存储系统？A.MapReduceB.YARNC.HDFSD.Spark6.下列哪一项属于NoSQL数据库？A.MySQLB.OracleC.HBaseD.SQLServer7.大数据的“4V”特征通常不包含？A.大量（Volume）B.多样（Variety）C.真实（Veracity）D.可变（Variability）8.Docker容器实现资源隔离主要依赖Linux的哪两项技术？A.Namespace与CgroupsB.虚拟化与快照C.内核线程与进程D.内存映射与文件锁9.下列哪种云计算部署模型通常由多个组织共享基础设施？A.公有云B.私有云C.混合云D.社区云10.数据仓库最典型的应用场景是？A.在线事务处理（OLTP）B.在线分析处理（OLAP）C.实时流计算D.嵌入式应用二、多项选择题（每题3分，共15分）1.云计算常见的服务模式包括？A.IaaSB.PaaSC.SaaSD.DBaaS2.关于HDFS的描述，正确的有？A.适合存储海量小文件B.高容错性C.适合流式数据访问D.一次写入、多次读取3.下列属于大数据流式计算框架的有？A.ApacheStormB.ApacheFlinkC.MapReduceD.SparkStreaming4.大数据预处理中常用的数据清洗操作包括？A.缺失值填充B.重复数据去重C.数据格式标准化D.异常值检测与处理5.云计算安全面临的典型挑战包括？A.多租户数据隔离B.虚拟化环境安全C.身份认证与访问控制D.合规与审计三、判断题（每题1分，共10分）1.云计算是一种按使用量付费的服务模式。2.HDFS最适合存储大量小文件，读写性能最优。3.MapReduce适合处理低延迟的实时计算任务。4.数据挖掘是从大量数据中发掘潜在、有价值信息的过程。5.对象存储适合存储海量的非结构化数据。6.Spark中的RDD是一种弹性分布式数据集。7.在Docker中，镜像是运行中的容器实例。8.大数据技术只用于处理结构化数据，不涉及文本、图像等非结构数据。9.云计算资源池中的资源可以根据用户需求动态分配和释放。10.数据生命周期管理一般包括采集、存储、处理、分析和最终销毁等阶段。四、简答题（每题5分，共20分）1.简述云计算的定义以及三种基本服务模式。2.简述HDFS写入文件的基本流程。3.简述MapReduce计算模型的基本思想及主要执行阶段。4.简述大数据处理中批处理、流处理和交互式处理的典型框架及适用场景。五、综合应用题（第1题15分，第2题20分，共35分）1.某电商平台每天产生约100GB的业务日志数据，需要完成两类任务：一是对历史日志进行离线分析（如用户行为统计、销售报表生成）；二是基于实时点击流进行商品推荐。请设计一套大数据处理架构，说明各层采用的存储与计算框架，并给出选择理由。2.某网站在一周内产生了大量访问日志，每条日志包含访问时间、用户IP、页面URL等信息。请设计一个基于Hadoop的MapReduce程序，统计该网站一周内每个页面的访问次数。要求：(1)写出Map和Reduce函数的伪代码；(2)说明输入输出格式；(3)简述当某个热门页面访问量过大时如何优化（数据倾斜问题）。Map(inputKey,inputValue):

//假设输入行格式为：时间IPURL

parts=inputValue.split("")

url=parts[2]

emit(url,1)

Reduce(url,values):

count=0

forvinvalues:

count+=v

emit(url,count)(2)输入格式：日志文件中的每行是一条访问记录，字段以空格分隔，例如2026-01-0510:23:45192.168.1.1/index.html。输出格式：文本文件中的每一行为<URL><访问次数>，例如/index.html10245，由Reduce输出写入HDFS。(3)数据倾斜优化方案：①在Map端引入随机前缀，将热门URL的键打散到多个Reduce任务。具体做法：Map输出的key加上随机数作为中间键，例如randomPrefix+"_"+url，Reduce阶段先做部分聚合，再去掉前缀进行第二次聚合；②使用Combiner在Map端先做局部合并，减少Shuffle数据量；③设置合理的Reduce任务数量，避免单节点压力过大；④对于极端热点，可采用“两阶段聚合”：第一阶段加随机前缀分区聚合，第二阶段按原始URL聚合，既保证正确性又均衡负载。解析：本题为典型的WordCount变体，重点是伪代码正确性和数据倾斜的解决思路。伪代码需体现解析日志、过滤无效行、计数逻辑；输出需明确键值类型；数据倾斜部分答出随机前缀、Combiner、两阶段聚合等关键词即可得分。参考答案与解析一、单项选择题1.答案：C解析：云计算强调资源池化与弹性伸缩，“本地固定容量”恰恰与传统本地数据中心模式相对。2.答案：C解析：SaaS（软件即服务）将应用作为服务提供给用户，用户无需管理底层基础设施。3.答案：C解析：HDFS默认副本数为3，分别存放在不同节点以保证容错性。4.答案：B解析：Spark将中间结果尽量保存在内存中，大幅提升迭代计算效率。5.答案：C6.答案：C解析：HBase是基于列族的NoSQL数据库，适合海量非结构化或半结构化数据。7.答案：D解析：4V指Volume、Velocity、Variety、Veracity，Velocity常被误译为“可变”。8.答案：A解析：Namespace隔离视图，Cgroups限制资源使用，二者是容器技术的基础。9.答案：D10.答案：B解析：数据仓库面向分析型查询，支持多维分析和决策支持。二、多项选择题1.答案：A、B、C解析：DBaaS可视为PaaS或SaaS的变体，但标准三大模式是IaaS、PaaS、SaaS。2.答案：B、C、D解析：HDFS适合大文件，大量小文件会加重NameNode内存负担，因此A错误。3.答案：A、B、D解析：MapReduce属于批处理框架，不支持低延迟流式处理。4.答案：A、B、C、D5.答案：A、B、C、D三、判断题1.答案：正确2.答案：错误解析：HDFS小文件会造成NameNode内存压力，大文件场景更具优势。3.答案：错误解析：MapReduce适用于离线批处理，延迟较高。4.答案：正确5.答案：正确6.答案：正确7.答案：错误解析：镜像是只读模板，容器是镜像的运行实例。8.答案：错误9.答案：正确10.答案：正确四、简答题1.答案：云计算是一种通过网络按需提供可配置计算资源（如网络、服务器、存储、应用和服务）的模式，资源可以快速供给和释放，管理成本与服务商干预极少。三种服务模式：(1)IaaS（基础设施即服务）：提供虚拟机、存储、网络等基础设施资源；(2)PaaS（平台即服务）：提供应用开发、部署所必需的运行环境和中间件；(3)SaaS（软件即服务）：提供可直接使用的应用程序，用户只需关注业务功能。2.答案：(1)客户端调用DistributedFileSystem的create方法创建文件；(2)NameNode检查权限和元数据，若允许则创建新文件记录；(3)客户端将数据切分成数据包（packet），依次写入DataNode；(4)数据按流水线方式复制到副本节点，第一个DataNode收到数据后传向下一个；(5)全部数据写入完成后，客户端关闭输出流，NameNode提交文件信息。3.答案：MapReduce采用“分而治之”思想，将大规模计算任务拆分为并行处理的Map任务和Reduce任务。主要阶段包括：(1)输入分片（InputSplit）：将输入数据划分为逻辑分片；(2)Map阶段：对每个分片中的键值对执行用户定义的Map函数，输出中间结果；(3)Shuffle阶段：对Map输出的键值对进行分区、排序、合并，并传输到对应的Reduce节点；(4)Reduce阶段：对同一键的所有值执行用户定义的Reduce函数，输出最终结果。4.答案：(1)批处理：典型框架为HadoopMapReduce、SparkCore，适用于离线大规模数据分析；(2)流处理：典型框架为Flink、Storm、SparkStreaming，适用于实时日志处理、实时监控等低延迟场景；(3)交互式处理：典型框架为SparkSQL、Impala、Presto，适用于即席查询、数据探索和可视化分析。五、综合应用题1.答案：(1)数据采集层：使用Flume或Kafka实时采集业务服务器日志，Kafka作为消息缓冲队列，削峰填谷并解耦生产与消费。(2)数据存储层：①原始日志保存到HDFS，利用其高吞吐和高容错特性，作为离线分析的统一数据源；②实时流数据经Kafka直接进入流处理引擎，也可将结果存储到HBase或Redis供线上服务读取。(3)离线计算层：使用Spark进行每日报表和用户行为统计。相比MapReduce，Spark内存计算速度更快，并可使用SQL接口（SparkSQL）方便开发。(4)实时计算层：使用Flink消费Kafka中的点击流数据，进行窗口聚合和实时特征计算，将推荐候选结果写入Redis或HBase，供推荐服务实时查询。