2026年大数据工程师认证考试真题解析（中级）

2026年大数据工程师认证考试真题解析（中级）考试时间：______分钟总分：______分姓名：______一、选择题1.下列哪一项不属于大数据的“5V”特征？A.Volume（海量性）B.Velocity（高速性）C.Variety（多样性）D.Veracity（真实性）2.HDFS架构中，NameNode的主要职责是？A.直接管理数据块的物理存储位置B.负责客户端的文件访问请求调度C.管理整个HDFS的元数据信息D.控制DataNode之间的数据复制3.MapReduce模型中，Map阶段的输出键值对（<k1,v1>）进入Reduce阶段之前，会经过哪些组件的处理？（多选）A.CombinerB.ShufflerC.PartitionerD.Sorter4.以下关于Hive和SparkSQL的比较，说法错误的是？A.Hive基于HadoopMapReduce，SparkSQL底层可以利用SparkCore的RDDB.SparkSQL通常提供比Hive更快的查询性能，尤其是在内存充足时C.Hive拥有丰富的类SQL接口，而SparkSQL主要面向程序化数据处理D.两者都能直接操作存储在HDFS上的结构化数据5.在Spark中，`DataFrame`和`RDD`的主要区别之一是？A.`RDD`是静态的，`DataFrame`是动态的B.`DataFrame`提供了更丰富的内置函数和更好的优化能力C.`DataFrame`只能处理结构化数据，`RDD`可以处理任意类型的数据D.`DataFrame`在Spark2.0中引入，`RDD`是Spark1.x的核心概念6.以下哪些技术属于流处理技术？（多选）A.ApacheFlinkB.ApacheStormC.ApacheHadoopMapReduceD.ApacheSparkStreaming7.下列关于SparkRDD持久化（如saveAsTextFile）和缓存（cache/cached）的说法，正确的是？A.持久化操作会自动触发对数据的缓存B.缓存数据默认存储在内存中，而持久化可以指定多种存储级别C.对一个RDD调用两次cache()方法，会增加两次内存占用D.使用持久化（如MEMORY_ONLY）比缓存更节省内存空间8.在Spark中，用于管理Spark作业运行时资源的组件是？A.SparkDriverB.SparkExecutorC.YARNResourceManagerD.SparkScheduler9.以下哪种文件格式通常被认为是列式存储格式，适合用于Hive和SparkSQL进行数据分析？A.AvroB.ParquetC.ORCD.SequenceFile10.下列关于Kafka的描述，错误的是？A.Kafka是一个分布式流处理平台B.Kafka主要用于构建实时数据管道和流应用C.Kafka的数据存储在HDFS中D.Kafka支持高吞吐量的消息传输11.在大数据处理中，ETL通常指的是？A.Extract,Transform,LoadB.Evaluate,Transform,LoadC.Extract,Treat,LoadD.Enter,Transform,Link12.以下哪项技术主要用于解决分布式数据库中数据一致性问题？A.CAP定理B.Paxos/RaftC.MapReduceD.HDFS13.下列关于云数据仓库（如AmazonAthena,GoogleBigQuery）的说法，正确的是？A.通常需要用户自行管理底层的数据存储和计算集群B.提供了类似SQL的接口，但无法处理大数据量查询C.适合运行需要频繁交互式查询的复杂分析任务D.一般成本较低，适合所有类型的数据分析需求14.以下关于数据湖的描述，错误的是？A.数据湖通常存储原始、未结构化或半结构化的数据B.数据湖需要预先定义模式（Schema-on-Write）C.数据湖为数据提供了集中存储，便于统一处理D.相比数据仓库，数据湖的灵活性更高15.在大数据系统中，确保数据安全的重要措施包括？（多选）A.数据加密B.访问控制列表（ACL）C.数据脱敏D.定期备份数据二、填空题1.大数据技术通常需要处理的数据量达到_______级别。2.SparkSQL中的核心抽象，类似于RDBMS中的表，是_______和_______的集合。3.在Hadoop生态中，YARN的全称是_______。4.用来表示数据流中每个元素与其产生时间关系的概念是_______。5.对于需要低延迟响应的大数据应用，通常需要采用_______处理技术。6.以下列出的NoSQL数据库中，HBase属于_______模型。7.Spark应用提交到集群执行时，Driver程序运行在_______节点上。8.在Hive中，用于对查询结果进行分组的内置函数是_______。9.当使用Spark的DataFrameAPI进行数据处理时，可以利用_______进行高效的SQL查询。10.云计算平台提供的大数据服务中，如AWSEMR，其全称是_______。三、简答题1.请简述大数据的4V（或5V）特征，并举例说明。2.请比较HadoopMapReduce和Spark在处理框架设计上的主要区别。3.解释什么是数据湖？它与数据仓库有何主要区别？4.在Spark中，什么是DataFrame？它与RDD相比有哪些优势？5.简述流处理（如Flink或SparkStreaming）相比于批处理在大数据应用中的特点。四、案例分析题假设你正在为一个大型电商公司设计一个实时用户行为分析系统。该系统需要实时接收用户在网站上的点击流数据（包含用户ID、时间戳、点击的URL等信息），并完成以下任务：a.统计每个用户在过去5分钟内点击特定活动页面（如活动A的URL）的次数。b.计算当前在线用户（过去10分钟内有活动）的总数。c.将统计结果实时推送给运营后台。请回答：1.为了实现这个系统，你会选择哪种流处理框架（如Flink,SparkStreaming等）？为什么？2.简述你将如何设计该流处理任务的计算逻辑（例如，如何处理窗口、如何定义状态、如何输出结果）。3.提出至少两个你认为在这个场景下需要关注的关键技术点或挑战。五、编程题（以PySpark为例）请使用PySpark编写代码，完成以下任务：从一个存储在HDFS上的名为`input_data`的CSV文件中读取数据，该文件包含两列，第一列是`category`（类别），第二列是`score`（分数），两列之间用逗号分隔，且没有标题行。要求：1.将读取到的DataFrame重命名列名为`Category`和`Score`。2.添加一列`is_high_score`，其值为`True`当`Score`大于80，否则为`False`。3.按照类别`Category`进行分组，并计算每个类别中`Score`的平均值。4.将最终结果DataFrame输出到HDFS上的`output_result`路径，格式为Parquet。（注意：无需实际运行代码，只需写出完整的PySpark代码块）试卷答案一、选择题1.D解析：大数据的5V特征通常指Volume（海量性）、Velocity（高速性）、Variety（多样性）、Veracity（真实性）和价值（Value）。2.C解析：NameNode负责管理HDFS的元数据（文件系统目录结构、文件块位置等），而DataNode负责存储数据块并执行数据读写操作。3.A,B,C,D解析：MapReduce的输出阶段，首先由Shuffler对Map输出进行排序和分组，然后根据Partitioner算法分配到不同的Reduce任务，可能先经过Combiner进行局部聚合以减少网络传输。4.C解析：Hive和SparkSQL都提供类SQL接口，Hive面向SQL用户（Schema-on-Write），SparkSQL面向程序化处理（Schema-on-Read），两者都能操作HDFS等数据源。5.B解析：DataFrame是Spark1.3引入的，它在RDD基础上提供了丰富的内置函数和基于Catalyst查询优化器的SQL优化，执行效率通常更高。6.A,B,D解析：ApacheFlink、ApacheStorm和ApacheSparkStreaming都是主流的流处理框架。ApacheHadoopMapReduce是批处理框架。7.B解析：缓存（cache/cached）默认存储在内存。持久化（如saveAsTextFile,persist(StorageLevel)）可以指定多种级别（内存、磁盘等）。持久化会隐式调用缓存。8.D解析：SparkScheduler负责根据作业的需求，将任务分配给资源管理器（如YARNResourceManager），并管理任务执行。9.B,C解析：Parquet和ORC都是流行的列式存储格式，提供了高效的压缩和编码，非常适合Hive和SparkSQL进行大数据分析。10.C解析：Kafka的数据存储在它自己管理的KafkaTopic和Partition中，而不是直接存储在HDFS。Kafka使用ZooKeeper进行元数据管理和集群协调。11.A解析：ETL是数据仓库领域常用的术语，代表数据抽取（Extract）、转换（Transform）、加载（Load）。12.B解析：Paxos/Raft等一致性算法用于保证分布式系统中多个节点之间数据状态的一致性，常用于分布式数据库和存储系统。13.C解析：云数据仓库提供按需使用的分析服务，适合交互式查询和Ad-hoc分析，但通常成本与查询资源消耗相关，并非总是成本最低的选择。14.B解析：数据湖采用Schema-on-Read（读取时加载数据模式），不需要预先定义模式。数据仓库是Schema-on-Write（写入时定义模式）。15.A,B,C解析：数据加密、访问控制列表（ACL）和数据脱敏都是保障数据安全的重要技术手段。定期备份数据是数据保护措施，但不直接属于数据安全范畴。二、填空题1.TB级或PB级解析：大数据通常指存储规模达到太字节（TB）甚至拍字节（PB）级别的数据集合。2.结构化数据，分布式计算解析：DataFrame是SparkSQL的核心抽象，它封装了结构化数据（具有明确的模式）以及底层的分布式计算逻辑。3.YetAnotherResourceNegotiator解析：YARN是Hadoop2.x引入的资源管理框架，负责管理集群资源并调度应用程序。4.时间戳（Timestamp）解析：事件时间（EventTime）是数据流中每个事件发生的时间戳，与处理时间（ProcessingTime）相对。5.流处理（Streaming）解析：流处理技术适用于需要低延迟、近乎实时地处理和分析数据的应用场景。6.列式（Column-Family）解析：HBase是一个基于Hadoop的列式存储NoSQL数据库，通常用于存储稀疏数据集，并支持快速的列族访问。7.驱动（Driver）解析：SparkDriver是提交Spark作业的客户端，负责创建SparkContext、构建作业逻辑并启动执行。8.groupBy解析：`groupBy`是SparkSQL/DataFrameAPI中用于根据指定列对数据进行分组的函数。9.SparkSQL解析：SparkSQL提供了丰富的接口，允许用户使用SQL语句或DataFrameAPI对存储在Spark中的结构化数据进行查询和分析。10.AmazonElasticMapReduce解析：AWSEMR是亚马逊云科技提供的大数据分析和处理服务，基于Hadoop、Spark等框架。三、简答题1.请简述大数据的4V（或5V）特征，并举例说明。答：大数据的4V特征是：*Volume（海量性）：指数据规模巨大，通常达到TB级甚至PB级。例如，一个大型电商网站每天产生的用户行为日志可能达到数百TB。*Velocity（高速性）：指数据生成和需要处理的速度非常快，对实时性要求高。例如，金融市场的股票交易数据每秒都在产生。*Variety（多样性）：指数据的类型和格式繁多，包括结构化数据（如关系数据库）、半结构化数据（如XML、JSON）和非结构化数据（如文本、图像、视频）。例如，社交媒体平台包含用户发布的文本、图片、视频等多种类型的数据。*Veracity（真实性）：指数据的准确性和可信度，由于数据来源多样，可能存在数据质量参差不齐、错误或缺失的情况。例如，用户填写的注册信息可能存在错误或虚假。（若回答5V，需补充Value）Value（价值）：指从海量、高速、多样的数据中挖掘出的有价值的信息和知识。例如，通过分析用户购买历史数据，发现潜在的关联规则，指导精准营销。2.请比较HadoopMapReduce和Spark在处理框架设计上的主要区别。答：主要区别包括：*编程模型：MapReduce是基于键值对（Key-ValuePair）的编程模型，开发者需要编写Map和Reduce函数。Spark提供了更高级的抽象，如RDD（弹性分布式数据集）、DataFrame和Dataset，支持类SQL查询和面向对象的编程。*计算引擎：MapReduce使用Hadoop的JobTracker进行任务调度和资源管理，Map和Reduce任务通常在Java/Scala中编写，执行效率相对较低。Spark使用自己的SparkScheduler进行调度，核心计算在SparkCore（RDD）或SparkSQL/Dataset引擎中完成，通常使用Scala/Java/Python/SQL编写，利用内存计算，性能显著提升。*内存管理：MapReduce计算主要在磁盘上完成，只有少量数据可能被加载到内存。Spark强调内存计算，尽可能将数据、计算中间结果和缓存数据存储在内存中，大幅减少I/O开销，提升性能。*容错机制：MapReduce通过重新执行失败的任务副本来实现容错。Spark除了依赖HDFS的副本机制外，还利用RDD的lineage机制，可以在数据丢失时通过lineage重算丢失的数据分区，恢复速度更快。*适用场景：MapReduce适合大规模的离线批处理任务。Spark除了批处理，还支持快速交互式查询（SparkSQL）、实时流处理（SparkStreaming）、图计算（GraphX）和机器学习（MLlib）。3.解释什么是数据湖？它与数据仓库有何主要区别？答：数据湖（DataLake）是一个集中式存储库，允许你存储所有结构化、半结构化和非结构化数据，而无需将数据重新整理或标准化为特定的模式。数据湖采用Schema-on-Read（读取时加载数据模式）的方式，数据通常以原始格式存储。数据仓库（DataWarehouse）是一个用于存储、管理和分析企业运营数据的系统，通常用于报告和商业智能（BI）。数据仓库中的数据通常是结构化的，并且已经过清洗、转换和整合，遵循预定义的模式（Schema-on-Write，写入时定义模式），以优化查询性能和分析需求。主要区别：*数据格式：数据湖存储原始、多样化的数据格式；数据仓库存储经过处理的结构化数据。*模式：数据湖是Schema-on-Read；数据仓库是Schema-on-Write。*目的：数据湖侧重于数据的存储和探索性分析；数据仓库侧重于主题域的报告和预定义分析。*位置：数据湖通常位于HDFS、云存储（如S3）等存储层；数据仓库通常是独立的分析服务器或数据库系统。4.请比较HadoopMapReduce和Spark在处理框架设计上的主要区别。答：主要区别包括：*编程模型：MapReduce是基于键值对（Key-ValuePair）的编程模型，开发者需要编写Map和Reduce函数。Spark提供了更高级的抽象，如RDD（弹性分布式数据集）、DataFrame和Dataset，支持类SQL查询和面向对象的编程。*计算引擎：MapReduce使用Hadoop的JobTracker进行任务调度和资源管理，Map和Reduce任务通常在Java/Scala中编写，执行效率相对较低。Spark使用自己的SparkScheduler进行调度，核心计算在SparkCore（RDD）或SparkSQL/Dataset引擎中完成，通常使用Scala/Java/Python/SQL编写，利用内存计算，性能显著提升。*内存管理：MapReduce计算主要在磁盘上完成，只有少量数据可能被加载到内存。Spark强调内存计算，尽可能将数据、计算中间结果和缓存数据存储在内存中，大幅减少I/O开销，提升性能。*容错机制：MapReduce通过重新执行失败的任务副本来实现容错。Spark除了依赖HDFS的副本机制外，还利用RDD的lineage机制，可以在数据丢失时通过lineage重算丢失的数据分区，恢复速度更快。*适用场景：MapReduce适合大规模的离线批处理任务。Spark除了批处理，还支持快速交互式查询（SparkSQL）、实时流处理（SparkStreaming）、图计算（GraphX）和机器学习（MLlib）。5.简述流处理（如Flink或SparkStreaming）相比于批处理在大数据应用中的特点。答：流处理相比于批处理，主要特点在于处理数据的实时性：*低延迟：流处理能够近乎实时地处理数据，通常亚秒级，而批处理通常需要等待积累足够的数据量后（分钟级甚至更长）才进行处理。*事件顺序处理：流处理通常需要考虑事件发生的顺序，确保按时间顺序处理数据，这对于金融交易、实时监控等场景至关重要。*持续处理：流处理是一个持续不断的过程，数据源源不断地进入系统进行处理，而批处理是周期性的，处理完成后有一段空隙。*状态管理：流处理应用通常需要维护状态（如窗口统计、会话信息），以进行更复杂的计算，这对状态管理的正确性和效率要求很高。*窗口计算：流处理支持对时间窗口内的数据流进行聚合、统计等操作，如滑动窗口、固定窗口等。*应用场景：流处理适用于需要实时反馈、快速响应、处理顺序敏感的应用，如实时欺诈检测、实时推荐、物联网设备监控、在线游戏数据统计等。批处理适用于离线分析、报表生成、ETL后处理等场景。四、案例分析题假设你正在为一个大型电商公司设计一个实时用户行为分析系统。该系统需要实时接收用户在网站上的点击流数据（包含用户ID、时间戳、点击的URL等信息），并完成以下任务：a.统计每个用户在过去5分钟内点击特定活动页面（如活动A的URL）的次数。b.计算当前在线用户（过去10分钟内有活动）的总数。c.将统计结果实时推送给运营后台。请回答：1.为了实现这个系统，你会选择哪种流处理框架（如Flink,SparkStreaming等）？为什么？答：我会选择ApacheFlink。理由如下：*低延迟和高吞吐量：Flink以其出色的低延迟处理能力和高吞吐量而闻名，非常适合需要近乎实时响应的在线用户行为分析系统。*强大的窗口计算能力：Flink提供了丰富且高效的窗口计算机制（如SlidingWindows,TumblingWindows），可以方便地实现题目中要求的5分钟滑动窗口统计和10分钟内活动统计。*精确一次（Exactly-once）语义：对于关键的业务统计，Flink提供了强大的状态管理和检查点机制，能够保证流处理任务即使在发生故障时也能达到精确一次的语义，保证数据统计的准确性。*丰富的连接能力：Flink可以方便地与其他系统集成，例如可以将统计结果输出到Kafka、Redis或直接连接到下游服务进行展示。*状态管理：Flink的原生状态管理机制对于维护用户会话状态（如判断用户是否在线）非常有利。（选择SparkStreaming作为备选理由：SparkStreaming也是一个强大的流处理框架，提供了DataFrameAPI，易于开发，生态系统与SparkSQL/MLlib集成良好。其微批处理模型也能实现低延迟。但对于极致的低延迟和精确一次语义，Flink通常被认为表现更优。）2.简述你将如何设计该流处理任务的计算逻辑（例如，如何处理窗口、如何定义状态、如何输出结果）。答：设计计算逻辑如下：a.数据源接入：使用Flink的`KafkaConsumer`或`Flink-Source`扩展，实时读取存储用户点击流数据的KafkaTopic。b.数据解析：对接收到原始数据（可能是JSON、Protobuf或简单的文本格式）进行反序列化，解析成包含`userID`,`timestamp`,`url`等字段的POJO对象或DataFrame。c.定义时间属性：在DataStream或DataFrame上设置Watermark，以`timestamp`字段定义事件时间（EventTime），并设置适当的延迟（如允许的最大延迟或期望的延迟），确保数据的timelyarrival。d.用户在线状态判断：*使用`KeyedStream`或`DataFrame`按`userID`进行分组。*维护每个用户的最后活动时间状态。使用Flink的`map`或`processFunction`，每次收到用户活动时，更新该用户的状态为当前`timestamp`。*使用`map`或`filter`，根据当前时间与用户最后活动时间的差值（减去时间属性中的Watermark延迟），判断用户是否在过去10分钟内有活动。如果是，则计入“当前在线用户”统计。e.活动页面点击次数统计：*同样按`userID`进行分组。*过滤出点击特定活动页面（如`url`字段匹配活动A的URL）的数据。*使用Flink的窗口函数（如`count(SlidingEventTimeWindows.of(Time.minutes(5),Time.minutes(1)))`）对每个用户过去5分钟内的活动进行滑动窗口统计。*在窗口内计算每个用户点击该活动页面的次数。f.结果聚合与输出：*对于在线用户数，可能需要在全局或某个分区内进行计数。*对于用户点击次数，聚合窗口内的统计结果。*使用Flink的`Sink`，将统计结果（如`userID`,点击次数,在线状态）实时输出到目标系统。可以选择Kafka（将结果作为新的消息发送）、Redis（用于快速查询）、或者直接连接到下游的展示或风控系统。3.提出至少两个你认为在这个场景下需要关注的关键技术点或挑战。a.数据倾斜（DataSkew）：在按`userID`分组的统计任务中，如果某些用户的点击量远超其他用户，会导致这些用户对应的数据分区处理时间过长，成为系统的瓶颈。需要采用数据倾斜的解决方案，如增加更多分区、使用随机前缀哈希、或者针对倾斜的键进行特殊处理逻辑。b.状态一致性与容错：实时统计系统对结果的准确性要求高。Flink的状态管理虽然强大，但配置不当（如检查点间隔、状态后端选择）或网络分区可能导致状态丢失或计算不一致。需要仔细设计状态管理策略，合理设置检查点间隔（保证低延迟和一致性之间的平衡），选择合适的状态后端（如MemoryStateBackend,FsStateBackend,RocksDBStateBackend），并测试系统的容错恢复能力，确保故障发生时能快速恢复且统计结果不受影响。c.延迟与Wa