计算机2025年计算机大数据技术专项考

计算机2025年计算机大数据技术专项考考试时间：______分钟总分：______分姓名：______一、选择题（每题2分，共20分。请将正确选项字母填入括号内）1.下列哪一项不属于大数据通常描述的“V3V”特征？A.Volume（海量性）B.Velocity（高速性）C.Variety（多样性）D.Veracity（真实性）2.Hadoop分布式文件系统（HDFS）的设计原则之一是高容错性，这主要通过什么机制实现？A.实时镜像备份B.数据块（Block）的副本机制C.元数据校验和自动恢复D.分布式锁管理3.在MapReduce框架中，Map阶段的输出（IntermediateOutput）会存储在哪里？A.最终输出文件目录（OutputDirectory）B.本节点的内存中，随后刷新到本地磁盘C.NameNode的内存中D.DataNode的内存中4.YARN（YetAnotherResourceNegotiator）在Hadoop生态中的核心作用是？A.存储和处理大数据文件B.执行MapReduce任务的具体计算C.管理和调度集群中的计算资源D.为HDFS提供高可用性5.相比于传统的迭代式算法，Spark的核心优势在于？A.显著降低了数据传输开销B.能够直接处理小数据集C.极大地提高了磁盘I/O效率D.通过内存计算大幅提升了计算速度6.在Spark中，RDD（ResilientDistributedDataset）的“弹性”或“容错”特性主要依靠什么实现？A.数据自动备份B.依赖边的有向无环图（DAG）C.检查点（Checkpoint）机制D.事务日志记录7.以下哪个组件是ApacheHive用于元数据管理的核心部分？A.HiveServer2B.HiveMetastoreC.HiveQL解释器D.HDFSNameNode8.HBase是一个典型的？A.关系型数据库管理系统B.分布式文件系统C.列式存储数据库D.内存数据库9.SparkSQL和DataFrames的主要优势在于？A.完全避免了Shuffle操作B.提供了更丰富的内置函数和更优化的查询执行计划C.默认存储数据在内存中D.只能处理结构化数据10.以下哪种技术通常用于处理高速流入的数据流？A.ApacheHiveB.ApacheStormC.ApacheHBaseD.ApacheSqoop二、填空题（每空1分，共15分。请将答案填入横线上）1.大数据处理的“3V”特征通常指__________、__________和__________。2.HDFS默认的数据块（Block）大小为__________字节。3.MapReduce模型中，Map阶段的输入是键值对（key-value），输出也是键值对，其中间输出的Key通常是__________。4.Spark支持两种主要的运行模式：____________模式和____________模式。5.Hive中的基本数据类型包括__________、__________、____________、__________和__________。6.HBase中，表（Table）由行（Row）组成，行由行键（RowKey）唯一标识，每个行内数据存储在多个列族（ColumnFamily）中，列族内的数据以（ColumnQualifier,__________）的形式存储。7.实时大数据处理框架相比批处理框架，更强调__________和__________。三、判断题（每题1分，共10分。请将“正确”或“错误”填入括号内）1.HadoopMapReduce适合处理所有类型的大规模数据集，包括交互式查询。（）2.HDFS适合存储大量小文件，因为它可以充分利用NameNode的内存。（）3.YARN架构使得Hadoop集群可以运行除了MapReduce之外的其他计算框架，如Spark、Flink等。（）4.SparkRDD是懒加载的，只有当操作被触发时，其依赖的数据才会被计算。（）5.SparkDataFrame是SparkRDD的升级版，它提供了更丰富的API，并且执行效率更高，因为其底层会自动进行优化。（）6.HiveQL（HadoopQueryLanguage）与SQL语言非常相似，可以方便地使用SQL进行大数据分析。（）7.HBase是一个面向列的数据库，其读写性能与表中数据的行数成正比。（）8.由于数据在传输过程中存在网络开销，MapReduce任务通常不适合处理需要大量数据间交互的计算。（）9.ApacheKafka通常被用作大数据处理生态系统中的消息队列，它可以处理高吞吐量的数据流。（）10.机器学习算法通常需要处理大规模、高维度的数据，是大数据技术应用的重要领域之一。（）四、简答题（每题5分，共20分。请简明扼要地回答下列问题）1.简述Hadoop生态系统中HDFS和YARN各自的主要功能。2.解释什么是Spark的“惰性求值”（LazyEvaluation）机制，并说明其优点。3.列举至少三个HiveQL的优点。4.说明HBase适用于哪些类型的应用场景，并简述其原因。五、论述/设计题（共25分）1.（15分）设计一个基于Spark的大数据处理流程，用于分析用户行为日志数据。该日志数据包含用户ID、时间戳、页面URL、操作类型（点击、浏览、购买等）等信息。请简述该流程的主要步骤，包括数据读取、必要的清洗和转换操作（例如，过滤无效记录、提取小时信息、统计不同页面的点击次数）、以及最终结果（例如，按用户统计购买页面的Top10）的聚合和输出。请说明选择Spark进行此任务的理由。2.（10分）比较MapReduce和Spark在处理大规模数据集时的主要区别（至少从三个方面进行比较，例如：编程模型、执行模型、内存使用、容错机制、生态系统等），并分析Spark相比MapReduce的优势所在。六、编程题（共10分）请使用PySpark编写一段代码，实现以下功能：从一个名为`input_data`的SparkDataFrame中读取数据，该DataFrame包含两列：`user_id`（用户ID，字符串类型）和`action`（用户行为，字符串类型）。该代码需要执行以下操作：1.过滤掉`action`为`'logout'`的记录。2.按照用户ID(`user_id`)进行分组。3.对每个用户，统计其执行了`'click'`行为的次数。4.将结果按照用户执行`'click'`行为的次数降序排列，并展示前10个用户及其点击次数。试卷答案一、选择题1.A2.B3.B4.C5.D6.B7.B8.C9.B10.B二、填空题1.海量性,高速性,多样性2.128MB3.Key4.本地模式,分布式模式5.字符串(String),整数(Integer),浮点数(Double),布尔值(Boolean),字符串(String)*(注：Hive基本类型通常不包含String)*或文本(Text)*(注：Hive中String通常映射为Text)*6.时间戳(Timestamp)或版本号Version7.低延迟,实时性三、判断题1.错误2.错误3.正确4.正确5.正确6.正确7.错误*(注：HBase读写性能主要与列族和数据分布有关，与行数非线性相关)*8.错误*(注：MapReduce需要数据交互，存在Shuffle开销，但并非完全不适合)*9.正确10.正确四、简答题1.HDFS主要功能是存储大规模数据集，提供高容错、高吞吐量的数据访问能力，管理文件系统的元数据。YARN主要功能是资源管理和任务调度，负责管理和分配集群中的计算资源，允许集群运行多种计算框架。2.惰性求值是指Spark在执行代码时，并不会立即执行Stage中的任务，而是将操作构建成一个DirectedAcyclicGraph（DAG），只有在计算某个操作的结果（触发Action，如collect、save等）时，才会对DAG中的任务进行实际执行和优化。优点包括：可以进行查询优化（如谓词下推、项目下推），减少不必要的计算和数据传输，提高执行效率；延迟执行使得代码更易于编写和调试。3.HiveQL的优点：提供类似SQL的接口，降低了使用大数据技术的门槛，方便有SQL基础的开发人员使用；将查询编译成MapReduce/Tez/Spark等物理执行计划，可以利用Hadoop生态的强大能力处理大规模数据；支持数据仓库的常见分析功能（如ETL、聚合、连接等）；易于进行数据治理和元数据管理。4.HBase适用于需要随机、实时读写访问大量数据的场景，特别是对数据访问模式要求高并发、低延迟的场景。原因：HBase是基于列式存储的分布式数据库，数据模型（行键、列族）天然支持快速的随机读写；采用LSM树结构，写入性能高；数据分布和分区机制优化了并发访问；支持数据的版本管理，适合记录变更数据；集成在Hadoop生态中，能处理海量数据。五、论述/设计题1.流程设计：a.数据读取：使用Spark读取存储在HDFS或其他支持的存储系统（如Kafka）中的用户行为日志文件（例如，CSV或JSON格式），创建SparkDataFrame`input_df`。b.数据清洗与转换：进行数据过滤，去除空值、无效格式的记录。提取日志中的时间戳，转换为小时信息，创建新列`hour_of_day`。过滤掉`action`为`'logout'`的记录。将`action`转换为统一的小写形式（如`'click'`,`'view'`,`'purchase'`）。c.数据聚合：按`user_id`和`hour_of_day`进行分组，统计每个用户在每个小时内的不同`action`次数。d.结果计算：从上一步结果中，筛选出`action`为`'click'`的记录，按`user_id`进行分组，计算每个用户总的`'click'`次数。e.结果排序与输出：将结果按照`click_count`进行降序排列，取前10个记录。将结果存储到HDFS或其他结果系统中，或使用SparkUI展示。选择Spark理由：该任务涉及大规模数据集的处理，需要高效的分布式计算能力；Spark支持多种数据源读取和输出，易于集成；SparkSQL和DataFrame/DatasetAPI可以简化数据处理逻辑的编写；SparkStreaming（如果数据源是流）或SparkBatch（如果数据是文件）可以满足不同数据接入方式的需求；Spark的内存计算特性能加速数据处理和聚合操作。2.比较：a.编程模型：MapReduce使用基于Java的Map和Reduce函数的编程模型，较为底层和繁琐；Spark提供更高级的API，如RDD、DataFrame、Dataset，抽象层次更高，更易于使用和维护。b.执行模型：MapReduce是迭代式执行模型，每个Map和Reduce任务执行完成后才会执行下一个；Spark是基于DAG的惰性执行模型，操作构建成图后统一执行，可以进行优化。c.内存使用：MapReduce主要计算在磁盘上进行，仅少量数据在Map任务中可能进入内存；Spark设计目标是将计算和数据尽可能缓存到内存中，实现内存计算，显著提升性能。d.容错机制：MapReduce通过重新计算丢失的Task实现容错；Spark通过RDD的lineage机制（恢复丢失数据）和持久化（恢复计算结果）实现更快速、更灵活的容错。e.生态系统：MapReduce是Hadoop的核心，生态相对较早；Spark拥有独立的、更活跃的生态系统（如SparkSQL,MLlib,GraphX,SparkStreaming,StructuredStreaming），功能更全面。Spark优势：主要优势在于其内存计算模型带来的性能提升（数倍甚至数十倍），更高级的编程接口（易用性），更丰富的API（功能全面性），以及更灵活高效的容错机制。六、编程题```pythonfrompyspark.sqlimportSparkSession#初始化SparkSessionspark=SparkSession.builder\.appName("ClickCount")\.getOrCreate()#读取数据，假设input_dataDataFrame已存在#df=spark.read.csv("path_to_input_data.csv",header=True,inferSchema=True)#示例读取方式#df=spark.read.json("path_to_input_data.json")#示例读取方式#此处假设input_data已经准备好#input_df=df#假设input_data就是传入的DataFrame#假设input_dataDataFrame结构如下：#+---------+-------+#|user_id|action|#+---------+-------+#|"user1"|"click"|#|"user1"|"view"|#|"us