2026年广发银行信息科技岗大数据技术栈HadoopSparkHive基础概念与应用考题

2026年广发银行信息科技岗大数据技术栈（Hadoop、Spark、Hive）基础概念与应用考题一、单选题（共10题，每题2分，合计20分）1.Hadoop的核心组件HDFS中，NameNode的主要功能是？A.存储数据的元数据B.直接管理数据块的分发C.处理客户端的数据读写请求D.完成数据的容灾备份2.Spark中，RDD的容错机制是基于什么实现的？A.数据块的多副本存储B.依赖关系的链式计算C.检查点（Checkpoint）机制D.以上都是3.Hive中，以下哪种文件格式适合进行高效的列式存储？A.ORCB.AvroC.ParquetD.CSV4.在Hadoop生态中，YARN的主要作用是？A.数据存储B.任务调度C.数据处理D.分布式文件管理5.SparkSQL中，DataFrame的查询性能通常优于RDD的原因是？A.DataFrame使用编译优化B.DataFrame支持更多函数C.DataFrame依赖Hive优化D.DataFrame不支持并行计算6.HDFS的NameNode内存不足时，可能导致什么问题？A.数据块丢失B.无法访问数据C.任务调度延迟D.以上都可能导致7.在Spark中，Shuffle操作的高开销主要来自？A.磁盘I/OB.网络传输C.内存分配D.CPU计算8.Hive中，以下哪个组件负责将SQL查询转换为MapReduce作业？A.MetastoreB.HiveServer2C.LlapD.ThriftServer9.Hadoop2.x中，HA（HighAvailability）配置需要哪些组件？A.SecondaryNameNodeB.NameNode和ResourceManagerC.DataNode和NodeManagerD.HDFS和YARN10.Spark中，RDD的持久化（Persistence）与缓存（Cache）的主要区别是？A.持久化支持更细粒度的存储B.缓存只能存储少量数据C.持久化不占用内存D.缓存不持久化到磁盘二、多选题（共5题，每题3分，合计15分）1.Hadoop生态系统中的数据仓库工具包括哪些？A.HiveB.ImpalaC.SparkSQLD.PrestoE.Phoenix2.Spark中，以下哪些操作属于转换（Transformation）操作？A.`map()`B.`filter()`C.`reduceByKey()`D.`collect()`E.`count()`3.HDFS的NameNode有哪些主要功能？A.管理文件系统的元数据B.分配数据块给DataNodeC.处理客户端的读写请求D.监控DataNode的健康状态E.完成数据块的恢复4.Hive中，以下哪些功能可以提高查询性能？A.分区（Partitioning）B.分桶（Bucketing）C.索引（Index）D.向下转换（CBO）E.优化的文件格式（如ORC）5.Spark的RDD生命周期中，以下哪些操作会触发重新计算？A.`map()`B.`reduceByKey()`C.`cache()`D.`repartition()`E.`collect()`三、判断题（共10题，每题1分，合计10分）1.Hadoop的HDFS适用于高并发的小文件读取场景。（×）2.Spark的RDD是弹性且容错的分布式数据集。（√）3.Hive的HiveServer2支持实时SQL查询。（√）4.Hadoop的NameNode是单点故障，会导致整个集群不可用。（√）5.Spark的DataFrame是RDD的升级版，完全兼容RDD的功能。（×）6.HDFS的副本机制默认为3份。（√）7.Spark的Shuffle操作无法优化，是性能瓶颈的主要来源。（×）8.Hive的元数据存储在HBase中。（×）9.Spark的广播变量适用于所有节点共享的小数据集。（√）10.Hadoop的YARN可以管理多种计算框架，如Spark和Flink。（√）四、简答题（共5题，每题5分，合计25分）1.简述HDFS的NameNode和DataNode的区别。2.Spark的RDD有哪些核心特性？3.Hive中，分区（Partitioning）和分桶（Bucketing）的区别是什么？4.Spark的DataFrame和RDD相比有哪些优势？5.Hadoop的YARN架构中，ResourceManager和NodeManager的角色是什么？五、论述题（共2题，每题10分，合计20分）1.结合广发银行金融数据处理的特点，分析Hadoop和Spark在银行大数据场景中的应用优势和区别。2.详细说明Hive中优化SQL查询性能的常用方法，并举例说明。答案与解析一、单选题答案1.ANameNode负责管理HDFS的元数据，包括文件目录树、文件块的位置信息等。2.DRDD的容错机制结合了数据块的多副本存储、依赖关系的链式计算和检查点机制。3.AORC（OptimizedRowColumnar）是列式存储格式，适合Hive等数据仓库场景。4.BYARN（YetAnotherResourceNegotiator）是Hadoop2.x的资源管理器，负责任务调度。5.ADataFrame使用编译优化（CatalystPlanner）和Tungsten执行引擎，性能优于RDD。6.DNameNode内存不足会导致数据块丢失、无法访问数据和任务调度延迟。7.BShuffle操作涉及大量网络传输，是Spark的主要性能瓶颈。8.AMetastore存储Hive的元数据，负责将SQL转换为MapReduce作业。9.BHadoop2.x的HA需要配置主备NameNode和ResourceManager。10.A持久化支持更细粒度的存储策略（如内存、磁盘），缓存默认只存储在内存。二、多选题答案1.A、B、C、DHive、Impala、SparkSQL、Presto是Hadoop生态中的数据仓库工具。2.A、B、C`map()`、`filter()`、`reduceByKey()`是转换操作，`collect()`、`count()`是动作操作。3.A、B、C、D、ENameNode管理元数据、分配数据块、处理客户端请求、监控DataNode和完成数据恢复。4.A、B、D、E分区、向下转换、优化的文件格式可以提高Hive查询性能，索引在Hive中效果有限。5.A、B、D`map()`、`reduceByKey()`、`repartition()`会触发重新计算，`cache()`和`collect()`是动作操作。三、判断题答案1.×HDFS适合大文件存储，小文件读取效率低。2.√RDD是弹性且容错的分布式数据集。3.√HiveServer2支持实时SQL查询。4.√NameNode是单点故障，会导致集群不可用。5.×DataFrame是RDD的抽象，部分功能不兼容。6.√HDFS默认副本数为3。7.×Shuffle可以优化，如使用Tungsten引擎。8.×元数据存储在Metastore（通常使用MySQL）。9.√广播变量适用于所有节点共享的小数据集。10.√YARN支持Spark、Flink等多种计算框架。四、简答题答案1.HDFS的NameNode和DataNode的区别-NameNode：管理HDFS的元数据（文件目录树、块位置），负责客户端请求的调度。-DataNode：存储实际数据块，定期向NameNode汇报状态。2.Spark的RDD核心特性-分布式：数据存储在集群中。-弹性：任务失败可重计算。-容错：通过数据块副本实现。-可编程：支持多种语言（Scala、Java、Python）。3.Hive的分区和分桶区别-分区：按列将数据切分到不同目录（如按日期分区）。-分桶：按行键将数据均匀分配到桶中，用于优化join。4.DataFrame的优势-编译优化：使用CatalystPlanner生成执行计划。-内存管理：使用Tungsten引擎优化内存使用。-代码兼容：支持SparkSQL和DataFrameAPI。5.YARN的角色-ResourceManager：全局资源管理器，负责任务调度。-NodeManager：管理单个节点的资源，启动任务。五、论述题答案1.Hadoop和Spark在银行大数据场景中的应用-Hadoop（HDFS+MapReduce）：适合银行海量交易数据的存储和离线批处理（如风险计算），但实时性较差。-Spark：适合银行实时风控（如实时反欺诈）、用户画像等需要快速迭代计算的场景，支持SQL、流处理和机器学习。-优势对比：Spark内存计算速度快，Hadoop适合归档存储。广发银行可结合两者，用Hadoop处理历史数据，Spark处理实时数据。2.Hive查询优化方法-分区：按时间分区加速查询（如按月分区）。-分