2026年中国电信招聘考试大数据处理与分析HadoopSpark技术框架考点速览

2026年中国电信招聘考试大数据处理与分析（Hadoop、Spark）技术框架考点速览一、单选题（共10题，每题2分）1.在Hadoop生态系统中，负责分布式文件存储的系统是？A.HBaseB.HiveC.HDFSD.YARN答案：C解析：HDFS（HadoopDistributedFileSystem）是Hadoop的核心组件，用于在集群中存储大规模数据。2.Spark中，哪种模式允许Spark应用程序在集群外部的存储系统（如HDFS、S3）中读写数据？A.Standalone模式B.Client模式C.Cluster模式D.Mixed模式答案：C解析：Cluster模式下，Spark可以访问外部存储系统，而Client模式下数据必须本地化。3.下列哪个组件是SparkSQL的接口，用于执行结构化数据处理？A.RDDB.DataFrameC.DatasetD.SparkSession答案：B解析：DataFrame是SparkSQL的核心抽象，提供丰富的数据操作接口。4.在HadoopMapReduce中，Map阶段的输出格式必须符合什么要求才能被Reduce阶段处理？A.Key-Value对B.Text文件C.JSON格式D.任意格式答案：A解析：MapReduce的输出必须为Key-Value对，Reduce阶段才能按Key聚合。5.HadoopYARN的架构中，负责资源管理和调度的是？A.NameNodeB.DataNodeC.ResourceManagerD.NodeManager答案：C解析：ResourceManager管理集群资源，NodeManager管理单个节点的资源。6.Spark中，哪种持久化级别会存储数据的序列化形式，以优化读取性能？A.MemoryOnlyB.DiskOnlyC.MemoryAndDiskD.OffHeap答案：C解析：MemoryAndDisk将数据缓存到内存和磁盘，兼顾读写效率。7.在Hadoop生态中，Hive主要用于什么场景？A.实时计算B.批量数据处理C.图计算D.流式数据处理答案：B解析：Hive设计用于批量处理大规模数据，支持SQL查询。8.Spark的RDD（弹性分布式数据集）如何实现容错机制？A.通过副本机制B.通过检查点（Checkpoint）C.通过事务日志D.以上都是答案：D解析：RDD通过副本、检查点和事务日志实现容错。9.下列哪个是Hadoop的元数据管理组件？A.ZooKeeperB.OozieC.NameNodeD.Sqoop答案：C解析：NameNode存储HDFS的元数据信息。10.Spark中，哪种文件格式支持列式存储，优化查询性能？A.ParquetB.AvroC.ORCD.JSON答案：A解析：Parquet和ORC是列式存储格式，但Parquet更广泛用于Spark。二、多选题（共5题，每题3分）1.Hadoop生态中，哪些组件属于HDFS的辅助组件？A.NameNodeB.DataNodeC.SecondaryNameNodeD.ResourceManagerE.NodeManager答案：A、B、C解析：NameNode和DataNode是HDFS核心组件，SecondaryNameNode辅助元数据管理。2.Spark中，以下哪些操作属于转换（Transformation）操作？A.`map()`B.`filter()`C.`collect()`D.`reduce()`E.`persist()`答案：A、B、D解析：`collect()`和`persist()`属于行动（Action）操作。3.HadoopMapReduce中，以下哪些阶段会触发Shuffle过程？A.Map结束前B.Reduce开始前C.Sort阶段D.Partition阶段E.Combiner阶段答案：A、B、C、D解析：Shuffle发生在Map输出、Reduce输入、排序和分区时。4.Hive中，以下哪些功能可以提高查询性能？A.分区（Partition）B.分桶（Bucket）C.索引（Index）D.读写压缩E.增量加载答案：A、B、D、E解析：Hive不支持传统索引，但支持分区、分桶、压缩和增量加载。5.Spark中，以下哪些模式支持动态资源扩展？A.Standalone模式B.YARN模式C.Mesos模式D.Kubernetes模式E.SparkSubmit模式答案：B、C、D解析：YARN、Mesos和Kubernetes支持动态资源管理。三、判断题（共5题，每题2分）1.Hadoop的NameNode会存储整个HDFS的元数据信息。（√）解析：NameNode负责管理文件系统元数据，包括块位置信息。2.Spark的RDD是不可变的，每次操作都会生成新的RDD。（√）解析：RDD通过持久化操作（如`persist()`）可以复用计算结果。3.HiveQL可以直接调用SparkSQL的DataFrameAPI。（×）解析：Hive3.0后支持SparkSQL语法，但并非完全兼容。4.Hadoop的DataNode负责数据块的存储和读取，但不参与元数据管理。（√）解析：DataNode仅处理数据操作，元数据由NameNode管理。5.Parquet和ORC文件格式支持向量化查询，但Parquet更适合跨平台兼容。（√）解析：两者都是列式存储，Parquet更通用。四、简答题（共3题，每题5分）1.简述HDFS的NameNode和SecondaryNameNode的区别。答案：-NameNode：负责管理HDFS的元数据（如文件目录、块位置），是HDFS的“大脑”，负载高。-SecondaryNameNode：辅助NameNode，定期与NameNode同步元数据，减少NameNode的压力，但不存储全局元数据。2.Spark中，为什么要使用持久化（Persistence）而不是缓存（Cache）？答案：-持久化：支持多种存储级别（如MemoryOnly、DiskOnly、MemoryAndDisk），更灵活。-缓存：仅支持内存缓存，且会自动回收，持久化更持久。-持久化适用于计算密集型场景，缓存适用于小数据集。3.解释HadoopMapReduce中的“Shuffle”过程及其重要性。答案：-Shuffle：MapReduce中数据从Map输出到Reduce输入的重新排序和传输过程。-重要性：-决定了Reduce阶段的输入数据顺序。-是性能瓶颈，优化Shuffle可以显著提升效率（如使用Combiner减少数据量）。五、论述题（共1题，10分）比较HadoopMapReduce与Spark在批处理和流处理方面的优劣势。答案：|特性|HadoopMapReduce|Spark||--||||批处理|高容错，适合PB级数据|支持批处理，但延迟较高||流处理|低延迟支持有限（如HiveStreaming）|微批处理（StructuredStreaming）||内存计算|依赖HDFS磁盘IO|全内存计算，性能高||生态集成|模块化（Hive、Pig等）|统一API（SparkCore、SQL、ML）||开发复杂度|代码冗长（Java为主）|高级API（Sca