大数据开发工程师招聘笔试题与参考答案(某大型国企)2026年

大数据开发工程师招聘笔试题与参考答案(某大型国企)2026年一、单项选择题（本大题共20小题，每小题1.5分，共30分。在每小题列出的四个备选项中只有一个是符合题目要求的，请将其代码填在括号内。）1.在HadoopHDFS架构中，如果NameNode节点发生故障，在未配置高可用（HA）的情况下，下列说法正确的是（）。A.集群依然可以读写数据，但不能创建新文件B.集群完全不可用，无法读写任何数据C.DataNode会自动选举出新的NameNodeD.SecondaryNameNode会自动接管服务【答案】B【解析】在HDFS中，NameNode是元数据管理的中心节点，负责管理文件系统的命名空间和客户端访问。如果没有配置HA（HighAvailability），NameNode是单点故障（SPOF）。一旦NameNode宕机，虽然DataNode上的数据块依然存在，但由于没有元数据映射，客户端无法定位数据块，因此整个文件系统将无法使用，集群处于不可用状态。SecondaryNameNode主要用于辅助合并FsImage和Edits日志，并非热备节点。2.下列关于SparkRDD（弹性分布式数据集）的描述中，错误的是（）。A.RDD是一个只读的分区记录集合B.RDD之间存在依赖关系，分为窄依赖和宽依赖C.RDD默认缓存在内存中，一旦创建就不会丢失D.RDD通过Lineage（血统）来实现容错【答案】C【解析】RDD是Spark的核心抽象。A选项正确，RDD是不可变的。B选项正确，依赖关系决定了Stage的划分。D选项正确，当RDD分区丢失时，Spark可以根据依赖关系重新计算。C选项错误，RDD默认是不缓存的（存储级别为NONE），只有显式调用persist()或cache()方法后，才会根据指定的存储级别进行缓存，且缓存的数据在内存不足时也可能被丢弃。3.在HiveSQL中，我们要对一张大表Table_A和一张小表Table_B进行Join操作，且JoinKey中包含空值。为了提高性能并保证数据准确性，下列优化策略最合适的是（）。A.直接使用CommonJoin，Map端自动过滤空值B.使用MapJoin，并设置过滤条件过滤掉空值C.使用SortMergeJoin，因为空值排序会聚在一起D.使用BucketMapJoin，前提是两张表都建了桶且桶数成倍数关系【答案】B【解析】对于大表Join小表，MapJoin是最佳选择，因为它将小表完全加载到内存，避免了大表的Shuffle。然而，Hive在处理JoinKey为空值时，空值会被当作同一个Key处理，这会导致数据倾斜（所有空值发往同一个Reducer）。因此在业务逻辑允许的情况下，通常在Join前过滤掉空值。A选项CommonJoin性能较差；C选项SortMergeJoin无法解决空值导致的数据倾斜问题；D选项BucketMapJoin虽然有效，但前提条件苛刻，且如果不处理空值，依然可能存在倾斜。B选项结合了MapJoin的高效和空值过滤的必要性。4.Kafka消费者在消费消息时，如果设置了`enable.automit=false`，下列关于位移提交的说法正确的是（）。A.消费者不再提交位移，每次重启都会从头开始消费B.消费者需要手动调用commitSync()或commitAsync()来提交位移C.消费者会在后台定期自动提交，但频率由配置决定D.消费者会在处理完每条消息后立即自动提交【答案】B【解析】`enable.automit=false`表示关闭自动提交位移。此时，Kafka消费者框架不会在后台定期提交位移，完全依赖应用程序在业务逻辑处理完毕后，显式调用`commitSync()`（同步提交）或`commitAsync()`（异步提交）方法。如果不调用，消费者重启后，由于上次消费的位移未提交给ConsumerGroup，会从上次提交的旧位置开始重新消费，导致重复消费，而不是从头开始（A错误）。5.在Flink的时间语义中，如果要处理基于事件发生时间的数据流，并正确处理乱序事件，必须配置（）。A.ProcessingTimeB.IngestionTimeC.EventTime和WatermarkD.EventTime和Checkpoint【答案】C【解析】Flink支持三种时间语义。ProcessingTime是系统处理时间，延迟最低但不准确；IngestionTime是进入Flink的时间；EventTime是事件自带的时间戳，最能反映事件发生的真实顺序。当使用EventTime时，由于网络延迟等原因，数据可能乱序，Flink需要通过Watermark（水位线）机制来衡量事件时间的进度，从而触发窗口计算并正确处理迟到的数据。Checkpoint是容错机制，与时间语义处理乱序无直接因果关系。6.下列哪个Java类是HadoopRPC通信中，服务器端实现的主要接口？（）A.org.apache.hadoop.ipc.ServerB.org.apache.hadoop.ipc.ClientC.org.apache.hadoop.conf.ConfigurationD.org.apache.hadoop.io.Writable【答案】A【解析】HadoopRPC机制中，`org.apache.hadoop.ipc.Server`是服务器端的抽象类，用于启动RPC服务并监听客户端请求。Client是客户端实现，Configuration是配置类，Writable是序列化接口。7.在HBase中，关于RowKey的设计，下列说法错误的是（）。A.RowKey的长度建议尽量短，通常在16字节以内，不超过100字节B.RowKey是按照字典序进行排序存储的C.为了避免热点问题，RowKey设计通常需要加入随机数或哈希前缀D.RowKey可以是任意Java对象，只要实现了Writable接口【答案】D【解析】HBase的RowKey必须是字节数组。虽然JavaAPI中可以接受String或byte[]，但在底层存储中它始终是字节序列。它不能是任意Java对象。A、B、C选项均为HBaseRowKey设计的黄金法则：短小精简、字典序、避免热点（利用散列或反转）。8.SparkSQL中，`spark.sql.shuffle.partitions`参数的主要作用是（）。A.控制读取HDFS文件时的并行度B.控制RDD缓存时的分区数C.控制Shuffle操作（如Join,GroupBy）时的输出分区数D.控制SparkApplication启动的Executor数量【答案】C【解析】该参数专门用于控制SparkSQL在执行Shuffle类算子（如aggregation,joins,sorts）时产生的分区数。默认值是200。对于数据量较小的情况，设置过大会导致大量小文件；对于数据量巨大的情况，设置过小会导致单个分区处理时间过长。A选项由输入文件的Block数决定；B选项由repartition算子决定；D选项由`--num-executors`决定。9.下列关于ZooKeeper的ZAB协议（ZooKeeperAtomicBroadcast），说法不正确的是（）。A.ZAB协议支持崩溃恢复和消息广播两种模式B.Leader选举过程中，通过ZXID（事务ID）最大的节点胜出C.ZAB协议保证了所有Proposal按FIFO顺序被广播D.Follower节点收到Proposal后立即写入本地事务日志并提交【答案】D【解析】ZAB协议中，Leader收到客户端请求后生成Proposal并广播给所有Follower。Follower收到Proposal后，会先将事务记录到本地日志，然后向Leader发送ACK。只有当Leader收到超过半数Follower的ACK后，才会广播Commit消息给Follower，Follower收到Commit消息后才真正提交该变更（应用到内存数据树）。D选项说“收到后立即提交”是错误的，必须经过两阶段提交协议保证一致性。10.在数据仓库建模中，星型模型和雪花模型的主要区别在于（）。A.星型模型包含事实表和维度表，雪花模型不包含事实表B.雪花模型对维度表进行了规范化，消除了数据冗余C.星型模型查询性能通常比雪花模型差，因为Join操作更多D.雪花模型在大型国企的数据仓库中应用比星型模型更广泛【答案】B【解析】星型模型中，维度表直接围绕事实表，维度表本身不再关联其他维度表，结构简单但存在冗余。雪花模型对维度表进行了进一步的规范化拆分，将维度表拆解成子维度表，从而消除了冗余，但结构复杂，查询时需要更多的Join操作。通常星型模型查询性能更好（Join少），且更易于理解，是主流选择。C选项说反了。11.算法时间复杂度为O(A.冒泡排序B.快速排序C.插入排序D.选择排序【答案】B【解析】快速排序的平均时间复杂度为O(Nlog12.在Scala语言中，下列关于集合操作的说法正确的是（）。A.List是不可变的链表，支持高效的头部插入B.Array是可变的，长度可以动态改变C.Set中的元素是有序的D.Map的get方法返回键对应的值，如果键不存在则抛出异常【答案】A【解析】Scala的List是不可变的，头部插入操作的时间复杂度为O(13.Hadoop集群中，哪个守护进程负责管理和调度集群中的计算资源？（）A.NameNodeB.DataNodeC.ResourceManagerD.NodeManager【答案】C【解析】在YARN架构中，ResourceManager(RM)是全局的资源管理器，负责整个集群的资源管理和调度。NodeManager(NM)是每个节点上的资源和任务管理器。NameNode和DataNode是HDFS的组件。14.下列哪种场景最适合使用Redis的Bitmap数据结构？（）A.存储用户购物车商品列表B.统计网站每日独立访客数（UV）C.实现简单的消息队列D.存储复杂的用户画像信息【答案】B【解析】Bitmap（位图）通过一个bit位来表示某个元素的状态（0或1）。在统计UV时，可以将用户ID映射为bit位的位置，用户访问则置1。通过BITCOUNT命令可以极快地（O(15.在数仓开发中，ODS层到DWD层的处理通常不包含以下哪项工作？（）A.字段重命名B.数据清洗（去除空格、脏数据）C.构建宽表D.统一编码格式【答案】C【解析】DWD（DataWarehouseDetail）层通常称为明细层，主要工作是对ODS层原始数据进行清洗、规范化、脱敏、维度退化等，保持与ODS层基本一致的粒度（明细粒度）。构建宽表通常是DWS（DataWarehouseService）层或ADS（ApplicationDataService）层的工作，目的是为了方便分析，将多个事实表和维度表进行关联。16.SparkStreaming中，关于Backpressure（背压）机制，描述正确的是（）。A.当数据处理速度慢于数据接收速度时，自动降低接收速率B.当数据处理速度快于数据接收速度时，自动增加接收速率C.必须配合动态分配资源使用D.仅在KafkaDirectStream模式下有效【答案】A【解析】背压机制是为了解决流处理中生产者（数据源）速率大于消费者（处理速率）导致的系统崩溃问题。SparkStreaming启用背压后，会根据Job调度延迟动态动态调整数据接收速率（如Kafka的maxRatePerPartition），从而避免OOM。17.以下关于Linux文件权限命令`chmod755file.txt`的解释，正确的是（）。A.所有者有读写执行权限，组用户有读执行权限，其他用户有写执行权限B.所有者有读写执行权限，组用户有读执行权限，其他用户有读执行权限C.所有者有读写权限，组用户有读执行权限，其他用户有读执行权限D.所有者有读执行权限，组用户有读写执行权限，其他用户有读执行权限【答案】B【解析】755转换为二进制：111101101。7(111)=Read+Write+Execute5(101)=Read+Execute5(101)=Read+Execute所以Owner:rwx,Group:r-x,Other:r-x。18.在Flink中，如果希望将两个数据流进行Connect操作，下列说法正确的是（）。A.两个流的数据类型必须一致B.Connect后只能调用CoMapFunction或CoFlatMapFunction进行处理C.Connect操作会触发ShuffleD.Connect操作会将两个流的数据真正合并到一个流中【答案】B【解析】Flink的`connect`算子用于连接两个流，这两个流可以保持各自的数据类型（A错误）。连接后形成一个`ConnectedStreams`，只能使用`map`或`flatMap`，且传入的函数必须是`CoMapFunction`或`CoFlatMapFunction`，分别处理两个流的数据。Connect操作并不物理合并数据，更多是逻辑上的连接（D错误），通常也不触发Shuffle（除非后续操作需要）。19.下列关于Hive分区和分桶的说法，错误的是（）。A.分区有助于减少扫描的数据量，通过WHERE子句过滤分区B.分桶是将数据按照哈希函数分散到多个文件中C.分桶表的数据文件数量对应于桶的数量D.分桶和分区的列都不能是表中已存在的列【答案】D【解析】D选项错误。分桶列必须是表中已存在的列；分区列是虚拟列，数据文件中并不包含分区列的值，分区列的值体现在目录层级上。A、B、C选项描述均正确。20.在设计一个高并发的秒杀系统时，为了防止超卖，最关键的技术手段通常不包括（）。A.数据库乐观锁更新B.Redis预减库存C.增加数据库连接池大小D.消息队列异步削峰【答案】C【解析】防止超卖的核心在于保证库存扣减的原子性和准确性。A选项数据库乐观锁（CAS）可以保证；B选项Redis原子操作预减库存是常用手段；D选项MQ异步处理可以将请求排队，平滑流量。单纯增加数据库连接池（C选项）虽然能提高并发处理能力，但如果并发请求依然超过了数据库的承载能力或者逻辑控制不当，依然会导致超卖，且它不是防止超卖的“逻辑控制”手段，属于资源扩充。二、多项选择题（本大题共10小题，每小题2分，共20分。在每小题列出的四个备选项中至少有两个是符合题目要求的，请将其代码填在括号内。多选、少选、错选均不得分。）1.下列哪些是Hadoop2.x/3.x中克服Hadoop1.x单点故障问题的方案？（）A.HDFSHighAvailability(HA)B.HDFSFederationC.YARNFederationD.使用SecondaryNameNode作为热备【答案】AB【解析】Hadoop1.x中NameNode是单点故障。Hadoop2.x引入了HDFSHA（基于Zookeeper或JournalNode实现主备切换）和HDFSFederation（联邦，即多个NameNode管理不同的目录命名空间，分散元数据压力）来解决单点和扩展性问题。YARNFederation主要用于RM的扩展。SecondaryNameNode在Hadoop1.x和2.x中都不是热备，只是辅助镜像合并。2.Spark作业的Stage划分依据是什么？（）A.RDD之间的依赖关系B.宽依赖C.窄依赖D.分区数【答案】BC【解析】Spark根据RDD之间的依赖关系划分DAG。遇到Shuffle操作（即宽依赖）时，会划分一个新的Stage。窄依赖（如map,filter）会被划分到同一个Stage中，可以进行流水线优化。D选项分区数不影响Stage边界。3.下列关于Kafka的消息保留策略，描述正确的有（）A.可以基于时间保留（如7天）B.可以基于日志大小保留（如10GB）C.消息一旦被所有消费者消费，立即删除D.消息被删除后，消费者如果再次消费会报错【答案】AB【解析】Kafka的日志清理策略支持`delete`（基于时间或大小）和`compact`（基于键压缩）。Kafka不关心消费者是否消费，只根据服务端配置的保留策略删除旧数据。C选项错误，这是传统JMSQueue的特性，不是Kafka的特性。D选项，如果消息被删除，消费者offset如果还在旧位置，可能会遇到OffsetOutOfRange异常，而不是简单的报错，且这取决于消费者的offset策略。4.导致Hive查询数据倾斜的常见原因包括（）。A.JoinKey存在大量空值B.某个JoinKey对应的数据量远超其他KeyC.GroupBy的维度基数太小（如性别）D.CountDistinct操作【答案】ABCD【解析】数据倾斜本质是数据分布不均。A选项空值会被分发到同一个Reducer；B选项长尾数据；C选项GroupBy维度基数小导致某几个Reducer处理绝大多数数据；D选项CountDistinct需要按GroupBy字段和Distinct字段双重Hash，容易导致数据倾斜（通常需改写为sum+groupby）。5.Flink的Checkpoint机制主要用于实现什么功能？（）A.Exactly-Once语义B.故障恢复C.状态持久化D.提高吞吐量【答案】ABC【解析】Checkpoint是Flink容错机制的核心，它定期将全局状态持久化到外部存储（如HDFS）。当任务失败时，可以从最近的Checkpoint恢复状态，结合Barriers实现Exactly-Once处理语义。Checkpoint过程本身会暂停部分处理（异步快照可缓解），通常对吞吐量有轻微负面影响而非提升。6.下列哪些工具/组件属于ElasticsearchStack（ELK）的核心组件？（）A.ElasticsearchB.LogstashC.KibanaD.Flume【答案】ABC【解析】ELKStack由Elasticsearch（存储搜索）、Logstash（数据采集处理）、Kibana（可视化）组成。Flume是Hadoop生态的日志收集工具，不属于ELK。7.在Java/Scala中，下列哪些操作会导致Spark产生Shuffle？（）A.distinct()B.groupByKey()C.filter()D.coalesce()【答案】AB【解析】distinct()需要去重，必须Shuffle；groupByKey()需要按Key聚合，必须Shuffle；filter()是窄依赖，不Shuffle；coalesce()用于合并分区，如果不指定Shuffle=true参数，默认是不发生Shuffle的。8.HBase的RegionServer宕机后，HMaster会进行哪些操作？（）A.重新分配该RegionServer上的RegionB.恢复WAL(Write-AheadLog)日志中的数据C.重启该RegionServerD.通知ZooKeeper更新状态【答案】ABD【解析】当RegionServer宕机，HMaster会通过ZooKeeper感知。HMaster会将该RS服务的Region重新分配给其他健康的RS。在分配前，由于MemStore中的数据未刷盘，HMaster会利用HLog（WAL）进行回放恢复。C选项HMaster不负责重启物理机器上的进程，那是Supervisor或脚本的工作。9.下列关于布隆过滤器的描述，正确的有（）。A.判断一个元素存在时，它可能真的存在，也可能误判B.判断一个元素不存在时，它一定不存在C.随着元素数量增加，误判率会降低D.删除元素比较困难【答案】ABD【解析】布隆过滤器（BloomFilter）是一种空间效率极高的概率型数据结构。A选项正确，存在可能是误判；B选项正确，不存在一定准确；C选项错误，元素越多，位图被置1的越多，误判率会上升；D选项正确，标准布隆过滤器不支持删除元素（因为多个元素可能共享同一个bit位，删除会影响其他元素），尽管有计数布隆过滤器，但通常应用中认为其不支持删除。10.数据治理中，数据质量的核心维度包括（）。A.完整性B.准确性C.一致性D.及时性【答案】ABCD【解析】数据质量评估通常包含：完整性（数据是否缺失）、准确性（数据是否反映真实情况）、一致性（数据逻辑是否一致，多源数据是否冲突）、及时性（数据更新是否及时）、唯一性、有效性等。三、填空题（本大题共10小题，每小题1分，共10分。请将答案填写在题中横线上。）1.HDFS默认的BlockSize大小在Hadoop2.x中是__________MB。【答案】128【解析】Hadoop1.x默认64MB，2.x及以后默认128MB。2.在Spark中，`sc.textFile("path")`返回的RDD默认的分区数由输入文件的__________决定。【答案】HDFSBlock数量（或split大小）【解析】textFile底层使用TextInputFormat，默认情况下每个HDFSBlock对应一个分区（Split）。3.ZooKeeper的数据节点模型是一个类似Unix文件系统的树形结构，其中每个节点称为__________。【答案】ZNode【解析】ZNode是ZooKeeper中最小的数据单元。4.在Hive中，要将查询结果直接插入到HDFS静态文件中，可以使用`INSERTOVERWRITE[LOCAL]DIRECTORY`语法，或者使用__________格式化输出。【答案】ROWFORMATDELIMITED【解析】通常配合`ROWFORMATDELIMITEDFIELDSTERMINATEDBY','`来指定分隔符。5.Flink中，`KeyedStream`调用`.timeWindow(Time.seconds(5))`属于__________窗口。【答案】滚动【解析】基于时间的滚动窗口，窗口之间不重叠。6.Redis中，`LPUSH`和`RPOP`结合使用可以实现__________数据结构。【答案】队列【解析】左进右出，典型的队列操作。7.在Scala中，`class`和`object`的关键区别在于，`object`是__________实例。【答案】单例【解析】Scala中的object定义的是单例对象，不能像class那样new实例化。8.YARN中，负责向ResourceManager汇报资源状态并启动Container的守护进程是__________。【答案】NodeManager【解析】NodeManager是每个节点上的代理。9.SQL语句中，`ROLLUP`操作符用于生成包含小计和总计的分组结果，属于__________分组扩展。【答案】多维【解析】CUBE和ROLLUP都是OLAP中用于多维数据分析的分组扩展。10.HBase中，每个Table默认被划分为一个或多个__________，它们是数据分布和负载均衡的基本单位。【答案】Region【解析】Region是HBase中分布式存储和负载均衡的最小单元。四、简答题（本大题共4小题，每小题5分，共20分。）1.简述Spark中宽依赖和窄依赖的区别，并说明其对Stage划分的影响。【答案】区别：(1)窄依赖：指父RDD的一个分区只被子RDD的一个分区使用（一对一）。例如：map,filter,union。(2)宽依赖：指父RDD的一个分区被子RDD的多个分区使用（一对多）。例如：groupByKey,reduceByKey,join。宽依赖通常涉及Shuffle过程。对Stage划分的影响：Spark根据RDD之间的依赖关系构建DAG图。在划分Stage时，每当遇到宽依赖，就会划分一个新的Stage。窄依赖则会被划分在同一个Stage内部，允许Spark进行流水线优化，即在一个Task中一次性执行多个转换算子，避免中间结果写入磁盘。2.简述Kafka如何实现消息的高吞吐量。【答案】(1)顺序读写：Kafka将消息追加到日志文件末尾，利用磁盘的顺序I/O性能，远快于随机I/O。(2)零拷贝技术：使用`sendfile`系统调用，数据直接从磁盘文件复制到网卡接口，跳过用户态和内核态的多次上下文切换和内存拷贝。(3)页缓存：Kafka严重依赖操作系统的PageCache，不自己维护缓存，将内存管理交给OS，读写速度快。(4)批量发送与压缩：Producer支持将多条消息打包批量发送，并支持压缩（如Gzip,Snappy），减少网络IO请求。(5)分区并发：通过Topic分区机制，将数据分散到多个Broker，实现并行读写。3.解释Hive中的谓词下推及其作用。【答案】定义：谓词下推是指将SQL语句中的过滤条件尽可能提前执行，即在读取数据源（如TableScan）阶段就应用过滤条件，而不是等到Join或聚合之后。作用：(1)减少数据传输量：在Map端或读取时就过滤掉不需要的数据，减少Shuffle阶段和网络传输的数据量。(2)提高查询性能：减少了后续Stage处理的数据量，显著降低CPU和内存消耗。(3)下推到存储引擎：对于支持下推的存储格式（如ORC,Parquet），可以将过滤条件下推到存储引擎内部，利用其索引（如布隆过滤器、行组索引）跳过不必要的文件或行组，极大提升扫描效率。4.简述CAP定理及其在分布式系统中的权衡。【答案】CAP定理指出，在一个分布式系统中，Consistency（一致性）、Availability（可用性）、Partitiontolerance（分区容错性）三者不可兼得，最多只能同时满足两项。(1)一致性(C)：所有节点在同一时间看到的数据是一样的。(2)可用性(A)：每次请求都能获取到非错的响应（不保证获取的是最新数据）。(3)分区容错性(P)：系统在出现网络分区（节点间通信中断）时，仍能继续运行。权衡：在分布式系统中，P是客观存在的（网络不可靠），因此通常只能在CP和AP之间权衡。选择CP（保证一致性）：如HBase,Redis（集群模式）。当发生分区时，为了保证数据一致，系统可能会拒绝服务或阻塞，牺牲可用性。选择AP（保证可用性）：如Cassandra,DynamoDB。当发生分区时，节点返回本地可能旧的数据，保证服务可用，牺牲强一致性（最终一致性）。五、计算与算法题（本大题共2小题，每小题10分，共20分。）1.某Hadoop集群运行一个MapReduce作业，输入数据总大小为1TB（1024GB），HDFS块大小为128MB。(1)请计算该作业默认会产生多少个MapTask？(2)假设Map输出的数据量是输入数据的20%，且中间数据不经压缩，Reducer数量设置为100。请计算总的数据Shuffle量（结果保留两位小数，单位GB）。(3)如果开启Snappy压缩（假设压缩比为5:1），Shuffle量约为多少？【答案】(1)计算MapTask数量：输入数据大小S=块大小B=MapTask数量=⌈(2)计算Shuffle量：Map输出总量=1024Shuffle过程需要将Map输出传输到Reducer，所有Map输出的数据都需要被Shuffle（假设无Combiner完美优化）。总Shuffle量=Map输出总量=204.8GB。(注：Shuffle量通常指Map端写入磁盘并传输给Reduce的数据量)。(3)开启Snappy压缩：压缩比5:1，即压缩后数据为原数据的1/压缩后Shuffle量=204.8G2.请手写一个Spark(Scala)算子，实现如下功能：给定一个RDD[String]，其中每行是一个单词，统计每个单词出现的次数，并取出出现次数最多的前3个单词。请写出完整代码。【答案】```scalaimportorg.apache.spark.rdd.RDDimportorg.apache.spark.SparkContext//假设sc是SparkContext，wordsRDD是输入的RDD[String]//valwordsRDD=sc.parallelize(List("apple","banana","apple","orange","banana","apple"))deftopNWords(sc:SparkContext,wordsRDD:RDD[String]):Array[(String,Int)]={//1.将每个单词映射为(word,1)valpairsRDD:RDD[(String,Int)]=wordsRDD.map(word=>(word,1))//2.根据Key进行聚合，统计词频valwordCountsRDD:RDD[(String,Int)]=pairsRDD.reduceByKey(_+_)//3.取出Top3//注意：top算子是Action，会触发Job，且使用隐式Ordering，默认按Tuple的元素顺序排序//(String,Int)默认先比较String，我们需要按Int降序valtop3:Array[(String,Int)]=wordCountsRDD.top(3)(Ordering.by[(String,Int),Int](_._2))top3}//或者使用takeOrdered并反转排序//valtop3=wordCountsRDD.map(_.swap).sortByKey(false).take(3).map(_.swap)```六、综合案例分析题（本大题共1题，共20分。）案例背景：某大型国企电商平台，每日需要处理约500GB的用户行为日志数据（埋点日志）。数据源主要为Web端和App端上报的Nginx日志。现有数据平台基于Hadoop(HDFS+Hive)和Spark构建。目前面临以下问题：1.查询延迟高：业务分析师反馈，针对最近一天数据的报表查询（如“各省份实时销售额”），通常需要5-10分钟才能返回结果，无法满足“准实时”决策需求。2.数据膨胀：历史数据积累巨大，全表扫描极其耗时，且存储成本高。3.小文件问题：由于日志产生频率高且分散，HDFS上存在大量的小于128MB的小文件，严重影响了NameNode内存管理和集群查询性能。请结合大数据组件知识，从架构设计、数据治理、性能优化三个维度提出一套详细的优化方案。【答案】一、架构设计优化（引入实时/交互式查询层）1.引入OLAP引擎：针对查询延迟高的问题，建议引入ClickHouse或Doris（StarRocks）作为分析查询引擎。方案：利用SparkStreaming或Flink将HiveODS层的日志数据，经过清洗、转换后，实时或准实时（微批处理T+1