2026年大数据HCIA习题库及答案

2026年大数据HCIA习题库及答案一、单选题1.在Hadoop生态系统中，负责存储和管理元数据的组件是？A.NameNodeB.DataNodeC.ResourceManagerD.JobTracker答案：A解析：在HDFS中，NameNode负责管理文件系统的元数据（命名空间、块信息等），而DataNode负责存储实际的数据块。ResourceManager是YARN的资源管理组件。2.下列关于HDFS副本放置策略的描述，正确的是？A.第一个副本放在Client所在的节点B.第二个副本放在与第一个副本不同的机架C.第三个副本放在与第二个副本相同的机架但不同的节点D.所有副本都随机放置答案：A解析：HDFS默认副本策略为：第一个副本通常放在Client所在节点（若Client不在集群内则随机选），第二个副本放在不同机架，第三个副本放在与第二个副本相同机架的不同节点。3.MapReduce框架中，负责将MapTask的输出分发到ReduceTask的过程称为？A.ShuffleB.SortC.PartitionD.Combine答案：A解析：Shuffle是MapReduce的核心过程，负责将Map端的输出按照分区规则分发到对应的Reduce端，包含拷贝、排序、合并等环节。4.Hive中，内部表和外部表的主要区别在于？A.查询效率不同B.存储格式不同C.删除表时是否删除元数据和数据D.支持的分区方式不同答案：C解析：删除内部表（ManagedTable）时，Hive会同时删除元数据和存储在HDFS上的数据；删除外部表时，仅删除元数据，HDFS上的数据会被保留。5.在HBase中，RowKey的设计原则不包括？A.长度原则B.散列原则C.唯一性原则D.排序原则答案：C解析：RowKey设计原则主要包括长度原则（尽量短）、散列原则（避免热点）、排序原则（利用字典序）。唯一性是RowKey的基本属性，而非设计原则的优化维度。6.Spark中，RDD的弹性特性主要体现在？A.数据可变B.血谱可追溯、自动容错、内存缓存C.只能从磁盘读取D.必须实时计算答案：B解析：RDD（ResilientDistributedDataset）的弹性体现在：基于Lineage（血统）的容错机制、Partition可定制、内存缓存等。7.下列哪个算子属于Action（行动算子）？A.mapB.filterC.reduceByKeyD.count答案：D解析：count会触发作业提交并返回结果给Driver，属于Action。map、filter、reduceByKey属于Transformation（转换算子），是懒执行的。8.FusionInsightHD中，负责管理集群服务安装、配置、启停的组件是？A.ManagerB.GuardianC.OMD.DBService答案：A解析：FusionInsightManager是集群管理系统的核心，提供安装、配置、监控、告警等管理功能。9.YARN中，负责向ResourceManager汇报资源状况并运行Container的进程是？A.ResourceManagerB.NodeManagerC.ApplicationMasterD.Scheduler答案：B解析：NodeManager是YARN中每个节点上的代理，负责监控资源使用情况并向ResourceManager汇报，同时管理Container的生命周期。10.HBase表中，数据是按照什么顺序存储的？A.插入时间B.RowKey的字典序C.列名的字典序D.随机顺序答案：B解析：HBase是基于RowKey进行存储的，数据按照RowKey的字典序进行排序存储，这有利于Scan操作。11.在SparkSQL中，将RDD转换为DataFrame的两种方式是？A.反射推断和编程指定SchemaB.序列化和反序列化C.Map和ReduceD.缓存和持久化答案：A解析：SparkSQL提供了两种将RDD转换为DataFrame的方法：利用反射推断Schema（针对特定类型的RDD）和通过编程接口指定Schema（针对行类型的RDD）。12.Flume中，负责从数据源收集数据的组件是？A.SourceB.ChannelC.SinkD.Interceptor答案：A解析：Flume架构中，Source负责从数据源接收数据；Channel是数据传输通道；Sink负责将数据发送到目的地。13.下列关于HDFS小文件问题的描述，错误的是？A.小文件过多会占用NameNode大量内存B.小文件对MapReduce处理非常友好C.可以通过SequenceFile合并小文件D.可以使用HadoopArchive（HAR）归档小文件答案：B解析：小文件过多会导致启动大量MapTask，每个MapTask处理极少量数据，效率极低，且频繁寻址，因此对MapReduce是不友好的。14.Hive中，用于将查询结果直接写入文件系统的关键字是？A.INSERTINTOB.INSERTOVERWRITEC.LOADDATAD.EXPORTDATA答案：B解析：INSERTOVERWRITEDIRECTORY可以将查询结果覆盖写入指定路径。LOADDATA用于加载数据到表中。15.SparkRDD中，coalesce和repartition的区别是？A.coalesce只能减少分区，repartition可以增加或减少分区B.repartition只能减少分区C.两者功能完全一样D.coalesce会导致Shuffle，repartition不会答案：A解析：coalesce默认不进行Shuffle，只能用于减少分区；repartition底层调用coalesce并强制进行Shuffle，因此可以增加或减少分区。16.在FusionInsightHD的安全模式下，用户进行身份认证通常使用？A.LDAPB.KerberosC.SSL/TLSD.RBAC答案：B解析：FusionInsightHD集群启用安全模式后，主要依赖Kerberos进行用户身份认证，确保通信安全。17.HBase中，RegionServer宕机后，其上的Region如何恢复？A.数据丢失，无法恢复B.通过HLog（Write-AheadLog）重放恢复C.自动从备份节点复制D.需要手动导入数据答案：B解析：HBase使用WAL（Write-AheadLog）记录数据变更，当RegionServer宕机时，HMaster会将该Server上的Region重新分配，并利用WAL日志进行数据恢复。18.MapReduce中，Combiner的作用是？A.合并Map端的输出，减少网络传输B.合并Reduce端的输出C.增加MapTask的数量D.替代Shuffle过程答案：A解析：Combiner是Map端的本地聚合操作，用于减少Map输出到Reduce端的数据量，从而降低网络IO压力。19.下列哪个文件格式支持列式存储且在Hive中压缩效率较高？A.TextFileB.SequenceFileC.RCFileD.ORCFile答案：D解析：ORCFile（OptimizedRowColumnar）是Hive推荐的列式存储格式，具备高效的压缩和索引支持，性能优于TextFile和RCFile。20.SparkStreaming中，处理实时数据的基本抽象是？A.RDDB.DataFrameC.DStreamD.Dataset答案：C解析：SparkStreaming使用DStream（DiscretizedStream）作为基本抽象，DStream本质上是一系列连续的RDD。21.HDFS默认的备份数量是？A.1B.2C.3D.4答案：C解析：HDFS默认副本系数为3，可以通过dfs.replication配置项修改。22.在Hive中，查看表结构信息的命令是？A.SHOWTABLESB.DESCRIBEtable_nameC.SELECT*FROMtable_nameD.EXPLAINtable_name答案：B解析：DESCRIBE（可简写为DESC）用于查看表的列信息、数据类型等元数据结构。23.下列关于Scala特性的描述，不正确的是？A.面向对象B.函数式编程C.静态类型D.解释型语言（类似Python脚本，无编译过程）答案：D解析：Scala是静态类型语言，编译为字节码运行在JVM上，既有解释执行也有编译执行，但并非纯解释型脚本语言。24.HBase中，Get操作默认是？A.全表扫描B.根据RowKey进行随机读C.只能读最新版本D.必须指定Filter答案：B解析：HBase的Get操作是基于RowKey的快速随机读取，利用了索引机制，效率很高。默认情况下如果不指定版本，读取最新版本数据。25.YARN的资源调度器中，支持多队列组织资源的调度器是？A.FifoSchedulerB.CapacitySchedulerC.FairSchedulerD.DefaultScheduler答案：B解析：CapacityScheduler（容量调度器）和FairScheduler（公平调度器）都支持多队列。FifoScheduler是先进先出，不支持队列。题目中“多队列组织资源”通常指CapacityScheduler的层级队列特性。26.Flume中，Channel的类型不包括？A.MemoryChannelB.FileChannelC.KafkaChannelD.SocketChannel答案：D解析：SocketChannel是Source或Sink的类型，而非Channel类型。Channel常见的有MemoryChannel、FileChannel、KafkaChannel等。27.Spark中，控制RDD并行度的参数是？A.spark.executor.memoryB.spark.default.parallelismC.spark.cores.maxD.spark.executor.instances答案：B解析：spark.default.parallelism用于设置RDD的默认分区数（并行度）。28.Hive中，分桶的作用是？A.优化数据存储，便于抽样B.增加数据冗余C.替代分区功能D.仅用于数据排序答案：A解析：分桶将数据按照哈希值分散到多个文件中，主要用于提高Join查询效率（特别是MapJoin）和进行数据抽样。29.在HDFS的读写流程中，Client读取数据时，首先连接的是？A.DataNodeB.NameNodeC.SecondaryNameNodeD.ResourceManager答案：B解析：Client读取数据时，首先向NameNode请求元数据（获取文件块所在的DataNode列表），然后直接与DataNode交互读取数据。30.FusionInsightHD中，Loader组件的主要作用是？A.数据查询B.数据导入导出C.数据清洗D.资源调度答案：B解析：Loader是FusionInsight提供的数据迁移服务，用于在HDFS和关系型数据库（如Oracle、MySQL）之间进行高效的数据导入导出。二、多选题1.下列哪些属于Hadoop生态系统的核心组件？A.HDFSB.MapReduceC.YARND.Spark答案：A,B,C解析：Hadoop2.x核心组件包括HDFS（存储）、MapReduce（计算）、YARN（资源管理）。Spark虽然常与Hadoop配合使用，但属于独立的计算框架，不属于Hadoop核心。2.HDFS的高可用（HA）机制中，通常涉及的角色包括？A.ActiveNameNodeB.StandbyNameNodeC.ZooKeeperD.JournalNode答案：A,B,C,D解析：HDFSHA通过主备NameNode切换实现高可用，利用ZooKeeper进行故障检测（ZKFC），利用JournalNode共享EditLog数据。3.SparkRDD的依赖关系分为哪两类？A.窄依赖B.宽依赖C.随机依赖D.顺序依赖答案：A,B解析：SparkRDD的依赖关系分为窄依赖（父RDD分区最多被子RDD一个分区使用，不发生Shuffle）和宽依赖（父RDD分区被子RDD多个分区使用，发生Shuffle）。4.Hive中常用的SerDe（序列化/反序列化）包括？A.LazySimpleSerDeB.RegexSerDeC.AvroSerDeD.ParquetHiveSerDe答案：A,B,C,D解析：这些都是Hive支持的SerDe，用于处理不同格式的数据读写。5.下列哪些是HBase的列族属性？A.BloomFilterB.VersionsC.CompressionD.TTL（TimeToLive）答案：A,B,C,D解析：BloomFilter（布隆过滤器）、Versions（版本数）、Compression（压缩算法）、TTL（数据生存时间）都是可以在列族级别设置的属性。6.Flume的Sink可以配置为哪些目的地？A.HDFSB.HiveC.KafkaD.Logger答案：A,B,C,D解析：Flume支持多种Sink，包括HDFSSink、HiveSink、KafkaSink、LoggerSink（用于测试）等。7.SparkSQL可以通过哪些数据源创建DataFrame？A.JSON文件B.Parquet文件C.JDBCD.Hive表答案：A,B,C,D解析：SparkSQL支持多种数据源，包括JSON、Parquet、ORC、JDBC、Hive、Avro等。8.MapReduce作业的提交过程包含哪些阶段？A.作业提交B.资源申请C.任务初始化D.任务运行与监控答案：A,B,C,D解析：MapReduce作业的生命周期包括：Client提交作业->ResourceManager申请资源->ApplicationMaster初始化任务->NodeManager运行任务->监控与状态更新。9.FusionInsightManager支持哪些运维操作？A.服务启停B.配置参数修改C.健康检查D.补丁安装答案：A,B,C,D解析：Manager提供全方位的集群运维功能，包括服务管理、配置管理、监控告警、补丁管理、主机管理等。10.关于Hive的UDF（用户自定义函数），正确的说法是？A.UDF必须继承UDF类B.UDF必须实现evaluate方法C.UDF支持输入输出为基本类型D.UDAF是用户自定义聚合函数答案：A,B,C,D解析：HiveUDF开发通常需要继承org.apache.hadoop.hive.ql.udf.generic.GenericUDF或UDF基类，并实现evaluate逻辑。UDAF用于聚合操作。11.Spark中，共享变量的作用是？A.在Task间高效共享只读数据B.在Task间累加数据C.替代RDDD.存储大规模结构化数据答案：A,B解析：Spark的共享变量包括BroadcastVariable（广播变量，用于只读数据共享）和Accumulator（累加器，用于聚合数据）。12.下列哪些场景适合使用HBase？A.海量数据存储B.高并发随机读写C.复杂的多表关联查询D.实时键值访问答案：A,B,D解析：HBase适合海量存储、高并发随机读写、实时KV访问。不适合复杂的多表关联（Join能力弱）。13.YARN的Container包含哪些资源？A.内存B.CPUC.磁盘IOD.网络带宽答案：A,B解析：目前YARNContainer主要隔离和管理的资源是内存和CPU（vcores）。14.Kafka在FusionInsightHD中的主要作用包括？A.消息缓冲B.解耦生产者与消费者C.流处理数据源D.存储海量历史数据（长期存储）答案：A,B,C解析：Kafka主要用于消息队列、流处理管道。虽然可以存储数据，但主要定位是高吞吐的消息中间件，而非长期历史数据存储（如HDFS）。15.Spark作业性能优化的常见手段有？A.调整并行度B.使用持久化C.使用Kryo序列化D.减少Shuffle操作答案：A,B,C,D解析：这些都是Spark性能优化的标准手段，包括调整资源与并行度、合理使用cache/persist、优化序列化方式、减少宽依赖等。三、判断题1.HDFS默认适合存储大量的小文件。答案：错误解析：HDFS设计初衷是存储大文件，大量小文件会严重占用NameNode内存并降低寻址效率。2.Spark是基于内存的计算框架，因此一定比MapReduce快。答案：错误解析：Spark基于内存计算通常比MapReduce快，但在数据量过大无法全部放入内存或频繁GC时，性能可能不如预期，且MapReduce在超大规模数据集的稳定性上仍有优势。3.Hive中的分区表在创建时必须指定分区列。答案：正确解析：创建分区表（PARTITIONEDBY）时必须显式定义分区列，分区列是虚拟列，不存储实际数据。4.HBase是关系型数据库，支持SQL查询。答案：错误解析：HBase是NoSQL数据库，不支持标准SQL，支持类SQL的Phoenix（需单独安装），原生API是Java/Thrift/REST等。5.YARN中的NodeManager服务必须与ResourceManager在同一台机器上运行。答案：错误解析：NodeManager运行在集群的工作节点上，ResourceManager通常运行在独立的管理节点，两者分离部署。6.Flume的事务机制保证了数据在传输过程中的At-Least-Once语义。答案：正确解析：Flume通过Source->Channel->Sink的事务机制，确保数据至少被成功发送一次（不丢数据，但可能重复）。7.RDD一旦创建就不能被修改。答案：正确解析：RDD（ResilientDistributedDataset）是只读的不可变分区记录集合，转换操作生成新的RDD。8.MapReduce的ReduceTask数量可以通过mapred.reduce.tasks参数设置。答案：正确解析：该参数用于指定ReduceTask的个数，如果不设置则根据输入数据量和默认规则计算。9.Hive的Metastore可以嵌入在Derby数据库中，适合生产环境多用户并发连接。答案：错误解析：Derby只支持单会话连接，生产环境通常使用MySQL、PostgreSQL等外部数据库作为Metastore。10.HBase中，修改表结构（增加列族）需要禁用表。答案：错误解析：HBase支持在线修改Schema，增加列族通常不需要禁用表，但删除列族或修改某些属性可能需要。11.SparkStreaming的微批处理模式可以达到毫秒级的低延迟。答案：错误解析：SparkStreaming（DStream）基于微批处理，延迟通常在秒级（>500ms）。Flink或SparkStructuredStreaming（ContinuousProcessing）才能达到毫秒级。12.ZooKeeper在Hadoop集群中主要用于NameNode的高可用选举。答案：正确解析：ZooKeeper提供分布式协调服务，用于HDFSHA的Active/Standby选举以及YARNHA的选举。13.LZO压缩格式支持Hive文件的可分割性。答案：错误解析：原生LZO不支持文件分割，需要结合索引文件才能实现可分割，或者使用不支持分割的配置。Snappy、Bzip2等处理分割性不同。14.FusionInsightHD安装前需要检查操作系统参数，如ulimit、swappiness等。答案：正确解析：安装前检查操作系统参数是必须步骤，避免因文件句柄不足或内存交换导致服务不稳定。15.HBase的Region分裂是自动进行的，无法手动干预。答案：错误解析：HBase支持自动分裂，也支持预分区和手动分裂（通过adminAPI或HBaseShell）。16.Spark的Driver程序负责将Task调度到Executor上执行。答案：正确解析：Driver是Spark作业的驱动进程，负责构建DAGScheduler、TaskScheduler，并将Task下发到集群的Executor。17.MapReduce中，MapTask的数量等于输入文件的Block数量。答案：正确解析：对于未分割的文件，MapTask数通常等于输入切片数，而默认切片大小与Block大小一致，因此通常等于Block数。18.Hive中的ORDERBY会对全局数据进行排序，因此性能较差。答案：正确解析：ORDERBY保证全局有序，底层只有一个Reducer，数据量大时极易成为瓶颈。DISTRIBUTEBY+SORTBY常用于局部排序。19.Kafka的Topic可以分为多个Partition，以提高吞吐量和并行度。答案：正确解析：Partition是Kafka的并行单元，增加Partition数可以提高消费并行度和写入吞吐。20.在HDFS中，SecondaryNameNode是NameNode的热备节点。答案：错误解析：SecondaryNameNode主要辅助NameNode合并FsImage和EditLog，并非热备节点，不能实现故障自动切换。四、填空题1.HDFS默认的端口号是________。答案：8020(或9000)解析：HDFSRPC通信默认端口，常见配置为8020或9000。2.MapReduce框架中，Map函数输出的Key-Value对会被写入到________缓冲区。答案：环形解析：Map端有一个环形内存缓冲区，用于存储Map输出结果，达到阈值后溢写磁盘。3.Hive中，将HQL转换为MR任务的组件是________。答案：Driver解析：HiveDriver负责解析、编译、优化查询，并生成物理执行计划（如MapReduce任务）。4.HBase中，数据存储的最小单元是________。答案：Cell(或KeyValue)解析：Cell由{RowKey,ColumnFamily,Column,Timestamp,Value}组成。5.Spark中，________算子可以将RDD中的元素打印到控制台。答案：foreach(或println)解析：foreach是Action算子，常用于打印或写入外部存储；collect也是Action但返回数组。6.YARN中，________负责隔离Container的资源。答案：NodeManager解析：NodeManager利用LinuxContainer（Cgroups）等技术隔离CPU和内存。7.Flume配置文件中，定义Agent组件名称的属性是________。答案：agent_name.sources/agent_name.sinks/agent_name.channels解析：配置格式为a1.sources=r1，定义了Agenta1的Source。8.FusionInsightHD中，________服务提供了统一的WebUI入口。答案：Manager解析：Manager提供了Web控制台供用户管理集群。9.Scala中，________是所有类的父类。答案：Any解析：Scala类型系统中，Any是所有类的超类，AnyRef是所有引用类的超类，AnyVal是所有值类的超类。10.HBase的________机制用于在查询时过滤掉不包含特定查询条件的文件，加速查询。答案：BloomFilter(布隆过滤器)解析：布隆过滤器可以快速判断一个元素是否在集合中，减少HBase的Block读取。11.SparkRDD的________变量用于记录RDD之间的依赖关系，实现容错。答案：Lineage(或血统)解析：Lineage记录了RDD是如何从父RDD转换而来的，当RDD分区丢失时，可以重算恢复。12.Hive中，________用于存储查询的统计信息，辅助优化器生成执行计划。答案：统计信息解析：ANALYZETABLE命令可以收集表的统计信息（行数、列基数等）。13.HDFS的________机制用于检测数据块的完整性。答案：校验和解析：DataNode在存储和传输数据时会计算校验和，以检测数据损坏。14.MapReduce中，________函数用于对Reduce端的输入值进行迭代处理。答案：reduce解析：Reduce任务接收一个Key和一个Iterable<Value>，调用reduce函数处理。15.在Kafka中，________负责管理Topic的分区分配和Leader选举。答案：Controller解析：Kafka集群中有一个Broker充当Controller，负责分区管理和Leader选举。五、简答题1.简述HDFS的读写流程。答案：HDFS读流程：(1)Client调用DistributedFileSystem.open()方法。(2)RPC调用NameNode，获取文件块的位置信息（按距离排序）。(3)Client创建FSDataInputStream，选择最近的DataNode建立连接读取数据。(4)读取完一个块后，关闭连接，寻找下一个块的最优DataNode继续读取。(5)读取完毕，关闭流。HDFS写流程：(1)Client调用create()方法创建文件。(2)RPC调用NameNode，NameNode执行元数据检查（文件是否存在、权限等），并返回新文件名。(3)Client创建数据流，开始写入数据。(4)数据被切分成Packet，写入DataNode管线（Pipeline）。(5)第一个DataNode接收后传给第二个，第二个传给第三个（默认3副本）。(6)只有所有副本都写入成功，才向Client返回确认。(7)写完数据后，调用complete()方法通知NameNode提交文件元数据。2.解释Spark中宽依赖和窄依赖的区别，并说明其对Stage划分的影响。答案：窄依赖：父RDD的一个分区只被子RDD的一个分区使用（一对一）。例如map、filter。窄依赖允许在同一个节点上以流水线方式执行，无需Shuffle。宽依赖：父RDD的一个分区被子RDD的多个分区使用（一对多）。例如reduceByKey、groupByKey。宽依赖涉及Shuffle过程，数据需要跨节点传输。Stage划分：Spark根据RDD的依赖关系划分DAG为Stage。遇到宽依赖时，会划分一个新的Stage。因此，每个Stage内部只有窄依赖，可以高效地在内存中流水线执行；而Stage之间需要进行Shuffle操作。3.HBase的RowKey设计原则有哪些？为什么？答案：(1)唯一性原则：RowKey必须唯一标识一行数据。(2)长度原则：RowKey尽量短（建议16字节以内），因为RowKey在HBase底层存储中会被大量重复存储（KeyValue结构中），且作为HFile的索引，过长会占用大量内存。(3)散列原则：避免热点问题。由于数据按RowKey字典序排序，如果RowKey是递增的时间戳或单调递增ID，写入会集中到最后一个Region，导致单点负载过高。通常使用哈希或反转前缀等方式使数据均匀分布。(4)排序原则：利用字典序特性，将经常一起读取的数据存储在相邻位置，提高Scan效率。4.简述Hive内部表和外部表的区别及应用场景。答案：区别：(1)数据管理：内部表由Hive完全管理，删除表时元数据和HDFS数据均被删除；外部表仅管理元数据，删除表时HDFS数据保留。(2)创建语法：外部表需指定EXTERNAL关键字。(3)LOCATION：外部表通常指定LOCATION指向已存在的数据路径。应用场景：内部表：用于数据需要完全由Hive生命周期管理的场景，如ETL中间表、临时表。外部表：用于原始数据导入、多工具共享数据的场景。例如原始日志文件导入Hive后，其他Spark/MR作业也可能读取该文件，使用外部表可以防止误删导致数据丢失。5.描述YARN中Container的概念及其作用。答案：Container是YARN中资源分配和运行的基本单位。概念：它是资源的抽象封装，包含一定的内存资源（MB）和CPU资源。作用：(1)资源隔离：Container限制了任务能使用的物理资源上限，防止任务无限占用资源导致节点崩溃。(2)任务运行环境：ApplicationMaster向ResourceManager申请Container，然后与NodeManager通信启动Container。(3)运行任务：在Container内部启动具体的任务进程，如MapTask、ReduceTask或SparkExecutor。六、综合分析题1.场景：某公司使用FusionInsightHD集群处理每日日志。日志通过Flume采集到Kafka，再由SparkStreaming消费处理，最终存入Hive表。某天发现SparkStreaming处理延迟严重，且积压了大量数据。请分析可能的原因及排查思路。答案：可能原因及排查思路：(1)数据量激增：上游日志量突增，超过Spark处理能力。排查：监控Kafka的Lag积压情况，Flume的TPS。(2)资源不足：Executor内存或CPU不足，导致GC频繁或任务排队。排查：观察SparkUI的Executor状态，GC时间，YARN资源使用率。(3)处理逻辑瓶颈：代码中存在耗时操作（如频繁访问数据库、复杂的迭代计算）。排查：分析SparkUI中各Stage的耗时，定位慢算子。(4)Backpressure背压：接收速度>处理速度。排查：查看SparkStreaming的ProcessingDelay和SchedulingDelay。(5)Shuffle问题：存在数据倾斜，导致部分Task运行极慢。排查：查看SparkUI中Task的运行时间分布，检查是否有长尾Task。解决方案：增加Executor数量或并行度；优化代码减少外部IO；对数据倾斜的Key进行加盐处理；增加Kafka分区数以提高消费并行度。2.场景：在HBase集群中，某张表存储了用户订单信息，RowKey设计为UserI