2026年大数据技术专业知识竞赛题库附答案

2026年大数据技术专业知识竞赛题库附答案一、单项选择题（每题2分，共40分）1.关于Hadoop3.x版本的核心改进，以下描述错误的是（）A.引入HDFSErasureCoding（纠删码）替代传统副本机制B.YARN支持资源隔离的cgroups扩展C.MapReduce框架默认使用Tez作为执行引擎D.支持HDFSFederation（联邦）架构以提升元数据处理能力答案：C（Hadoop3.x的MapReduce仍以自身为执行引擎，Tez是Hive等组件的可选引擎）2.在Spark中，以下操作属于Transformation的是（）A.collect()B.reduce()C.groupByKey()D.count()答案：C（Transformation返回RDD，Action触发计算并返回结果，groupByKey是Transformation）3.数据湖（DataLake）与传统数据仓库（DataWarehouse）的核心差异在于（）A.数据存储格式（湖支持非结构化，仓库仅支持结构化）B.数据处理模式（湖为读时模式，仓库为写时模式）C.数据质量要求（湖要求高，仓库要求低）D.访问接口（湖仅支持SQL，仓库支持多种API）答案：B（数据湖采用“读时模式”（Schema-on-Read），数据仓库采用“写时模式”（Schema-on-Write））4.Kafka中，消费者组（ConsumerGroup）的主要作用是（）A.保证消息有序性B.实现消息的广播与负载均衡C.提升生产者的吞吐量D.管理偏移量（Offset）的持久化存储答案：B（同一组内消费者通过分区分配实现负载均衡，不同组间消费者可广播消息）5.Flink中，EventTime（事件时间）的处理依赖于（）A.系统时钟B.数据中的时间戳字段C.Checkpoint的触发时间D.Watermark（水位线）机制答案：D（Watermark用于衡量事件时间进展，解决乱序数据问题）6.HBase的RegionServer崩溃后，HMaster的恢复流程不包括（）A.重新分配该RegionServer管理的RegionB.从HDFS中恢复未持久化的MemStore数据C.重建ZooKeeper中该RegionServer的临时节点D.更新HBase元数据（.META.表）的Region位置信息答案：B（MemStore数据在RegionServer崩溃前已异步写入HFile，未持久化部分会丢失，需依赖WAL日志恢复）7.ClickHouse作为列式数据库，其核心优势场景是（）A.高并发事务处理（OLTP）B.实时多维分析（OLAP）C.海量数据的增删改操作D.非结构化数据存储答案：B（ClickHouse专为实时OLAP设计，支持高吞吐的聚合查询）8.以下不属于数据脱敏（DataMasking）技术的是（）A.哈希（Hashing）B.替换（Substitution）C.差分隐私（DifferentialPrivacy）D.数据抽样（Sampling）答案：D（数据抽样是减少数据量的方法，不涉及敏感信息保护）9.云原生大数据平台（Cloud-NativeBigData）的关键特征不包括（）A.基于容器化（Docker/K8s）部署B.支持Serverless弹性扩缩容C.完全依赖单节点存储D.与云厂商对象存储（如S3）深度集成答案：C（云原生强调分布式存储，单节点存储不符合弹性需求）10.湖仓一体（Lakehouse）架构中，元数据管理通常采用（）A.关系型数据库（如MySQL）B.事务性元数据服务（如DeltaLake的事务日志）C.HDFS的NameNode元数据D.内存缓存（如Redis）答案：B（湖仓一体需要支持ACID事务的元数据管理，DeltaLake等通过事务日志实现）11.在分布式系统中，CAP定理指的是（）A.一致性（Consistency）、可用性（Availability）、分区容错性（PartitionTolerance）B.容量（Capacity）、可扩展性（Scalability）、性能（Performance）C.计算（Compute）、存储（Storage）、网络（Network）D.成本（Cost）、敏捷性（Agility）、可靠性（Reliability）答案：A（CAP定理指出三者无法同时满足）12.以下属于实时计算框架的是（）A.HiveB.FlinkC.SparkSQLD.Presto答案：B（Flink是流批一体的实时计算框架，其他为批处理或交互式查询引擎）13.数据倾斜（DataSkew）在Spark中可能导致的问题是（）A.Shuffle阶段单个任务处理数据量过大，运行缓慢B.RDD分区数减少C.内存溢出（OOM）概率降低D.广播变量（BroadcastVariable）无法正确传输答案：A（数据倾斜导致部分分区数据过多，任务耗时差异大）14.隐私计算（Privacy-PreservingComputation）中，联邦学习（FederatedLearning）的核心目标是（）A.在不共享原始数据的前提下联合训练模型B.提升模型训练速度C.减少数据存储成本D.增强数据可视化效果答案：A（联邦学习通过加密通信联合建模，保护数据隐私）15.以下HDFS操作中，不会触发NameNode元数据修改的是（）A.创建目录（mkdir）B.读取文件（cat）C.重命名文件（mv）D.删除文件（rm）答案：B（读取文件仅访问元数据，不修改）16.关于Kafka的分区（Partition），以下说法正确的是（）A.分区数越多，消费者组的并行度越低B.分区是消息有序性的最小单位C.分区的副本（Replica）必须分布在同一BrokerD.分区的Leader选举由ZooKeeper独立完成答案：B（同一分区内消息有序，不同分区间无全局顺序）17.在数据仓库建模中，星型模型（StarSchema）的特点是（）A.事实表直接连接多个维度表，无冗余B.维度表之间存在复杂关联C.适合实时数据更新D.查询时需多表连接，性能较低答案：A（星型模型中事实表与维度表直接连接，维度表无关联）18.以下不属于大数据存储层技术的是（）A.HBaseB.RedisC.HDFSD.Kafka答案：D（Kafka是消息队列，属于流数据处理层）19.机器学习与大数据结合的典型场景是（）A.实时日志清洗B.用户画像标签预测C.数据ETL流程调度D.分布式文件系统监控答案：B（机器学习可基于大数据训练模型，预测用户标签）20.关于数据中台，以下描述错误的是（）A.核心是数据能力的复用与共享B.需整合跨域数据，构建统一数据服务C.仅服务于企业内部业务，不对外提供APID.包含数据治理、指标管理、服务封装等模块答案：C（数据中台可对外提供标准化数据服务）二、填空题（每题2分，共30分）1.HDFS默认块（Block）大小在Hadoop3.x中为______MB。答案：1282.SparkRDD的持久化（Persistence）级别中，“MEMORY_AND_DISK_SER”表示______。答案：数据优先存储在内存，内存不足时存储到磁盘，且数据序列化3.Flink的时间类型包括事件时间（EventTime）、处理时间（ProcessingTime）和______。答案：摄入时间（IngestionTime）4.Kafka的消息存储结构中，每个分区由多个______组成，每个该结构包含一定时间范围内的消息。答案：日志段（LogSegment）5.HBase的RowKey设计需要考虑______、散列性和查询场景适配性。答案：唯一性6.数据湖的典型分层架构包括原始数据层（RawLayer）、清洗转换层（CleanLayer）和______。答案：应用层（ApplicationLayer）或聚合层（CuratedLayer）7.ClickHouse的索引类型主要是______，用于加速范围查询。答案：稀疏索引（SparseIndex）8.分布式计算中的“一致性哈希（ConsistentHashing）”主要解决______问题。答案：节点动态增减时的缓存雪崩9.数据脱敏的常用方法包括匿名化、______、掩码和泛化。答案：去标识化（或替换、随机化）10.湖仓一体架构中，______（如DeltaLake、Hudi、Iceberg）提供了ACID事务支持。答案：事务性存储格式11.Flink的状态（State）分为键值状态（KeyedState）和______。答案：算子状态（OperatorState）12.SparkShuffle的优化策略包括______（如合并小文件）、调节并行度和使用外部排序。答案：Shuffle文件合并（或ConsolidateShuffleFiles）13.隐私计算的主要技术路径包括安全多方计算（MPC）、______和联邦学习（FL）。答案：同态加密（HE）14.云原生大数据平台的核心组件通常包括______（如K8s）、容器镜像仓库和弹性计算服务。答案：容器编排引擎15.数据质量的关键指标包括完整性、准确性、______和一致性。答案：时效性（或一致性、关联性等，需符合上下文）三、简答题（每题5分，共30分）1.简述Hadoop3.x相比2.x的主要改进。答案：Hadoop3.x的改进包括：①引入HDFS纠删码（ErasureCoding），减少存储成本（如用10+4编码替代3副本）；②YARN支持cgroups资源隔离，提升多租户资源管理精度；③支持HDFSFederation横向扩展元数据服务；④MapReduce支持推测执行优化和容器化调度；⑤升级ZooKeeper依赖至3.5+，支持动态集群扩展。2.说明SparkRDD的Lineage（血统）机制及其作用。答案：Lineage是RDD的依赖关系链，记录了从输入数据到当前RDD的所有转换操作。作用：①容错：当部分分区数据丢失时，通过Lineage重新计算丢失分区，避免全量重算；②优化：为Spark的DAG调度器提供依赖信息，支持管道化执行和内存计算优化；③调试：可追踪数据处理流程，辅助问题定位。3.数据湖与数据仓库的核心差异体现在哪些方面？答案：①数据类型：湖支持结构化、半结构化、非结构化数据；仓库以结构化为主。②模式设计：湖采用“读时模式”（Schema-on-Read），入库时不强制模式；仓库采用“写时模式”（Schema-on-Write），入库前需定义模式。③应用场景：湖侧重原始数据存储与探索分析；仓库侧重面向业务的多维分析（OLAP）。④事务支持：传统湖不支持ACID，现代湖仓一体架构通过事务性存储格式（如DeltaLake）补充；仓库原生支持事务。4.简述Flink的Watermark（水位线）机制及其在事件时间处理中的作用。答案：Watermark是一个时间戳，标识“当前事件时间已处理到T，后续不会有早于T的事件”。作用：①界定事件时间窗口的触发时机：当Watermark超过窗口结束时间时，触发窗口计算；②处理乱序数据：允许设置延迟时间（如5秒），Watermark=T时，仍可接收T+5秒内的延迟数据；③避免无限等待：通过Watermark推进事件时间，防止窗口无法关闭。5.数据倾斜的常见原因及解决方法有哪些？答案：原因：①数据分布不均（如某Key出现次数远高于其他）；②Shuffle操作（如groupByKey、join）导致Key集中；③业务特性（如热点事件、头部用户）。解决方法：①预处理：对热点Key添加随机前缀，分散到多个分区；②调整并行度：增加Shuffle分区数，分散数据；③优化算子：用reduceByKey替代groupByKey，减少Shuffle数据量；④过滤异常值：识别并处理异常高频Key；⑤广播小表：在join时，若一张表较小，使用广播变量避免Shuffle。6.隐私计算在大数据场景中的典型应用有哪些？举例说明。答案：①跨机构联合建模：如银行与电商不共享用户数据，通过联邦学习联合训练信用评估模型；②敏感数据查询：医院需对外提供疾病统计，但隐藏患者隐私，通过安全多方计算实现“查询结果加密，原始数据不泄露”；③数据交易：数据提供方与需求方通过同态加密，在加密数据上执行计算，输出加密结果后解密，避免原始数据暴露。四、应用题（每题10分，共20分）1.设计一个电商用户行为分析的实时数据Pipeline，要求覆盖数据采集、传输、处理、存储全流程，并说明各环节的技术选型及原因。答案：流程设计：①数据采集：通过埋点SDK（如友盟、GrowingIO）采集用户点击、下单、加购等行为数据，格式为JSON，包含用户ID、时间戳、事件类型等字段。②数据传输：使用Kafka作为消息队列，原因：高吞吐（支持百万级TPS）、持久化存储（消息可保留7天）、支持多消费者组（供实时处理和离线备份使用）。③实时处理：采用Flink作为计算引擎，原因：支持事件时间窗口（如5分钟窗口统计点击量）、状态管理（跟踪用户会话）、Exactly-Once语义（保证数据不丢失不重复）。处理逻辑包括：清洗（过滤无效数据）、聚合（计算每小时类目点击TOP10）、关联（用户ID与用户标签表JOIN）。④数据存储：结果存储到ClickHouse（实时OLAP查询）和HBase（用户行为明细存储）。ClickHouse用于业务看板实时展示（如“双11”实时GMV），HBase用于用户行为详情追溯（如查询某用户近30天的浏览路径）。2.某电商平台的Spark任务频繁出现“ExecutorLost”错误，推测可能原因并给出排查步骤。