2026年大数据技术概论题库及答案

2026年大数据技术概论题库及答案一、单项选择题（每题1分，共30分。每题只有一个正确答案，请将正确选项字母填入括号内）1.在HDFS中，NameNode的主要职责是（）。A.存储实际数据块B.管理文件系统元数据C.执行Map任务D.执行Reduce任务答案：B2.SparkCore默认的存储级别是（）。A.MEMORY_ONLYB.MEMORY_AND_DISKC.DISK_ONLYD.OFF_HEAP答案：A3.下列关于KafkaPartition的描述，正确的是（）。A.一个Partition只能被一个ConsumerGroup内的一个Consumer消费B.一个Partition只能被一个Broker保存C.Partition数量一旦创建不可调整D.Partition内消息全局无序答案：A4.在Flink的时间语义中，EventTime依赖于（）。A.系统时钟B.数据自带的时间戳C.摄取时间D.处理时间答案：B5.HBase中用于实现行级事务的核心机制是（）。A.WALB.MemStoreC.LSM-TreeD.RowLock答案：D6.下列算法中，常用于SparkMLlib中协同过滤的是（）。A.ALSB.K-meansC.GMMD.FP-Growth答案：A7.在Hive中，以下哪种文件格式支持行级索引（）。A.TextFileB.ORCC.ParquetD.SequenceFile答案：B8.关于数据湖与数据仓库的差异，错误的是（）。A.数据湖支持结构化/半结构化/非结构化B.数据仓库写时模式C.数据湖读时模式D.数据湖不支持ACID事务答案：D9.ClickHouse最适用的场景是（）。A.高并发事务处理B.离线批量机器学习C.在线分析（OLAP）D.图计算答案：C10.在Elasticsearch中，一个索引默认被分成几个主分片（）。A.1B.3C.5D.7答案：C11.下列关于ZooKeeper的ZNode类型，可用于实现分布式锁的是（）。A.PersistentB.EphemeralC.Persistent_SequentialD.Ephemeral_Sequential答案：D12.在SparkSQL中，以下函数用于将JSON字符串解析为Struct的是（）。A.from_jsonB.to_jsonC.explodeD.collect_list答案：A13.关于Storm的Ack机制，描述正确的是（）。A.Bolt必须显式调用ack才能保障消息重放B.Spout无需锚定消息C.关闭Ack可提升吞吐但会丢数据D.Ack由Nimbus完成答案：C14.在YARN的调度器中，默认支持资源抢占的是（）。A.FIFOSchedulerB.CapacitySchedulerC.FairSchedulerD.None答案：C15.下列关于数据倾斜的优化策略，错误的是（）。A.两阶段聚合（局部聚合+全局聚合）B.增加并行度C.使用随机前缀打散热点KeyD.强制使用MapJoin一定有效答案：D16.在DeltaLake中，以下哪项操作支持时间旅行查询（）。A.MERGEB.VACUUMC.VERSIONASOFD.OPTIMIZE答案：C17.关于Pulsar的架构，以下说法正确的是（）。A.Broker负责持久化消息B.BookKeeper负责消息存储C.ZooKeeper仅用于配置管理D.Partition与Topic一一对应答案：B18.在GFS论文中，Master节点通过（）机制实现高可用。A.PaxosB.RaftC.ShadowMasterD.ZooKeeper答案：C19.下列关于数据血缘（DataLineage）的描述，错误的是（）。A.可用于影响分析B.可用于故障溯源C.必须依赖静态编译时解析D.支持字段级血缘答案：C20.在Spark3.0之后，自适应查询执行（AQE）默认（）。A.关闭B.开启C.仅SQL开启D.仅Streaming开启答案：B21.下列关于Beam的窗口机制，属于全局窗口的是（）。A.FixedWindowsB.SlidingWindowsC.SessionWindowsD.GlobalWindows答案：D22.在Redis集群中，数据分片采用（）算法。A.一致性哈希16384槽B.哈希取模C.范围分片D.随机分片答案：A23.关于Snowflake模型的优点，以下说法正确的是（）。A.减少Join操作B.降低存储冗余C.提高查询性能D.降低维表维护复杂度答案：B24.在Presto中，以下Connector支持事务的是（）。A.HiveConnectorB.MySQLConnectorC.MemoryConnectorD.BlackHoleConnector答案：B25.下列关于数据治理成熟度模型（DMM）的等级，最高级是（）。A.ManagedB.DefinedC.QuantitativelyManagedD.Optimizing答案：D26.在TensorFlowOnSpark架构中，TF的ClusterSpec由（）生成。A.SparkDriverB.SparkExecutorC.YARNResourceManagerD.TensorFlowMaster答案：A27.关于数据采样方法，以下哪种方法在保留原始分布方面效果最佳（）。A.随机采样B.分层采样C.蓄水池采样D.系统采样答案：B28.在ClickHouse的MergeTree引擎中，以下哪项不是主键的作用（）。A.去重B.排序C.稀疏索引D.数据分片答案：D29.下列关于Airflow的Pool机制，描述正确的是（）。A.用于跨DAG全局限流B.只能限制Task并发数C.不支持优先级D.仅对Sensor生效答案：A30.在DataX的插件体系中，Reader插件必须实现（）接口。A.JobReaderB.TaskReaderC.ReaderD.Splitter答案：A二、多项选择题（每题2分，共20分。每题至少有两个正确答案，多选、少选、错选均不得分）31.以下哪些属于Hadoop3.x的新特性（）。A.ErasureCodingB.YARNFederationC.MapReduce自动内存调优D.NameNodeHA答案：ABC32.在Spark中，可能导致Shuffle的操作有（）。A.groupByKeyB.reduceByKeyC.distinctD.map答案：ABC33.关于FlinkCheckpoint的语义，以下说法正确的是（）。A.默认Exactly-onceB.依赖BarrierC.状态存储支持RocksDBD.开启Checkpoint后必须重启作业才能生效答案：ABC34.以下哪些属于数据质量维度（）。A.准确性B.一致性C.时效性D.可扩展性答案：ABC35.在Hive中，以下哪些场景会触发MapReduce（）。A.selectfromtablelimit10;A.selectfromtablelimit10;B.selectcount()fromtable;B.selectcount()fromtable;C.insertoverwritedirectory'/tmp'selectfromtable;C.insertoverwritedirectory'/tmp'selectfromtable;D.createtableasselect…答案：BCD36.以下哪些组件支持SQL2011标准的窗口函数（）。A.SparkSQLB.FlinkSQLC.Hive2.xD.HBase答案：ABC37.关于数据脱敏技术，以下属于可逆算法的是（）。A.AES加密B.哈希加盐C.TokenizationD.掩码答案：AC38.在Kafka中，以下参数与消息压缩相关的是（）。A.compression.typeB.linger.msC.batch.sizeD.acks答案：ABC39.以下哪些属于实时数仓的典型架构层（）。A.ODSB.DWDC.DWSD.ADS答案：ABCD40.在数据资产目录中，以下哪些元数据属于业务元数据（）。A.表中文名B.表责任人C.字段描述D.字段类型答案：ABC三、填空题（每空1分，共20分）41.HDFS默认块大小为________MB，Hadoop3.x支持的最大块大小为________GB。答案：128，1642.Spark中，一个Application对应一个________，一个Job由多个________组成。答案：SparkContext，Stage43.Flink的StateBackend有三种：MemoryStateBackend、FsStateBackend和________。答案：RocksDBStateBackend44.Kafka的Consumer采用________模型实现组内负载均衡，采用________协议进行再均衡。答案：Queue，Coordinator45.在Hive中，函数`collect_set`返回类型为________，且会去重；`collect_list`返回类型为________，且不去重。答案：array，array46.ClickHouse的分布式表引擎为________，本地表引擎为________。答案：Distributed，MergeTree47.数据治理中的“4W1H”指Who、What、When、Where和________。答案：How48.在Elasticsearch中，默认集群名称是________，可通过修改________文件进行变更。答案：elasticsearch，elasticsearch.yml49.在YARN中，资源申请的基本单位是________，最小可申请资源由________参数决定。答案：Container，yarn.scheduler.minimum-allocation-mb50.在DataLakehouse架构中，________层提供ACID事务支持，________层提供BI查询加速。答案：Delta/Metadata，Caching/Index四、简答题（共30分）51.（封闭型，6分）简述MapReduce中Combiner的作用及使用条件。答案：Combiner是本地端的Reducer，用于减少Map输出数据量，降低网络IO。使用条件：1.业务逻辑满足结合律与交换律；2.不能改变最终Reduce的计算结果；3.仅作为优化手段，可选执行。52.（开放型，6分）Spark3.0引入的自适应查询执行（AQE）包含哪三项核心功能？请分别说明其优化原理。答案：1.动态合并分区：运行时检测小分区，自动合并减少Task数量，降低调度开销；2.动态切换Join策略：根据实际数据量大小，将SMJ转为BHJ，避免大表扫描；3.动态优化倾斜Join：检测到倾斜Key后，自动拆分加盐，进行分桶Join，消除长尾Task。53.（封闭型，6分）写出Flink实现Exactly-once语义的两项关键技术，并简要解释。答案：1.CheckpointBarrier：在数据流中插入屏障，将流切割成段，确保段内状态一致性；2.两阶段提交（2PC）：Sink在Checkpoint完成时先预提交，收到JobManager确认后再正式提交，实现端到端一致性。54.（开放型，6分）列举三种数据倾斜的常见业务场景，并给出对应的Spark调优方案。答案：场景1：大表与小表Join，小表热点Key过大，方案：使用BroadcastJoin将小表广播；场景2：groupByKey统计，某Key数量极大，方案：两阶段聚合，先随机前缀局部聚合，再去前缀全局聚合；场景3：动态分区写入，某分区数据量巨大，方案：repartition按分区列+随机数，先打散再写入，或启用动态分区优化参数。55.（封闭型，6分）简述HBaseRegion分裂的触发条件与分裂过程。答案：触发条件：Region大小超过`hbase.hregion.max.filesize`；过程：1.RegionServer将Region标记为splitting；2.在ZooKeeper创建split节点；3.将原Region按RowKey范围切分为两个子Region；4.修改.META.表元数据；5.原Region下线，子Region上线；6.更新HMaster内存结构，完成分裂。五、应用题（共50分）56.（计算类，10分）某电商公司使用Spark进行日志分析，原始日志1TB，采用LZO压缩比4:1，集群单Executor4vCore8GB，每个Task处理128MB未压缩数据。求：（1）需多少个Task？（2）若每个Task运行时间1.5分钟，集群共100Executor，求理论最小耗时？答案：（1）未压缩数据量=1TB，单Task处理128MB→10241024/128=8192个Task；（1）未压缩数据量=1TB，单Task处理128MB→10241024/128=8192个Task；（2）并发Task数=100Executor×4vCore=400，耗时=8192/400×1.5=30.72分钟。57.（分析类，15分）给出某Kafka集群监控指标：每秒流入500MB，副本因子3，保留7天，压缩比2:1，磁盘总空间100TB，净存储利用率要求≤70%。判断该集群是否满足存储需求，并给出扩容或优化建议。答案：日净数据=500×3600×24×7/1024/1024≈288TB，压缩后=144TB，副本后=432TB；可用空间=100×70%=70TB<432TB，不满足。建议：1.增加节点扩容至432/0.7≈618TB总盘；2.降低保留至2天；3.提高压缩比至4:1；4.启用Kafka分层存储，冷数据offload至HDD/S3。58.（综