2025年大数据技术考试及答案

2025年大数据技术考试及答案一、单项选择题（每题2分，共30分）1.关于Hadoop3.x版本中HDFS的改进，以下描述错误的是：A.引入纠删码（ErasureCoding）降低存储成本B.默认块大小从128MB调整为256MB以适应大文件场景C.支持联邦（Federation）架构提升元数据服务扩展性D.新增HDFS缓存机制（HDFSCache）优化热点数据访问性能答案：B。Hadoop3.x默认块大小仍为128MB，256MB为可选配置参数，并非默认调整。2.在Spark3.5中，关于RDD与DataFrame的对比，正确的是：A.RDD是类型安全的，DataFrame通过Schema实现结构化B.DataFrame的执行计划优化仅依赖Catalyst，RDD依赖TungstenC.RDD支持更丰富的内置统计函数，DataFrame需自定义UDFD.DataFrame在内存中以列式存储，RDD以行式存储答案：A。DataFrame的Schema提供结构化描述，确保类型安全；列式存储是DataFrame与Dataset的特性（Spark2.0后），RDD为行式；Catalyst优化器同时作用于DataFrame和Dataset，Tungsten负责内存管理。3.以下不属于Flink1.18中状态后端（StateBackend）类型的是：A.MemoryStateBackendB.RocksDBStateBackendC.HashMapStateBackendD.IncrementalRocksDBStateBackend答案：C。Flink1.13后逐步弃用HashMapStateBackend，1.18默认状态后端为RocksDBStateBackend（增量模式），支持Memory和RocksDB两种基础类型。4.关于Kafka3.6的新特性，错误的是：A.引入KIP-599：改进消费者组再平衡算法，减少停机时间B.支持事务性生产者向多个主题发送消息C.日志压缩（LogCompaction）默认启用，无需手动配置D.新增KRaft模式（KafkaRaft），不再依赖ZooKeeper答案：C。日志压缩需通过主题配置`cleanup.policy=compact`启用，默认策略为`delete`（基于时间或大小）。5.在HBase2.5中，RegionServer的核心组件不包括：A.HLog（预写日志）B.MemStore（内存存储）C.Region（数据分片）D.NameNode（元数据管理）答案：D。NameNode是HDFS组件，HBase的元数据由HMaster和.META.表管理。6.数据湖（DataLake）与数据仓库（DataWarehouse）的核心差异是：A.数据湖存储结构化数据，数据仓库存储非结构化数据B.数据湖支持“读时模式”（Schema-on-Read），数据仓库采用“写时模式”（Schema-on-Write）C.数据湖仅用于离线处理，数据仓库支持实时分析D.数据湖依赖关系型数据库，数据仓库依赖分布式文件系统答案：B。数据湖以原始格式存储多类型数据，分析时定义Schema；数据仓库在写入时强制Schema校验。7.关于分布式计算中的一致性模型，以下描述正确的是：A.强一致性（StrongConsistency）要求所有节点立即看到相同数据B.最终一致性（EventualConsistency）允许节点间数据永久不一致C.会话一致性（SessionConsistency）仅保证单个用户会话内的一致性D.单调读一致性（MonotonicReadConsistency）要求后续读不早于之前读答案：A。最终一致性要求最终所有节点一致；会话一致性保证同一用户会话内的读操作一致；单调读要求后续读不早于之前读的版本（D正确，但A更核心）。8.在实时数仓架构中，Lambda架构与Kappa架构的主要区别是：A.Lambda架构需维护离线和实时两条处理链路，Kappa架构合并为一条B.Lambda架构使用批处理引擎，Kappa架构使用流处理引擎C.Lambda架构支持历史数据重算，Kappa架构不支持D.Lambda架构存储层为HDFS，Kappa架构为Kafka答案：A。Kappa架构通过流处理引擎（如Flink）处理所有数据，包括历史重放，避免Lambda的双链路维护成本。9.隐私计算中，联邦学习（FederatedLearning）的核心目标是：A.在不共享原始数据的前提下联合训练模型B.对数据进行脱敏处理后集中存储C.通过加密技术实现数据明文计算D.确保数据在传输过程中不被截获答案：A。联邦学习强调“数据不动模型动”，各参与方在本地训练模型，仅交换模型参数。10.关于云原生大数据平台（Cloud-NativeBigData）的特性，错误的是：A.基于容器化（Docker/Kubernetes）实现资源弹性扩缩B.依赖专有硬件，无法与公有云无缝集成C.支持Serverless模式，用户无需管理底层基础设施D.结合对象存储（如S3、OSS）替代传统分布式文件系统答案：B。云原生平台强调与云基础设施（如公有云、私有云）的深度集成，支持弹性扩展和混合云部署。11.在SparkSQL中，以下哪个操作会触发Shuffle？A.filter("age>18")B.groupBy("dept_id").avg("salary")C.select("name","age")D.limit(100)答案：B。GroupBy操作通常需要将相同key的数据分发到同一分区，触发Shuffle；Filter、Select、Limit为窄依赖操作。12.关于Flink的时间窗口（Window），以下说法错误的是：A.事件时间（EventTime）基于数据本身的时间戳，需配置水印（Watermark）B.处理时间（ProcessingTime）基于算子处理数据的系统时间，无需水印C.会话窗口（SessionWindow）通过固定间隔划分，适用于用户会话分析D.滑动窗口（SlidingWindow）包含固定大小和滑动间隔两个参数答案：C。会话窗口通过会话间隔（SessionGap）划分，当数据间隔超过该值时提供新窗口，而非固定间隔。13.以下不属于数据治理（DataGovernance）核心内容的是：A.元数据管理（MetadataManagement）B.数据质量监控（DataQualityMonitoring）C.数据可视化（DataVisualization）D.数据权限控制（DataAccessControl）答案：C。数据可视化属于数据分析范畴，数据治理关注数据的全生命周期管理，包括元数据、质量、安全等。14.在Hive4.0中，以下哪种存储格式同时支持ACID事务和列式存储？A.TextFileB.ORCC.ParquetD.JSON答案：B。ORC（OptimizedRowColumnar）格式自Hive0.11起支持ACID事务（需开启事务配置），Parquet需结合Hudi等工具实现事务。15.关于分布式系统的CAP理论，正确的理解是：A.一致性（Consistency）、可用性（Availability）、分区容错性（PartitionTolerance）三者可同时满足B.分区容错性不可避免，需在一致性和可用性之间权衡C.高可用系统必须牺牲所有一致性D.分布式数据库（如TiDB）通过强一致性保证完全避免分区问题答案：B。CAP理论指出，分布式系统无法同时满足C、A、P，通常P是必须的（网络分区必然存在），因此需权衡C和A。二、填空题（每题2分，共20分）1.HadoopYARN的核心组件中，负责资源管理和任务调度的是________，负责节点资源监控和任务执行的是________。答案：ResourceManager；NodeManager2.Spark3.5中，默认的序列化库是________，相比Java序列化更高效。答案：Kryo3.Flink1.18中，用于处理事件时间乱序的机制是________，其本质是延迟触发窗口计算以等待迟到数据。答案：水印（Watermark）4.Kafka消费者组（ConsumerGroup）中，若消费者数量超过分区数，多余的消费者会________。答案：处于空闲状态（不分配分区）5.HBase的存储架构中，数据最终持久化到________文件，内存中的临时存储为________。答案：HFile；MemStore6.数据湖的元数据管理工具中，Apache________提供了开放的元数据管理标准，支持数据血缘追踪和标签管理。答案：Atlas7.实时数仓中，Flink与HBase集成时，通常通过________（同步/异步）IO优化写入性能，避免阻塞流处理。答案：异步8.隐私计算技术中，________（如SecureMulti-PartyComputation）允许多方在不暴露原始数据的情况下协同计算。答案：多方安全计算（MPC）9.云原生大数据平台中，________（如AWSGlue、阿里云DataWorks）提供无服务器（Serverless）的数据集成与调度服务。答案：数据集成平台10.分布式事务的解决方案中，Seata框架支持的AT（AutomaticTransaction）模式通过________实现分支事务的自动补偿。答案：全局锁与回滚日志三、简答题（每题8分，共40分）1.简述Hadoop生态中HDFS、YARN、MapReduce的分工与协作流程。答案：HDFS负责分布式存储，提供高容错的文件系统；YARN负责资源管理和任务调度，包含ResourceManager（全局资源管理）和NodeManager（节点资源监控）；MapReduce是计算框架，基于YARN运行。协作流程：用户提交Job到YARN，ResourceManager为Job分配ApplicationMaster（AM）；AM向NodeManager申请容器（Container），启动Map/Reduce任务；任务从HDFS读取数据，处理后将结果写回HDFS。2.对比SparkRDD的宽依赖（WideDependency）与窄依赖（NarrowDependency），并说明其对性能的影响。答案：窄依赖指子RDD的每个分区仅依赖父RDD的少量分区（如map、filter），宽依赖指子RDD的分区依赖父RDD的多个分区（如groupBy、join）。窄依赖支持流水线计算（pipeline），无需Shuffle，计算效率高；宽依赖需Shuffle操作，涉及数据跨节点传输和磁盘IO，是性能瓶颈。优化时应尽量减少宽依赖操作，或通过缓存、分区优化减少Shuffle数据量。3.说明Flink的状态（State）分类及状态后端（StateBackend）的作用。答案：Flink状态分为算子状态（OperatorState，与算子实例绑定）和键值状态（KeyedState，按Key分组）。键值状态又包括值状态（ValueState）、列表状态（ListState）、映射状态（MapState）等。状态后端负责状态的存储与管理，决定状态是存在内存（MemoryStateBackend）、RocksDB（RocksDBStateBackend）还是外部存储（如S3）。选择状态后端需考虑状态大小（大状态选RocksDB）、容错需求（需持久化选外部存储）和性能（内存后端低延迟）。4.数据湖与数据仓库的融合（LakeHouse）解决了哪些问题？列举其核心技术特征。答案：传统数据湖缺乏事务支持和结构化分析能力，数据仓库对非结构化数据支持不足。LakeHouse融合两者，解决了：①多类型数据的统一存储（结构化、半结构化、非结构化）；②支持ACID事务（如DeltaLake、Hudi）；③批流一体处理；④支持SQL分析（兼容数据仓库工具）。核心特征：基于开放文件格式（Parquet、ORC）、元数据统一管理、支持事务和版本控制、兼容BI工具（如Tableau）。5.简述隐私计算在大数据场景中的应用模式，并举例说明。答案：隐私计算通过加密算法或联邦学习实现“数据可用不可见”。应用模式包括：①联邦学习：多方联合训练模型（如银行与电商联合训练用户信用模型，不共享原始数据）；②安全多方计算（MPC）：协同计算统计值（如医院联合计算某种疾病发病率，仅交换加密中间结果）；③同态加密（HE）：在加密数据上直接计算（如保险机构对加密医疗数据进行赔付规则校验）。例如，某城市交通部门与地图服务商通过MPC计算特定路段的拥堵指数，双方仅共享加密的车辆位置数据，避免隐私泄露。四、综合题（每题15分，共30分）1.某电商公司需构建实时用户行为分析系统，要求处理每秒10万条的用户点击流数据（包含用户ID、商品ID、点击时间、页面来源），支持实时查询“最近1小时各商品的点击量”和“用户当天的点击路径”。请设计技术方案，包括：（1）数据采集、存储、计算、查询组件的选型及理由；（2）关键参数配置（如Kafka分区数、Flink窗口类型）；（3）性能优化措施（如并行度设置、状态管理）。答案：（1）组件选型：数据采集：使用Flume或KafkaConnect，将用户行为日志从应用服务器实时采集到Kafka（低延迟、高吞吐）。数据存储：实时计算结果存入ClickHouse（列式存储，支持高并发实时查询）；原始数据备份至对象存储（如OSS）用于离线分析。计算引擎：Flink1.18（支持事件时间、状态管理、精确一次处理）。查询服务：通过FlinkSQL将结果写入ClickHouse，或使用Flink的TableAPI直接暴露查询接口（需结合缓存如Redis优化热点查询）。（2）关键参数配置：Kafka：分区数设置为16（根据吞吐量10万条/秒，单分区吞吐量约5万条/秒，需2-4倍冗余），复制因子3（保证高可用）；主题保留策略为7天（兼顾历史数据回溯）。Flink：时间窗口选择事件时间+滑动窗口（窗口大小1小时，滑动间隔5分钟，平衡实时性与准确性）；水印延迟设置为30秒（允许最多30秒的乱序数据）；并行度设置为16（与Kafka分区数一致，避免Shuffle）。（3）性能优化：并行度调优：Flink算子并行度与Kafka分区数匹配（16），避免数据倾斜（通过重新分区或加盐Key分散流量）。状态管理：使用RocksDBStateBackend（处理大状态），配置增量检查点（减少Checkpoint时间）；对用户点击路径状态设置TTL（如24小时），自动清理过期数据。写入优化：ClickHouse采用批量写入（每1000条提交一次），使用异步IO连接器减少Flink等待时间；对“最近1小时点击量”结果表按商品ID分区，加速查询。2.某金融机构需对客户交易数据进行风险分析，数据包含：交易时间（timestamp）、交易金额（amount）、交易类型（type，如转账、消费）、客户ID（user_id）、设备IP（ip）。要求：（1）设计离线处理流程（基于Hadoop生态），计算“近30天每个客户的总交易金额”和“高频交易设备（同一设备当天交易超过50次）”；（2）设计实时处理流程（基于Flink），检测“同一客户10分钟内交易金额超过10万元”的异常行为；（3）说明数据质量保障措施（如缺失值处理、异常值检测）。答案：（1）离线处理流程：数据采集：通过Sqoop将关系型数据库（如MySQL）的交易日志导入HDFS，或通