2025年大数据分析工程师技术操作考试试题及答案

2025年大数据分析工程师技术操作考试试题及答案一、单项选择题（每题2分，共20分）1.以下哪项不是Hadoop3.x版本引入的核心改进？A.HDFS纠删码支持B.YARN资源隔离增强C.MapReducev1架构保留D.多命名空间支持答案：C（Hadoop3.x已逐步淘汰MapReducev1，主推YARN+MapReducev2）2.关于SparkRDD的持久化操作，以下说法正确的是？A.persist()默认存储级别为MEMORY_ONLYB.cache()等同于persist(MEMORY_AND_DISK)C.持久化RDD时，分区数必须与原RDD一致D.持久化数据丢失后，只能通过Checkpoint恢复答案：A（cache()是persist(MEMORY_ONLY)的别名；持久化分区数可调整；数据丢失可通过血缘重新计算）3.在Hive中执行“SELECTCOUNT(DISTINCTuser_id)FROMlog_table”时，若数据量极大，最可能导致的问题是？A.内存溢出（OOM）B.HDFS块大小不匹配C.YARN队列资源不足D.元数据服务故障答案：A（COUNT(DISTINCT)在单Reducer中处理大量唯一值易导致内存压力）4.处理Kafka消费时，若消费者组中某消费者实例宕机，Kafka的重平衡机制会优先调整哪个资源？A.主题分区与消费者的映射关系B.消费者的心跳间隔C.Broker的消息保留策略D.生产者的ACK级别答案：A（重平衡核心是重新分配分区到存活的消费者实例）5.以下哪种场景最适合使用Flink的EventTime时间语义？A.实时计算每分钟的接口调用量（按服务器本地时间）B.分析用户点击事件的实际发生顺序（考虑网络延迟）C.统计当天所有订单的支付成功率（按系统处理时间）D.监控服务器CPU使用率的实时波动（按采集时间戳）答案：B（EventTime基于事件本身的时间戳，适用于需要处理乱序事件的场景）6.数据倾斜问题中，以下哪项不属于常见的诊断方法？A.查看任务日志中的Reducer处理时长B.统计Key的分布频率（如通过GROUPBYKEYCOUNT()）C.检查HDFS文件的压缩格式是否统一D.分析Shuffle阶段的网络流量分布答案：C（压缩格式与数据倾斜无直接关联）7.关于HBase的Region分裂策略，以下说法错误的是？A.自动分裂可配置为基于Region大小或Region数量B.手动分裂会导致短时间内服务不可用C.预分区可减少初始阶段的分裂次数D.分裂后的Region会被均衡到不同RegionServer答案：B（HBase的手动分裂通过API完成，不会导致服务中断）8.使用SparkMLlib训练逻辑回归模型时，若特征向量维度极高（>10万维），最有效的优化方法是？A.增加迭代次数B.使用L1正则化（Lasso）C.提高学习率D.关闭特征标准化答案：B（L1正则化可通过稀疏解自动筛选重要特征，降低维度影响）9.在数据可视化中，展示“2024年各季度不同产品销售额占比”的最佳图表类型是？A.折线图B.热力图C.饼图D.箱线图答案：C（饼图适合展示部分与整体的比例关系）10.以下哪项不属于数据质量的核心评估指标？A.完整性（Completeness）B.一致性（Consistency）C.时效性（Timeliness）D.多样性（Diversity）答案：D（数据质量通常包括完整性、准确性、一致性、时效性等）二、填空题（每题2分，共20分）1.HDFS默认块大小在Hadoop3.x中为______GB。（答案：128）2.SparkSQL中，用于将DataFrame注册为临时视图的方法是______。（答案：createOrReplaceTempView()）3.Hive的元数据默认存储在______数据库中（需填写具体数据库名称）。（答案：Derby）4.Flink中，用于处理乱序事件的时间窗口需要结合______机制。（答案：水印/Watermark）5.Kafka中，消费者通过______参数控制每次拉取的最大数据量。（答案：fetch.max.bytes）6.数据清洗中，处理缺失值的常用方法包括删除记录、填充默认值和______。（答案：插值法/模型预测）7.HBase中，RowKey的设计原则包括散列性、______和长度适宜性。（答案：有序性/前缀匹配）8.SparkRDD的转换操作中，______用于将多个RDD按元素位置合并（需填写具体算子）。（答案：zip()）9.实时数仓架构中，常见的分层设计包括ODS层、DWD层、DWS层和______层。（答案：ADS/应用层）10.机器学习特征工程中，对类别型特征进行编码的常用方法有独热编码（One-Hot）和______。（答案：标签编码/目标编码）三、简答题（每题8分，共40分）1.简述数据倾斜的产生原因及三种常见解决方法。答案：产生原因：数据集中某些Key的记录数远多于其他Key，导致Shuffle阶段某Reducer/Task处理数据量过大，出现性能瓶颈。解决方法：①预聚合：在Map阶段对高频Key进行局部聚合（如增加随机前缀），减少Shuffle数据量；②过滤异常值：识别并清洗掉导致倾斜的无效Key（如测试数据、重复记录）；③调整并行度：增加Reducer数量，分散数据处理压力；④使用两阶段聚合：先对Key分组聚合，再全局聚合（适用于COUNT、SUM等可合并的指标）。2.对比SparkRDD和DataFrame的优缺点，说明各自适用场景。答案：RDD优点：灵活性高，支持任意类型数据和复杂转换操作；基于血缘的容错机制更可靠；RDD缺点：缺乏结构化元数据，执行效率依赖开发者优化；API较为底层，代码量较大。DataFrame优点：引入结构化Schema，支持Catalyst优化器自动优化执行计划；支持类SQL操作，开发效率高；DataFrame缺点：处理非结构化数据（如嵌套对象）时灵活性不足；Schema约束可能导致数据处理错误。适用场景：RDD适用于需要细粒度控制数据处理逻辑的场景（如自定义序列化、复杂迭代算法）；DataFrame适用于结构化数据的快速分析（如报表提供、聚合统计）。3.描述Flink中Watermark的作用及提供策略，并说明如何处理延迟数据。答案：作用：Watermark是事件时间推进的标识，用于告知Flink当前事件时间已处理到某一时刻，后续晚于该时间的事件可视为延迟数据。提供策略：①周期性提供（Periodic）：按固定时间间隔（如每200ms）提供Watermark，计算当前最大事件时间减去延迟容忍值；②标点式提供（Punctuated）：在特定事件（如收到特殊标记）时提供Watermark。延迟数据处理方法：①允许一定延迟（设置window的allowedLateness）：延迟数据仍可触发窗口计算；②侧输出流（SideOutput）：将延迟数据输出到单独流，后续单独处理；③调整Watermark提供逻辑：增加延迟容忍值（如maxOutOfOrderness），避免过早关闭窗口。4.列举Hive的三种常见存储格式，并对比其压缩率、查询性能和适用场景。答案：①TextFile：默认格式，无压缩或支持Gzip/Bzip2；压缩率低（Gzip约3:1），查询需全表扫描，适用于小文件或临时数据；②Parquet：列式存储，支持Snappy/Gzip压缩；压缩率高（Snappy约2:1），支持谓词下推，适用于大表存储和复杂查询；③ORC：列式存储，压缩率高于Parquet（Snappy约3:1），支持索引和复杂类型，适用于Hive高频查询场景（如JOIN、聚合）。5.说明Kafka如何保证消息的可靠传输（需从生产者、Broker、消费者三端说明）。答案：生产者端：通过ACK机制（acks=1/0/all）控制确认级别，acks=all时需ISR中所有副本确认；Broker端：通过多副本机制（replication.factor≥3）和ISR（In-SyncReplicas）同步，确保消息持久化；消费者端：通过手动提交偏移量（mit=false+commitAsync()），避免消息重复或丢失；若消费者宕机，重平衡后新消费者从最后提交的偏移量继续消费。四、操作题（每题15分，共30分）1.现有某电商用户行为日志数据（存储于HDFS路径/user/hive/warehouse/log.db/user_behavior），数据格式为JSON，字段包括：user_id（字符串）、behavior_type（字符串，取值'click','buy','cart','fav'）、item_id（字符串）、event_time（长整型，UNIX时间戳）。要求使用HiveQL完成以下操作：（1）创建外部表user_behavior，分区字段为dt（日期，格式'yyyy-MM-dd'），存储格式为ORC，压缩编码为Snappy；（2）将HDFS数据加载到表中（假设数据按dt分区存储，路径为/user/hive/warehouse/log.db/user_behavior/dt=2024-10-01）；（3）统计2024-10-01当天各行为类型的用户数（去重）。答案：（1）创建表语句：CREATEEXTERNALTABLElog.user_behavior(user_idSTRING,behavior_typeSTRING,item_idSTRING,event_timeBIGINT)PARTITIONEDBY(dtSTRING)STOREDASORCTBLPROPERTIES('press'='SNAPPY');（2）加载数据（假设数据已按分区存储，直接修复分区）：MSCKREPAIRTABLElog.user_behavior;（3）统计用户数：SELECTbehavior_type,COUNT(DISTINCTuser_id)ASunique_usersFROMlog.user_behaviorWHEREdt='2024-10-01'GROUPBYbehavior_type;2.使用SparkScala编写代码，读取HDFS上的CSV文件（路径：hdfs://namenode:8020/data/sales.csv，列名为date,product,amount），完成以下任务：（1）过滤出amount>1000的记录；（2）按product分组，计算每组的总金额（sum_amount）和记录数（count）；（3）将结果保存到Hive表sales_summary（表结构：productSTRING,sum_amountDOUBLE,countINT），使用Overwrite模式。答案：importorg.apache.spark.sql.SparkSessionobjectSalesAnalysis{defmain(args:Array[String]):Unit={valspark=SparkSession.builder().appName("SalesSummary").enableHiveSupport().getOrCreate()importspark.implicits._//读取CSV文件valsalesDF=spark.read.option("header","true").option("inferSchema","true").csv("hdfs://namenode:8020/data/sales.csv")//过滤amount>1000valfilteredDF=salesDF.filter($"amount">1000)//分组聚合valsummaryDF=filteredDF.groupBy("product").agg(sum("amount").as("sum_amount"),count("").as("count"))//写入Hive表（Overwrite模式）summaryDF.write.mode("overwrite").saveAsTable("sales_summary")spark.stop()}}五、综合题（20分）某企业需构建实时用户行为分析系统，要求：数据源：手机APP埋点事件（JSON格式，包含user_id、event_type、page_id、timestamp）；需求：实时统计每5分钟内各页面（page_id）的UV（独立用户数）和PV（访问次数）；输出：结果存储到HBase（表名：page_stats，列族：cf，列：uv,pv，RowKey设计为page_id:window_start）；需考虑数据乱序（最大延迟5分钟）和系统容错。请设计技术方案，包括：（1）数据采集与传输组件选型及配置要点；（2）实时计算框架的选择及核心参数设置；（3）HBase表结构设计及数据写入逻辑；（4）容错机制的实现方式。答案：（1）数据采集与传输：①采集：使用Flume或KafkaProducerSDK直接从APP端发送事件到Kafka；②传输：Kafka作为消息中间件，主题（topic）配置：partition数=集群Broker数×2（保证并行度），replication.factor=3（高可用），linger.ms=100（批量发送优化），acks=all（确保消息不丢失）。（2）实时计算框架：选择ApacheFlink（支持事件时间、窗口操作和精确一次处理）；核心参数：时间语义：EventTime（基于事件中的timestamp字段）；Watermark提供：周期性提供（interval=200ms），maxOutOfOrderness=5分钟（允许最大延迟）；窗口类型：滑动窗口（TumblingWindow，5分钟窗口，无滑动）；状态后端：RocksDB（处理大状态数据），checkpoi