2025年大数据开发工程师招聘笔试题与参考答案(某大型国企)

2025年大数据开发工程师招聘笔试题与参考答案(某大型国企)一、基础理论题（共30分）1.选择题（每题2分，共10分）（1）HadoopHDFS中，NameNode元数据存储的核心机制是：A.内存存储+FsImage+EditLogB.仅内存存储C.磁盘存储+CheckpointD.内存存储+ZooKeeper同步（2）关于SparkRDD的持久化级别，以下哪项组合同时支持快速恢复且存储成本较低？A.MEMORY_ONLYB.MEMORY_AND_DISK_SERC.DISK_ONLYD.MEMORY_ONLY_SER（3）Flink中处理事件时间（EventTime）时，水印（Watermark）的主要作用是：A.控制数据的分发逻辑B.标记未到达数据的最大延迟时间C.触发窗口计算并清理过期状态D.优化任务并行度（4）Hive中执行`SELECTCOUNT()FROMtable`时，若表存储格式为ORC且开启了`hive.optimize.countdistinct`，以下说法正确的是：A.会触发全表扫描，无优化B.通过ORC的行索引快速统计行数C.转换为MapReduce任务，仅Map阶段输出结果D.利用Hive元数据中的行数统计值直接返回（5）Kafka中，消费者组（ConsumerGroup）的分区分配策略（PartitionAssignmentStrategy）不包括：A.RangeB.RoundRobinC.StickyD.Random2.填空题（每空1分，共10分）（1）HBase的RegionServer负责管理多个Region，其底层数据存储在________中，MemStore的刷写触发条件包括内存阈值（默认________%）、全局MemStore大小限制、手动触发等。（2）Flink的状态后端（StateBackend）支持三种类型：________、________、________，其中________适合大规模状态场景（如TB级）。（3）数据仓库建模中，________模型以业务过程为核心，关注原子数据的存储；________模型以分析主题为核心，关注数据的聚合与查询效率。（4）在分布式系统中，CAP理论指的是________、________、________三者不可兼得，HBase优先保证________。3.简答题（每题5分，共10分）（1）简述HiveSQL中“谓词下推（PredicatePushdown）”的优化原理及对性能的影响。（2）对比说明SparkShuffle的两种实现方式（HashShuffle与SortShuffle）的适用场景及优缺点。二、技术实践题（共40分）1.HiveSQL优化（10分）某电商企业有一张订单明细表`ods_order_detail`，存储格式为Parquet，分区字段为`dt`（日期），包含字段：`order_id`（订单ID）、`user_id`（用户ID）、`goods_id`（商品ID）、`amount`（金额）、`create_time`（下单时间，格式`yyyy-MM-ddHH:mm:ss`）。现需计算“2024年10月每个用户的订单总金额，且仅保留下单时间在每天8:00-22:00的订单”，原始SQL如下：```sqlSELECTuser_id,SUM(amount)AStotal_amountFROMods_order_detailWHEREdtBETWEEN'2024-10-01'AND'2024-10-31'ANDcreate_time>='2024-10-0108:00:00'ANDcreate_time<='2024-10-3122:00:00'GROUPBYuser_id;```请指出原始SQL的潜在性能问题，并给出优化后的SQL及优化点说明。2.Spark编程（15分）某日志文件`user_behavior.log`每行格式为：`user_id|action|timestamp`（如`1001|click|172800000`，timestamp为毫秒级时间戳）。要求使用SparkScalaAPI完成以下任务：（1）统计每个用户当天（按自然日，如timestamp对应日期为2024-10-01）的点击（action='click'）次数；（2）过滤出当天点击次数超过100次的“异常用户”；（3）将结果按用户ID升序排序，输出为CSV格式（列名：user_id,click_count）。请写出完整的Spark代码（需包含必要的配置、数据读取、处理逻辑及输出）。3.Flink流处理（15分）某物联网场景中，传感器实时发送数据至Kafka主题`sensor_data`，消息格式为JSON：`{"sensor_id":"s001","value":25.5,"timestamp":172800000}`（timestamp为事件时间）。要求使用Flink构建实时处理任务，实现以下需求：（1）过滤掉`value`小于0或大于100的无效数据；（2）按`sensor_id`分组，每5分钟（滚动窗口）计算一次平均值；（3）处理可能的迟到数据（假设最大延迟为30秒），要求不丢失有效数据；（4）将结果写入HBase表`sensor_avg`（列族`cf`，列`avg_value`，行键为`sensor_id_窗口结束时间`）。请写出关键代码逻辑（包括数据源、数据清洗、窗口计算、迟到数据处理、结果输出）。三、综合应用题（共20分）某大型国企计划构建企业级实时数据仓库，目标是支撑营销分析（如用户画像、活动效果）、生产监控（如设备运行状态）、风险预警（如异常交易）等场景。要求设计整体架构，并回答以下问题：（1）画出架构拓扑图（文字描述关键组件即可），并说明各层（数据采集层、存储层、计算层、服务层）的核心组件及选择依据；（2）针对生产监控场景（需秒级响应），说明实时数仓与传统离线数仓的差异，以及如何保证数据一致性和系统高可用；（3）国企对数据安全要求严格，需在架构中设计哪些数据治理措施？四、开放题（共10分）随着AI大模型与大数据技术的融合，越来越多的企业开始构建“实时特征平台”，用于为推荐系统、风控模型等提供实时特征。请结合你的理解，谈谈：（1）实时特征平台的核心技术挑战（至少3点）；（2）大数据开发工程师在其中的角色与能力要求。参考答案一、基础理论题1.选择题答案：（1）A；（2）B；（3）C；（4）D；（5）D2.填空题答案：（1）HFile；90（2）MemoryStateBackend；FsStateBackend；RocksDBStateBackend；RocksDBStateBackend（3）范式（第三范式）；维度（4）一致性（Consistency）；可用性（Availability）；分区容错性（PartitionTolerance）；AP（可用性与分区容错性）3.简答题答案：（1）谓词下推是将SQL中的过滤条件（如WHERE子句）尽可能提前到数据读取阶段执行的优化策略。Hive在处理MR任务时，若未开启谓词下推，需将全量数据加载到Map端后再过滤；开启后，底层存储（如HDFS、HBase）可在扫描数据时直接过滤不符合条件的记录，减少Map端数据量，降低网络传输和计算开销。对ORC/Parquet等列式存储，谓词下推还可利用列索引和页级统计信息（如min/max）跳过无关数据块，进一步提升性能。（2）HashShuffle在早期版本中使用，每个Map任务为每个Reduce任务生成一个Shuffle文件，当并行度高时（如1000个Reduce），会产生大量小文件（Map数×Reduce数），导致磁盘I/O和内存压力大。SortShuffle优化后，每个Map任务生成一个或多个合并的Shuffle文件，通过排序减少文件数量；当Reduce数较小时（默认≤200），使用Bypass机制直接写文件（不排序），降低CPU开销。因此，HashShuffle适用于小数据量、低并行度场景；SortShuffle适用于大数据量、高并行度场景，是生产环境的默认选择。二、技术实践题1.HiveSQL优化答案：潜在问题：-`create_time`的过滤条件跨分区（`dt`为日期分区，但`create_time`可能包含其他日期的时间），导致需扫描10月所有分区的全量数据，无法利用分区裁剪；-`create_time`的范围条件涉及字符串比较，未转换为时间戳或日期函数，可能影响索引（如Parquet的列统计）的使用效率。优化后SQL：```sqlSELECTuser_id,SUM(amount)AStotal_amountFROMods_order_detailWHEREdtBETWEEN'2024-10-01'AND'2024-10-31'--分区裁剪ANDfrom_unixtime(unix_timestamp(create_time),'HH:mm:ss')BETWEEN'08:00:00'AND'22:00:00'--时间范围过滤GROUPBYuser_id;```优化点说明：-保留`dt`分区过滤，仅扫描10月分区数据，减少IO；-使用`from_unixtime`和`unix_timestamp`将`create_time`转换为时间格式，利用Hive对时间函数的优化（如谓词下推到文件扫描阶段），避免全字段扫描；-若表已建立Hive索引（如Bitmap索引）或Parquet的列级统计（存储了每列的min/max时间），可进一步跳过不满足时间条件的数据页。2.Spark编程答案（Scala）：```scalaimportorg.apache.spark.sql.{SparkSession,DataFrame}importorg.apache.spark.sql.functions._objectUserClickAnalysis{defmain(args:Array[String]):Unit={valspark=SparkSession.builder().appName("UserClickAnalysis").master("yarn")//生产环境提交到YARN.config("spark.sql.shuffle.partitions",200)//调整Shuffle分区数.getOrCreate()importspark.implicits._//读取日志文件，指定分隔符valrawData=spark.read.option("sep","\\|").csv("hdfs://nameservice1/user/behavior/user_behavior.log").toDF("user_id","action","timestamp")//步骤1：过滤点击事件，并转换时间戳为日期valclickData=rawData.filter($"action"==="click").withColumn("timestamp_ms",$"timestamp".cast("long"))//转换为长整型时间戳.withColumn("date",to_date(from_unixtime($"timestamp_ms"/1000)))//转换为日期（yyyy-MM-dd）//步骤2：按用户和日期分组统计点击次数valdailyClickCount=clickData.groupBy($"user_id",$"date").agg(count("").as("click_count"))//步骤3：过滤当天点击超过100次的用户（假设处理当天数据，可根据需求调整日期条件）valcurrentDate="2024-10-01"//或动态获取系统日期valabnormalUsers=dailyClickCount.filter($"date"===currentDate&&$"click_count">100).select($"user_id",$"click_count")//步骤4：按用户ID升序排序并输出为CSVabnormalUsers.orderBy($"user_id".asc).write.option("header","true")//包含列名.mode("overwrite")//覆盖输出.csv("hdfs://nameservice1/user/behavior/abnormal_users")spark.stop()}}```3.Flink流处理答案（关键代码）：```javaimportmon.eventtime.;importmon.functions.MapFunction;importorg.apache.flink.connector.hbase.sink.HBaseSink;importorg.apache.flink.connector.kafka.source.KafkaSource;importorg.apache.flink.connector.kafka.source.enumerator.initializer.OffsetsInitializer;importorg.apache.flink.streaming.api.datastream.DataStream;importorg.apache.flink.streaming.api.environment.StreamExecutionEnvironment;importorg.apache.flink.streaming.api.windowing.assigners.TumblingEventTimeWindows;importorg.apache.flink.streaming.api.windowing.time.Time;importorg.apache.hadoop.hbase.client.Put;importorg.apache.hadoop.hbase.util.Bytes;importcom.alibaba.fastjson.JSONObject;publicclassSensorDataProcessing{publicstaticvoidmain(String[]args)throwsException{StreamExecutionEnvironmentenv=StreamExecutionEnvironment.getExecutionEnvironment();env.setParallelism(4);//根据Kafka分区数调整并行度//1.读取Kafka数据KafkaSource<String>kafkaSource=KafkaSource.<String>builder().setBootstrapServers("kafka01:9092,kafka02:9092").setTopics("sensor_data").setGroupId("sensor-group").setStartingOffsets(OffsetsInitializer.latest()).setValueOnlyDeserializer(newSimpleStringSchema()).build();DataStream<String>rawStream=env.fromSource(kafkaSource,WatermarkStrategy.noWatermarks(),"KafkaSource");//2.数据清洗（过滤无效value）DataStream<JSONObject>validStream=rawStream.map((MapFunction<String,JSONObject>)jsonStr->{JSONObjectdata=JSONObject.parseObject(jsonStr);doublevalue=data.getDoubleValue("value");if(value<0||value>100){thrownewRuntimeException("Invalidvalue");//或输出到侧输出流}returndata;}).name("FilterInvalidData").uid("filter-invalid");//3.定义事件时间与水印（处理30秒延迟）WatermarkStrategy<JSONObject>watermarkStrategy=WatermarkStrategy.<JSONObject>forBoundedOutOfOrderness(Duration.ofSeconds(30)).withTimestampAssigner((event,timestamp)->event.getLong("timestamp"));DataStream<JSONObject>eventTimeStream=validStream.assignTimestampsAndWatermarks(watermarkStrategy);//4.窗口计算（5分钟滚动窗口）DataStream<JSONObject>avgStream=eventTimeStream.keyBy(data->data.getString("sensor_id")).window(TumblingEventTimeWindows.of(Time.minutes(5))).aggregate(newAverageAggregate());//自定义聚合函数计算平均值//5.写入HBaseHBaseSink<JSONObject>hbaseSink=newHBaseSink<>("sensor_avg",//表名(in,context,collector)->{StringsensorId=in.getString("sensor_id");longwindowEnd=in.getLong("window_end");//窗口结束时间需在聚合函数中传递Putput=newPut(Bytes.toBytes(sensorId+"_"+windowEnd));put.addColumn(Bytes.toBytes("cf"),Bytes.toBytes("avg_value"),Bytes.toBytes(in.getDouble("avg_value")));collector.collect(put);});avgStream.sinkTo(hbaseSink).name("HBaseSink").uid("hbase-sink");env.execute("SensorReal-timeAnalysis");}//自定义聚合函数计算平均值publicstaticclassAverageAggregateimplementsAggregateFunction<JSONObject,Tuple2<Double,Integer>,JSONObject>{@OverridepublicTuple2<Double,Integer>createAccumulator(){returnTuple2.of(0.0,0);}@OverridepublicTuple2<Double,Integer>add(JSONObjectvalue,Tuple2<Double,Integer>accumulator){returnTuple2.of(accumulator.f0+value.getDouble("value"),accumulator.f1+1);}@OverridepublicJSONObjectgetResult(Tuple2<Double,Integer>accumulator){JSONObjectresult=newJSONObject();result.put("avg_value",accumulator.f0/accumulator.f1);result.put("window_end",...);//需从窗口上下文中获取结束时间returnresult;}@OverridepublicTuple2<Double,Integer>merge(Tuple2<Double,Integer>a,Tuple2<Double,Integer>b){returnTuple2.of(a.f0+b.f0,a.f1+b.f1);}}}```三、综合应用题（1）架构拓扑及核心组件：-数据采集层：使用Flume（日志类数据）、Canal（数据库增量）、KafkaConnect（业务库CDC）采集多源数据（业务系统DB、IoT传感器、日志文件），通过Kafka（高吞吐、低延迟）作为实时数据总线缓冲。选择依据：支持多种数据源接入，Kafka的消息持久化和分区机制保障数据不丢失。-存储层：-实时存储：Hudi（支持ACID、增量查询）或DeltaLake（云原生场景）存储实时增量数据；-离线存储：HDFS（海量数据存储）+Hive（元数据管理）存储历史全量数据；-高并发查询：ClickHouse（实时聚合查询）、ES（全文检索）、HBase（高频点查）。选择依据：分层存储满足不同场景（实时、离线、查询）的性能与成本需求。-计算层：-实时计算：Flink（低延迟、精确一次）处理秒级实时需求（如生产监控）；-离线计算：Spark（批处理）+Hive（SQL化）处理T+1级分析（如用户画像）；-流批一体：通过Flink的BatchAPI或统一状态管理实现流批逻辑复用。选择依据：Flink的事件时间处理和状态管理能力适合实时场景，Spark的生态成熟度适合离线大规模计算。-服务层：数据API网关（封装查询接口）、元数据管理平台（Atlas）、数据质量监控（ApacheGriffin）。选择依据：API网关保障数据服务的安全性和稳定性，元数据平台提升数据可管理性。（2）实时数仓与传统离线数仓的差异：-数据时效性：实时数仓支持秒级~分钟级数据更新（如设备状态5秒刷新），离线数仓通常T+1；-计算模型：实时数仓使用流计算（Flink）或流批一体（Flink+Spark），离线数仓依赖批处理（Hive/Spark）；-存储结构：实时数仓采用“明细层（DWD）+实时汇总层（DWS）”，支持增量更新；离线数仓以全量表或分区表为主。保证数据一致性措施：-事务支持：使用Hudi/DeltaLake的ACID特性，确保写入的原子性；-水印对齐：Flink任务中对多流JOIN场景使用水印对齐，避免数据丢失或重复；-幂等写入：结果写入数据库时使用唯一键（如`sensor_id_时间戳`）实现幂等。高可用设计：-Flink开启Checkpoint（每5分钟），状态存储至HDFS；-Kafka设置多副本（副本数≥3），分区跨机架分布；-HBaseRegionServer配置ZooKeeper选举，自动故障转移。（3）数据治理措施：-元数据管理：通过