2025年大数据工程师面试高频题解析

2025年大数据工程师面试高频题解析一、选择题（共5题，每题2分）题目1Hadoop生态系统中最核心的组件是什么？A.HiveB.HDFSC.YARND.MapReduce题目2以下哪种存储格式最适合SparkSQL处理？A.AvroB.JSONC.ParquetD.CSV题目3Kafka中，生产者发送消息的默认确认机制是？A.acks=0B.acks=1C.acks=allD.acks=auto题目4Spark中，以下哪个操作是并行的？A.reduceByKeyB.groupByKeyC.mapPartitionsD.sortBy题目5以下哪种技术最适合实时数据流处理？A.HadoopMapReduceB.SparkBatchC.KafkaStreamsD.Hive二、简答题（共5题，每题4分）题目1简述HDFS的NameNode和DataNode各自的功能。题目2解释SparkRDD的三大特性。题目3Kafka中如何解决消息重复问题？题目4SparkSQL中，DataFrame和DataSet的区别是什么？题目5如何优化Spark作业的内存使用？三、计算题（共3题，每题6分）题目1假设一个HDFS集群有100个DataNode，每个Node有200TB存储空间，集群总容量为20PB。如果数据存储时需要3副本，计算单条消息写入时，至少需要多少时间？（假设网络带宽为10Gbps）题目2一个Spark作业有1000个分区，每个分区的数据量为1GB。如果executor内存设置为4GB，堆外内存为2GB，计算处理每个分区的内存占用比例。题目3Kafka集群有3个broker，配置为ISR=2，acks=all。如果第一个broker宕机，生产者发送消息时需要等待多少个ACK？四、设计题（共2题，每题10分）题目1设计一个实时用户行为分析系统，要求支持每秒处理10万条日志，并输出Top10热门商品。题目2设计一个大数据ETL流程，输入是分散在1000个CSV文件中的销售数据，输出是按日期分区、压缩的Parquet文件。五、编码题（共2题，每题10分）题目1使用Scala编写Spark代码，实现以下功能：-读取Kafka中的JSON数据-过滤出用户活跃度>100的数据-按用户ID分组并计算平均活跃度-将结果存入HBasescala//示例代码框架，需补充完整valkafkaDF=//读取Kafka数据valfilteredDF=kafkaDF.filter(...)valresultDF=filteredDF.groupBy(...).agg(...)//存入HBase题目2使用Python编写Spark代码，实现以下功能：-读取MySQL中的订单数据-转换日期格式为yyyyMMdd-添加地区信息（根据订单ID查找地区表）-按地区和日期分组统计订单金额-输出为CSV文件python#示例代码框架，需补充完整df=spark.read.format("jdbc").option(...).load()df=df.withColumn("order_date",...)df=df.join(...)df.groupBy(...).agg(...).write.format("csv").save(...)答案部分选择题答案1.B(HDFS是Hadoop的核心组件，负责分布式存储)2.C(Parquet支持列式存储和压缩，最适合SparkSQL)3.C(acks=all需要所有broker确认，最可靠)4.C(mapPartitions操作在Partition级别并行执行)5.C(KafkaStreams专为流处理设计)简答题答案1.HDFSNameNode和DataNode功能：-NameNode：管理文件系统元数据（目录结构、块位置等），负责客户端对文件的访问调度-DataNode：存储实际数据块，执行数据块的创建、删除和复制等操作2.SparkRDD特性：-分区化（Partitioned）：数据按分区存储，支持并行处理-不可变性（Immutable）：创建后不可修改，保证数据一致性-可容错性（Fault-tolerant）：通过记录父RDD依赖关系实现自动重算3.Kafka消息重复解决方案：-设置acks=all：确保所有broker写入成功才返回-幂等生产者：让生产者记录发送状态，重复消息自动重发-去重逻辑：消费者端实现幂等存储或去重机制4.DataFrame与DataSet区别：-DataFrame：操作基于DataFrameAPI，性能优化但类型检查较弱-DataSet：操作基于DatasetAPI，提供强类型检查和编译时优化-性能：DataSet通常比DataFrame快15-30%（通过Tungsten引擎）5.Spark内存优化方法：-调整executor内存：增加堆外内存或减少数据序列化开销-使用DataFrame/Dataset：比RDD更高效-数据分区优化：避免数据倾斜-调整shuffle行为：减少shuffle数据量计算题答案1.HDFS写入时间计算：-总容量：20PB=20×1024TB=20×1024×1024GB-单副本需求：20×1024×1024GB/100=2048GB-每个DataNode写入：2048GB/200TB=10.24GB-网络写入速度：10Gbps≈1.25GB/s-最少写入时间：10.24GB/1.25GB/s≈8.19秒2.Spark内存占用计算：-分区数据：1GB-RDD数据：1GB×1.1=1.1GB（默认1.1倍）-处理数据：1.1GB/1000分区=1.1MB/partition-内存占用比例：1.1MB/4GB≈27.5%3.KafkaACK等待时间：-ISR=2：至少2个broker写入成功-ACK=all：需要所有ISR（3个broker）写入成功-等待时间：至少需要3个broker确认设计题答案1.实时用户行为分析系统设计：-数据采集：使用Kafka收集用户行为日志-处理层：-SparkStreaming或Flink处理实时数据-按用户ID和商品ID分组统计UV/UV-TopN计算使用BloomFilter优化-输出：-Redis缓存热点商品-Elasticsearch支持实时查询-每分钟更新一次Top10结果2.大数据ETL流程设计：-读取阶段：-使用SparkStructuredStreaming读取CSV文件-数据清洗：处理缺失值和异常值-添加分区字段：按日期分区-转换阶段：-数据类型转换：如将字符串日期转为Timestamp-关联操作：连接地区信息表-输出阶段：-使用Parquet格式压缩存储-HDFS分区写入：按日期分区-元数据存入Kudu方便查询编码题答案1.ScalaKafka处理代码：scalavalkafkaDF=spark.readStream.format("kafka").option("kafka.bootstrap.servers","broker1:9092,broker2:9092").option("subscribe","user_logs").load()valfilteredDF=kafkaDF.selectExpr("CAST(valueASSTRING)").select(fromJson($"value").as[UserLog]).filter($"active_count">100)valresultDF=filteredDF.groupBy("user_id").agg(avg("active_count").alias("avg_active"))//存入HBaseresultDF.writeStream.format("hbase").option("table","user_stats").option("zookeeper.quorum","zookeeper1,zookeeper2").start()2.PythonSpark订单处理代码：python#读取MySQL数据df=spark.read.format("jdbc").option("url","jdbc:mysql://...").option("table","...").load()#转换日期格式df=df.withColumn("order_date",to_date(col("order_date"),"yyyy-MM-dd"))#连接地区表region_df=spark.read.parquet("hdfs://region_data")df=df.join(region_df,"