2025年大数据系统笔试重点题及答案

2025年大数据系统笔试重点题及答案一、选择题（每题2分，共20题）1.在Hadoop生态系统中，HDFS的全称是什么？A.HadoopDistributedFileSystemB.HyperDataFileSystemC.High-PerformanceDataStorageD.HierarchicalDataStorage2.以下哪种数据库最适合处理大规模数据集？A.关系型数据库MySQLB.NoSQL数据库CassandraC.SQLServerD.MongoDB3.MapReduce模型中，Map阶段的输出是什么？A.单个键值对B.多个键值对C.文件D.哈希表4.在Spark中，RDD的持久化级别有哪些？A.MemoryOnlyB.DiskOnlyC.MemoryAndDiskD.以上都是5.以下哪种技术可以用于实时数据流处理？A.HadoopMapReduceB.ApacheStormC.HiveD.HBase6.Hive中，以下哪种文件格式支持列式存储？A.TextFileB.ORCC.AvroD.Parquet7.在Kafka中，分区的作用是什么？A.提高吞吐量B.实现数据备份C.限制并发D.以上都是8.以下哪种数据仓库模型是星型模型？A.SnowflakeB.GalaxyC.StarD.Fact9.在机器学习中的特征工程，以下哪种方法是常用的？A.数据清洗B.特征选择C.数据标准化D.以上都是10.以下哪种算法是分类算法？A.线性回归B.决策树C.K-MeansD.PCA二、填空题（每空1分，共10空）1.Hadoop的核心组件包括________、________和________。2.Spark的RDD是________的，这意味着它们可以________。3.Kafka的消费者组可以确保________。4.Hive中的元数据存储在________中。5.数据湖的架构主要包含________和________。6.机器学习中的过拟合现象可以通过________来缓解。7.数据挖掘的常用方法包括________、________和________。8.在数据仓库中，________是事实表。9.数据清洗的常见问题包括________、________和________。10.时间序列分析中的常用模型有________和________。三、简答题（每题5分，共5题）1.简述HDFS的写入流程。2.解释Spark中的广播变量是什么及其用途。3.描述Kafka如何实现数据持久化。4.解释数据仓库与数据湖的区别。5.简述特征工程的步骤。四、计算题（每题10分，共2题）1.假设有1000万条数据，每条数据包含10个字段。使用HadoopMapReduce进行排序，假设每个Map任务处理100万条数据，每个Reduce任务处理100条键值对。计算总的Map任务数和Reduce任务数。2.假设有一个数据流，每秒有1000条记录。使用ApacheStorm处理这个数据流，假设有3个并行度为2的Spout和4个并行度为3的Bolt。计算每秒处理的记录数。五、论述题（每题15分，共2题）1.论述HadoopMapReduce的优缺点。2.论述Spark与HadoopMapReduce的对比。答案一、选择题1.A2.B3.B4.D5.B6.B7.D8.C9.D10.B二、填空题1.HDFS、YARN、MapReduce2.弹性的、不可变的3.严格的消息传递4.HiveMetastore5.数据存储、数据处理6.正则化7.关联分析、聚类分析、分类分析8.事实表9.缺失值、异常值、重复值10.ARIMA、指数平滑三、简答题1.HDFS的写入流程：-客户端向NameNode请求写入文件。-NameNode分配一个DataNode作为主副本，并选择其他DataNode作为备份副本。-客户端向主副本DataNode发送数据块。-主副本DataNode将数据块写入磁盘，并通知备份副本DataNode同步数据块。-写入完成后，客户端通知NameNode。2.Spark中的广播变量是只读变量，可以在所有节点间高效传递。广播变量的用途是减少网络传输开销，当同一个大变量需要在多个节点间共享时，使用广播变量可以避免重复传输。3.Kafka通过以下方式实现数据持久化：-数据在写入时会被写入到日志中，日志会以追加方式写入。-每个分区都有Leader和Follower副本，Leader负责处理写请求，Follower从Leader处同步数据。-数据在写入后会被持久化到磁盘，即使Broker宕机，数据也不会丢失。4.数据仓库与数据湖的区别：-数据仓库是结构化的数据存储，用于分析决策，数据经过清洗和处理。-数据湖是非结构化或半结构化数据的存储，数据直接存储，未经过处理。5.特征工程的步骤：-数据清洗：处理缺失值、异常值、重复值。-特征选择：选择重要特征，去除冗余特征。-特征转换：对特征进行标准化、归一化等操作。-特征构造：创建新的特征，提高模型性能。四、计算题1.总的Map任务数：1000万/100万=10个总的Reduce任务数：1000万/100=100个2.每秒处理的记录数：-Spout每秒产生记录数：1000条-Spout并行度：3个-每秒总记录数：1000*3=3000条-Bolt并行度：4个-每秒总记录数：3000*4=12000条五、论述题1.HadoopMapReduce的优缺点：-优点：-可扩展性强：可以处理大规模数据集。-容错性高：数据在多个节点上备份，即使部分节点宕机，数据处理仍然继续。-成本低：使用廉价的商用硬件。-缺点：-处理延迟高：适合批处理，不适用于实时数据处理。-内存使用率高：需要大量内存来存储中间数据。-配置复杂：需要手动配置集群参数。2.Spark与HadoopMapReduce的对比：-性能：Spark使用内存计算，比MapReduc