2025年大数据工程师初级笔试重点突破

2025年大数据工程师初级笔试重点突破一、单选题（每题2分，共20题）1.下列哪个不是Hadoop的核心组件？A.HDFSB.MapReduceC.HiveD.YARN2.分布式文件系统HDFS的设计目标是？A.低延迟访问B.高吞吐量C.数据冗余D.以上都是3.MapReduce模型中，Map阶段的输出格式是？A.(Key,Value)对B.(Value,Value)对C.(Key,Key)对D.(None,None)对4.下列哪种数据仓库模型不属于星型模型？A.事实表B.维表C.聚合表D.源表5.下列哪种数据库不适合大数据场景？A.MySQLB.PostgreSQLC.MongoDBD.Redis6.Spark中，RDD的容错机制是基于？A.数据复制B.副本机制C.检查点D.以上都是7.下列哪个不是NoSQL数据库？A.RedisB.MongoDBC.OracleD.Cassandra8.Hive中，以下哪个函数用于计算字符串长度？A.LENGTHB.LENGTHBC.CHAR_LENGTHD.以上都是9.下列哪种数据压缩算法适合大数据场景？A.ZIPB.GZIPC.BZIP2D.以上都是10.分布式队列系统Kafka的主要用途是？A.日志收集B.消息传递C.数据存储D.以上都是二、多选题（每题3分，共10题）1.Hadoop生态系统包含哪些组件？A.HDFSB.MapReduceC.HiveD.YARNE.Zookeeper2.MapReduce的三个主要阶段是？A.MapB.ShuffleC.ReduceD.SortE.Cleanup3.数据仓库的特点包括？A.面向主题B.反映历史C.集中集成D.稳定变化E.实时更新4.NoSQL数据库的优点包括？A.高可扩展性B.高性能C.数据模型灵活D.支持复杂查询E.以上都是5.Spark的RDD操作包括？A.MapB.FilterC.ReduceByKeyD.SortByE.Cache6.HiveQL中，以下哪些是常用的数据类型？A.INTB.STRINGC.FLOATD.TIMESTAMPE.BLOB7.大数据处理的三个V包括？A.VolumeB.VelocityC.VarietyD.VeracityE.Value8.数据湖的特点包括？A.原始数据存储B.动态扩展C.灵活处理D.预定义模式E.以上都是9.分布式计算框架包括？A.HadoopB.SparkC.FlinkD.StormE.Kafka10.数据预处理技术包括？A.数据清洗B.数据集成C.数据变换D.数据规约E.以上都是三、判断题（每题1分，共10题）1.HDFS适合高延迟访问场景。（×）2.MapReduce的Map阶段可以并行执行。（√）3.数据仓库是面向主题的。（√）4.NoSQL数据库不支持事务。（√）5.Spark的RDD是不可变的。（√）6.HiveQL可以运行在Spark上。（√）7.数据湖是经过处理的数据存储。（×）8.分布式队列系统只能用于日志收集。（×）9.大数据处理的4V包括Volume、Velocity、Variety和Veracity。（√）10.数据预处理是数据分析的第一步。（√）四、简答题（每题5分，共5题）1.简述HDFS的写入流程。2.解释MapReduce的Shuffle阶段的作用。3.描述数据仓库与数据湖的区别。4.说明Spark的RDD的三个主要操作类型。5.列举三种常用的数据清洗技术。五、编程题（每题15分，共2题）1.编写HiveQL查询，统计每个用户的订单总金额，假设表名为`orders`，字段包括`user_id`、`order_id`和`amount`。2.编写SparkPython代码，读取一个RDD，过滤出所有长度大于5的字符串，并计算这些字符串的平均长度。答案一、单选题答案1.C2.B3.A4.D5.A6.D7.C8.D9.D10.D二、多选题答案1.A,B,C,D2.A,B,C3.A,B,C,D4.A,B,C5.A,B,C,D,E6.A,B,C,D,E7.A,B,C,D8.A,B,C9.A,B,C,D10.A,B,C,D,E三、判断题答案1.×2.√3.√4.√5.√6.√7.×8.×9.√10.√四、简答题答案1.HDFS的写入流程：-客户端向NameNode发送写请求。-NameNode分配一个DataNode作为第一个写入节点。-NameNode将数据块信息发送给客户端。-客户端将数据块写入第一个DataNode，同时复制到其他DataNode。2.MapReduce的Shuffle阶段的作用：-将Map阶段的输出结果按照Key进行排序。-将相同Key的Value集合发送给Reduce节点。3.数据仓库与数据湖的区别：-数据仓库：存储经过处理和整合的数据，面向主题，反映历史。-数据湖：存储原始数据，动态扩展，灵活处理。4.Spark的RDD的三个主要操作类型：-转换操作（Transformations）：如map、filter、reduceByKey。-行动操作（Actions）：如count、collect、saveAsTextFile。-控制操作（ControlOperations）：如cache、persist。5.三种常用的数据清洗技术：-数据清洗：处理缺失值、异常值。-数据集成：合并多个数据源。-数据变换：规范化数据格式。五、编程题答案1.HiveQL查询：sqlSELECTuser_id,SUM(amount)AStotal_amountFROMordersGROUPBYuser_id;2.SparkPython代码：pythonfrompysparkimportSparkContextsc=SparkContext("local","AverageLength")rdd=sc.parallelize(["hello","world","big","da