大数据分析工程师考试试卷及答案

大数据分析工程师考试试卷及答案试题部分一、填空题（共10题，每题1分）1.Hadoop生态中负责分布式存储的核心组件是______。2.Spark的核心数据抽象是______。3.无监督学习算法K-means的核心目标是最小化______。4.流处理框架Flink的核心特性是______。5.HBase是一种______型NoSQL数据库。6.SparkSQL中加载JSON数据的函数是______。7.数据仓库的核心设计方法是______。8.Kafka中存储消息的基本单元是______。9.机器学习中用于回归任务的经典算法是______。10.HDFS默认的文件块大小是______MB。二、单项选择题（共10题，每题2分）1.以下属于Hadoop核心组件的是？A.MySQLB.HDFSC.RedisD.Elasticsearch2.Spark中属于转换操作的是？A.count()B.collect()C.map()D.first()3.用于数据仓库查询分析的工具是？A.HiveB.KafkaC.ZookeeperD.Flume4.K-means算法的初始聚类中心会影响？A.聚类结果B.数据规模C.输入类型D.存储成本5.以下属于NoSQL数据库的是？A.PostgreSQLB.MongoDBC.OracleD.SQLServer6.Spark“懒加载”指的是？A.数据加载缓慢B.转换操作延迟执行C.缓存失效D.任务重试7.流处理框架不包括？A.FlinkB.SparkStreamingC.StormD.MapReduce8.数据仓库中存储维度属性的是？A.事实表B.维度表C.日志表D.临时表9.Kafka中Topic的作用是？A.消息主题B.元数据存储C.消费者管理D.集群监控10.强化学习的核心是？A.标签训练B.无标签聚类C.奖励机制学习D.半监督学习三、多项选择题（共10题，每题2分）1.Hadoop生态核心组件包括？A.HDFSB.MapReduceC.YARND.Spark2.Spark的核心组件有？A.SparkCoreB.SparkSQLC.SparkStreamingD.MLlib3.属于NoSQL数据库的是？A.MongoDBB.CassandraC.RedisD.MySQL4.数据治理包含的内容有？A.数据质量B.数据安全C.元数据管理D.生命周期管理5.K-means算法的步骤包括？A.选初始中心B.样本分配C.更新中心D.迭代收敛6.流处理框架有？A.FlinkB.SparkStreamingC.StormD.MapReduce7.Hive支持的文件格式有？A.TextFileB.ParquetC.ORCD.CSV8.机器学习分类包括？A.监督学习B.无监督学习C.强化学习D.半监督学习9.Kafka核心概念包括？A.TopicB.PartitionC.ProducerD.Consumer10.数据仓库设计方法有？A.维度建模B.关系建模C.面向对象建模D.事件建模四、判断题（共10题，每题2分）1.HDFS适合存储小文件。（）2.SparkRDD是不可变的。（）3.K-means可高效处理高维数据。（）4.Flink仅支持流处理。（）5.Hive是数据库而非数据仓库工具。（）6.大部分NoSQL数据库支持ACID事务。（）7.Spark懒加载可提升计算效率。（）8.事实表包含维度键和度量值。（）9.KafkaPartition是不可分割的消息单元。（）10.数据仓库关注历史数据而非当前数据。（）五、简答题（共4题，每题5分）1.简述HDFS的主要特点。2.对比Spark与MapReduce的核心差异。3.数据仓库与数据库的区别是什么？4.K-means算法的基本原理是什么？六、讨论题（共2题，每题5分）1.大数据分析中，流处理与批处理的适用场景及选择依据是什么？2.大数据治理中数据质量的重要性及提升方法有哪些？---答案部分一、填空题答案1.HDFS2.RDD（弹性分布式数据集）3.簇内平方和（SSE）4.流批一体5.列族6.from_json7.维度建模8.Partition（分区）9.线性回归10.128二、单项选择题答案1.B2.C3.A4.A5.B6.B7.D8.B9.A10.C三、多项选择题答案1.ABC2.ABCD3.ABC4.ABCD5.ABCD6.ABC7.ABCD8.ABCD9.ABCD10.AB四、判断题答案1.×2.√3.×4.×5.×6.×7.√8.√9.√10.√五、简答题答案1.HDFS主要特点：分布式存储（大文件分块存集群）、高容错（块3副本）、流式访问（适合批处理）、廉价硬件、适合大文件（小文件效率低）、主从架构（NameNode管元数据，DataNode存数据）。2.Spark与MapReduce差异：-计算模型：Spark是DAG调度，MapReduce是分阶段（Map→Shuffle→Reduce）；-性能：Spark中间结果存内存，MapReduce写磁盘，Spark速度快10-100倍；-适用场景：Spark适合迭代/流处理/机器学习，MapReduce适合简单批处理。3.数据仓库vs数据库：-用途：数据库（OLTP，事务处理），数据仓库（OLAP，分析决策）；-数据：数据库（小数据，实时更新），数据仓库（大数据，批量加载）；-结构：数据库（规范化），数据仓库（维度/星型）。4.K-means原理：1.随机选K个初始中心；2.样本分配到最近簇；3.重新计算簇均值（新中心）；4.迭代直到中心稳定；5.目标是最小化簇内平方和（SSE）。六、讨论题答案1.流处理vs批处理：-适用场景：流处理（实时监控、低延迟报表）；批处理（历史分析、大规模统计）；-选择依据：延迟要求（实时选流，离线选批）、数据规模（超大离线选批，持续小流量选流）、计算复杂度