大数据分析工程师岗位招聘考试试卷及答案

大数据分析工程师岗位招聘考试试卷及答案试题部分一、填空题（共10题，每题1分）1.Hadoop中负责资源调度的核心组件是______。2.Spark的核心数据抽象且支持惰性求值的是______。3.数据仓库基础建模方式是______模型。4.Flink支持的窗口类型除滚动窗口外还有______窗口。5.SQL中统计记录行数的聚合函数是______。6.K-means算法属于机器学习中的______任务。7.Hive默认使用的元数据存储数据库是______。8.Redis的默认监听端口是______。9.数据挖掘中发现关联规则的经典算法是______。10.HDFS的默认数据副本数是______。二、单项选择题（共10题，每题2分）1.以下不属于Hadoop生态组件的是？A.HDFSB.YARNC.HiveD.MySQL2.Spark中，哪个操作会触发实际计算？A.mapB.filterC.reduceD.flatMap3.数据仓库与数据库的核心区别是？A.存储量更大B.面向主题C.实时更新D.结构更简单4.以下属于实时计算框架的是？A.HiveB.FlinkC.HBaseD.MapReduce5.SQL中连接两张表的关键字是？A.JOINB.UNIONC.INTERSECTD.EXCEPT6.线性回归属于机器学习的哪种任务？A.分类B.聚类C.回归D.降维7.HBase的存储结构是？A.行式B.列式C.文档式D.图形式8.Redis中适合实现计数器的是哪种数据结构？A.StringB.ListC.SetD.Hash9.Apriori算法用于发现什么？A.聚类B.关联规则C.分类D.回归10.以下属于分布式计算框架的是？A.MySQLB.MongoDBC.SparkD.Elasticsearch三、多项选择题（共10题，每题2分）1.Hadoop生态系统包含的组件有？A.HDFSB.YARNC.SparkD.HiveE.PostgreSQL2.Spark的核心特性包括？A.内存计算B.惰性求值C.实时流处理D.仅支持批处理E.多计算模型3.数据仓库的特点有？A.面向主题B.集成C.非易失D.实时更新E.面向应用4.实时计算框架包括？A.FlinkB.StormC.SparkStreamingD.HiveE.MapReduce5.SQL中的聚合函数有？A.SUMB.AVGC.GROUPBYD.COUNTE.WHERE6.机器学习任务类型包括？A.分类B.聚类C.回归D.降维E.异常检测7.HBase的特点有？A.列式存储B.高可靠性C.实时读写D.适合小文件E.仅支持批处理8.Redis支持的数据结构有？A.StringB.ListC.SetD.HashE.SortedSet9.数据挖掘常用算法有？A.AprioriB.K-meansC.SVMD.线性回归E.决策树10.分布式系统的特点包括？A.高可用性B.可扩展性C.容错性D.集中式管理E.低延迟四、判断题（共10题，每题2分）1.HDFS适合存储大量小文件。（）2.Spark的RDD是不可变的分布式数据集。（）3.数据仓库可以完全替代数据库。（）4.Flink支持精确一次语义（Exactly-Once）。（）5.SQL中JOIN操作必须指定ON连接条件。（）6.K-means算法需要预先指定聚类数K。（）7.Hive可直接查询HDFS上的存储数据。（）8.Redis是持久化的内存数据库。（）9.Apriori算法效率高于FP-growth算法。（）10.分布式系统比集中式系统更易实现高可用性。（）五、简答题（共4题，每题5分）1.简述Hadoop的HDFS和MapReduce的核心作用。2.Spark相比MapReduce的主要优势是什么？3.什么是数据仓库的星型模型？4.实时流计算的定义及常用框架有哪些？六、讨论题（共2题，每题5分）1.大数据分析中，如何平衡数据质量与分析效率？2.大数据分析工程师需具备哪些核心技能？答案部分一、填空题答案1.YARN2.RDD3.星型4.滑动5.COUNT()6.聚类7.Derby8.63799.Apriori10.3二、单项选择题答案1.D2.C3.B4.B5.A6.C7.B8.A9.B10.C三、多项选择题答案1.ABD2.ABCE3.ABC4.ABC5.ABD6.ABCDE7.ABC8.ABCDE9.ABCDE10.ABC四、判断题答案1.×2.√3.×4.√5.√6.√7.√8.√9.×10.√五、简答题答案1.HDFS作用：分布式文件系统，存储海量数据，主从架构（NameNode管理元数据、DataNode存储数据），适合大文件，高容错。MapReduce作用：分布式计算框架，拆分任务为Map（局部处理生成键值对）和Reduce（聚合相同键结果），实现并行计算。2.①内存计算：中间结果存内存，减少磁盘IO，速度提升10-100倍；②惰性求值：行动操作才执行，优化计划；③多模型支持：批处理、流处理、机器学习等；④RDD弹性：支持缓存、容错（血统恢复）；⑤更丰富的操作API。3.星型模型由中心事实表（存储度量数据+维度外键）和外围维度表（存储维度属性，如时间、产品）组成，维度表主键关联事实表外键，结构简单，减少连接，提升OLAP查询效率。4.定义：对连续数据流实时处理，数据产生后立即计算（低延迟）。常用框架：Flink（精确一次语义）、SparkStreaming（微批处理）、Storm（纯实时）、KafkaStreams（轻量集成Kafka）。六、讨论题答案1.①采集阶段：轻量校验（完整性、一致性），避免过度影响速度；②预处理：分布式工具（Spark）并行清洗，平衡效率与质量；③建模：先轻量模型（逻辑回归）验证，再优化复杂模型；④监控：实时监控数据质量指标（缺失率、异常值），及时调整规则；⑤资源分配：按需求分配计算资源，兼顾速度与质量检查。2.①技术技能：分布式框架（Hadoop/Spark）、数据库