云南省2025大数据公司秋招统招笔试题及答案大全

云南省2025大数据公司秋招统招笔试题及答案大全

一、单项选择题（总共10题，每题2分）1.以下哪个组件是Hadoop分布式文件系统（HDFS）的主节点？A.DataNodeB.NameNodeC.SecondaryNameNodeD.ResourceManager2.Spark中RDD（弹性分布式数据集）的核心特性不包括？A.不可变B.可分区C.自动持久化D.容错性3.数据仓库（DataWarehouse）的核心特征是？A.实时性高B.支持事务操作C.面向主题D.数据结构动态变化4.SQL语句中，用于计算某列平均值的函数是？A.COUNT()B.SUM()C.AVG()D.MAX()5.以下哪种NoSQL数据库适合存储半结构化的日志数据？A.Redis（键值存储）B.HBase（列存储）C.MongoDB（文档存储）D.Neo4j（图存储）6.数据清洗中处理缺失值的常用方法不包括？A.删除缺失值所在行B.用均值填充C.用随机数填充D.回归预测填充7.以下属于监督学习算法的是？A.K-means聚类B.决策树分类C.主成分分析（PCA）D.关联规则挖掘8.分布式系统中，CAP定理指的是？A.一致性、可用性、分区容错性B.一致性、准确性、性能C.完整性、可用性、可靠性D.并发、原子性、持久性9.以下工具中，主要用于数据可视化的是？A.HiveB.TableauC.FlinkD.Kafka10.数据安全中，“脱敏处理”的主要目的是？A.提升数据存储效率B.保护敏感信息C.加速数据计算D.减少数据冗余二、填空题（总共10题，每题2分）1.Hadoop生态中，负责资源管理和任务调度的组件是________。2.Spark的两种主要部署模式是Standalone和________（填常见集群管理框架）。3.关系型数据库中，唯一标识一条记录的字段或字段组合称为________。4.Kafka的核心概念包括生产者、消费者和________（存储数据的逻辑单元）。5.数据挖掘的常见任务包括分类、聚类和________（列举一种）。6.数据湖（DataLake）通常采用________存储格式（如Parquet、ORC等）。7.分布式计算中，“最终一致性”属于________模型（填“强一致性”或“弱一致性”）。8.机器学习中，回归任务常用的损失函数是________（列举一种）。9.ETL过程的三个步骤是抽取（Extract）、________（Transform）和加载（Load）。10.数据可视化的基本原则包括清晰性、准确性和________（列举一种）。三、判断题（总共10题，每题2分）1.HBase是一种基于列存储的NoSQL数据库。（）2.SparkStreaming的处理方式是基于微批处理（Micro-Batch）。（）3.数据仓库主要用于支持OLTP（在线事务处理）。（）4.K-means算法属于监督学习。（）5.Parquet是一种行存储格式的文件。（）6.在CAP定理中，AP系统（可用性优先）通常牺牲部分一致性。（）7.数据清洗仅需处理缺失值问题。（）8.随机森林（RandomForest）是一种集成学习算法。（）9.Redis适合存储大规模结构化表格数据。（）10.数据可视化的核心目标是追求视觉美观。（）四、简答题（总共4题，每题5分）1.简述Hadoop生态中HDFS与HBase的主要区别。2.说明SparkRDD的五大特性。3.数据仓库（DataWarehouse）与数据湖（DataLake）的核心差异是什么？4.机器学习中，过拟合（Overfitting）的常见解决方法有哪些？五、讨论题（总共4题，每题5分）1.大数据项目中，数据质量的关键影响因素有哪些？如何提升数据质量？2.分布式系统设计中，一致性（Consistency）与可用性（Availability）的权衡通常如何体现？举例说明。3.结合实际场景，说明数据挖掘在精准营销中的应用流程。4.对比实时数据处理（如Flink）与离线数据处理（如Hadoop）的适用场景。答案及解析一、单项选择题1.B（HDFS主节点是NameNode，管理文件元数据）2.C（RDD不自动持久化，需手动调用persist()或cache()）3.C（数据仓库面向主题，支持分析而非事务）4.C（AVG()计算平均值）5.C（MongoDB适合半结构化文档数据）6.C（随机数填充可能破坏数据分布，非常用方法）7.B（决策树是监督学习，需标签训练）8.A（CAP定理指一致性、可用性、分区容错性）9.B（Tableau是专业可视化工具）10.B（脱敏处理用于保护敏感信息如身份证号）二、填空题1.YARN（或ResourceManager）2.YARN（或Mesos）3.主键（PrimaryKey）4.主题（Topic）5.关联规则挖掘（或预测、异常检测等）6.列式（或列式存储）7.弱一致性8.均方误差（MSE）或交叉熵（CE，分类任务）9.转换10.简洁性（或交互性、相关性等）三、判断题1.√（HBase是列存储NoSQL）2.√（SparkStreaming基于RDD微批处理）3.×（数据仓库支持OLAP，OLTP是数据库）4.×（K-means是无监督聚类）5.×（Parquet是列式存储格式）6.√（AP系统优先保证可用，牺牲强一致性）7.×（数据清洗还需处理重复值、异常值等）8.√（随机森林是多决策树集成）9.×（Redis是键值存储，适合缓存非结构化数据）10.×（核心是准确传递信息，美观是辅助）四、简答题1.HDFS是分布式文件系统，用于存储海量文件（如文本、二进制），支持一次写入多次读取；HBase是基于HDFS的NoSQL数据库，支持实时随机读写，适用于列式存储和高并发场景。2.SparkRDD的五大特性：①可分区（分布式存储）；②不可变（每次转换生成新RDD）；③血统（Lineage，记录依赖关系实现容错）；④计算函数（每个分区有compute函数）；⑤可选的分区器（如HashPartitioner）。3.数据仓库存储结构化数据，经过清洗和建模（如星型模型），支持分析；数据湖存储原始、多格式数据（结构化、半结构化、非结构化），保留原始形态，适用于探索性分析。4.过拟合解决方法：①增加数据量；②正则化（L1/L2正则）；③早停（EarlyStopping）；④特征选择（减少冗余特征）；⑤集成学习（如随机森林降低过拟合风险）。五、讨论题1.影响因素：数据采集误差（设备故障）、数据传输丢失、数据存储错误、业务规则变更。提升策略：建立数据质量监控体系（如校验规则）、清洗脏数据（缺失值/异常值处理）、完善元数据管理（记录数据来源）、业务部门协作规范数据输入。2.权衡体现：强一致性要求所有节点数据实时一致（如银行转账），但可能降低可用性（如节点故障时拒绝服务）；高可用性允许节点返回旧数据（如电商商品库存），但牺牲一致性。例如，ZooKeeper选择CP（强一致性+分区容错），而Cassandra选择AP（高可用+分区容错）。3.应用流程：①数据采集（用户行为、交易记录）；②数据清洗（去重、补全）；③特征工程（提取用户偏好、消费频次）；④模型训练（分