2025年云南大数据公司招聘笔试题及答题技巧+答案

2025年云南大数据公司招聘笔试题及答题技巧+答案

一、单项选择题（总共10题，每题2分）1.以下不属于Hadoop生态核心组件的是：A.HDFSB.YARNC.HBaseD.MapReduce2.数据仓库（DataWarehouse）与传统数据库的主要区别是：A.支持事务处理B.面向分析决策C.实时性要求高D.存储结构化数据3.以下分布式计算框架中，基于内存计算的是：A.HadoopMapReduceB.SparkC.FlinkD.Storm4.数据清洗的主要目的是：A.增加数据量B.消除数据中的错误或不一致C.提升数据存储效率D.转换数据格式5.数据挖掘的主要任务不包括：A.分类B.聚类C.数据备份D.关联规则挖掘6.ETL流程的三个核心步骤是：A.抽取、转换、加载B.存储、分析、可视化C.清洗、聚合、建模D.采集、传输、存储7.MongoDB属于哪种类型的NoSQL数据库？A.键值存储B.列族存储C.文档存储D.图存储8.数据湖（DataLake）的典型特点是：A.严格预定义模式B.仅存储结构化数据C.支持多类型数据存储D.主要用于实时交易9.Kafka的核心功能是：A.分布式文件存储B.实时流数据处理C.消息队列与流平台D.分布式数据库10.特征工程中，用于降低数据维度的常用方法是：A.归一化B.标准化C.主成分分析（PCA）D.独热编码二、填空题（总共10题，每题2分）1.Hadoop的核心组件包括分布式文件系统（______）和资源管理系统（______）。2.Spark的核心计算模型是______（英文缩写）。3.数据仓库的四大特性是面向主题、集成性、______和随时间变化。4.ETL中的“T”指的是______。5.Kafka的基本概念包括生产者、消费者和______。6.数据清洗中处理缺失值的常见方法有删除记录、______和插补法。7.分布式文件系统的典型代表有HDFS和______（Google提出的）。8.数据挖掘中，K-means算法属于______任务。9.数据湖与数据仓库的主要区别在于数据的______（结构化/多结构化）程度。10.特征工程的关键步骤包括特征提取、特征选择和______。三、判断题（总共10题，每题2分）1.数据仓库主要用于支持企业日常事务处理（）。2.HDFS适合存储大量小文件（）。3.Spark的RDD具有不可变性（）。4.NoSQL数据库完全不支持ACID特性（）。5.数据清洗仅需要处理缺失值问题（）。6.Kafka是一个批处理数据处理框架（）。7.数据湖需要在存储数据前定义严格的模式（）。8.特征缩放（如归一化）属于特征工程的一部分（）。9.机器学习模型训练时无需对数据进行验证（）。10.分布式系统中，CAP定理指的是一致性、可用性和分区容忍性（）。四、简答题（总共4题，每题5分）1.简述Hadoop生态中HDFS、YARN和MapReduce的各自作用。2.数据清洗的关键步骤包括哪些？请列举至少3种常见的数据清洗方法。3.对比Spark与HadoopMapReduce在计算模式上的主要差异。4.数据湖与数据仓库的核心区别是什么？分别适用于哪些场景？五、讨论题（总共4题，每题5分）1.云南作为“绿色能源”和“高原特色农业”大省，如何利用大数据技术推动特色产业（如烟草、花卉、旅游）的数字化升级？请提出至少2个具体应用方向。2.大数据场景下，数据安全与隐私保护面临哪些挑战？可采取哪些技术措施（如加密、脱敏）应对？3.实时数据处理（如用户行为分析、实时风控）需求日益增长，常用的实时处理技术（如Flink、KafkaStreams）各有什么优缺点？如何根据业务需求选择？4.在大数据机器学习场景中，如何提升模型训练效率（如处理海量数据、缩短训练时间）？请从数据预处理、算法优化、计算资源三个维度说明。答案及解析一、单项选择题1.C（HBase是Hadoop生态的数据库组件，非核心组件；核心是HDFS、YARN、MapReduce）2.B（数据仓库面向分析决策，传统数据库面向事务处理）3.B（Spark基于内存计算，MapReduce基于磁盘）4.B（数据清洗目标是消除错误或不一致）5.C（数据备份不属于数据挖掘任务）6.A（ETL即抽取、转换、加载）7.C（MongoDB是文档型NoSQL数据库）8.C（数据湖支持结构化、半结构化、非结构化数据）9.C（Kafka是消息队列与流平台）10.C（PCA用于降维）二、填空题1.HDFS；YARN2.RDD3.稳定性（或非易失性）4.转换（Transformation）5.主题（Topic）6.保留缺失值（或标记缺失值）7.GFS（GoogleFileSystem）8.聚类9.多结构化（或非结构化）10.特征构造（或特征生成）三、判断题1.×（数据仓库支持分析，事务处理是OLTP数据库的功能）2.×（HDFS适合大文件，小文件会占用NameNode内存）3.√（RDD是不可变的分布式数据集）4.×（部分NoSQL支持弱ACID，如Cassandra的轻量级事务）5.×（数据清洗还需处理异常值、重复值等）6.×（Kafka是流平台，支持实时流处理，非批处理）7.×（数据湖采用“读时模式”，无需预定义）8.√（特征缩放是特征工程的常见操作）9.×（需通过验证集评估模型性能）10.√（CAP定理的三要素）四、简答题1.HDFS负责分布式存储，提供高容错的大文件存储；YARN负责资源管理与任务调度；MapReduce是分布式计算框架，将任务分解为Map和Reduce阶段处理数据。2.关键步骤：识别数据质量问题、处理缺失值、纠正异常值、消除重复数据。常见方法：均值/中位数插补（缺失值）、Z-score检测（异常值）、去重算法（重复数据）。3.Spark基于内存计算，支持迭代计算和实时处理，RDD可缓存复用；MapReduce基于磁盘，每次计算需读写磁盘，适合批处理，但延迟较高。4.核心区别：数据湖存储多结构化数据（读时模式），适用于探索性分析；数据仓库存储结构化数据（写时模式），适用于确定性报表与决策分析。五、讨论题1.应用方向：①烟草种植—通过卫星遥感+土壤传感器数据，优化种植方案；②旅游—基于游客行为数据（如消费、轨迹），定制精准营销与路线推荐。2.挑战：数据泄露（如用户隐私）、合规性（GDPR/个人信息保护法）。技术措施：差分隐私（模糊化处理）、联邦学习（本地训练模型）、脱敏（如哈希匿名化）。3.Flink：支持复杂事件处理（CEP），延迟低，适合高实时性场景；KafkaStreams：轻量级，与Kafka集