2026年大数据职业能力测试题及答案

2026年大数据职业能力测试题及答案

一、单项选择题（总共10题，每题2分）1.大数据的“4V”特征中，“Value”指的是？A.数据容量大B.数据类型多样C.数据价值密度低D.处理速度快2.以下不属于Hadoop生态核心组件的是？A.HDFSB.YARNC.SparkD.MapReduce3.数据清洗中，处理“用户年龄为-5岁”的问题属于？A.处理缺失值B.处理异常值C.处理重复值D.处理不一致值4.以下属于关系型数据库的是？A.MongoDBB.HBaseC.MySQLD.Redis5.数据仓库的核心特点不包括？A.面向主题B.实时更新C.集成性D.随时间变化6.Spark的核心计算抽象是？A.DataFrameB.RDDC.DatasetD.DataStream7.常用于交互式数据可视化的工具是？A.HiveB.KafkaC.TableauD.HBase8.以下属于监督学习算法的是？A.K-meansB.决策树C.PCAD.关联规则9.数据安全中“最小权限原则”指的是？A.仅授予完成任务所需的最少权限B.数据加密使用最小密钥长度C.限制数据存储量D.减少数据处理步骤10.以下属于流处理框架的是？A.HadoopB.SparkSQLC.FlinkD.Hive二、填空题（总共10题，每题2分）1.大数据的4V特征包括容量（Volume）、速度（Velocity）、多样性（Variety）和________。2.Hadoop的分布式文件系统是________。3.数据清洗中，通过均值或中位数填补缺失值的方法称为________。4.关系型数据库中，唯一标识一条记录的字段称为________。5.NoSQL数据库主要分为键值存储、文档存储、列族存储和________四类。6.数据仓库通常分为操作数据层（ODS）、明细数据层（DWD）、汇总数据层（DWS）和________四层。7.Spark的分布式计算模型基于________（英文缩写）。8.数据可视化的基本原则包括准确性、简洁性和________。9.机器学习中，通过划分训练集和验证集评估模型性能的方法称为________。10.数据脱敏的常用方法包括匿名化、________和数据替换。三、判断题（总共10题，每题2分）1.大数据的核心是数据量大，因此存储是最关键的技术。（）2.HBase是典型的关系型数据库管理系统。（）3.数据清洗仅需处理缺失值问题。（）4.数据仓库主要支持在线事务处理（OLTP）。（）5.SparkRDD（弹性分布式数据集）是不可变的。（）6.Tableau的主要功能是存储大规模结构化数据。（）7.监督学习需要使用带标签的训练数据。（）8.Kafka是一种流处理框架，可直接完成实时数据计算。（）9.数据脱敏后的数据无法恢复原始信息（如匿名化处理）。（）10.数据湖通常用于存储结构化数据，支持精确查询。（）四、简答题（总共4题，每题5分）1.简述大数据处理与传统数据处理的主要区别。2.说明Hadoop生态中HDFS、YARN和MapReduce的各自作用。3.数据清洗的主要步骤包括哪些？请列举至少三种常见的数据质量问题及处理方法。4.数据可视化设计需要遵循哪些原则？请举例说明。五、讨论题（总共4题，每题5分）1.企业在选择大数据处理框架时，Hadoop和Spark各适用于哪些场景？请结合实际需求分析。2.数据仓库与数据湖的核心差异是什么？分别适合哪些业务场景？3.在数据挖掘项目中，若遇到类别不平衡的数据集（如正样本仅占1%），可采取哪些方法解决？4.大数据时代数据安全面临哪些主要挑战？企业应如何应对？答案一、单项选择题1.C2.C3.B4.C5.B6.B7.C8.B9.A10.C二、填空题1.价值（Value）2.HDFS3.插补法4.主键5.图存储6.应用数据层（ADS）7.RDD8.易懂性9.交叉验证10.掩码三、判断题1.×2.×3.×4.×5.√6.×7.√8.×9.√10.×四、简答题1.主要区别：①数据量：大数据处理PB级以上数据，传统处理GB级；②速度：大数据强调实时/准实时处理（如流计算），传统多为批量处理；③多样性：大数据涵盖结构化、半结构化、非结构化数据，传统以结构化为主；④技术工具：大数据依赖分布式框架（Hadoop、Spark），传统使用关系型数据库（如MySQL）。2.HDFS（Hadoop分布式文件系统）：负责大数据的分布式存储，将大文件分块存储在集群节点；YARN（资源协调器）：管理集群资源（CPU、内存），分配任务执行容器；MapReduce：分布式计算框架，将任务拆分为Map（映射）和Reduce（归约）阶段，完成并行计算。3.主要步骤：识别数据质量问题→清洗（处理）→验证效果。常见问题及处理：①缺失值：删除记录、均值/中位数插补；②异常值：Z-score检验后修正或剔除；③重复值：去重处理；④不一致值：统一字段格式（如日期“2023/13”修正为“2023/12”）。4.原则：①准确性：避免误导（如Y轴不从0开始可能夸大差异）；②简洁性：去除冗余元素（如不必要的3D效果）；③易懂性：使用清晰的标签和图例（如柱状图标注具体数值）；④交互性：支持钻取或筛选（如Tableau允许点击查看明细）。五、讨论题1.Hadoop适用于离线批量处理场景（如日志分析），优势是高容错、低成本存储；Spark适用于实时/迭代计算（如推荐系统、机器学习），优势是内存计算（比Hadoop快10-100倍）。企业若需处理历史数据且实时性要求低，选Hadoop；若需实时分析或多次迭代（如机器学习训练），选Spark。2.核心差异：数据仓库存储结构化数据（需提前定义Schema），支持精确查询（如SQL），适合确定性分析（如销售报表）；数据湖存储多类型数据（结构化、半结构化、非结构化），Schema-on-read（分析时定义结构），适合探索性分析（如用户行为挖掘）。场景：数据仓库用于企业级决策支持，数据湖用于数据科学家探索新业务模式。3.方法：①过采样（如SMOTE算法生成少数类样本）；②欠采样（减少多数类样本）；③调整分类阈值（降低少数类误判成本）；④使用代价敏感学习（为少数类设置更高错误代价）；⑤集成方法（如随机森林平衡类别权重）。