2026年大数据学科质量测试题及答案

2026年大数据学科质量测试题及答案

一、单项选择题（总共10题，每题2分）1.下列哪项不是HDFS的核心设计目标？A.处理大文件B.流式数据访问C.存储大量小文件D.跨平台兼容性2.Spark中RDD（弹性分布式数据集）的核心特性是？A.不可变且可分区B.实时更新且全局共享C.仅存储在内存中D.支持事务性操作3.数据清洗中处理“缺失值”的常用方法不包括？A.删除缺失值所在行B.用均值/中位数填充C.用随机数填充D.基于模型预测填充4.分布式计算框架中，以下哪项属于“计算向数据移动”的典型实现？A.HadoopMapReduceB.关系型数据库SQL查询C.单机Python脚本D.实时消息队列Kafka5.机器学习中，以下哪项属于“过拟合”的解决方法？A.增加训练数据量B.减少特征数量C.降低模型复杂度D.以上都是6.数据仓库（DataWarehouse）的主要特点是？A.支持实时事务处理B.面向主题、集成、稳定、随时间变化C.存储原始未加工数据D.仅用于在线交易处理（OLTP）7.Kafka作为消息队列，其核心设计目标是？A.保证消息绝对不丢失B.高吞吐量、低延迟的实时数据流处理C.支持复杂的SQL查询D.实现分布式锁机制8.以下哪项不属于数据可视化的常见工具？A.TableauB.PowerBIC.HiveD.Matplotlib9.分布式系统中，CAP定理指的是？A.一致性、可用性、分区容错性B.计算效率、准确性、可扩展性C.成本、可用性、性能D.一致性、准确性、并行性10.数据湖（DataLake）与数据仓库的关键区别是？A.数据湖存储结构化数据，数据仓库存储非结构化数据B.数据湖在存储时不定义模式，数据仓库在存储前定义模式C.数据湖仅用于实时分析，数据仓库用于历史分析D.数据湖规模更小，数据仓库规模更大二、填空题（总共10题，每题2分）1.Hadoop生态的核心组件包括HDFS（分布式文件系统）、YARN（资源管理系统）和__________（分布式计算框架）。2.数据仓库的ETL过程指的是提取（Extract）、转换（Transform）和__________（Load）。3.Spark的两种主要部署模式是__________（运行在单机多线程）和集群模式（如YARN、Mesos）。4.分布式数据库HBase的数据模型基于__________（数据结构），适合存储稀疏的大规模数据。5.数据清洗的主要任务包括处理缺失值、纠正错误值、__________（处理重复数据）和标准化数据格式。6.Kafka的消息存储单元称为__________（Partition），通过多副本机制保证可靠性。7.机器学习中，监督学习的典型任务包括分类和__________（如预测房价）。8.数据可视化的核心目标是将数据转化为__________（图形或图表），辅助理解与决策。9.分布式系统中，“最终一致性”是__________（一致性模型）的一种，允许短暂不一致但最终达成一致。10.大数据处理的“5V”特征包括Volume（大量）、Velocity（高速）、Variety（多样）、Value（低价值密度）和__________（Veracity，真实性）。三、判断题（总共10题，每题2分）1.HDFS适合存储大量小文件，因为其块大小设计灵活。（）2.SparkRDD支持惰性计算，只有遇到行动操作（Action）时才会触发计算。（）3.数据仓库主要用于支持OLTP（在线事务处理），而非OLAP（在线分析处理）。（）4.Kafka的消费者组（ConsumerGroup）可以实现消息的广播或负载均衡。（）5.数据清洗中的“去重”操作仅需删除完全重复的记录，无需处理逻辑重复。（）6.机器学习中，决策树是一种生成模型，而逻辑回归是判别模型。（）7.分布式系统中，“一致性”指所有节点在同一时刻看到相同的数据副本。（）8.数据可视化的关键是美观，无需关注数据准确性和可读性。（）9.HBase是一种关系型数据库，支持SQL查询。（）10.过拟合通常发生在模型复杂度低、无法捕捉数据规律时。（）四、简答题（总共4题，每题5分）1.简述Hadoop生态中HDFS、YARN、MapReduce的各自作用。2.数据清洗的主要步骤和常见方法有哪些？3.说明SparkRDD的特性及其在分布式计算中的优势。4.机器学习中监督学习与无监督学习的区别及典型应用场景是什么？五、讨论题（总共4题，每题5分）1.结合具体场景（如电商用户行为分析），讨论Hadoop与Spark在大数据处理中的选择依据。2.数据湖与数据仓库的区别是什么？各自适用于哪些业务场景？3.分布式系统中CAP定理要求“三者选其二”，请举例说明实际应用中的权衡策略。4.如何通过数据清洗和特征工程提升机器学习模型的性能？结合实例说明。答案及解析一、单项选择题1.C（HDFS设计目标是处理大文件，小文件会导致NameNode内存压力）2.A（RDD不可变，支持分区和容错）3.C（随机数填充可能破坏数据分布，非常用方法）4.A（MapReduce将计算任务分发到数据所在节点）5.D（增加数据、减少特征、降低复杂度均可缓解过拟合）6.B（数据仓库面向主题、集成、稳定、随时间变化）7.B（Kafka设计目标是高吞吐量实时数据流处理）8.C（Hive是数据仓库工具，非可视化工具）9.A（CAP指一致性、可用性、分区容错性）10.B（数据湖存储时不定义模式（Schema-on-Read），数据仓库存储前定义模式（Schema-on-Write））二、填空题1.MapReduce2.加载3.本地模式4.列族（ColumnFamily）5.去重6.分区7.回归8.可视化形式9.弱一致性10.Veracity（真实性）三、判断题1.×（HDFS不适合小文件，块大小固定（如128MB），小文件会占用过多NameNode元数据）2.√（RDD的转换操作（Transform）是惰性的，行动操作（Action）触发计算）3.×（数据仓库支持OLAP，OLTP是数据库的功能）4.√（消费者组内消费者共同消费分区，实现负载均衡；不同组可广播消息）5.×（逻辑重复如“北京”和“北京市”需处理，非仅完全重复）6.×（决策树是判别模型，生成模型如朴素贝叶斯）7.√（一致性要求所有节点数据副本一致）8.×（可视化核心是准确传递信息，美观是辅助）9.×（HBase是NoSQL数据库，不支持SQL）10.×（过拟合因模型复杂度过高，过度拟合训练数据噪声）四、简答题1.HDFS负责分布式存储大文件，将数据分块存储并冗余备份；YARN管理集群资源（CPU、内存），调度任务；MapReduce是分布式计算框架，将任务拆分为Map（映射）和Reduce（归约）阶段，处理海量数据。2.步骤：识别数据问题（缺失、错误、重复）→制定清洗策略→执行清洗→验证效果。方法：缺失值用删除、填充（均值/模型预测）；错误值用统计方法或规则纠正；重复值用去重；格式标准化（如统一日期格式）。3.RDD特性：不可变、可分区、容错（通过血统Lineage重建）、惰性计算。优势：避免重复计算（缓存），支持高效的迭代计算（如机器学习），通过分区实现并行处理，血统机制降低故障恢复成本。4.区别：监督学习有标签（如“垃圾邮件/正常邮件”），目标是学习输入到标签的映射；无监督学习无标签，目标是发现数据内在结构（如聚类）。场景：监督学习用于分类（如用户分群）、回归（如销量预测）；无监督学习用于聚类（如客户细分）、降维（如特征压缩）。五、讨论题1.电商用户行为分析需处理日志（亿级数据），若侧重离线批处理（如每日用户访问趋势），HadoopMapReduce因容错性强、适合大吞吐量任务更合适；若需实时分析（如实时推荐）或迭代计算（如用户画像建模），Spark的内存计算（RDD缓存）和低延迟优势更突出，可选择Spark。2.区别：数据湖存储多类型（结构化/非结构化）原始数据，模式在分析时定义（Schema-on-Read），适合探索性分析；数据仓库存储结构化数据，模式在存储前定义（Schema-on-Write），适合确定性的报表和BI。场景：数据湖用于数据科学家探索新业务问题；数据仓库用于企业固定KPI报表（如销售统计）。3.例如，电商秒杀系统需高可用性（避免用户无法下单）和分区容错性（网络分区时系统存活），因此牺牲强一致性，采用最终一致性（如库存显示可能短暂延迟，但最终同步）。再如金融交易系统需强一致性（转账必须