2026年大数据技术概论期末试题(含答案)

2026年大数据技术概论期末试题(含答案)一、单项选择题（每题2分，共30分）1.下列关于大数据的“4V”特征，描述错误的是（）。A.Volume（数据量大）B.Velocity（处理速度快）C.Variety（数据类型多样）D.Value（价值密度高）答案D解析大数据的4V特征通常指Volume（海量）、Velocity（高速）、Variety（多样）、Value（低价值密度）。大数据的价值密度低，而非高，需要经过挖掘分析才能提取价值。2.在Hadoop生态系统中，负责分布式文件存储的组件是（）。A.MapReduceB.HDFSC.YARND.ZooKeeper答案B解析HDFS（HadoopDistributedFileSystem）负责分布式存储；MapReduce负责计算；YARN负责资源调度；ZooKeeper负责分布式协调服务。3.下列关于HDFS中NameNode的描述，正确的是（）。A.存储实际的数据块B.管理文件系统的命名空间和元数据C.每个DataNode上都会运行一个NameNode进程D.负责数据的计算任务答案B解析NameNode是HDFS的主节点，负责管理文件系统的命名空间、目录结构、文件与数据块的映射关系等元数据信息；实际数据块存储在DataNode上。4.MapReduce编程模型中，Reduce阶段的输入形式是（）。A.任意格式的数据B.单个键值对C.相同键聚合后的键值对列表D.原始输入文件答案C解析MapReduce的Shuffle过程会将Map输出的键值对按key进行排序和分组，Reduce阶段接收的是相同key聚合后的（key,value-list）形式作为输入。5.下列关于Spark与HadoopMapReduce的对比，说法错误的是（）。A.Spark基于内存计算，迭代计算效率更高B.MapReduce在每次计算后将中间结果写入磁盘C.Spark只能运行在Hadoop集群上D.Spark提供RDD、DataFrame、DataSet等多种抽象答案C解析Spark可以运行在多种集群管理器上，包括Standalone、YARN、Mesos以及Kubernetes，并非只能运行在Hadoop集群上。6.下列哪个组件是Flume的主要功能？（）A.分布式消息队列B.海量日志数据的采集、聚合和传输C.分布式协调服务D.数据可视化答案B解析Flume是Cloudera提供的分布式日志采集系统，支持从多个数据源采集海量日志数据，并传输到HDFS、Kafka等存储系统。7.在数据仓库的分层架构中，负责对源数据进行清洗、转换、集成的层是（）。A.ODS层B.DWD层C.ADS层D.DIM层答案B解析ODS（操作数据存储）层存放原始数据；DWD（数据明细）层对数据进行清洗、转换、标准化处理；ADS（应用数据服务）层面向具体应用需求汇总数据；DIM为维度层。8.下列不属于NoSQL数据库分类的是（）。A.键值存储数据库B.列族存储数据库C.关系型数据库D.文档型数据库答案C解析NoSQL数据库主要包括键值存储（如Redis）、列族存储（如HBase）、文档型（如MongoDB）和图数据库（如Neo4j）。关系型数据库属于SQL数据库，不属于NoSQL。9.下列关于Kafka的描述，正确的是（）。A.Kafka中的消息被消费后立即删除B.Kafka通过ZooKeeper管理集群元数据（旧版本）C.Kafka只支持点对点消息传递模式D.Kafka的消息不进行持久化存储答案B解析Kafka通过ZooKeeper管理集群元数据和broker选举（0.9版本后逐渐脱离，新版本推荐使用KRaft）；消息按照保留策略进行持久化存储，而非消费后立即删除；Kafka同时支持点对点和发布/订阅两种模式。10.在数据挖掘过程中，下列哪个步骤通常位于“数据清洗”之后？（）A.业务理解B.数据集成与变换C.模型评估D.结果部署答案B解析标准数据挖掘流程（如CRISP-DM）中，数据预处理包括数据清洗、数据集成、数据变换和数据规约，通常数据清洗完成后进行数据集成与变换。11.下列哪种算法属于无监督学习算法？（）A.线性回归B.K-Means聚类C.决策树D.支持向量机答案B解析K-Means聚类不需要标签数据，属于无监督学习。线性回归、决策树、支持向量机均属于监督学习。12.下列关于数据可视化的原则，错误的是（）。A.图表类型的选择应匹配数据特征和分析目标B.使用3D效果能显著提升所有图表的信息传达效率C.色彩使用应注重对比度和可读性D.应避免过度装饰干扰数据表达答案B解析3D图表在某些场景下会扭曲数据比例关系、增加读取难度，并非所有场景都适合使用3D效果。13.在大数据技术栈中，负责分布式协调服务、提供配置管理和命名服务的组件是（）。A.ZooKeeperB.SqoopC.HiveD.Oozie答案A解析ZooKeeper提供分布式协调服务，包括配置管理、命名服务、分布式锁和集群选举等功能。Sqoop负责数据导入导出，Hive提供SQL查询接口，Oozie负责任务调度。14.下列不属于数据仓库与大数据平台主要区别的是（）。A.数据规模B.数据类型（结构化vs.半/非结构化）C.数据处理延迟D.是否使用SQL答案D解析传统数据仓库与大数据平台在数据规模、数据类型和处理延迟上存在显著差异。现代大数据平台也支持SQL接口（如Hive、SparkSQL），因此“是否使用SQL”不是主要区别。15.下列关于数据治理的叙述，错误的是（）。A.数据治理包括数据标准管理、数据质量管理、数据安全管理等B.数据治理仅涉及技术层面，不涉及组织和管理制度C.数据质量管理关注数据的准确性、完整性、一致性D.数据治理需要建立数据责任体系答案B解析数据治理不仅涉及技术层面，还涉及组织架构、管理制度、流程规范和标准体系等多个方面，是一项综合性管理工作。二、多项选择题（每题2分，共10分；多选、少选、错选均不得分）1.下列属于大数据典型应用场景的有（）。A.电商平台个性化推荐B.城市交通流量实时预测C.银行信用卡欺诈检测D.个人家庭日常记账答案ABC解析大数据典型应用场景包括推荐系统、智慧城市、金融风控等，个人家庭记账数据量小、结构简单，不属于大数据典型应用。2.下列关于HBase的描述，正确的有（）。A.是一个列族存储数据库B.支持SQL查询C.适合存储海量稀疏数据D.支持行级事务答案ACD解析HBase是列族存储数据库，适合存储海量稀疏数据，支持行级事务。HBase不支持SQL，需通过API或Phoenix等工具访问。3.下列哪些组件属于Hadoop生态系统中常见的数据分析/查询引擎？（）A.HiveB.SparkSQLC.PrestoD.Flume答案ABC解析Hive、SparkSQL、Presto均为常见的大数据SQL查询分析引擎。Flume是日志采集工具，不属于分析查询引擎。4.下列关于流式计算与批处理计算的对比，正确的有（）。A.流式计算处理延迟低，适合实时场景B.批处理计算吞吐量大，适合离线场景C.流式计算通常处理有界数据集D.批处理计算通常处理有界数据集答案ABD解析流式计算处理的是无界数据流，批处理计算处理的是有界数据集。C选项表述错误，流式计算处理的不是有界数据集。5.下列属于数据脱敏常用方法的有（）。A.数据替换B.数据加密C.数据随机化D.数据删除答案ABC解析数据脱敏的常用方法包括替换、加密、随机化、掩码、泛化等。直接删除数据不属于脱敏手段，会造成信息丢失。三、判断题（每题1分，共10分）1.HDFS中，默认数据块大小为64MB。答案错误解析HDFS默认数据块大小在Hadoop2.x及以后版本中为128MB。2.Spark的RDD支持持久化操作，可以将数据缓存在内存中以提高迭代计算效率。答案正确3.数据清洗的目的是删除所有缺失值数据。答案错误解析数据清洗包括处理缺失值（填充、删除、估算）、去重、异常值处理等，并非简单地删除所有缺失值数据。4.数据仓库中，维度表用于存放描述性属性，事实表用于存放度量值和外键。答案正确5.在大数据平台中，数据备份是保障数据安全的唯一手段。答案错误解析数据安全还包括访问控制、加密、审计、容灾等多种手段，数据备份只是其中之一。6.列式存储比行式存储更适合分析型查询场景。答案正确解析列式存储只需读取查询涉及的列，I/O开销小，压缩率高，适合OLAP分析场景。7.ETL工具只能处理结构化数据。答案错误解析现代ETL工具支持结构化、半结构化和非结构化数据的抽取、转换和加载。8.数据中台的核心目标是实现数据的复用和共享。答案正确9.推荐系统中，协同过滤算法仅依赖用户对物品的评分数据，不依赖任何用户或物品的属性信息。答案正确解析协同过滤（CollaborativeFiltering）基于用户-物品交互行为（如评分、点击）进行推荐，不依赖用户或物品的显式属性。10.在Lambda架构中，批处理层和速度层分别处理历史数据和实时数据。答案正确四、简答题（每题6分，共30分）1.简述HDFS中数据块（Block）的副本机制及其作用。答案HDFS默认将每个数据块保存3个副本，放置策略为：第一个副本放在客户端所在节点（若客户端不在集群内则随机选择节点），第二个副本放在与第一个副本不同机架的节点上，第三个副本放在与第二个副本相同机架的另一个节点上。副本机制的作用：（1）提高数据可靠性，防止节点故障导致数据丢失；（2）提高数据读取的并行度和本地性，加快访问速度；（3）支持负载均衡和容错恢复。解析副本放置策略在保证容错能力的同时兼顾了写入效率和读取本地性。2.简述MapReduce中Shuffle过程的主要阶段。答案Shuffle过程主要分为Map端和Reduce端两个阶段：Map端Shuffle：（1）Map输出结果先写入环形缓冲区（默认100MB），当缓冲区使用率达到阈值（默认80%）时，后台线程开始溢写；（2）溢写前对分区内的数据按key进行排序，可选用Combiner进行局部合并；（3）多次溢写产生多个文件，最终合并成一个分区有序文件。Reduce端Shuffle：（1）Reduce从已完成Map任务的节点拉取属于自己分区的数据；（2）拉取的数据先放入内存缓冲区，进行归并排序；（3）所有数据拉取完成后，合并成一个有序文件作为Reduce输入。3.简述数据仓库与数据湖的主要区别。答案（1）数据存储类型：数据仓库主要存储结构化数据；数据湖可存储结构化、半结构化和非结构化数据；（2）数据存储模式：数据仓库采用Schema-on-Write（写时模式），数据湖采用Schema-on-Read（读时模式）；（3）数据处理方式：数据仓库在写入前进行ETL清洗转换，数据湖一般先存储原始数据，使用时再处理（ELT）；（4）使用对象：数据仓库主要面向业务分析人员；数据湖面向数据科学家、分析师和开发人员；（5）成本与灵活性：数据仓库存储成本较高，但查询性能好；数据湖存储成本低，灵活性高。4.简述Spark相比于MapReduce的主要优势。答案（1）基于内存计算：Spark将中间结果缓存在内存中，避免频繁磁盘I/O，迭代计算效率远高于MapReduce；（2）丰富的算子：提供map、filter、flatMap、reduceByKey、join等丰富的转换和行动算子，编程更简洁；（3）统一的组件栈：SparkCore、SparkSQL、SparkStreaming、MLlib、GraphX一体化，满足多种计算场景；（4）DAG执行引擎：Spark基于DAG进行优化，减少无效的Shuffle和中间落盘；（5）支持多种运行模式：可运行在Standalone、YARN、Mesos、Kubernetes等集群管理平台上。5.简述数据治理的主要内容和目标。答案数据治理是指对数据资产管理行使权力和控制的活动集合，主要内容包括：（1）数据标准管理：制定统一的数据命名、定义、格式和编码标准；（2）数据质量管理：监控和改进数据的准确性、完整性、一致性、及时性；（3）数据安全管理：对数据分级分类，实施访问控制、加密、脱敏和审计；（4）数据生命周期管理：规范数据从采集、存储、使用、共享到销毁的全流程；（5）数据架构与模型管理：规划数据仓库、数据湖的架构设计；（6）元数据管理：记录和管理数据的技术元数据、业务元数据和管理元数据。数据治理的目标是保障数据资产的可用性、安全性和合规性，提升数据质量，促进数据共享与价值释放。五、论述题（每题10分，共20分）1.结合大数据技术发展现状，论述大数据技术面临的主要挑战及应对策略。答案一、大数据面临的主要挑战（1）数据质量挑战：数据来源多样、格式复杂，存在缺失、重复、错误、不一致等问题，影响分析结果的准确性。（2）数据安全与隐私保护挑战：大规模数据采集和共享带来了数据泄露、滥用风险；隐私保护法规（如《个人信息保护法》、GDPR）对数据使用提出严格要求。（3）数据处理实时性挑战：在交通调度、金融风控等场景中，需要毫秒/秒级响应，传统批处理架构难以满足实时性要求。（4）数据孤岛与共享壁垒挑战：各业务系统数据标准不一、接口封闭，跨部门、跨组织的数据共享困难。（5）技术复杂性与人才短缺挑战：大数据技术栈组件繁多、运维复杂，既懂业务又懂技术的复合型人才稀缺。（6）数据存储与算力成本挑战：数据量指数增长，存储和计算资源消耗巨大，成本控制困难。二、应对策略（1）建立完善的数据质量管理体系：制定数据标准，实施数据质量监控、评估和改进机制。（2）加强数据安全防护技术：采用数据加密、脱敏、差分隐私、联邦学习等技术；落实数据分级分类管理和访问控制。（3）发展实时流式计算架构：采用Flink、KafkaStreams等流处理框架，构建Lambda或Kappa架构，满足实时分析需求。（4）推动数据中台建设：统一数据标准、打通数据孤岛，实现数据资产的统一管理和服务复用。（5）推进数据治理制度建设：明确数据责任主体，建立数据共享开放机制，完善合规审查流程。（6）优化成本管理：利用冷热数据分层存储、弹性伸缩计算资源、数据压缩和去重等技术降低总体拥有成本。解析本题需要从质量、安全、实时性、共享、人才、成本等多个维度全面分析大数据面临的挑战，并针对性地提出解决思路。2.试述Lambda架构和Kappa架构各自的设计思想、优缺点，并分析在实际应用中应如何选择。答案一、Lambda架构设计思想：将数据处理分为三层——批处理层（BatchLayer）、速度层（SpeedLayer）和服务层（ServingLayer）。批处理层负