2026年大数据技术与应用期末考试试题（含详细答案）

2026年大数据技术与应用期末考试试题（含详细答案）考试时长：120分钟满分：100分适用专业：大数据技术、计算机应用、云计算技术等相关专业一、单项选择题（共15题，每题2分，共30分）1.大数据经典5V特征中，不包含以下哪一项（）A.体量巨大（Volume）B.处理速度快（Velocity）C.数据可靠（Veracity）D.数据固定（Fixed）2.Hadoop分布式文件系统的核心作用是（）A.分布式数据存储B.分布式任务计算C.数据可视化展示D.数据实时清洗3.MapReduce计算模型中，Map阶段的核心工作是（）A.数据汇总排序B.数据分片处理C.结果输出存储D.任务调度管理4.针对数据缺失值的常规处理方法是（）A.归一化处理B.均值填充C.主成分降维D.重复值剔除5.以下属于非结构化数据的是（）A.Excel表格数据B.数据库表单数据C.短视频、日志文本D.物联网传感器数值6.Spark核心弹性分布式数据集的英文缩写是（）A.HDFSB.RDDC.YARND.SQL7.分布式计算中数据本地化原则的主要目的是（）A.提升数据精度B.减少网络传输开销C.简化数据格式D.提高数据安全性8.MongoDB数据库的主要数据存储格式是（）A.键值对B.文档型JSON格式C.二维表格D.树形结构9.数据清洗过程中，去除重复数据的核心作用是（）A.减小数据体量、保证数据唯一性B.提升数据传输速度C.丰富数据维度D.实现数据标准化10.以下组件中，负责Hadoop集群资源调度的是（）A.HDFSB.YARNC.MapReduceD.Spark11.离线大数据计算的特点是（）A.实时响应、低延迟B.批量处理、高吞吐量C.仅处理少量数据D.无需集群部署12.数据归一化处理的主要作用是（）A.补齐缺失数据B.将数据统一映射到固定区间，消除量纲影响C.降低数据维度D.筛选有效数据13.Spark中属于转换操作（懒执行）的是（）A.countB.collectC.mapD.save14.流式数据处理的典型应用场景是（）A.月度用户账单统计B.实时电商订单监控C.年度数据报表分析D.历史数据归档15.大数据降维技术的核心目的是（）A.增加数据维度B.剔除冗余特征、简化计算C.提升数据数量D.修复异常数据二、判断题（共10题，每题1分，共10分，对的打√，错的打×）1.大数据处理的数据类型仅包含结构化数据。（）2.HDFS采用主从架构，由NameNode和DataNode组成。（）3.MapReduce的Shuffle阶段负责数据重排，是影响计算效率的关键环节。（）4.结构化数据不可以直接存储在传统关系型数据库中。（）5.Spark相较于MapReduce，迭代计算效率更高，适合反复计算场景。（）6.数据异常值只能直接删除，无法进行修正处理。（）7.YARN可以为Hadoop集群中各类计算任务分配CPU、内存资源。（）8.非结构化数据无需处理，可直接用于数据分析。（）9.大数据抽样分析可以在海量数据中，以少量样本推断整体数据规律。（）10.离线计算适合实时性要求高的业务场景。（）三、简答题（共4题，每题8分，共32分）1.简述大数据5V核心特征的具体含义。2.简要说明Hadoop三大核心组件的功能及分工。3.简述大数据数据处理的完整流程。4.对比离线大数据计算和实时流式计算的区别及适用场景。四、综合分析题（共2题，每题14分，共28分）1.某电商平台每日产生海量用户浏览、下单、支付日志数据，数据存在缺失、重复、乱码等问题，需要通过大数据技术完成数据处理与分析，辅助运营决策。请结合所学知识，说明该场景下完整的数据清洗方案及核心处理步骤。2.简述MapReduce单词统计（WordCount）的完整执行流程，详细说明Map、Shuffle、Reduce三个阶段的具体工作内容。参考答案及详细解析一、单项选择题答案及解析1.答案：D解析：大数据5V特征为体量巨大、速度快、多样性、真实性、价值密度低，无数据固定这一特征。2.答案：A解析：HDFS是Hadoop分布式文件系统，核心功能是实现海量数据的分布式存储；分布式计算由MapReduce、Spark实现。3.答案：B解析：Map阶段负责将海量数据分片，对分片数据进行并行预处理；Reduce阶段负责数据汇总、排序、输出。4.答案：B解析：缺失值常用处理方式为均值、中位数、众数填充；归一化是数据缩放，主成分是降维，去重是处理重复数据。5.答案：C解析：表格、数据库数据、传感器数值均为结构化数据；视频、文本、图片属于非结构化数据。6.答案：B解析：RDD是Spark弹性分布式数据集，是Spark的核心数据结构；HDFS是存储系统，YARN是资源调度组件。7.答案：B解析：数据本地化即计算任务跟随数据节点执行，无需跨节点传输大量数据，大幅降低网络开销，提升计算效率。8.答案：B解析：MongoDB是主流文档型非关系数据库，以JSON格式文档存储数据，灵活适配各类非结构化、半结构化数据。9.答案：A解析：重复数据会造成数据冗余、统计结果失真，去重可精简数据体量，保障数据唯一性和统计准确性。10.答案：B解析：YARN是Hadoop集群的资源调度框架，负责统一管理和分配集群内存、CPU等硬件资源。11.答案：B解析：离线计算针对海量历史数据批量处理，吞吐量高、延迟高，不适合实时场景。12.答案：B解析：归一化可将不同量级、不同量纲的数据统一映射到0-1等固定区间，避免数值大小差异影响分析结果。13.答案：C解析：Spark分为转换操作和行动操作，map属于懒执行的转换操作，仅记录操作逻辑；count、collect、save属于立即执行的行动操作。14.答案：B解析：流式数据处理主打低延迟、实时计算，适配实时订单监控、实时流量统计等场景，其余选项均为离线批量处理场景。15.答案：B解析：降维技术可剔除数据中的冗余、无效特征，减少数据计算量，简化数据分析模型。二、判断题答案及解析1.×解析：大数据包含结构化、半结构化、非结构化三类数据，数据类型丰富多样。2.√解析：HDFS标准主从架构，NameNode管理元数据，DataNode负责实际数据存储。3.√解析：Shuffle阶段完成数据分区、排序、合并，数据交互量大，是MapReduce的主要性能瓶颈。4.×解析：结构化数据格式规整、字段固定，是传统关系型数据库的主要存储对象。5.√解析：Spark基于内存计算，减少磁盘读写开销，迭代计算场景效率远高于基于磁盘的MapReduce。6.×解析：异常值可根据业务场景修正，如均值替换、区间修正，无需直接删除。7.√解析：YARN支持多任务、多组件资源调度，统一管控集群硬件资源。8.×解析：非结构化数据格式杂乱，需经过清洗、结构化转换后才能用于数据分析。9.√解析：大数据抽样技术可通过合理抽样规则，以有限样本精准反映整体数据特征，降低计算成本。10.×解析：离线计算延迟高，适合非实时的批量统计场景；实时计算适配高实时性业务。三、简答题参考答案1.大数据5V核心特征含义（1）体量巨大（Volume）：数据存储和计算规模从TB级别升级至PB、EB级别，数据量级远超传统数据处理范围；（2）速度快（Velocity）：数据产生、传输、更新速度极快，对数据处理的实时性、高效性要求较高；（3）多样性（Variety）：数据类型丰富，包含表格、数据库等结构化数据，日志、JSON等半结构化数据，图片、视频、文本等非结构化数据；（4）真实性（Veracity）：数据来源真实可靠，数据质量可控，是数据分析结果准确的基础；（5）价值密度低（Value）：海量数据中有效价值数据占比低，需要通过专业技术挖掘隐藏的有效价值。2.Hadoop三大核心组件功能及分工Hadoop核心由HDFS、YARN、MapReduce三大组件组成，分工明确、协同工作：（1）HDFS（分布式文件系统）：核心负责数据存储。采用主从架构，NameNode管理文件元数据、目录结构，DataNode分布式存储真实数据，支持海量数据可靠存储、容错备份；（2）YARN（资源调度框架）：核心负责资源管理与任务调度。统一分配集群CPU、内存资源，管控各类计算任务的运行状态，避免资源冲突，提升集群利用率；（3）MapReduce（分布式计算框架）：核心负责数据计算。采用分治思想，通过Map分片并行处理、Reduce汇总输出，完成海量离线数据的批量计算。3.大数据完整处理流程（1）数据采集：通过日志采集、传感器采集、数据库同步、网络抓取等方式，获取各类原始海量数据；（2）数据预处理：核心为数据清洗、转换、集成。剔除重复、缺失、异常数据，统一数据格式，整合多源异构数据，提升数据质量；（3）数据存储：将预处理后的规整数据，通过HDFS、非关系数据库等实现分布式存储；（4）数据计算分析：根据业务需求，通过Spark、MapReduce等框架，完成离线批量计算或实时流式计算，挖掘数据规律；（5）数据可视化与应用：将分析结果通过图表、报表形式展示，支撑业务决策、数据监控等落地应用。4.离线计算与实时流式计算区别及适用场景（1）核心区别：①处理方式：离线计算针对历史存量数据批量处理；实时计算针对实时产生的数据流逐行、逐秒处理；②延迟特性：离线计算延迟高，耗时从分钟到小时级别；实时计算延迟极低，毫秒/秒级响应；③吞吐量：离线计算吞吐量极大，适配海量数据；实时计算吞吐量适中，优先保障时效性。（2）适用场景：①离线计算：月度报表统计、用户行为复盘、历史数据归档分析、年度业务汇总等非实时业务；②实时计算：电商实时订单监控、直播间在线人数统计、金融实时风控、交通流量实时监测等时效性要求高的场景。四、综合分析题参考答案1.电商日志数据清洗方案及核心步骤针对电商日志数据缺失、重复、乱码、异常等问题，结合业务需求制定分层清洗方案，具体步骤如下：（1）数据排查筛查：首先批量扫描全量日志数据，分类统计数据问题类型，标记重复日志、缺失字段、乱码字符、异常数值（如下单时间超出合理范围）的数据条目，建立问题数据台账；（2）重复数据去除：基于用户ID、订单编号、时间戳等唯一标识，剔除完全重复和局部重复的日志数据，避免重复统计导致的用户量、订单量数据失真；（3）缺失数据处理：区分字段缺失类型，核心关键字段（订单号、用户ID、支付金额）缺失直接剔除无效数据；非核心字段（浏览时长、设备型号）采用均值、众数填充，保障数据完整性；（4）异常与乱码处理：清理日志中的乱码、特殊无效字符，统一数据编码格式；对时间、金额、浏览次数等异常数值，结合电商业务阈值修正，无法修正的异常数据直接剔除；（5）数据标准化转换：统一日志数据格式，将零散的非结构化、半结构化日志规整为结构化数据，统一字段名称、数据单位、时间格式，适配后续计算分析；（6）清洗结果校验：抽样核验清洗后的数据，确认无重复、无大量缺失、无异常乱码，保障数据质量后，进入存储和分析环节。2.MapReduce单词统计（WordCount）完整执行流程WordCount是MapReduce经典案例，用于统计文本中各单词出现次数，全程分为Map、Shuffle、Reduce三个核心阶段，具体流程如下：（1）Map阶段（分片预处理）首先将HDFS上的大文本文件进行数据分片，分配给多个Map任务并行执行。每个Map任务读取对应分片文本，按空格、标点符号分割为单个单词，过滤无效空字符，最终输出<单词，1>格式的键值对数据，完成数据初步拆分标记。（2）Shuffle阶段（数据重