大数据技术基础模拟考试题（含详细答案）

大数据技术基础模拟考试题（含详细答案）考试时长：120分钟满分：100分适用专业：大数据技术、计算机应用、软件工程等相关专业考试说明：闭卷考试，题型包含选择题、填空题、简答题、计算题、综合应用题，无特殊作答要求。一、单项选择题（共15题，每题2分，共30分）1、大数据的“4V”特性不包括以下哪一项（）A.数据量大（Volume）B.数据高速（Velocity）C.数据价值高（Value）D.数据单一（Single）2、分布式文件系统HDFS的默认块大小为（）A.32MBB.64MBC.128MBD.256MB3、Hadoop框架中，负责资源调度与任务管理的组件是（）A.NameNodeB.DataNodeC.YARND.MapReduce4、以下不属于大数据离线计算框架的是（）A.MapReduceB.SparkCoreC.FlinkD.Hive5、HBase是一种（）数据库A.关系型行式数据库B.非关系型列式数据库C.内存数据库D.时序数据库6、Spark程序的核心运行单元是（）A.进程B.线程C.RDDD.分片7、数据清洗的核心目的是（）A.压缩数据存储空间B.剔除脏数据、冗余数据，提升数据质量C.加密保护数据D.加快数据传输速度8、Kafka的核心作用是（）A.离线数据计算B.实时消息队列、数据流转缓冲C.数据存储归档D.数据可视化展示9、以下哪种数据属于非结构化数据（）A.数据库表格数据B.Excel报表C.短视频、图片D.CSV文件数据10、MapReduce编程模型中，负责数据汇总输出的阶段是（）A.Map阶段B.Reduce阶段C.Shuffle阶段D.Sort阶段11、HDFS中NameNode的主要功能是（）A.存储实际数据块B.管理元数据、调度数据读写C.执行计算任务D.监控节点状态12、大数据实时计算场景的特点是（）A.处理延迟高、批量处理历史数据B.低延迟、流式实时处理数据C.仅处理结构化数据D.无需数据预处理13、以下工具中用于大数据数据仓库分析的是（）A.HiveB.RedisC.MySQLD.MongoDB14、RDD的两大核心特性是（）A.可修改、可重复计算B.不可变、可分区并行计算C.可压缩、可加密D.可实时更新、可批量删除15、数据脱敏的主要目的是（）A.提升数据计算速度B.保护用户隐私，规避数据泄露风险C.简化数据格式D.减少数据存储量二、填空题（共10空，每空1分，共10分）1、大数据4V特性分别是：海量性、________、多样性、________。2、Hadoop两大核心组件分别是________和________。3、MapReduce的执行流程主要分为输入分片、Map处理、________、________、结果输出五个步骤。4、Spark运行架构主要包含Driver、________、集群管理器三大核心部分。5、数据处理的基本流程为：数据采集、________、数据存储、________、数据应用与展示。6、Kafka中最小的消息存储单元是________。三、简答题（共4题，每题5分，共20分）1、简述HDFS的优缺点。2、简述MapReduce中Shuffle阶段的核心作用。3、区分大数据离线计算与实时计算的适用场景。4、简述大数据数据预处理包含的主要内容。四、计算题（共1题，10分）现有一批日志数据总大小为512GB，基于HDFS默认块大小进行存储，HDFS默认副本数为3。请计算：（1）该批数据会被切分为多少个数据块？（2）存储该批数据总共需要占用多少存储空间？（需写出详细计算过程）五、综合应用题（共2题，每题15分，共30分）1、某电商平台每日产生海量用户浏览、下单、支付日志数据，平台需要实现两个业务需求：一是每日凌晨统计前一日的用户下单量、销售额、商品热销榜单；二是实时监控用户支付异常行为，秒级触发风险预警。请结合大数据技术栈，分析该场景下需要选用的计算框架，说明选型理由，并简述整体数据处理流程。2、简述基于Hadoop+Spark的大数据平台搭建核心流程，并说明各组件在平台中的分工作用。详细参考答案一、单项选择题答案1、D解析：大数据4V特性为海量、高速、多样、价值密度低，无数据单一特性。2、C解析：HDFS3.0及以上版本默认块大小为128MB，是行业通用标准。3、C解析：YARN是Hadoop的资源调度框架，负责分配CPU、内存资源，调度各类计算任务。NameNode、DataNode为HDFS组件，MapReduce为计算框架。4、C解析：Flink是主流实时流式计算框架，其余均适用于离线批量计算场景。5、B解析：HBase是分布式、面向列的非关系型数据库，适合海量稀疏数据存储。6、C解析：RDD（弹性分布式数据集）是Spark的核心抽象，是数据计算的基本单元。7、B解析：数据清洗主要处理缺失值、重复值、异常值，优化数据质量，为后续计算分析提供可靠数据基础。8、B解析：Kafka是分布式流式消息队列，主要用于数据缓冲、实时数据流转、解耦数据生产与消费环节。9、C解析：图片、视频、音频、文本文档均属于非结构化数据；表格、报表、CSV文件为结构化数据。10、B解析：Map阶段负责拆分处理数据，Reduce阶段负责对分组数据进行汇总、聚合、输出结果。11、B解析：NameNode管理文件系统元数据，记录数据块存储位置；DataNode存储实际数据块。12、B解析：实时计算主打低延迟、流式不间断处理，适用于实时监控、实时统计场景。13、A解析：Hive基于Hadoop构建数据仓库，用于结构化、半结构化数据的离线分析统计。14、B解析：RDD具备不可变性和分区并行特性，保证Spark任务高效、稳定并行计算。15、B解析：数据脱敏通过掩码、替换、加密等方式处理手机号、身份证等敏感数据，保护用户隐私。二、填空题答案1、高速性（Velocity）、价值性（Value）（价值密度低）2、HDFS（分布式文件系统）、MapReduce（分布式计算框架）3、Shuffle洗牌、Sort排序4、Executor（执行器）5、数据预处理、数据计算与分析6、分区（Partition）三、简答题答案1、简述HDFS的优缺点优点：（1）高容错性，通过多副本存储机制，避免数据节点故障导致数据丢失；（2）海量数据存储能力，支持PB、EB级大数据存储；（3）高吞吐量，适合批量数据读写操作；（4）低成本，可搭建在普通廉价服务器集群上；（5）可横向扩展，可动态新增节点扩容存储和算力。缺点：（1）延迟较高，不适合低延迟的实时数据读写场景；（2）不适合大量小文件存储，会占用大量元数据资源，降低集群性能；（3）不支持随机修改数据，仅支持追加写入操作。2、简述MapReduce中Shuffle阶段的核心作用Shuffle是MapReduce的核心衔接阶段，连接Map和Reduce任务。核心作用主要包含三点：一是对Map输出的无序数据进行分区，将相同key的数据分发到同一个Reduce节点；二是对分区后的数据进行排序、合并，规整数据格式；三是完成数据的网络传输与缓存落地，保证Reduce节点可以有序、批量接收对应数据，为后续聚合汇总计算提供规整的数据基础，是保障分布式分组计算的关键环节。3、区分大数据离线计算与实时计算的适用场景离线计算：面向海量历史批量数据，对延迟无严格要求，处理耗时较长。适用场景包括每日/每周数据报表统计、用户行为画像分析、海量日志归档分析、数据清洗规整、批量数据建模等。常用框架为MapReduce、SparkCore、Hive。实时计算：面向流式增量数据，要求秒级、毫秒级低延迟处理。适用场景包括实时风控预警、实时订单监控、直播实时数据统计、实时日志分析、平台流量实时监控等。常用框架为Flink、SparkStreaming。4、简述大数据数据预处理包含的主要内容大数据预处理是数据计算分析前的核心步骤，主要包含四项内容：（1）数据清洗：剔除重复数据、补全缺失数据、修正异常错误数据，提升数据质量；（2）数据集成：整合多来源、多格式的异构数据，统一数据口径；（3）数据转换：对数据格式、单位、类型进行统一转换，适配计算框架要求；（4）数据规约：在保留核心数据特征的前提下，精简数据维度、压缩数据量，降低后续计算压力。四、计算题答案已知条件：HDFS默认块大小=128MB，副本数=3，总数据量=512GB，1GB=1024MB（1）计算数据块数量总数据容量=512×1024=524288MB数据块数量=总容量/单块大小=524288÷128=4096个（2）计算总存储空间HDFS每个数据块会存储3份副本，总存储容量=数据块数量×单块大小×副本数总存储容量=4096×128×3=1572864MB=1536GB最终结论：需切分4096个数据块，总共占用1536GB存储空间。五、综合应用题答案1、电商大数据业务场景技术选型与流程分析（1）技术选型离线统计业务（日度报表、热销榜单）：选用Hive+SparkCore离线计算框架；实时风控预警业务：选用Flink实时计算框架，搭配Kafka消息队列。（2）选型理由①日度报表统计数据量大、延迟无严格要求，SparkCore离线计算吞吐量高、运算速度快，Hive可通过SQL语句快速实现统计分析，开发效率高，适配批量历史数据统计场景；②支付异常预警对延迟要求极高，Flink支持毫秒级实时流式计算，具备状态管理和事件时间处理能力，可精准识别异常行为；Kafka可缓冲实时日志数据流，解耦日志采集与计算任务，避免数据拥堵丢失。（3）整体处理流程第一步：通过日志采集工具采集用户浏览、下单、支付的实时日志数据，推送至Kafka消息队列；第二步：实时分支：Flink消费Kafka流式数据，实时解析支付数据，匹配风控规则，识别异常交易并触发预警；第三步：离线分支：每日凌晨将前一日全量日志数据落地HDFS，通过Hive清洗、规整数据，再由SparkCore完成销售额、下单量、热销商品等指标统计；第四步：将离线统计报表、实时预警数据分别推送至数据可视化平台和风控系统，支撑业务使用。2、Hadoop+Spark大数据平台搭建流程及组件分工（1）核心搭建流程①环境准备：配置服务器集群网络、关闭防火墙、统一时间同步、创建专用用户、配置免密登录，搭建基础Linux集群环境；②基础依赖安装：统一安装JDK环境，配置环境变量，保障所有组件正常运行；③Hadoop集群部署：依次部署HDFS、YARN组件，配置核心参数，启动集群并完成读写测试；④Spark集群部署：基于YARN作为资源管理器，部署Spark集群，配置运行参数，实现Spark任务基于YARN调度运行；⑤辅助组件部署：按需部署Hive、Kafka等组件，完善数据仓库、消息队列能力；⑥集群调试优化：测试离线、实时任务运行状态，优化集群资源参数、存储参数，保障集群稳定运行。（2）各组件核心分工①HDFS：分布式文件系统，负责集群所有海量日志、业务数据的持久化存储