大数据技术期末考试题及答案

大数据技术期末考试题及答案一、单项选择题（共15题，每题2分，总计30分）1.以下选项中，不属于大数据经典“4V”特征的是（）A.Volume（数据体量大）B.Velocity（处理速度快）C.Validity（数据有效性高）D.Variety（数据类型多）2.Hadoop分布式文件系统（HDFS）在2.x及以上稳定版本中的默认数据块大小为（），该配置适配普通机械磁盘的传输速率，平衡寻址时间与传输效率。A.16MBB.32MBC.64MBD.128MB3.在MapReduce编程模型的Shuffle流程中，以下核心操作属于Map任务节点执行范畴的是（）A.从不同Map节点远程拉取对应分区的中间结果B.按照Key对拉取到的所有中间数据做全局归并排序C.对Map输出的<key,value>对按照分区规则划分到对应ReducerD.将相同Key的value集合传递给reduce函数执行聚合逻辑4.HBase作为Hadoop生态中的核心NoSQL组件，其数据存储模型属于（）A.行存储模型B.列族存储模型C.文档存储模型D.纯键值存储模型5.弹性分布式数据集（RDD）是Spark的核心计算抽象，以下关于RDD特性的描述错误的是（）A.RDD支持按照并行度划分为多个分区，分布在集群节点上并行计算B.RDD是只读的数据集，只能通过转换操作生成新的RDDC.RDD的转换操作采用惰性求值机制，仅当触发Action操作时才会真正执行计算D.RDD支持细粒度的随机修改，可直接更新任意位置的元素值6.大数据仓库分层架构中，ODS层的核心定位是（）A.存储从各数据源接入的原始数据，不做或仅做极少量格式转换B.存储经过清洗、脱敏、维度关联后的明细业务数据C.存储按照业务主题预聚合的公共汇总指标数据D.存储面向具体应用场景的最终报表数据，直接对外提供服务7.Flume是分布式日志采集组件，其Agent进程中负责从数据源接收数据的核心组件是（）A.SourceB.ChannelC.SinkD.Interceptor8.以下关于Kafka分区（Partition）机制的描述，错误的是（）A.每个Topic可以划分为多个Partition，通过多分区并行读写提升吞吐量B.同一个Partition内部的消息按照写入顺序存储，消费时保证分区内有序C.Partition的副本数量不能超过集群中Broker节点的总数量D.同一个消费者组内，一个Partition可以同时被多个消费者消费以提升消费速度9.ETL是数据加工的核心流程，以下操作不属于数据清洗环节的是（）A.对缺失的用户属性字段按照规则做填充处理B.剔除数值超出合理范围的异常订单数据C.将订单事实表与商品维度表做关联，补充商品属性字段D.对核心字段完全重复的日志记录做去重处理10.以下特性中，属于Flink相较于SparkStreaming的核心优势的是（）A.支持分布式集群环境下的并行计算B.原生支持事件时间语义，实现毫秒级低延迟的真正流处理C.提供类SQL接口降低开发门槛D.支持内存计算提升执行效率11.数据脱敏是数据安全防护的核心手段，以下操作属于数据脱敏范畴的是（）A.对存储在磁盘上的用户数据采用AES算法做加密存储B.将用户展示端的手机号中间4位替换为“”，避免敏感信息泄露C.对核心业务数据做3副本跨机架备份，防范数据丢失D.基于RBAC模型配置数据访问权限，限制普通用户查看敏感数据12.ZooKeeper集群通过主从角色协作实现分布式协调服务，其中负责处理客户端写请求、发起Leader选举投票的核心角色是（）A.FollowerB.ObserverC.LeaderD.Client13.数据可视化场景中，最适合展示不同类别数据占总体比例关系的图表类型是（）A.折线图B.柱状图C.饼图D.散点图14.Hive作为面向Hadoop的数据仓库工具，提供类SQL的HiveQL接口实现分布式数据查询，其底层默认的执行引擎是（）A.MapReduceB.SparkC.TezD.Presto15.大数据应用需严格遵循隐私保护原则，以下行为违背用户隐私保护要求的是（）A.收集用户行为数据前，明确告知数据使用范围并获得用户明示授权B.对用户个人身份信息做去标识化处理后，用于群体层面的统计分析C.未经用户许可，将平台收集的用户手机号、收货地址等个人信息共享给第三方广告商D.建立数据访问审计机制，对敏感数据的所有访问操作留痕追溯二、多项选择题（共10题，每题2分，总计20分，多选、少选、错选均不得分）1.HDFS为实现海量数据的可靠分布式存储设计了多维度保障机制，以下说法正确的有（）A.采用主从架构，NameNode作为主节点管理文件系统元数据，DataNode作为从节点存储实际数据块B.默认每个数据块保存3个副本，跨节点、跨机架分布，防范单节点或单机架故障导致的数据丢失C.采用“一次写入、多次读取”的访问模型，仅支持文件末尾追加写，不支持任意位置的随机修改D.NameNode的元数据（fsimage、edits日志）需通过多副本或HA机制备份，避免单点故障导致整个文件系统不可用2.以下组件属于Hadoop生态中数据采集与传输层的有（）A.FlumeB.SqoopC.HBaseD.Kafka3.关于SparkRDD的依赖关系与作业调度机制，以下说法正确的有（）A.窄依赖指一个父RDD的分区最多被一个子RDD的分区使用，map、filter等操作会产生窄依赖B.宽依赖指一个父RDD的分区被多个子RDD的分区使用，会触发Shuffle数据重分区，groupByKey、reduceByKey等操作会产生宽依赖C.DAG调度器会根据宽依赖作为边界，将RDD执行链路划分为多个Stage，每个Stage内部均为窄依赖，可并行执行任务D.窄依赖的失败恢复成本显著高于宽依赖，因为需要重新计算上游所有RDD的全部分区数据4.传统OLTP数据库与OLAP数据仓库的核心差异包括（）A.面向场景不同：数据库面向日常事务处理，支撑业务增删改查操作；数据仓库面向分析场景，支撑管理决策B.数据特征不同：数据库主要存储当前业务的最新数据，数据规模相对较小；数据仓库存储全量历史数据，数据规模大C.设计范式不同：数据库设计通常遵循三范式减少数据冗余；数据仓库多采用星型、雪花型维度模型，允许适当数据冗余提升查询效率D.查询接口不同：数据库不支持SQL查询，仅支持键值查询；数据仓库必须支持标准SQL接口5.Flink作为主流流处理引擎，支持的时间语义包括（）A.事件时间（EventTime）：事件实际发生的时间，由事件本身携带的时间戳标记B.摄入时间（IngestionTime）：事件进入FlinkSource算子的时间C.处理时间（ProcessingTime）：Flink算子实际处理事件时的节点系统时间D.调度时间（SchedulingTime）：Flink作业调度器为任务分配计算资源的时间6.NoSQL数据库为适配不同大数据场景发展出多种细分类型，以下分类与对应组件匹配正确的有（）A.键值存储数据库：Redis、DynamoDBB.列族存储数据库：HBase、CassandraC.文档存储数据库：MongoDB、CouchDBD.图数据库：Neo4j、JanusGraph7.大数据加工过程中常见的数据质量问题包括（）A.数据缺失：关键字段存在空值、未记录等情况B.数据异常：字段数值超出合理范围、数据格式不符合规范C.数据重复：同一业务实体存在多条核心字段完全一致的重复记录D.数据不一致：不同数据源中同一业务指标的统计口径、数值存在冲突8.关于Kafka消费者组（ConsumerGroup）的消费机制，以下说法正确的有（）A.同一个消费者组内，每个Partition在同一时间只能被一个消费者消费，避免重复消费B.消费者的消费位移（Offset）默认保存在Kafka内部的__consumer_offsets主题中，支持自动或手动提交C.当消费者组内的消费者数量超过订阅Topic的总Partition数时，超出的消费者将处于空闲状态，无法分配到消费分区D.不同消费者组之间的消费进度互不干扰，可独立消费同一Topic的全量数据，实现多业务场景的独立订阅9.以下算法属于大数据场景下的并行化机器学习算法的有（）A.分布式随机梯度下降逻辑回归：将训练数据分块，各节点并行计算局部梯度后聚合更新模型参数B.分布式K-Means聚类：Map阶段各节点计算局部样本与聚类中心的距离，Reduce阶段聚合生成新的全局聚类中心，迭代完成聚类C.并行FP-Growth关联规则挖掘：将事务数据分片，各节点构建局部FP树挖掘局部频繁项集，再合并得到全局频繁项集D.单节点C4.5决策树：将全量训练数据加载到单节点内存，递归构建决策树完成分类任务10.大数据平台运维监控体系中，需要重点关注的核心指标维度包括（）A.集群资源指标：节点CPU使用率、内存占用率、磁盘IO速率、网络带宽利用率B.组件健康指标：HDFS块副本缺失率、YARN队列资源使用率、Kafka消息堆积量C.作业运行指标：计算作业的运行时长、失败率、数据倾斜占比、资源消耗水平D.数据链路指标：数据从源端到数仓的接入延迟、数据完整性校验通过率、指标波动异常率三、判断题（共10题，每题1分，总计10分，正确填“√”，错误填“×”）1.大数据的价值密度与传统结构化数据相比更高，单位数据蕴含的商业价值显著高于传统业务数据。（）2.HDFS集群中NameNode负责维护全量文件系统元数据，若NameNode发生故障且无备份机制，整个分布式文件系统将无法正常提供服务。（）3.MapReduce计算过程中，Map阶段输出的中间结果将直接通过网络传输给对应Reducer，不需要写入节点本地磁盘。（）4.Spark中RDD的计算结果默认不会持久化存储，若多个Action操作依赖同一个RDD，会从头重新计算整个RDD依赖链，可以通过cache()或persist()方法将RDD缓存到内存或磁盘提升复用效率。（）5.Hive中内部表与外部表的核心区别是：删除内部表时会同时删除HDFS上存储的实际数据文件，删除外部表时仅删除Hive元数据，不会删除HDFS上的实际数据。（）6.大数据采集组件中，Sqoop主要用于实时采集文本日志类流数据，Flume主要用于关系型数据库与Hadoop之间的批量数据同步。（）7.Flink的检查点（Checkpoint）机制基于Chandy-Lamport分布式快照算法实现，能够为流处理作业提供Exactly-Once级别的内部状态一致性保障。（）8.分布式计算中的数据倾斜问题，指的是部分分区的数据量远高于其他分区，导致少数任务运行时间过长，拖慢整个作业的执行进度，甚至引发任务内存溢出。（）9.数据仓库维度建模中，星型模型的维度表存在多层依赖关系，维度表之间可直接关联，不需要全部直接连接事实表。（）10.数据分类分级是数据安全治理的核心基础，需要根据数据的敏感程度、影响范围将数据划分为不同等级，匹配对应的访问控制和安全防护策略。（）四、简答题（共4题，每题5分，总计20分）1.简述大数据处理典型技术栈的分层架构及各层核心功能。2.简述MapReduce与Spark分布式计算框架的核心差异。3.简述分布式计算场景中数据倾斜的常见触发原因及核心解决思路。4.简述Flink实现端到端Exactly-Once（精确一次）处理语义的核心机制。五、综合应用题（共2题，每题10分，总计20分）1.某区域电商平台计划搭建用户行为分析大数据平台，需满足三类核心需求：①离线指标计算：每日凌晨完成前一日平台总交易额、Top10热销商品、分省份用户消费分布等报表计算，报表延迟不超过2小时；②实时指标计算：实时统计平台当前在线用户数、每分钟滚动交易额、1分钟内同一用户下单超10次的异常行为告警，数据计算延迟不超过5秒；③自助查询服务：支撑运营人员通过BI工具自助查询近3年的历史交易明细与汇总指标，查询响应时间达到秒级。请结合Hadoop生态体系核心组件，设计该平台的技术架构，说明各环节的组件选型与核心数据流转流程。2.某数据开发工程师使用SparkSQL完成用户订单的分城市消费总金额统计作业时，发现作业运行时长远超预期，监控界面显示90%的Task在2分钟内完成，但剩余10%的Task运行时长超过20分钟，且存在个别Task因内存溢出运行失败的情况。请结合分布式计算原理分析该问题的核心成因，给出可落地的优化方案，并说明验证优化效果需要关注的核心指标。参考答案一、单项选择题1.C解析：大数据经典4V特征为Volume（体量大）、Velocity（速度快）、Variety（类型多）、Value（价值密度低），Validity不属于经典4V范畴。2.D解析：Hadoop2.x及以上版本HDFS默认块大小为128MB，适配普通机械磁盘约100MB/s的传输速率，平衡磁盘寻址时间与数据传输效率。3.C解析：分区操作在Map端完成，Map输出数据首先按照Partitioner规则划分到对应Reducer分区，再经过排序、溢写、合并后写入本地磁盘；拉取数据、全局归并、调用reduce函数均属于Reduce端操作。4.B解析：HBase是面向列族的分布式NoSQL数据库，同一列族的数据物理存储在一起，支持海量结构化数据的随机实时读写。5.D解析：RDD是只读的弹性分布式数据集，不支持细粒度的随机修改，只能通过转换操作生成新的RDD。6.A解析：ODS层为操作数据存储层，直接存储从数据源接入的原始数据；B选项为DWD明细层定位，C选项为DWS汇总层定位，D选项为ADS应用层定位。7.A解析：FlumeAgent的三大核心组件中，Source负责从数据源采集接收数据，Channel负责数据临时缓存，Sink负责将数据写入下游存储或计算系统。8.D解析：Kafka消费者组内，一个Partition同一时间只能被一个消费者消费，通过该机制避免重复消费，当消费者数量超过分区数时多余消费者将空闲。9.C解析：维度表关联属于ETL中的数据转换环节，缺失值填充、异常值剔除、重复数据去重均属于数据清洗环节。10.B解析：SparkStreaming采用微批处理模型，处理延迟为秒级，事件时间支持能力较弱；Flink采用原生流处理模型，支持完善的事件时间与水位线机制，可实现毫秒级低延迟处理，是其核心优势。11.B解析：数据脱敏指通过数据变形实现敏感数据的可靠保护，手机号中间位打码属于典型的脱敏操作；A属于数据加密，C属于数据容灾备份，D属于权限控制，均不属于脱敏范畴。12.C解析：ZooKeeper集群中Leader为唯一处理写请求的角色，负责协调集群状态、发起选举投票；Follower参与选举投票、处理读请求；Observer仅同步数据处理读请求，不参与投票。13.C解析：饼图通过扇形面积占比展示不同类别占总体的比例关系；折线图适合展示趋势变化，柱状图适合对比不同类别数值差异，散点图适合展示两个变量的相关性。14.A解析：Hive原生默认执行引擎为MapReduce，后续版本逐步支持Spark、Tez等引擎作为可选执行引擎。15.C解析：未经用户许可共享个人敏感信息违反《个人信息保护法》要求，违背大数据应用的隐私保护原则。二、多项选择题1.ABCD2.ABD3.ABC4.ABC5.ABC6.ABCD7.ABCD8.ABCD9.ABC10.ABCD解析：2.HBase属于分布式存储层组件，不属于采集传输层范畴；3.窄依赖失败恢复仅需重新计算对应的父分区数据，恢复成本远低于宽依赖；4.传统OLTP数据库支持标准SQL查询，该选项描述错误；5.Flink无调度时间的官方时间语义定义；9.单节点C4.5算法不支持分布式并行计算，不属于大数据场景下的并行算法。三、判断题1.×解析：大数据价值密度低，海量数据中仅小部分数据蕴含高价值，单位数据价值低于传统高结构化的业务数据。2.√3.×解析：MapReduce的Map输出结果会先写入本地磁盘做溢写与合并，再由Reducer远程拉取，该机制保障了Map端出错时的容错能力。4.√5.√6.×解析：Sqoop主要用于关系型数据库与Hadoop之间的批量数据同步，Flume主要用于日志类流数据的实时采集，二者适用场景相反。7.√8.√9.×解析：该描述为雪花模型的特征，星型模型中所有维度表直接关联事实表，维度表之间不存在层级依赖。10.√四、简答题1.大数据技术栈自下而上分为五层，各层核心功能如下：（1）数据采集与传输层（1分）：负责多源数据的统一接入与可靠传输，通过Flume、Sqoop、Canal等组件采集日志、业务数据库、IoT设备等来源的数据，通过Kafka等消息队列实现数据缓冲与解耦，避免数据源与计算层直接耦合。（2）数据存储层（1分）：负责海量多类型数据的分布式可靠存储，通过HDFS存储大体积非结构化文件，通过HBase、MongoDB等NoSQL数据库支持高并发随机读写，通过Redis实现热点数据高速缓存，通过Doris、ClickHouse等OLAP引擎支撑快速分析查询。（3）资源管理与计算引擎层（1分）：通过YARN、Kubernetes实现集群CPU、内存等资源的统一调度与分配；计算引擎覆盖多场景需求，包括MapReduce、Spark等批处理引擎，Flink等流处理引擎，Presto、Impala等交互式分析引擎，GraphX等图计算引擎。（4）数据仓库与数据治理层（1分）：构建ODS-DWD-DWS-ADS的分层数仓体系，完成数据清洗、转换、建模；配套元数据管理、数据血缘追踪、数据质量监控、数据脱敏、权限控制等治理能力，保障数据的准确性、一致性、安全性。（5）数据服务与可视化层（1分）：将加工完成的指标通过API接口、BI报表、可视化大屏等形式对外输出，支撑业务决策、用户画像、智能推荐等上层应用。2.二者核心差异体现在三个方面：（1）计算模型差异（2分）：MapReduce是基于磁盘的批处理模型，仅支持Map、Reduce两类算子，中间结果全部写入磁盘，IO开销大，表达能力有限；Spark基于内存计算提出RDD抽象，支持丰富的转换、行动算子，中间结果优先存储在内存，IO开销低，可统一支持批处理、流处理、机器学习、图计算等多场景负载。（2）执行效率差异（2分）：MapReduce每个作业都需要启动独立的JVM进程，任务启动开销大，磁盘IO成本高，仅适合低时效性离线批量任务；Spark采用线程池模型执行任务，启动开销小，结合内存缓存机制，迭代计算效率可达MapReduce的10-100倍。（3）容错机制差异（1分）：MapReduce基于数据副本实现容错，任务失败后需从磁盘读取前序阶段的输出重新计算；Spark基于RDD血缘关系实现容错，分区计算失败时仅需根据依赖链重新计算丢失的对应分区，恢复成本更低。3.（1）常见触发原因（2分）：一是业务数据本身分布不均，存在热点Key，如爆款商品、头部用户对应的数据量远高于其他Key，Shuffle阶段相同Key被分配到同一分区导致单分区数据过载；二是分区规则不合理，哈希分区时出现大量哈希碰撞，导致多个Key被分配到同一分区；三是数据中存在大量空值、异常测试值，被统一分配到同一分区处理。（2）核心解决思路（3分）：①预聚合优化：聚合类操作开启Map端Combine，在数据Shuffle前先做局部聚合，减少传输与计算的数据量；②热点Key打散：为热点Key添加随机前缀，将原本同一分区的热点数据拆分到多个分区做局部聚合，再去掉前缀做全局聚合，分摊计算压力；③规则调整：自定义分区器适配数据分布，增加Shuffle分区数提升并行度；④异常值处理：提前过滤无分析价值的空值、测试异常值；⑤避免Shuffle：大小表Join场景下通过广播小表的方式实现Map端Join，从根源消除Shuffle阶段的重分区操作。4.端到端Exactly-Once指数据从源端接入、引擎内部计算到最终输出全链路无丢失、无重复，核心机制分为三个层面：（1）Source端可重置消费位点（1分）：对接的数据源（如Kafka）支持持久化存储消费位移，作业失败重启时可从最近一次一致性快照位置重新消费，避免数据丢失。（2）引擎内部检查点机制（2分）：基于Chandy-Lamport分布式快照算法，定期在数据流中插入检查点屏障，当所有算子处理完对应屏障前的数据时，将各算子的计算状态持久化到外部存储，标记检查点完成；作业失败时从最近完成的检查点恢复所有算子状态与消费位点，保障内部计算状态一致。（3）Sink端事务提交机制（2分）：采用两阶段提交协议实现输出端一致性，检查点触发时Sink先开启事务将数据写入临时缓冲区，待全链路检查点完成后正式提交事务写入外部系统；若检查点失败则回滚事务丢弃临时数据，避免数据重复输出，最终实现全链路精确一次语义。五、综合应用题1.该平台采用分层架构设计，各环节组件选型与流程如下（满分10分）：（1）数据采集层（2分）：前端埋点、Nginx产生的用户访问日志通过Flume集群实时采集，配置TaildirSource实现断点续传；MySQL中存储的订单、用户、商品等业务数据，通过Sqoop每日凌晨做T+1增量同步，订单实时变更数据通过Canal解析Binlog实时采集，所有实时数据统一写入Kafka集群做缓冲，配置3副本、3天留存期，解耦采集与计算环节，削峰填谷。（2）数据存储层（2分）：离线全量原始数据、数仓各层数据存储在HDFS集群，配置3副本保障可靠性；近3年的明细与汇总数据导入MPP引擎Doris，支撑BI工具的秒级自助查询；实时计算的状态数据存储在RocksDB状态后端，定期将检查点持久化到HDFS；高频访问的维度数据存储在Redis缓存，提升实时关联效率。（3）计算层（4分）：离线计算采用SparkSQL引擎，基于YARN做资源调度，构建分层数仓：ODS层存储原始接入数据，DWD层完成数据清洗、去重、维度关联生成明细宽表，DWS层按日期、省份、商品维度做预聚合，ADS层计算总交易额、热销商品、区域分布等报表指标，通过Airflow调度离线作业，每日凌晨启动，1.5小时内完成全部计算，满足2小时延迟要求。实时计算采用Flink引擎，消费Kafka中的实时数据，基于事件时间语义配置5秒水位线，通过1分钟滚动窗口计算实时交易额，通过KeyedProcessFunction实现用户下单频次检测与异常告警，通过布隆过滤器实现在线用户去重统计，整体计算延迟控制在3秒内，满足5秒实时性要求。自助查询场景采用Doris作为OLAP引擎，通过定时导入任务将数仓明细、汇总数据同步到Doris，支持标准SQL查询，查询响应时间控制在秒级，支撑运营人员BI自助分析。（4）服务与治理层（2分）：实时指标写入Redis供可视化大屏展示，离线报表写入MySQL供运营