大数据处理试题及解析

大数据处理试题及解析一、单项选择题（共10题，每题1分，共10分）下列不属于大数据经典4V核心特征的选项是A.数据体量巨大，对应Volume维度B.处理速度要求高，对应Velocity维度C.数据价值密度极高，对应Value维度D.数据类型多样，对应Variety维度答案：C解析：大数据4V特征的官方定义中，Value维度指的是数据价值密度低，海量数据中仅有极小比例的有效信息，比如大量连续的监控视频中可能只有几秒钟的有效预警内容，因此C选项表述错误。A、B、D三个选项均是4V特征的标准组成部分。分布式文件系统HDFS的核心设计目标不包含以下哪一项A.部署在普通廉价商用硬件集群之上B.适配高并发低时延的随机数据访问场景C.支持超大体量的单文件存储D.提供极强的数据容错冗余机制答案：B解析：HDFS针对大文件的顺序读写优化，并不适合低时延的随机访问场景，该类需求一般由分布式KV数据库适配，因此B选项描述错误。A、C、D均是HDFS原生的核心设计目标。MapReduce计算模型的Shuffle阶段核心作用是A.把所有计算任务的结果直接返回给客户端B.对Map阶段输出的中间结果进行分区、排序、合并，再分发到对应的Reduce节点C.实现分布式集群的节点资源统一调度D.完成原始数据在HDFS上的多副本备份答案：B解析：Shuffle是MapReduce连接Map和Reduce阶段的核心流程，负责中间数据的分发整理工作，B选项描述准确。A选项是作业收尾阶段的动作，C选项是资源调度器的功能，D选项是HDFS写入阶段的功能，均不符合Shuffle的定义。下列技术中最适合对毫秒级产生的实时数据流做增量计算的是A.批量计算技术B.关系型数据库单表查询技术C.流处理计算技术D.离线数仓批量关联技术答案：C解析：流处理技术专门针对连续生成的实时数据流设计，可以实现低时延的增量计算，适配毫秒级数据处理需求。其余三个选项均针对静态的批量历史数据设计，时延通常在分钟到小时级别，无法满足要求。数据预处理环节中，“填充缺失值、修正异常值、删除重复数据”属于以下哪个环节的核心工作A.数据采集B.数据清洗C.数据可视化D.数据建模答案：B解析：数据清洗环节的核心目标就是解决原始数据中存在的缺失、异常、重复、错误等质量问题，题干中描述的动作完全属于数据清洗的工作范畴。A选项是从数据源获取原始数据的过程，C选项是数据结果的展示过程，D选项是基于干净数据生成计算结果的过程，均不符合要求。分布式大数据集群的资源管理模块核心作用是A.统一管理集群的CPU、内存、磁盘等硬件资源，按需分配给不同的计算任务B.负责存储所有计算产生的结果数据C.实现不同节点之间的网络通讯加密D.监控集群节点的硬件健康状态，故障后直接自动关机答案：A解析：分布式资源管理器的核心功能就是做集群硬件资源的统一调度，避免不同计算任务抢占资源导致集群崩溃，A选项描述准确。B是分布式存储系统的功能，C是网络安全模块的可选功能，D是故障感知功能的错误描述，故障后会自动转移任务而非直接关机。以下哪种数据不属于大数据场景下的非结构化数据A.用户上传的短视频文件B.业务系统生成的结构化日志表格C.全网爬取的新闻网页文本D.设备拍摄的监控图片文件答案：B解析：结构化日志表格是符合二维表规则的结构化数据，其余三个选项的视频、文本、图片均属于无法直接用二维表存储的非结构化数据，因此答案为B。离线大数据数仓分层设计中，用来存储原始采集到的未经过任何加工的全量原始数据的层是A.ODS原始数据层B.DWD明细数据层C.DWS汇总数据层D.ADS应用数据层答案：A解析：ODS层是数据仓库最底层的原始数据层，完全保留数据源的原始格式和内容，不做深度加工。DWD层是经过清洗的明细层，DWS层是轻度汇总层，ADS层是面向业务应用的结果层，因此答案为A。CAP理论中，分布式系统无法同时保证的三个特性是A.一致性、可用性、分区容错性B.高性能、低成本、易运维C.可扩展、易兼容、高安全D.一致性、高性能、易扩展答案：A解析：CAP理论的核心定义就是分布式系统不可能同时满足一致性Consistency、可用性Availability、分区容错性PartitionTolerance三个特性，最多同时实现两个，其余选项均不属于CAP理论的定义范畴。下列关于数据倾斜的描述，错误的是A.数据倾斜通常是因为某一个或几个计算节点需要处理的数据量远大于其他节点B.数据倾斜会导致整个大数据计算任务的执行时间被少数慢节点拖慢C.数据倾斜只会出现在流处理任务中，离线批量任务不会出现数据倾斜D.对倾斜的键值做预加盐拆分是缓解数据倾斜的常用手段答案：C解析：数据倾斜无论在离线批量任务还是实时流处理任务中都可能出现，比如离线任务中按用户ID分组，某一个热点用户的行为数据量远大于其他用户就会触发倾斜，因此C选项描述错误，其余三个选项的描述均符合数据倾斜的实际特性。一、多项选择题（共10题，每题2分，共20分）下列属于大数据处理领域常用的分布式计算框架的有A.支持离线批量计算的MapReduce框架B.支持流批一体计算的Spark框架C.支持低时延流处理的Flink框架D.仅支持单节点运行的Excel表格计算工具答案：ABC解析：A、B、C三个选项均是支持分布式多节点并行运行的大数据计算框架，适配不同的大数据处理场景。D选项的Excel仅支持单节点小体量数据计算，不属于大数据分布式计算框架，是错误干扰项。分布式存储系统为了保证数据可靠性，通常会采用哪些容错机制A.多副本冗余存储，同一份数据在不同节点保存多个备份B.数据校验和机制，检测数据是否出现磁盘损坏导致的比特错误C.节点故障自动感知，把故障节点上的数据副本自动迁移到其他健康节点D.只存储单份数据，节省所有硬件资源，出现故障后直接丢失数据无需处理答案：ABC解析：多副本、校验和、故障自动迁移都是分布式存储系统常用的可靠容错机制，A、B、C描述均正确。D选项的单份数据不做容错是本地小型存储的错误做法，完全不符合分布式存储的设计要求，属于干扰项。数据预处理阶段通常包含以下哪些核心工作环节A.数据清洗，处理缺失、异常、重复数据B.数据集成，把多个不同数据源的同源数据合并到统一的存储中C.数据变换，对数据做归一化、类型转换、维度脱敏等处理D.数据归约，在保留核心信息的前提下降低数据体量，减少后续计算压力答案：ABCD解析：四个选项描述的四个环节都是工业界大数据预处理阶段的标准组成部分，全选均正确。下列属于流处理计算场景的典型落地案例的有A.电商平台的实时大屏，展示全天每一秒的交易总金额、订单数量B.实时反欺诈系统，在用户支付的瞬间判断交易是否存在盗刷风险C.网站的实时热点统计，实时统计当前访问量最高的前十个页面D.每月底运行的全量用户账单统计任务，计算当月所有用户的消费总额答案：ABC解析：A、B、C三个场景都要求秒级甚至毫秒级的低时延输出结果，属于典型的流处理场景。D选项的月底全量账单统计是面向历史全量数据的离线批量处理场景，不属于流处理的范畴。大数据数仓分层设计可以带来的优势有A.把复杂的计算拆解成多个逐层递进的简单步骤，逻辑清晰易维护B.不同层之间数据解耦，底层数据源变动不会直接影响上层业务使用C.统一公共计算逻辑，避免不同业务重复开发相同的计算任务D.完全不需要做任何数据备份，所有数据只存一份就可以满足所有需求答案：ABC解析：分层设计的解耦、逻辑拆分、逻辑复用的优势描述都是正确的。D选项描述完全错误，数仓分层每一层都需要做合理的数据备份避免数据丢失，不可能所有数据只存一份。以下哪些手段可以有效缓解大数据计算任务中的数据倾斜问题A.对热点的分组键做预拆分加盐，把大的计算任务打散成多个小任务并行计算B.提前把分布极不均衡的维度表加载到分布式缓存中，避免大表和极小表的shuffle过程C.对出现倾斜的键单独做特殊处理，其余正常键走常规计算逻辑D.完全不做任何调整，任由任务慢节点拖慢整个作业，直接等待数倍的执行时间答案：ABC解析：A、B、C都是工业界常用的行之有效的缓解数据倾斜的手段。D选项是完全消极的错误做法，不属于合理的优化手段。下列符合大数据处理领域主流数据安全合规要求的做法有A.对用户手机号、身份证号等敏感信息做脱敏处理，非必要场景不展示明文B.对数据的访问权限做分级管控，不同权限的用户只能访问自己职责范围内的数据C.留存全量数据访问日志，出现数据泄露问题后可以快速追溯操作来源D.未经用户同意随意把平台收集的用户原始行为数据共享给第三方商业公司牟利答案：ABC解析：A、B、C三个选项的做法都符合数据安全合规的基本要求，D选项是严重违反数据安全规定的违规操作，属于错误选项。分布式集群的任务调度器可以实现的功能有A.按照任务的优先级分配资源，重要的高优先级任务优先获得硬件资源B.把大的计算任务自动拆分成多个子任务，分发到不同的并行节点上执行C.感知故障节点，把运行在故障节点上的任务自动转移到健康节点重新执行D.完全不受管控，允许任意任务无限制占用集群所有硬件资源答案：ABC解析：A、B、C均是资源调度器的标准功能，D选项完全违背资源调度器的设计目标，会导致集群资源耗尽崩溃，是错误干扰项。下列关于批处理计算的特点描述正确的有A.面向海量的静态历史全量数据做计算B.对实时时延要求较低，通常允许分钟到小时级的执行时间C.可以处理PB级别的超大体量数据D.只能处理KB级别的小体量数据，超过100MB的数据就完全无法计算答案：ABC解析：批处理本身就是为了超大体量历史数据设计的，A、B、C的描述完全符合批处理的特性，D选项是完全错误的，批处理的优势就是可以处理远超单节点处理能力的超大数据集。大数据治理体系通常包含以下哪些核心模块A.数据质量管理，全流程管控不同环节的数据质量，减少数据错误B.元数据管理，统一管理所有数据的属性、血缘、存储位置等信息C.数据生命周期管理，按照数据的使用热度合理设置存储周期和存储介质，降低成本D.完全不需要任何规则约束，所有用户可以随意修改集群内的任意数据答案：ABC解析：A、B、C三个选项是大数据治理体系的三个核心组成部分，D选项的做法完全违背数据治理的目标，会导致数据混乱不可用，属于错误选项。一、判断题（共10题，每题1分，共10分）HDFS分布式文件系统默认采用三副本冗余的存储策略，把同一份数据的三个副本放在不同的机架的不同节点上，提升容错能力。答案：正确解析：HDFS的三副本策略是原生的标准设计，跨机架存储可以避免单台服务器故障甚至整个机架断电故障导致数据全部丢失的问题，符合分布式存储的高可靠性设计要求。关系型数据库的ACID特性中的原子性指的是事务一旦提交就永久生效，不会因为系统故障丢失数据。答案：错误解析：原子性指的是事务的所有操作要么全部成功执行，要么全部完全回滚不执行，题干描述的特性是持久性而非原子性，因此表述错误。流处理处理的是源源不断产生的无限数据集合，不需要等所有数据全部到位就可以基于部分数据产出中间结果。答案：正确解析：流处理的核心设计逻辑就是把无限的数据流按照时间窗口切分成无限多个小的有限数据集，不需要等全部数据生成就可以持续输出结果，符合流处理的基本定义。大数据计算中的数据血缘可以清晰展示数据从采集、加工到最终输出的全链路流转关系，出现数据错误后可以快速定位问题来源。答案：正确解析：数据血缘是元数据管理的核心组成部分，通过全链路记录数据的流转依赖关系，大幅降低数据问题的排查效率，该描述符合实际功能特性。分布式大数据集群的节点数量越多，并行计算的速度就一定会线性提升，不会有任何性能损耗。答案：错误解析：分布式节点数量增加的同时，节点之间的网络通讯开销、任务调度开销也会同步上升，当节点数量超过合理阈值后，计算速度不会继续线性提升，反而可能因为开销过大出现性能下降，因此描述错误。数据脱敏可以在不改变核心数据统计属性的前提下，隐藏用户的敏感明文信息，兼顾数据使用需求和安全合规要求。答案：正确解析：合理的脱敏算法比如手机号中间四位打码，可以保留数据的唯一性特征同时隐藏敏感明文，完全可以满足大部分数据分析场景的使用需求，符合数据安全的要求。MapReduce计算模型中，所有的Map任务执行完成之后才会启动对应的Reduce任务，不可能出现Map和Reduce任务同时运行的状态。答案：正确解析：MapReduce的原生设计要求所有Map任务的输出全部落盘之后才会启动Reduce阶段的shuffle拉取动作，两个阶段是严格串行的，无法并行执行。结构化数据、半结构化数据、非结构化数据的存储方式完全统一，不需要做任何差异化的适配处理。答案：错误解析：三类数据的结构差异极大，结构化数据适合关系型数据库存储，半结构化数据适合文档型数据库存储，非结构化数据适合分布式对象存储存储，需要做差异化适配才能提升存储和处理效率，描述错误。大数据数仓的ADS层面向具体的业务应用做定制化优化，直接给报表、算法等业务场景提供计算完成的结果数据，减少上层业务的重复计算。答案：正确解析：ADS层作为数仓的最上层应用层，专门针对不同业务的查询需求做预聚合优化，直接输出业务可以直接使用的结果，大幅提升业务的查询响应速度。数据倾斜只会影响任务的执行速度，完全不会导致任务出现内存溢出失败的问题。答案：错误解析：极端严重的数据倾斜场景下，单个Reduce节点需要处理的数据量是其他节点的数百倍，很容易超出节点的内存上限直接触发OOM内存溢出，导致整个任务彻底失败，因此该描述错误。一、简答题（共5题，每题6分，共30分）简述大数据经典4V特征的核心含义答案：第一，Volume指数据体量巨大，大数据场景下的数据量通常从TB级别起步，逐步达到PB甚至EB级别，远超传统单节点存储系统的处理上限；第二，Velocity指数据处理速度快，大数据场景下数据产生速度快，要求处理系统具备高吞吐低时延的处理能力，大部分场景要求秒级甚至毫秒级输出结果；第三，Variety指数据类型多样，大数据场景下的数据包含结构化的二维表数据、半结构化的日志JSON数据、非结构化的图片视频文本数据等多种格式，数据来源也非常分散；第四，Value指数据价值密度低，海量的原始大数据中真正有业务价值的有效信息占比极低，需要通过复杂的计算从海量数据中挖掘出少量高价值的信息。解析：四个V的含义各占1.5分，全部描述准确即可得满分，如果有遗漏的部分对应扣除相应分数，核心要点覆盖即可得分。简述MapReduce计算模型的核心执行流程答案：第一，输入分片阶段，分布式计算框架会把输入的大文件按照块大小切分成多个逻辑输入分片，每个分片对应一个独立的Map任务；第二，Map阶段，每个Map任务读取自己负责的输入分片数据，按照用户编写的Map逻辑把输入数据转换成<key,value>格式的中间输出结果；第三，Shuffle阶段，对所有Map节点输出的中间<key,value>数据做分区、排序、合并操作，按照key的哈希值把数据分发到对应的Reduce节点上；第四，Reduce阶段，每个Reduce节点把相同key的所有值聚合起来，按照用户编写的Reduce逻辑计算得到最终的输出结果，写入分布式存储系统中。解析：四个核心流程各占1.5分，覆盖所有环节逻辑清晰即可得满分。简述离线批处理和实时流处理的核心差异答案：第一，处理的数据集合不同，离线批处理处理的是已经全部生成完成的有限静态历史数据集，实时流处理处理的是持续不断产生的无限动态数据流；第二，时延要求不同，离线批处理对时延要求极低，通常允许分钟到小时级甚至天级的执行时间，实时流处理对时延要求极高，通常要求秒级甚至毫秒级就可以输出计算结果；第三，计算触发逻辑不同，离线批处理通常定时触发，全量数据一次性参与计算，实时流处理按照时间窗口切分数据流，增量式持续更新计算结果；第四，适用场景不同，离线批处理适合全量数据统计、账单对账、历史数据分析等场景，实时流处理适合实时监控、实时反欺诈、实时大屏等低时延场景。解析：四个核心差异点各占1.5分，表述清晰覆盖核心区别即可得满分。简述大数据预处理环节的主要工作价值答案：第一，解决原始数据的质量问题，去除原始数据中存在的缺失、异常、重复、错误等脏数据，避免后续基于错误数据计算出完全不符合业务逻辑的错误结果；第二，统一不同数据源的异构数据格式，把分散在多个不同数据源的不同格式数据转换成统一的标准格式，降低后续计算环节的复杂度；第三，对数据做必要的降维归约处理，在不损失核心有效信息的前提下降低数据的总体体量，大幅减少后续计算环节的资源开销，提升整体处理效率；第四，提前完成数据脱敏、权限标记等安全预处理动作，从源头规避敏感数据泄露的风险，满足数据安全合规的要求。解析：四个价值点各占1.5分，要点完整逻辑通顺即可得满分。简述大数据分布式缓存技术的核心作用答案：第一，把小体量的高频访问数据提前分发到所有计算节点的本地内存中，避免计算过程中大量节点反复从远程分布式存储拉取相同的小数据，大幅降低网络IO开销；第二，在大表关联小表的场景下，把小表全量加载到每个节点的本地缓存中，避免常规shuffle过程中的全量数据分发，彻底消除该场景下的数据倾斜风险；第三，缓存高频访问的中间计算结果，后续相同逻辑的计算任务可以直接复用缓存结果，不需要重复计算，大幅降低重复任务的执行时间；第四，大幅提升热点数据的访问速度，本地内存的读取速度比远程磁盘访问速度高出几个数量级，有效降低整体任务的执行时延。解析：四个作用点各占1.5分，准确描述分布式缓存的核心价值即可得满分。一、论述题（共3题，每题10分，共30分）结合实际行业场景，论述批流一体大数据处理架构的核心优势和落地价值答案：论点部分：传统大数据处理架构采用批流分离的两套独立技术栈，离线批处理架构负责历史全量数据计算，流处理架构负责实时增量数据计算，两套架构代码逻辑完全独立，存在大量重复开发、结果不一致、运维成本高的痛点，批流一体架构通过统一的计算引擎同时支持批处理和流处理两类场景，从根本上解决传统分离架构的痛点。论据部分：批流一体架构的核心优势主要体现在三个方面，第一是逻辑复用率大幅提升，同一套业务统计逻辑只需要编写一次，就可以同时运行在实时流处理和离线批处理场景，不需要分别编写两套不同的代码；第二是数据结果天然一致，实时流处理的窗口计算逻辑和离线批处理的全量历史计算逻辑完全基于同一套语法实现，避免两套逻辑因为开发人员理解差异导致的统计结果不一致问题；第三是运维成本大幅降低，整个集群只需要维护一套计算引擎，不需要同时运维两套完全独立的技术栈，大幅减少运维人员的工作负担。实例部分：以线下零售行业的销售统计场景为例，传统批流分离架构下，开发人员需要分别编写Flink实时任务统计当日每一个小时的实时销售金额，再编写MapReduce离线任务统计当日全量的最终销售金额，两套代码很容易出现口径差异，导致实时数据和次日离线对账数据对不上，排查问题需要耗费大量时间。采用批流一体架构之后，只需要编写同一套统计逻辑，既可以用流模式跑实时增量计算，输出秒级更新的实时销售大屏数据，也可以用批模式每天凌晨跑全量历史数据，输出当日准确的对账结果，两套结果的口径完全统一，几乎不会出现数据不一致的问题，开发效率可以提升50%以上。结论部分：批流一体架构是当前大数据处理技术的主流发展方向，在保证业务逻辑一致性、降低开发运维成本、提升数据准确性方面的优势非常显著，已经在互联网、零售、金融、制造等多个行业得到了大规模落地应用。解析：论点清晰占3分，论据充分覆盖核心优势占4分，实例贴合实际占2分，结论总结到位占1分，总分10分，逻辑通顺符合实际情况即可酌情给分。结合全链路数据流转过程，论述大数据处理体系中全流程数据质量管控的实施方法和落地意义答案：论点部分：数据是大数据体系的核心生产要素，如果数据本身质量存在问题，后续所有的数据分析、数据挖掘、业务决策工作都会基于错误的基础产出完全错误的结果，造成业务损失，因此从数据采集到数据输出的全链路搭建完整的数据质量管控体系，是保证大数据体系可用的核心基础工作。论据部分：全流程数据质量管控需要覆盖数据流转的全链路，第一个环节是数据采集阶段的质量管控，在采集数据源的时候就设置质量校验规则，对不符合格式要求的脏数据直接提前拦截，不允许脏数据进入大数据平台，从源头把质量问题拦截在外；第二个环节是数据预处理阶段的质量管控，在数据清洗环节针对缺失值、异常值、重复数据设置自动化校验规则，对无法自动修复的异常数据自动生成告警通知运维人员及时处理；第三个环节是数仓分层加工阶段的质量管控，每一层数据加工完成之后都运行预设的质量校验规则，校验数据的总数、唯一键、指标逻辑是否符合预期，一旦出现数据量波动超过阈值的情况立刻触发告警，避免错误数据流入下一层；第四个环节是数据输出面向业务使用阶段的质量管控，针对业务最终使用的指标设置核心指标监控，保证业务侧看到的数据100%准确。除此之外还要配套数据质量的问题闭环机制，每一个质量告警都有对应的责任人跟进处理，形成完整的质量管控闭环。实例部分：以金融行业的交易统计场景为例，一旦交易统计的指标出现1%的误差，可能就会导致数百万甚至上千万元的资金损失，在搭建全链路数据质量管控体系之前，曾经出现过上游日志采集端的配置变更导致丢失了30%的交易数据，直到业务侧发现对账不平之后才排查到问题，耗费了将近3天的时间才完成数据修复，造成了严重的业务影响。搭建全链路数据质量管控体系之后，在采集层就设置了日志数据的条数波动告警，当日志数量波动超过10%的时候立刻触发告警，运维人员在5分钟之内就发现了配置错误的问题，第一时间完成修复，完全没有影响后续的业务统计，避免了潜在的大额资金损失。结论部分：全流程数据质量管控是大数据体系稳定运行的基石，覆盖全链路的质量管控机制可以把数据问题发现的时间点大幅前置，把数据质量隐患消灭在萌芽状态，从根本上避免因为数据错误导致的业务损失，为所有上层业务提供准确可靠的数据支撑。解析：论点清晰占2分，全链路管控方法覆盖各个环节占4分，金融行业实例贴合实际占2分，落地意义总结到位占2分，总分10分。结合技术演进历程，论述分布式大数据计算框架的迭代演进逻辑和不同框架的适配场景答案：论点部分：分布式大数据计算框架的迭代演进完全是由实际业务的需求驱动的，每一代新的计算框架诞生，都是为了