大数据应用技术专题考试答案

大数据应用技术专题考试答案一、单项选择题（每题1分，共20分）1.按照IDC2024年发布的《全球数据圈预测报告（2023-2027）》，到2026年全球数据圈总规模将达到（）ZB，其中中国数据圈占比将超过25.6%，成为全球最大的数据资源持有国。A.92B.175C.214D.302【答案】C【解析】报告显示，全球数据量保持23%的年复合增长率，2023年全球数据规模为96ZB，2026年将达到214ZB，其中非结构化数据占比超过80%，企业生产经营产生的数据占比将从2023年的52%提升至2026年的63%，对大数据存储、计算技术的需求持续提升。2.Hadoop3.x稳定版本中，HDFS分布式文件系统的默认数据块大小为（），该设置相较于Hadoop1.x版本的64MB块大小，可有效降低块寻址开销占比，适配当前大容量机械盘、SSD盘的存储性能特征。A.64MBB.128MBC.256MBD.512MB【答案】B【解析】HDFS块大小设置遵循寻址时间占传输时间1%的原则，128MB块大小下，寻址时间约10ms，磁盘传输速率约100MB/s，寻址时间占比约0.8%，符合性能最优要求；3.x版本新增纠删码存储策略，可将存储冗余度从3副本的300%降至1.4倍左右，大幅降低冷数据存储成本。3.Flume分布式日志采集系统的核心组件中，承担Source与Sink之间临时数据缓存功能、可根据可靠性需求选择内存模式或文件持久化模式的组件是（）。A.SourceB.ChannelC.SinkD.Interceptor【答案】B【解析】Flume三大核心组件中，Source负责从数据源接收数据，支持Avro、Exec、Taildir等多种数据源类型；Channel负责数据缓冲，内存Channel吞吐高但故障时可能丢数据，文件Channel持久化到磁盘可靠性高但吞吐略低；Sink负责将Channel中的数据发送到下游存储或消息队列，支持HDFS、Kafka、HBase等下游组件；Interceptor是可选插件，用于在数据进入Channel前完成格式转换、字段过滤等预处理。4.Kafka分布式消息队列生产环境高可用部署中，通常设置的默认副本数、配合acks=all参数保障数据零丢失的min.insync.replicas参数值（当ISR集合中同步副本数低于该值时停止写入）的合理组合是（）。A.2副本、min.insync.replicas=1B.3副本、min.insync.replicas=2C.4副本、min.insync.replicas=3D.5副本、min.insync.replicas=4【答案】B【解析】3副本配置可在单节点、甚至双节点故障场景下保障数据可靠性，同时存储冗余成本可控；设置min.insync.replicas=2时，必须有至少2个副本完成数据同步才会返回写入成功，配合acks=all机制可实现单节点故障时数据不丢失，是生产环境的标准配置。5.下列大数据存储组件中，属于列族式NoSQL数据库、支持基于RowKey的毫秒级高并发随机查询，适用于海量用户行为明细、订单明细等场景随机读写的是（）。A.RedisB.HBaseC.MongoDBD.ClickHouse【答案】B【解析】HBase是构建在HDFS之上的列族存储数据库，RowKey按字典序排序，支持水平扩展，单集群可支撑百万QPS的随机读写请求；Redis是内存键值数据库，适合存储热数据但成本较高；MongoDB是文档型数据库，适合存储结构灵活的半结构化数据；ClickHouse是列式分析数据库，适合OLAP聚合查询场景，随机读写性能较弱。6.数据质量六大核心评价维度中，（）衡量数据从产生、同步到加工完成可供业务使用的时间延迟，是支撑实时监控、实时决策场景的核心质量要求。A.准确性B.及时性C.一致性D.唯一性【答案】B【解析】数据质量六大维度包括准确性（数据值与真实值的偏差程度）、完整性（数据字段、记录无缺失）、一致性（多源存储的同一数据值保持一致）、及时性（数据可用的时间满足业务要求）、唯一性（数据记录无重复）、合法性（数据值符合规则约束）；实时流量监控场景通常要求数据延迟不超过10秒，T+1离线报表场景通常要求每日早8点前完成前一日数据加工。7.Spark分布式计算框架的核心抽象数据结构是（），具备分区存储、只读、血缘关系容错等特性，支持丰富的转换算子与行动算子，是Spark实现高效分布式计算的基础。A.RDDB.DataFrameC.DatasetD.DStream【答案】A【解析】RDD（弹性分布式数据集）是Spark底层最核心的抽象，通过血缘依赖关系记录数据转换流程，故障时可通过重算上游分区恢复数据，无需像MapReduce一样将中间结果落盘，在迭代计算场景下性能较MapReduce提升10-100倍；DataFrame、Dataset是RDD的结构化封装，内置Catalyst优化器可自动优化执行计划；DStream是SparkStreaming的微批数据抽象。8.下列实时计算引擎中，采用事件驱动的原生流处理架构，最小处理延迟可达毫秒级，支持基于Watermark的乱序数据处理、基于Checkpoint的状态容错，是当前实时数仓、实时风控场景的主流选型的是（）。A.SparkStreamingB.FlinkC.HiveD.Presto【答案】B【解析】Flink是原生流处理引擎，将批处理视作流处理的特例，支持事件时间语义、精确一次状态一致性，可满足低延迟、高可靠的实时计算需求；SparkStreaming采用微批架构，最小延迟约百毫秒级；Hive是基于MapReduce的离线数仓引擎；Presto是分布式交互式查询引擎，用于Ad-hoc分析场景。9.Redis键值存储系统支持多种数据结构，其中适用于实现商品销量排行、用户积分排行等需要按分数排序、TopN查询场景的数据结构是（）。A.StringB.HashC.SortedSetD.List【答案】C【解析】SortedSet（有序集合）为每个元素关联一个double类型的分数值，支持按分数范围排序、范围查询、排名查询，时间复杂度为O(logN)，可直接满足排行榜场景的需求；String适用于存储单值缓存、计数器；Hash适用于存储对象类数据；List适用于实现消息队列、栈等线性结构。10.数据脱敏规则中，将手机号中间4位替换为“*”（例如换为1385678）、保留部分字段辨识度同时避免敏感信息泄露的脱敏方式属于（）。A.掩码脱敏B.不可逆哈希脱敏C.泛化脱敏D.数值替换脱敏【答案】A【解析】掩码脱敏是通过固定掩码字符替换敏感字段的部分内容，兼顾数据可用性与安全性；不可逆哈希脱敏是通过MD5、SHA等哈希算法将敏感字段转换为固定长度字符串，无法反向解密；泛化脱敏是将精确值替换为范围值，例如将具体年龄28岁替换为“25-30岁”年龄段；数值替换脱敏是通过随机值、默认值替换真实敏感值。11.数据仓库分层架构中，负责存储接入的原始业务数据、保持与业务系统数据原貌一致、不做任何加工修改的层级是（）。A.ODS层（操作数据存储层）B.DWD层（明细数据层）C.DWS层（汇总数据层）D.ADS层（应用数据层）【答案】A【解析】ODS层是数仓的贴源层，直接同步业务数据库、日志、第三方数据的原始内容，作为后续数仓加工的数据源；DWD层对ODS数据做清洗、脱敏、维度退化，形成标准化明细数据；DWS层按主题域对明细数据做轻度汇总，构建公共指标口径；ADS层面向具体业务场景做高度汇总，直接对接报表、接口等应用。12.维度建模方法中，事实表用于存储业务过程的度量值，下列表中属于事实表的是（）。A.用户维度表（存储用户ID、性别、年龄、注册时间等属性）B.商品维度表（存储商品ID、品类、价格、品牌等属性）C.订单明细表（存储订单ID、用户ID、商品ID、购买数量、支付金额等交易记录）D.日期维度表（存储日期ID、周、月、季度、节假日标识等属性）【答案】C【解析】事实表记录业务过程发生的事件，存储可累加、可计算的度量值（例如购买数量、支付金额），关联对应维度表的外键；维度表存储业务实体的属性信息，用于对事实数据做分组、筛选分析。13.Flink框架中，用于解决事件时间语义下乱序数据处理问题、标记事件时间进展、触发窗口计算的核心机制是（）。A.CheckpointB.WatermarkC.StateBackendD.CEP【答案】B【解析】Watermark（水位线）是插入到数据流中的特殊标记，代表事件时间早于水位线时间的数据已经全部到达，系统可触发对应窗口的计算，可通过设置允许乱序时间适配不同业务场景的乱序程度；Checkpoint是状态快照机制，用于故障恢复；StateBackend是状态存储后端；CEP是复杂事件处理库，用于识别数据流中的规则模式。14.下列隐私计算技术中，通过在计算过程或查询结果中添加适量随机噪声，使得攻击者无法通过输出结果反推单条样本的敏感信息、同时保持数据整体统计特征准确性的是（）。A.联邦学习B.差分隐私C.同态加密D.安全多方计算【答案】B【解析】差分隐私通过添加拉普拉斯噪声、高斯噪声实现隐私保护，噪声量越大隐私保护强度越高，但数据可用性越低，需要根据场景平衡隐私强度与数据可用性；联邦学习通过分布式训练实现数据不出域的联合建模；同态加密支持对密文直接计算；安全多方计算通过密码学协议实现多方参与下的隐私保护计算。15.YARN作为Hadoop生态的资源调度系统，负责集群CPU、内存资源的统一分配与调度，其中适用于多租户场景、按队列分配资源配额、支持队列资源弹性共享的调度器是（）。A.FIFO调度器B.Capacity调度器C.Fair调度器D.自定义调度器【答案】B【解析】Capacity调度器（容量调度器）是YARN默认调度器，将集群资源划分为多个队列，每个队列配置固定资源配额，队列空闲时可将资源共享给其他队列，同时支持队列优先级、ACL权限控制，适合多部门共享的生产集群；FIFO调度器采用先进先出策略，适合单用户测试集群；Fair调度器采用公平分配策略，为每个作业分配均等资源。16.数据集成工具中，支持关系型数据库、HDFS、Hive、Kafka等多种数据源之间的高效数据同步，采用分布式架构、单节点同步速率可达100MB/s以上，是国内互联网企业离线数据同步主流选型的开源工具是（）。A.SqoopB.DataXC.FlumeD.KafkaConnect【答案】B【解析】DataX是阿里开源的离线数据同步工具，采用Framework+Plugin架构，支持超过30种数据源的读写，通过切分任务、并发读取实现高速同步；Sqoop是Apache开源工具，主要用于关系型数据库与Hadoop之间的数据同步，功能扩展灵活性较弱；Flume是日志采集工具；KafkaConnect是Kafka生态的数据同步组件，主要用于与Kafka相关的数据流同步。17.下列OLAP引擎中，采用列式存储、向量化执行、MPP架构，单表聚合查询性能优异，可支撑亚秒级交互式分析，适用于用户行为日志、交易数据的大宽表聚合分析场景的是（）。A.ClickHouseB.HBaseC.MySQLD.Redis【答案】A【解析】ClickHouse是开源MPP架构的列式OLAP引擎，单查询可利用集群全部CPU核心做并行计算，支持SQL语法，大宽表聚合查询性能远超传统关系型数据库；HBase是随机读写的NoSQL数据库，不适合复杂聚合分析；MySQL是关系型事务数据库，海量数据下聚合查询性能较差；Redis是内存缓存组件，不支持复杂OLAP分析。18.用户画像标签体系中，“用户近7天浏览商品品类次数”“用户近30天消费金额”这类根据用户行为数据定期计算更新的标签属于（）。A.基础属性标签B.行为特征标签C.风险控制标签D.价值分层标签【答案】B【解析】行为特征标签基于用户的浏览、点击、购买、评论等行为数据加工生成，反映用户的行为偏好；基础属性标签是用户的固定属性，例如性别、年龄、地域；风险控制标签反映用户的风险等级，例如是否有逾期记录、是否存在欺诈行为；价值分层标签基于用户贡献度划分，例如RFM分层的高价值用户、一般价值用户。19.大数据平台安全管控中，通过为不同角色配置对应的数据访问权限，用户仅能访问自身工作所需的最小范围数据，符合数据安全最小必要原则的权限管控机制是（）。A.RBAC角色权限控制B.数据加密C.审计日志D.防火墙【答案】A【解析】RBAC（基于角色的访问控制）通过“用户-角色-权限”的关联，实现细粒度权限分配，避免权限过度分配；数据加密是对存储、传输的数据做加密处理；审计日志记录所有数据访问操作，用于事后追溯；防火墙用于拦截外部非法网络访问。20.工业大数据场景中，通过采集设备传感器的温度、振动、转速等时序数据，基于机器学习算法识别设备运行状态异常、提前预测设备故障的应用属于大数据在（）领域的典型应用。A.精准营销B.预测性维护C.供应链优化D.质量检测【答案】B【解析】预测性维护通过设备运行数据建模，在故障发生前识别异常征兆，提前安排维护，相比传统的定期维护可降低30%以上的维护成本，减少非计划停机时间；精准营销面向用户端做个性化推荐；供应链优化覆盖供应链库存、物流调度环节；质量检测通过生产过程数据识别不合格产品。二、多项选择题（每题2分，共20分，多选、少选、错选均不得分）1.大数据经典4V核心特征包含以下哪些选项（）。A.数据规模大（Volume）B.数据类型多（Variety）C.处理速度快（Velocity）D.价值密度低（Value）【答案】ABCD【解析】4V特征是大数据概念提出时的核心定义，后续延伸的真实性（Veracity）、可见性（Visibility）等属于补充特征，核心4V为上述四项：Volume指数据规模从TB级增长至PB、EB级；Variety指数据包含结构化、半结构化、非结构化多种类型；Velocity指数据产生、处理速度快，需要实时处理能力；Value指数据价值密度低，需要通过分析挖掘从海量数据中提取高价值信息。2.下列属于Hadoop3.x版本核心特性的有（）。A.支持HDFS纠删码存储，降低冷数据存储成本B.支持YARN资源联邦，打通跨集群资源调度C.默认采用3副本存储策略，块大小为64MBD.支持MapReduce离线计算框架【答案】ABD【解析】Hadoop3.x相比2.x版本新增了纠删码存储、YARN联邦、GPU资源调度等特性，同时保留了MapReduce计算框架；HDFS默认块大小从1.x的64MB调整为128MB，3.x版本延续了128MB默认块大小设置。3.数仓维度建模中，星型模型与雪花模型的差异描述正确的有（）。A.星型模型维度表采用反规范化设计，无表拆分，关联查询逻辑简单B.雪花模型维度表采用规范化设计，拆分多层子维度表，数据冗余度低C.星型模型查询性能高于雪花模型，适合高并发的自助分析场景D.雪花模型维护成本高于星型模型，维度属性更新需要修改多处记录【答案】ABC【解析】雪花模型通过规范化拆分维度表，数据冗余度低，维度属性更新仅需修改对应子表，维护成本更低，但查询时需要多表关联，性能低于星型模型；星型模型反规范化设计存在数据冗余，属性更新需要修改冗余存储的记录，维护成本较高，但查询逻辑简单、性能高。4.Flink实现端到端Exactly-Once（精确一次）语义依赖的核心机制包含（）。A.基于Chandy-Lamport算法的Checkpoint状态快照，保障内部计算状态一致性B.Source端支持消费位点记录与重置，故障时可从快照位点重新消费C.Sink端支持幂等写入或两阶段提交，保障结果写入不重复不丢失D.采用内存作为状态后端，提升状态访问速度【答案】ABC【解析】端到端精确一次语义是指数据在全链路处理中不丢不重，计算结果与无故障场景完全一致，需要内部状态、Source端、Sink端三者协同保障；状态后端选择仅影响状态存储位置与访问性能，与一致性语义无关。5.下列大数据应用场景中，适合采用实时计算技术的有（）。A.电商平台实时交易大屏展示每分钟交易额、订单量B.金融支付场景实时识别欺诈交易，毫秒级拦截风险支付C.物流企业每日凌晨统计前一日的全国配送时效报表D.物联网平台实时监控设备运行参数，异常时触发告警【答案】ABD【解析】实时计算适用于对延迟要求高（秒级/毫秒级）的场景；每日T+1统计报表属于离线计算场景，可采用Spark、Hive等离线计算引擎实现。6.数据治理工作的核心内容包含以下哪些模块（）。A.数据标准管理：统一企业数据字段定义、编码规则、口径规范B.数据质量管理：建立质量校验规则，持续提升数据准确性、完整性等质量维度C.数据元数据管理：构建数据血缘、数据地图，明确数据来源、加工流程、去向D.数据生命周期管理：按数据访问频率划分冷热数据，采用差异化存储策略降低成本【答案】ABCD【解析】数据治理是覆盖数据全生命周期的体系化工作，还包括数据安全管理、数据权属管理、数据价值评估等模块，核心目标是提升数据质量、保障数据安全、释放数据价值。7.Kafka消息队列适用于以下哪些场景（）。A.日志采集链路的数据缓冲，解耦采集端与下游计算、存储系统B.实时计算链路的数据源，作为实时数据的分发通道C.海量小文件的永久存储，替代HDFS降低存储成本D.系统解耦，在微服务之间做异步消息通信，削峰填谷【答案】ABD【解析】Kafka是分布式消息队列，具备高吞吐、高可用、可持久化的特性，适合做数据缓冲、异步通信、流处理数据源；Kafka不适合存储海量小文件，其存储定位是消息的临时缓冲，永久存储冷数据的成本高于HDFS/对象存储。8.下列属于非结构化数据类型的有（）。A.业务数据库中存储的用户订单结构化记录B.监控摄像头采集的视频流数据C.客服系统存储的用户语音通话记录D.企业内部存储的PDF文档、图片资料【答案】BCD【解析】非结构化数据是指没有固定预定义结构的数据，包括视频、音频、图片、文档、自由文本等；业务数据库中的订单记录是固定结构的结构化数据。9.实时数仓相比传统离线数仓的核心优势包括（）。A.数据延迟低，可实现秒级数据更新，支撑实时决策B.资源成本更低，同等数据量下计算存储成本仅为离线数仓的10%C.可支撑实时监控、实时告警、实时推荐等时效性要求高的业务场景D.数据准确性更高，不存在数据误差【答案】AC【解析】实时数仓采用流处理技术加工数据，延迟可低至秒级，能够支撑高时效性的业务场景，但由于需要占用内存计算资源、配置多副本保障可靠性，单位数据的计算存储成本高于离线数仓，且实时计算中为了平衡延迟通常设置一定的乱序等待时间，极端场景下可能存在少量数据误差，需要通过离线链路做数据校准。10.数据安全分级分类工作中，属于敏感个人信息、需要按照最高等级防护要求管控的数据有（）。A.用户的生物识别信息（人脸、指纹）B.用户的身份证号、银行卡号C.用户的医疗健康记录、行踪轨迹D.平台公开的商品介绍信息【答案】ABC【解析】根据《个人信息保护法》定义，敏感个人信息是指一旦泄露或者非法使用，容易导致自然人的人格尊严受到侵害或者人身、财产安全受到危害的个人信息，包括生物识别、宗教信仰、特定身份、医疗健康、金融账户、行踪轨迹等信息；公开的商品信息属于公开数据，不属于敏感个人信息。三、判断题（每题1分，共10分，正确打√，错误打×）1.MapReduce计算框架中，Shuffle阶段涵盖Map端数据输出到Reduce端拉取数据的全流程，包括分区、排序、溢写、合并、拉取等操作，是影响MapReduce作业性能的核心环节，约占作业总执行时间的70%以上。（√）【解析】Shuffle阶段需要完成数据的跨网络传输、磁盘读写，是MapReduce流程中最消耗资源的环节，优化Shuffle参数（例如内存缓冲区大小、溢写阈值）可显著提升作业运行效率。2.HDFS分布式文件系统适合存储大量小文件，可通过NameNode元数据管理实现小文件的高效访问。（×）【解析】HDFS不适合存储大量小文件，每个文件、块的元数据都存储在NameNode内存中，大量小文件会耗尽NameNode内存资源，大幅降低集群访问性能，通常需要通过小文件合并、SequenceFile等方式将小文件合并为大文件存储。3.数据湖架构采用“读时建模”的思路，先将原始数据统一接入存储，再根据后续分析需求进行加工处理，支持结构化、半结构化、非结构化数据的统一存储。（√）【解析】与传统数仓“写时建模”的模式不同，数据湖在数据接入时不强制要求预先定义Schema，支持任意类型数据的低成本存储，配合SchemaonRead技术满足灵活的分析需求。4.联邦学习技术要求所有参与方将原始数据汇聚到中心节点进行模型训练，训练完成后各方可获取全局模型。（×）【解析】联邦学习的核心是“数据不出域”，各参与方原始数据保留在本地，仅传输加密后的模型参数、梯度等中间信息，共同完成模型训练，不需要汇聚原始数据。5.Redis作为内存数据库，所有数据必须存储在内存中，无法实现数据的持久化落盘。（×）【解析】Redis支持RDB、AOF两种持久化机制，可按照配置策略将内存中的数据定期持久化到磁盘，节点重启时可通过持久化文件恢复数据，避免数据全部丢失。6.维度退化是指将维度表中的属性直接冗余到事实表中，减少查询时的表关联操作，提升查询性能，是DWD明细层常用的建模优化手段。（√）【解析】对于维度属性较少、关联频率高的维度（例如订单状态、支付方式），通过维度退化将属性存储在事实表中，可避免查询时的多表关联，尤其适合大宽表场景的性能优化。7.Kafka中消费者组内的每个消费者可以消费同一个分区的数据，通过重复消费提升消费吞吐量。（×）【解析】Kafka消费者组机制下，一个分区在同一时间只能被组内的一个消费者消费，避免重复消费；消费者数量超过分区数量时，多余的消费者会处于空闲状态，因此提升消费吞吐需要同步增加分区数量。8.数据血缘记录了数据从产生、加工到应用的全链路流转关系，可用于影响分析、问题溯源，当数据指标异常时可快速定位上游异常节点。（√）【解析】元数据管理中的数据血缘功能，可清晰展示数据的来源表、加工逻辑、依赖关系、下游应用，是数据治理的核心工具之一。9.Exactly-Once语义是指数据在处理过程中绝对不会出现任何重复或丢失，不需要考虑故障场景。（×）【解析】Exactly-Once语义是指即使发生节点故障、网络异常等问题，通过容错机制保障最终的计算结果与无故障场景完全一致，数据不丢不重，并非指系统完全不会出现故障。10.冷热数据分层存储是指将访问频率高的热数据存储在高性能、高成本的存储介质（例如Redis、SSD），将访问频率低的冷数据存储在低成本、大容量的存储介质（例如HDFS、对象存储），实现性能与成本的平衡。（√）【解析】根据数据访问频率做分层存储，可在满足业务访问性能要求的前提下，降低整体存储成本，通常企业级大数据平台热数据占比约20%，冷数据占比约80%。四、简答题（每题5分，共20分）1.简述大数据处理全生命周期的核心环节及各环节主要作用。【参考答案】大数据处理全生命周期覆盖数据从产生到价值释放的全流程，核心包含6个环节：（1）数据采集：是数据进入大数据平台的入口，针对结构化业务数据（数据库记录）通过Sqoop、DataX等工具离线同步，通过Canal等工具采集数据库增量变更；针对半结构化日志数据通过Flume、Filebeat实时采集；针对非结构化数据（音视频、文档）通过对象存储SDK上传，实现多源数据的统一汇聚。（2）数据预处理：对采集到的原始数据做清洗（去重、缺失值填充、异常值剔除、脏数据过滤）、转换（格式统一、字段标准化、编码映射）、脱敏（对敏感字段做掩码、加密处理）、集成（多源数据关联匹配），从源头提升数据质量，为后续加工提供可靠的数据基础。（3）数据存储：根据数据的访问频率、访问模式选择适配的存储介质，热数据存储在Redis、HBase等高性能存储支撑低延迟访问；温数据存储在MySQL、ClickHouse支撑日常查询分析；冷数据存储在HDFS、对象存储实现低成本长期留存，构建分层存储体系平衡性能与成本。（4）数据计算：根据业务时效要求选择不同计算引擎，离线计算采用Spark、Hive处理T+1批量数据，实现历史数据的全量加工；实时计算采用Flink处理秒级/毫秒级数据流，支撑实时监控、实时告警等场景；交互式计算采用Presto、Impala支撑业务人员的多维度自助查询。（5）数据分析与挖掘：基于加工完成的数据，通过统计分析、机器学习、深度学习方法提取数据价值，例如构建用户画像支撑精准营销、训练风控模型识别欺诈交易、构建预测模型支撑设备预测性维护。（6）数据治理与安全：贯穿数据全生命周期，通过建立数据标准、监控数据质量、构建数据血缘、落实分级分类安全防护、审计全链路数据操作，保障数据合规、可靠、安全使用。2.简述Flink两阶段提交机制实现Sink端数据一致性的核心流程。【参考答案】Flink两阶段提交机制是实现端到端Exactly-Once语义的核心组件，核心流程分为两个阶段：（1）预提交阶段：当JobManager触发Checkpoint时，会向所有Source算子注入Checkpoint屏障，屏障随着数据流向下游算子流动，每个算子接收到屏障后，将当前状态做快照持久化到外部存储；当Sink算子接收到屏障时，会开启一个新的事务，将后续收到的数据写入事务临时缓冲区，不做正式提交，同时将当前事务的相关信息写入状态快照，完成预提交流程。（2）提交/回滚阶段：当JobManager确认所有算子都成功完成本次Checkpoint快照后，会向所有算子发送Checkpoint完成通知，Sink算子收到通知后，正式提交之前开启的事务，将临时缓冲区中的数据写入下游存储系统，完成数据的正式可见；如果Checkpoint过程中出现故障、部分算子快照失败，JobManager会通知所有算子回滚到上一个成功完成的Checkpoint状态，Sink算子会丢弃本次预提交事务中的临时数据，不写入下游系统。两阶段提交机制配合Source端位点重置、内部状态Checkpoint，可实现即使在故障场景下，数据也不会重复写入或丢失，保障端到端的精确一次语义。3.简述数据仓库分层架构的核心价值。【参考答案】大数据场景下数仓通常采用ODS-DWD-DWS-ADS的四层分层架构，核心价值包括四个方面：（1）复用计算逻辑，减少重复开发：公共数据加工逻辑在下层统一实现，上层应用可直接复用公共层数据，避免每个应用单独从原始数据加工，大幅减少重复开发工作量，例如用户、商品等公共维度在DWD层统一清洗加工后，所有业务场景都可直接使用。（2）统一指标口径，保障数据一致性：通过在公共层统一加工核心指标，避免不同业务部门独立计算指标时出现口径不一致的问题，例如日活、销售额等核心指标在DWS层统一计算口径，所有报表、应用都使用统一结果，保障全公司数据口径一致。（3）隔离复杂业务逻辑，降低问题排查成本：分层架构将复杂的数据加工逻辑拆分为多个层级，每层只负责单一职责，当指标出现异常时，可通过分层排查快速定位问题发生的层级与加工节点，同时数据血缘关系更清晰，便于问题溯源。（4）统一数据权限管控，提升数据安全性：可在不同层级设置差异化的权限控制，例如ODS层原始数据仅对管理员开放，DWD、DWS层公共数据对开发人员开放，ADS层应用数据对业务人员开放，实现细粒度权限管控，避免敏感数据泄露。4.简述大数据平台常见的性能优化方向。【参考答案】大数据平台性能优化覆盖存储、计算、调度全链路，核心方向包括：（1）存储优化：选择合适的文件格式，采用Parquet、ORC等列式存储格式，配合Snappy、ZSTD等压缩算法，减少磁盘IO与网络传输开销；避免大量小文件，定期合并小文件，减少NameNode元数据压力；采用冷热分层存储，将冷数据迁移到低成本存储，释放高性能存储资源。（2）计算优化：根据数据规模与场景选择合适的计算引擎，避免离线场景使用实时引擎造成资源浪费；优化SQL执行逻辑，避免笛卡尔积、全表扫描，合理使用分区、分桶裁剪数据，减少计算数据量；调整计算参数，合理设置Executor内存、并发度，避免数据倾斜（例如对倾斜Key做加盐打散、采用Map端聚合），提升计算资源利用率。（3）调度优化：合理配置作业调度优先级，核心业务作业优先分配资源，错峰调度非核心作业，避免集群资源峰值过载；设置作业依赖关系，避免上游数据未就绪时作业空跑。（4）资源管理优化：采用YARN、K8s做统一资源调度，设置合理的资源配额，避免作业过度申请资源造成浪费；监控集群资源利用率，及时扩容瓶颈节点，释放闲置资源。五、综合应用题（每题15分，共30分）1.某本地生活服务平台计划搭建实时+离线一体化的大数据平台，核心业务需求包括：①每日生成T+1经营报表，统计各城市商家订单量、交易额、用户复购率、商家评分等核心经营指标，支撑运营团队次日的经营分析；②实时展示城市级订单热力图、实时配送运力分布、异常订单告警（例如大额异常订单、长时间未配送订单），数据延迟要求不超过5秒；③支持运营人员自助筛选维度查询不同时间段、不同品类的经营数据，查询响应时间不超过3秒。请结合主流大数据技术栈，设计该平台的整体架构方案，说明各层的技术选型与核心功能。【参考答案】该平台采用流批一体的Lambda架构设计，分为数据采集层、存储层、计算层、服务层、应用层五个模块，具体设计如下：（1）数据采集层：针对APP/Web端用户埋点日志、商家端操作日志，采用Filebeat做轻量日志采集，将日志数据实时写入Kafka集群；针对业务数据库（订单库、商家库、用户库、配送库），采用Canal监听Binlog日志，实时捕获数据库增量变更写入Kafka，同时每日凌晨通过DataX做全量数据同步，保障全量数据完整性。Kafka集群设置3副本、7天数据留存周期，作为全链路数据缓冲层，解耦采集端与下游计算、存储系统。（2）数据存储层：采用分层存储策略：①HDFS集群作为离线数据存储载体，存储全量历史的日志、业务数据，采用Parquet列式存储+ZSTD压缩，按天、城市分区存储，降低存储成本；②HBase集群存储明细级别的订单、配送状态数据，支持高并发随机查询，支撑订单状态实时更新场景；③Redis集群存储实时计算的结果数据、热点缓存数据，支撑毫秒级查询；④MySQL集群存储离线报表的汇总结果、系统配置数据；⑤ClickHouse集群存储面向自助分析的大宽表数据，支撑亚秒级多维度聚合查询。（3）计算层：采用流批一体的Flink+Spark架构：①离线计算采用SparkSQL引擎，每日凌晨调度离线作业，从HDFS读取前一日全量数据，完成数据清洗、指标计算，生成T+1经营报表结果写入MySQL与ClickHouse；②实时计算采用Flink引擎，消费Kafka中的实时订单、配送位置、用户行为数据，设置Checkpoint间隔30秒、Exactly-Once语义保障数据可靠性，通过1分钟滑动窗口计算各区域实时订单量、运力分布数据，结果写入Redis供实时大屏查询；通过FlinkCEP规则引擎匹配异常订单规则（例如单笔订单金额超过历史均值10倍、配送时间超过60分钟未送达），识别到异常后立即触发告警推送；③交互式查询采用Presto引擎，对接Hive、ClickHouse数据源，支撑运营人员的自助多维度查询，满足3秒内响应的要求。（4）数据数仓分层：按照ODS-DWD-DWS-ADS四层构建数仓：ODS层存储原始日志、原始业务数据，不做加工；DWD层做数据清洗、脱敏、维度退化，生成标准化的订单、用户、商家、配