大数据技术试题(含答案)

大数据技术试题(含答案)一、单项选择题（共20题，每题1分，总计20分。每题仅有1个正确答案，错选、不选均不得分）1.大数据经典4V特征中，“Velocity”的核心内涵是（）A.数据体量巨大，从TB级跃升至PB/EB级规模B.数据产生与处理速度快，需满足高时效性要求C.数据类型繁多，覆盖结构化、半结构化、非结构化多类数据D.数据价值密度低，需通过算法挖掘有效价值2.Hadoop2.x及以上版本中，HDFS的默认数据块大小为（）A.64MBB.128MBC.256MBD.512MB3.MapReduce分布式计算框架的核心计算阶段是（）A.Map阶段与Reduce阶段B.Shuffle阶段与Combine阶段C.Partition阶段与Sort阶段D.Spill阶段与Merge阶段4.ApacheHBase属于以下哪种类型的数据库（）A.行存储关系型数据库B.列族存储分布式数据库C.文档型NoSQL数据库D.键值型内存数据库5.ApacheFlink区别于传统批处理、微批处理引擎的核心特性是（）A.基于磁盘迭代实现批处理计算B.基于事件驱动的原生流处理，支持流批一体C.仅支持纯实时流处理，不支持批处理任务D.基于SQL实现低延迟查询6.ZooKeeper集群通常推荐部署奇数个节点的核心原因是（）A.奇数节点可降低硬件部署成本B.奇数节点符合过半选举机制要求，提升容灾效率C.奇数节点必须与HDFSDataNode数量保持匹配D.奇数节点可实现数据读写性能翻倍7.数据仓库分层架构中，ODS层的核心定位是（）A.贴源数据层，直接存储从业务系统、日志系统采集的原始数据B.数据明细层，存储经过清洗、规范化的明细事实数据C.数据汇总层，存储面向主题域的公共聚合指标D.数据应用层，存储面向具体业务场景的加工结果8.Kafka分区副本机制中，负责响应客户端所有读写请求的副本角色是（）A.Controller副本B.Leader副本C.Follower副本D.Observer副本9.ApacheSpark的核心抽象是（），它是一个可分区、支持并行计算、具备容错机制的弹性分布式数据集。A.RDDB.DStreamC.DataFrameD.DataSet10.以下不属于数据质量核心评价维度的是（）A.完整性B.一致性C.稀缺性D.及时性11.ApacheHive的本质是（）A.分布式关系型事务数据库B.基于Hadoop生态的数据仓库工具C.低延迟实时计算引擎D.分布式消息队列12.YARN架构中，负责整个集群资源统一调度与管理的核心组件是（）A.NodeManagerB.ApplicationMasterC.ResourceManagerD.Container13.ApacheFlume架构中，用于临时缓存采集到的数据、实现Source与Sink解耦的核心组件是（）A.SourceB.ChannelC.SinkD.Interceptor14.以下不属于静态数据脱敏常用方法的是（）A.哈希映射B.字段截断C.实时动态令牌替换D.固定值替换15.ClickHouse列式存储数据库主要面向以下哪种场景设计（）A.高并发短事务OLTP场景B.低延迟交互式OLAP分析场景C.海量小文件分布式存储场景D.高吞吐实时消息传输场景16.根据网络安全等级保护2.0相关要求，承载公民大量敏感信息、涉及公共利益的大数据系统，安全保护等级原则上不低于（）A.二级B.三级C.四级D.五级17.MapReduce默认的HashPartitioner分区逻辑是（）A.对Map输出的Key取哈希值后对Reduce任务数量取模B.按随机策略将数据分配到各Reduce任务C.按Value值大小排序后平均分配D.按Key的字典序平均分配18.为解决实时计算中数据乱序、网络延迟导致的计算误差问题，Flink推荐使用哪种时间语义开展窗口计算（）A.处理时间B.事件时间C.摄入时间D.操作系统时间19.以下不属于开源数据湖表格式技术的是（）A.ApacheIcebergB.ApacheHudiC.MySQLInnoDBD.DatabricksDeltaLake20.Spark2.x及以上版本默认采用的Shuffle实现机制是（）A.HashShuffleB.SortShuffleC.TungstenShuffleD.BypassShuffle二、多项选择题（共10题，每题2分，总计20分。每题有2个及以上正确答案，多选、少选、错选均不得分）1.以下属于大数据技术典型落地场景的有（）A.电商平台基于用户行为数据的个性化推荐B.交通管理部门基于卡口数据的实时路况调度C.金融机构基于交易数据的反欺诈识别D.制造业基于设备传感数据的故障预测2.以下属于HDFS核心组成组件的有（）A.NameNodeB.DataNodeC.SecondaryNameNodeD.ResourceManager3.以下属于ApacheKafka核心特性的有（）A.高吞吐、低延迟的消息传输能力B.数据持久化到磁盘，支持消息回放C.多副本机制保障数据高可用D.支持端到端Exactly-Once语义4.大数据离线数仓建设中，经典分层架构包含以下哪些层级（）A.ODS贴源层B.DWD明细层C.DWS汇总层D.ADS应用层5.以下属于主流实时分布式计算引擎的有（）A.ApacheFlinkB.SparkStreamingC.ApacheStormD.ApacheHive6.大数据治理体系的核心领域包含以下哪些模块（）A.元数据管理B.数据质量管理C.数据安全与隐私保护D.数据标准管理7.以下关于ApacheHBase核心特性的描述，正确的有（）A.基于HDFS构建的分布式列族数据库B.支持海量结构化数据的随机实时读写C.底层采用行式存储提升全表扫描效率D.支持水平扩展，通过增加RegionServer节点提升集群容量与吞吐8.分布式大数据系统中常见的容错机制包含（）A.RDD血缘关系（Lineage）重算B.Flink检查点（Checkpoint）快照机制C.失败任务自动重试D.数据多副本冗余存储9.以下属于SQL-on-Hadoop技术体系的有（）A.ApacheHiveB.ApacheImpalaC.PrestoD.Redis10.大数据平台日常运维中，核心监控指标包含（）A.HDFS各节点磁盘存储利用率与数据块健康度B.YARN集群CPU、内存资源使用率与任务调度成功率C.Kafka各Topic分区消息堆积量与副本同步状态D.Flink作业反压状态与Checkpoint成功率三、判断题（共10题，每题1分，总计10分。请在题后括号内填写“√”或“×”）1.大数据技术仅能处理结构化数据，无法支撑半结构化、非结构化数据的存储与计算。（）2.HDFS适合存储GB级以上的大文件，不适合存储海量KB级小文件。（）3.MapReduce框架支持内存迭代计算，计算效率显著高于Spark。（）4.Kafka中的消息被消费者消费后会立即被系统删除，无法实现消息回放。（）5.Hive内部表（管理表）的默认存储路径位于HiveWarehouse目录下，删除表时会同步删除HDFS上存储的对应数据文件。（）6.Flink是纯批处理计算引擎，不支持实时流数据处理。（）7.数据中台建设的核心目标是沉淀可复用的数据资产，实现数据服务化输出，消除业务部门间的数据烟囱问题。（）8.ZooKeeper集群运行过程中，只要超过半数的节点正常存活，集群即可对外提供稳定服务。（）9.数据脱敏会完全破坏原始数据的业务特征，导致脱敏后的数据无法用于分析、测试场景。（）10.SparkSQL可对接HiveMetastore元数据服务，直接查询Hive表中存储的结构化数据。（）四、简答题（共4题，每题5分，总计20分）1.请简述大数据经典4V特征的核心内涵。2.请简述HDFS架构中NameNode、DataNode、SecondaryNameNode三个核心组件的主要职责。3.请简述数据仓库采用分层架构的核心价值。4.请简述Flink实现端到端Exactly-Once（精确一次）语义的核心机制。五、综合应用题（共2题，每题15分，总计30分）1.某中型电商平台计划搭建用户行为分析大数据平台，日均采集用户浏览、点击、加购、下单等行为日志1.2TB，核心业务需求包括两类：一是T+1离线计算场景，需支撑用户画像构建、日/周/月销售报表统计，要求每日凌晨6点前完成前一天全量数据的加工计算；二是实时计算场景，需支撑平台实时流量大屏展示、异常流量识别，要求数据处理延迟不超过5秒。请结合大数据技术生态回答以下问题：（1）按照数据采集、数据存储、离线计算、实时计算、数据服务五个核心模块设计平台技术架构，列出各模块的核心技术选型并说明选型理由。（10分）（2）针对平台建设过程中可能出现的HDFS小文件问题，列出可采取的优化措施。（5分）2.某股份制商业银行计划构建实时交易反欺诈系统，要求当用户发起银行卡交易时，系统需在100毫秒内完成交易风险判定，结合用户历史交易特征、实时行为特征识别盗刷、欺诈交易并实时拦截；同时系统需满足网络安全等级保护三级要求，对用户身份证号、银行卡号、手机号等敏感信息实现全生命周期安全管控。请结合大数据技术应用回答以下问题：（1）设计该实时风控系统的数据处理全流程，说明每个环节的核心作用。（9分）（2）列出针对用户敏感信息可采取的全生命周期安全防护措施。（6分）参考答案一、单项选择题1.B2.B3.A4.B5.B6.B7.A8.B9.A10.C11.B12.C13.B14.C15.B16.B17.A18.B19.C20.B二、多项选择题1.ABCD2.ABC3.ABCD4.ABCD5.ABC6.ABCD7.ABD8.ABCD9.ABC10.ABCD三、判断题1.×2.√3.×4.×5.√6.×7.√8.√9.×10.√四、简答题1.大数据经典4V特征的核心内涵如下：（1）Volume（数据体量巨大）：数据规模从传统的TB级快速跃升至PB、EB甚至ZB级，数据来源覆盖业务系统日志、物联网传感数据、社交网络数据、交易数据等多渠道，数据存量与增量规模远超传统数据库的处理能力边界。（1.25分）（2）Velocity（处理速度快）：数据产生、传输、处理的时效性要求高，需实现秒级甚至毫秒级的数据处理与响应，支撑实时监控、实时决策类业务场景，数据价值随时间推移快速衰减，对处理链路的延迟提出极高要求。（1.25分）（3）Variety（数据类型多样）：数据类型不再局限于传统关系型数据库存储的结构化数据，还包含JSON/XML/CSV等半结构化数据，以及文本、图片、音频、视频等非结构化数据，多类型数据的融合处理是大数据技术的核心能力之一。（1.25分）（4）Value（价值密度低）：海量数据中有效价值信息占比极低，例如连续数小时的道路监控视频中，有效画面可能仅为数秒；大规模用户行为日志中，高价值的转化行为数据占比不足1%，需要通过分布式计算、机器学习等技术快速完成价值提纯。（1.25分）2.HDFS三个核心组件的主要职责如下：（1）NameNode：HDFS的主节点，负责管理整个文件系统的命名空间，维护目录树结构、文件与数据块的映射关系、文件访问权限等核心元数据，处理客户端发起的文件读写、创建、删除等请求，保障元数据的一致性。（1.7分）（2）DataNode：HDFS的从节点，部署在各数据存储服务器上，负责实际存储对应的数据块，响应客户端的数据块读写请求，同时定期向NameNode汇报自身存储的数据块列表、节点健康状态与磁盘使用率信息，执行NameNode下发的数据块创建、删除、复制等指令。（1.7分）（3）SecondaryNameNode：并非NameNode的热备节点，核心职责是定期触发检查点流程，合并NameNode内存中的fsimage元数据镜像文件与edits编辑日志，生成新的fsimage文件回传给NameNode，大幅缩短NameNode重启时的元数据加载时间；在未配置HA的集群中，当NameNode发生元数据损坏时，可基于SecondaryNameNode备份的fsimage文件辅助恢复元数据，降低数据丢失风险。（1.6分）3.数据仓库分层架构的核心价值如下：（1）提升计算复用性：将数据清洗、维度关联、通用聚合等公共逻辑下沉到公共层，避免不同业务线重复开发相同的计算逻辑，减少计算资源浪费与开发冗余。（1分）（2）降低问题定位成本：数据在各层级间流转路径清晰，当出现数据指标异常时，可逐层校验数据准确性，快速定位问题发生的环节与逻辑，大幅缩短故障排查时间。（1分）（3）统一数据口径：公共层统一维护指标的计算逻辑、维度定义与数据口径，从根源上避免不同业务部门自行计算指标时出现的口径不一致、数据冲突问题。（1分）（4）增强架构扩展性：分层架构实现了各环节计算逻辑的解耦，当业务需求发生变更时，仅需调整对应层级的加工逻辑，无需重构全数据链路，降低需求变更的影响范围与开发成本。（1分）（5）强化安全管控：可针对不同数据层级设置差异化的访问权限，例如原始ODS层仅对核心数据开发人员开放，ADS应用层对业务分析人员开放，实现细粒度的数据权限管控，降低敏感数据泄露风险。（1分）4.Flink实现端到端精确一次语义需要三个核心环节的协同保障：（1）内部状态一致性保障：基于Chandy-Lamport分布式快照算法实现Checkpoint检查点机制，定期在数据流中插入屏障，当屏障流经所有算子时，将各算子的当前状态异步持久化到外部可靠存储；当任务发生故障时，可将所有算子的状态回滚到最近一次成功完成的检查点位置，保障内部计算逻辑的状态一致性。（1.7分）（2）Source端可重置消费位置：要求数据源支持消费偏移量的重置，例如KafkaSource可在故障恢复时，将消费偏移量回滚到检查点记录的位置，重新消费对应区间的数据，避免数据漏读或重复读取。（1.6分）（3）Sink端事务性写入：要求下游输出系统支持事务机制，Flink通过两阶段提交协议实现写入一致性：在Checkpoint触发时先执行预提交，将数据临时写入下游系统但不对外可见；当所有算子的Checkpoint快照全部完成后，正式提交事务使数据对外可见；若Checkpoint失败则回滚预提交的数据，避免数据重复写入。三个环节协同配合，实现从数据读取、内部计算到结果输出的全链路精确一次语义。（1.7分）五、综合应用题1.（1）各模块技术选型与理由如下：①数据采集模块：采用Flume+Kafka的组合架构（2分）。Flume部署在Web服务端、APP日志接收服务器上，实时采集本地磁盘存储的用户行为日志，具备配置简单、可靠性高的特点，可满足日志采集需求；Kafka作为分布式消息队列承担数据缓存、削峰填谷的作用，一方面可将数据批量同步到离线存储供T+1计算使用，另一方面可直接供实时计算引擎消费，其高吞吐、持久化、多副本的特性可稳定承载日均1.2TB的日志流量，避免流量高峰时段的采集链路阻塞。②数据存储模块：采用HDFS+HBase+Redis的组合存储架构（2分）。HDFS作为离线海量数据存储载体，具备高容错、高扩展、低成本的特性，可承载PB级历史行为日志存储，支撑离线计算任务的数据访问需求；HBase基于HDFS构建，支持低延迟随机读写，可存储用户实时更新的行为标签，满足标签秒级更新与明细查询需求；Redis作为内存键值数据库，响应延迟在毫秒级，可存储实时大屏的高频访问聚合指标，支撑高并发的大屏查询请求。③离线计算模块：采用Hive+SparkSQL的组合架构（2分）。Hive负责维护离线数仓的元数据与表结构，支持SQL语法开发，降低开发门槛；SparkSQL作为核心离线计算引擎，基于内存迭代计算的特性相比传统MapReduce计算效率提升5-10倍，可保障每日1.2TB日志数据的加工任务在凌晨6点前完成，支撑用户画像构建、销售报表统计等T+1需求。④实时计算模块：采用ApacheFlink作为核心实时计算引擎（2分）。Flink是原生流处理引擎，可实现毫秒级数据处理延迟，满足数据延迟不超过5秒的要求；同时Flink支持事件时间语义、Watermark乱序处理、状态管理与Checkpoint容错机制，可保障实时流量统计、异常流量识别的计算准确性，避免数据乱序、故障重启导致的计算误差。⑤数据服务模块：搭建统一数据服务层（2分）。通过标准化API接口封装HBase、Redis、离线数仓的查询请求，为前端大屏、业务系统、画像查询系统提供统一的数据访问入口，实现底层数据源与上层业务的解耦，避免业务系统直接访问底层存储导致的资源争抢，同时可在接口层实现权限管控、访问限流、审计留痕等能力。（2）HDFS小文件问题的优化措施如下：①采集端优化：Flume采集日志时配置文件滚动策略，将本地生成的单日志文件大小设置为与HDFS块大小一致的128MB，从数据源端避免KB级小文件的产生。（1分）②存储层优化：配置定期小文件合并任务，在每日离线计算启动前，通过Spark任务或Hadoop自带的DistCp工具，将存储目录下小于128MB的小文件合并为对应块大小的大文件，降低NameNode的元数据内存压力。（1分）③计算层优化：离线计算任务配置合理的并行度，避免因并行度过高导致任务输出大量小文件；同时开启Spark、Hive的输出文件自动合并参数，将Reduce端输出的小文件合并为大文件后再写入HDFS。（2分）④实时写入优化：Flink写入HDFS时配置文件滚动策略，设置文件滚动的大小阈值（128MB）与时间阈值（15分钟），避免实时写入过程中持续产生大量小文件。（1分）2.（1）实时风控系统的全流程处理逻辑如下：①实时数据接入环节：通过Kafka集群接收交易系统发送的实时交易数据流，包含交易金额、交易时间、交易地点、交易设备标识、交易用户ID等核心字段（2分）。Kafka的高吞吐、低延迟特性可保障交易数据毫秒级传输，多副本机制可避免交易数据丢失，同时实现交易系统与风控系统的解耦，避免风控链路故障影响核心交易流程。②实时特征计算环节：采用Flink作为核心计算引擎，接入Kafka中的实时交易数据流，一方面实时查询Redis中存储的用户历史特征（包括常用交易地点、常用设备、历史平均交易金额、近24小时交易次数、历史风险标签等），另一方面通过Flink的状态计算能力实时生成交易动态特征（包括当前交易与用户常用地点的距离、交易时间偏离度、近1小时交易频率偏离度、设备风险标识等）