2025年山东省大数据工程专业职称考试(大数据系统研发·初级)综合试题附答案

2025年山东省大数据工程专业职称考试(大数据系统研发·初级)综合试题附答案一、单项选择题（共15题，每题2分，共30分）1.下列关于数据湖（DataLake）与数据仓库（DataWarehouse）的描述中，错误的是（）。A.数据湖存储原始数据，数据仓库存储经过清洗的结构化数据B.数据湖支持多类型数据（结构化、半结构化、非结构化），数据仓库以结构化为主C.数据湖主要服务于数据分析人员，数据仓库主要服务于业务决策D.数据湖通常采用分层存储架构，数据仓库多基于关系型数据库答案：C（数据湖服务对象更广泛，包括数据科学家、分析师等；数据仓库主要支持业务决策）2.Hadoop分布式文件系统（HDFS）默认的块（Block）大小是（）。A.32MBB.64MBC.128MBD.256MB答案：C（HDFS默认块大小为128MB，设计目的是减少NameNode内存占用并优化大文件处理）3.以下不属于SparkRDD（弹性分布式数据集）特性的是（）。A.不可变性（Immutable）B.懒加载（LazyEvaluation）C.支持随机访问D.容错性（通过血统Lineage实现）答案：C（RDD不支持随机访问，主要通过转换操作提供新RDD）4.Kafka中用于标识消息所属主题下的细分存储单元的是（）。A.ProducerB.ConsumerGroupC.PartitionD.Broker答案：C（Partition是主题的分区，用于实现负载均衡和并行处理）5.数据清洗过程中，针对“同一用户ID在不同表中格式不一致（如有的带前缀‘U_’，有的不带）”的问题，应采用的处理方法是（）。A.缺失值填充B.异常值检测C.格式标准化D.重复值删除答案：C（格式不一致需统一格式，属于格式标准化）6.关系型数据库中，“学生（学号，姓名，学院，学院地址）”表不符合第三范式（3NF）的原因是（）。A.存在部分函数依赖B.存在传递函数依赖C.主码不唯一D.存在多值依赖答案：B（学院地址通过学院传递依赖于学号，未消除传递依赖）7.分布式计算任务中，数据倾斜（DataSkew）的典型表现是（）。A.部分节点计算耗时远高于其他节点B.所有节点内存占用均衡C.任务提交失败D.数据存储容量不足答案：A（数据倾斜导致某些分区数据量过大，对应节点计算延迟）8.MapReduce框架中，负责将Map输出数据按Key分区并排序的组件是（）。A.MapperB.ReducerC.ShuffleD.Combiner答案：C（Shuffle阶段包括分区、排序、合并等操作）9.以下数据脱敏技术中，属于“不可逆脱敏”的是（）。A.替换（如将真实姓名替换为“用户A”）B.加密（如AES加密）C.哈希（如MD5哈希）D.掩码（如隐藏身份证后四位）答案：C（哈希算法无法还原原始数据，属于不可逆脱敏）10.ApacheFlume的核心作用是（）。A.分布式计算B.实时消息队列C.日志采集与传输D.数据存储答案：C（Flume是日志采集工具，用于将分散的日志数据收集并传输到存储系统）11.数据质量评估的核心维度不包括（）。A.完整性B.一致性C.多样性D.准确性答案：C（数据质量维度通常包括完整性、准确性、一致性、时效性等）12.以下属于NoSQL数据库中“键值存储（Key-Value）”类型的是（）。A.HBaseB.CassandraC.RedisD.MongoDB答案：C（Redis是典型键值存储数据库；HBase是列族存储，MongoDB是文档存储）13.ETL（抽取-转换-加载）流程中，“转换”环节的主要目标是（）。A.从多个数据源获取原始数据B.将数据加载到目标数据库C.清洗、标准化、关联数据D.监控数据传输过程答案：C（转换环节处理数据质量问题，使其符合目标系统要求）14.分布式计算系统的“CAP定理”中，“A”代表（）。A.可用性（Availability）B.原子性（Atomicity）C.一致性（Consistency）D.分区容错性（PartitionTolerance）答案：A（CAP定理指一致性、可用性、分区容错性三者无法同时满足）15.数据可视化设计中，“避免使用过多颜色渐变”主要是为了（）。A.提升美观度B.减少视觉干扰C.降低存储成本D.加快渲染速度答案：B（过多颜色渐变会分散注意力，影响数据洞察）二、多项选择题（共10题，每题3分，共30分。每题至少有2个正确选项，错选、漏选均不得分）1.以下属于Hadoop生态系统核心组件的有（）。A.HDFSB.SparkC.YARND.HBase答案：ACD（Spark是独立计算框架，非Hadoop原生组件）2.Spark中属于转换操作（Transformation）的有（）。A.map()B.reduce()C.filter()D.collect()答案：AC（reduce和collect是行动操作Action）3.数据采集过程中，常用的工具或技术包括（）。A.FlumeB.SqoopC.KafkaD.WebScraping答案：ABCD（Flume日志采集，Sqoop关系型数据库迁移，Kafka消息队列，WebScraping网页爬取）4.数据清洗需要处理的常见问题包括（）。A.缺失值B.重复记录C.格式不一致D.数据量过大答案：ABC（数据量过大属于存储或计算问题，非清洗范畴）5.关系型数据库中，索引的常见类型有（）。A.主键索引B.唯一索引C.全文索引D.哈希索引答案：ABCD（均为常见索引类型）6.Kafka的特点包括（）。A.高吞吐量B.持久化存储C.支持消息回溯D.强一致性答案：ABC（Kafka保证分区内有序，非全局强一致性）7.数据仓库的典型分层架构包括（）。A.贴源层（ODS）B.明细层（DWD）C.聚合层（DWS）D.应用层（ADS）答案：ABCD（数据仓库通常分为ODS、DWD、DWS、ADS等层级）8.以下属于数据脱敏方法的有（）。A.随机替换B.日期偏移C.数据泛化D.加密存储答案：ABCD（均为常见脱敏技术）9.分布式系统中，一致性模型包括（）。A.强一致性B.弱一致性C.最终一致性D.顺序一致性答案：ABCD（分布式系统常见一致性模型）10.数据可视化常用工具包括（）。A.TableauB.PowerBIC.EChartsD.Hive答案：ABC（Hive是数据仓库工具，非可视化工具）三、判断题（共10题，每题1分，共10分。正确填“√”，错误填“×”）1.数据湖仅适用于存储结构化数据。（）答案：×（数据湖支持结构化、半结构化、非结构化等多类型数据）2.HDFS不支持对已写入文件的随机写操作，仅支持追加写。（）答案：√（HDFS设计为一次写入多次读取，不支持随机修改）3.SparkStreaming是基于微批处理（Micro-Batch）的实时计算框架。（）答案：√（SparkStreaming将数据流划分为小批量处理）4.Kafka中，一个消费者组（ConsumerGroup）内的消费者可以订阅同一主题的不同分区。（）答案：√（消费者组通过分区分配实现并行消费）5.数据清洗的“填充缺失值”操作中，若数据分布呈正态分布，可选用中位数填充。（）答案：×（正态分布通常用均值填充，偏态分布用中位数）6.关系型数据库的第三范式（3NF）要求消除非主属性对主码的部分依赖和传递依赖。（）答案：√（3NF需消除部分依赖和传递依赖）7.数据倾斜仅发生在Map阶段，与Reduce阶段无关。（）答案：×（数据倾斜可能发生在Shuffle或Reduce阶段，因Key分布不均导致）8.Flume的Channel组件用于临时存储采集到的数据，防止数据丢失。（）答案：√（Channel是Flume中连接Source和Sink的缓冲区）9.NoSQL数据库通常支持ACID特性（原子性、一致性、隔离性、持久性）。（）答案：×（NoSQL多牺牲强一致性，支持BASE特性）10.数据可视化的核心目标是“准确传递数据信息”，而非单纯追求美观。（）答案：√（可视化需以数据洞察为核心）四、简答题（共5题，每题6分，共30分）1.简述数据湖与数据仓库的主要区别。答案：（1）数据类型：数据湖存储原始多类型数据（结构化、半结构化、非结构化）；数据仓库存储清洗后的结构化数据。（2）存储阶段：数据湖存储“原始数据”，数据仓库存储“加工后数据”。（3）使用场景：数据湖支持探索性分析、机器学习等；数据仓库支持固定查询、业务报表。（4）架构设计：数据湖多采用分层存储（如Raw、Clean、Curated）；数据仓库基于关系型数据库，需预先定义Schema。2.描述HDFS的架构及核心组件功能。答案：HDFS采用主从架构，核心组件包括NameNode、DataNode和SecondaryNameNode。（1）NameNode：管理文件系统元数据（如文件路径、块位置），负责客户端请求的响应。（2）DataNode：存储实际数据块（Block），执行读写操作，向NameNode汇报块状态。（3）SecondaryNameNode：辅助NameNode，定期合并编辑日志（EditLog）和镜像文件（FsImage），防止元数据丢失。3.说明SparkRDD的特性及其在分布式计算中的优势。答案：RDD特性：（1）不可变性：RDD提供后不可修改，只能通过转换操作提供新RDD。（2）血统（Lineage）：记录RDD的提供路径，用于容错（数据丢失时可重新计算）。（3）分区性：数据分布在多个节点的分区中，支持并行计算。（4）懒加载：转换操作（如map、filter）不会立即执行，行动操作（如count、collect）触发计算。优势：通过血统实现高效容错（无需复制数据），不可变性避免并发问题，分区设计提升并行效率。4.数据清洗的主要步骤和常用方法有哪些？答案：主要步骤：（1）识别问题数据（缺失值、重复值、异常值、格式错误等）。（2）处理缺失值（删除、填充均值/中位数/众数、插值法）。（3）处理重复值（去重，保留唯一记录）。（4）修正格式错误（统一日期、ID格式等）。（5）检测并处理异常值（基于统计方法如Z-score、箱线图，或业务规则）。常用方法：缺失值填充（均值/中位数）、异常值截断、格式正则化、哈希去重、逻辑校验（如身份证号校验）。5.简述ETL流程的主要环节及各环节的目标。答案：（1）抽取（Extract）：从多个异源系统（关系型数据库、日志、文件等）获取原始数据，目标是完整、准确地采集数据。（2）转换（Transform）：清洗、标准化、关联数据（如填充缺失值、统一格式、多表JOIN），目标是提升数据质量，符合目标系统要求。（3）加载（Load）：将转换后的数据写入数据仓库、数据湖或业务数据库，目标是高效、可靠地存储数据，支持后续分析。五、应用题（共2题，每题10分，共20分）1.某电商企业需设计用户行为数据采集方案（包括点击、浏览、购买等行为），要求支持实时采集、高吞吐量，并需考虑数据去重和完整性。请设计具体方案（工具选择、流程设计、注意事项）。答案：方案设计：（1）工具选择：-客户端埋点：使用JavaScriptSDK（如GoogleAnalytics或自研SDK）采集用户行为（点击、浏览），APP端使用Android/iOSSDK。-实时传输：通过Kafka作为消息队列，缓冲高并发数据，支持高吞吐量。-日志收集：服务器端日志（如购买行为）通过Flume采集，发送至Kafka。-存储：实时数据写入HBase（支持快速读写），批量数据定期导入HDFS或数据湖。（2）流程设计：用户行为→客户端SDK→Kafka（分区存储，按用户ID或时间分区）→Flume（从Kafka拉取数据）→清洗服务（去重：通过布隆过滤器或UUID校验；完整性校验：检查必填字段是否缺失）→HBase（实时存储）/HDFS（批量存储）。（3）注意事项：-数据去重：通过记录唯一事件ID（UUID），在清洗环节校验，避免重复采集。-完整性保障：设置心跳机制监控SDK上报状态，对丢失数据通过日志补传；Kafka配置acks=all，确保消息不丢失。-吞吐量优化：Kafka增加分区数（如16分区），Flume使用多通道（Channe