ETL工程师招聘笔试题及详细参考答案

ETL工程师招聘笔试题及详细参考答案考试说明：本试题适用于初级、中级ETL工程师求职笔试，总分100分，考试时长90分钟。试题聚焦企业实际工作场景，涵盖ETL基础原理、SQL深度开发、数据仓库建模、主流工具使用、数据质量管控、调度运维及故障排查等核心考点。题型包含选择题、多选题、判断题、简答题、实操题，答案配套详细解析，贴合一线开发工作需求。一、单项选择题（共20题，每题2分，共40分）每题仅有一个正确答案，多选、错选、不选均不得分1.标准ETL流程的完整执行顺序是（）A.转换-抽取-加载B.抽取-转换-加载C.加载-抽取-转换D.抽取-加载-转换2.数据仓库核心特性不包括以下哪一项（）A.面向主题B.实时更新C.非易失D.相对稳定3.以下哪种建模方式是数据仓库分层建模的主流模式（）A.范式建模B.维度建模C.关系建模D.网状建模4.Hive中，用于删除表中所有数据且不可回滚的命令是（）A.deleteB.dropC.truncateD.clear5.维度表和事实表的核心区别是（）A.维度表数据量大、事实表数据量小B.维度表存储描述信息、事实表存储度量指标C.维度表可更新、事实表不可更新D.维度表无主键、事实表有主键6.以下不属于ETL数据清洗核心工作的是（）A.去除重复数据B.填充缺失值C.业务指标计算D.修正异常数据7.Kafka的核心分区作用是（）A.提高数据存储安全性B.实现数据并行读写、提升吞吐量C.简化数据消费逻辑D.降低数据延迟8.数据仓库ODS层的主要作用是（）A.存储聚合统计指标B.同步原始业务数据、保留数据原貌C.清洗规整数据D.支撑前端报表查询9.SQL中row_number()窗口函数的核心特点是（）A.分组内连续排序、序号不重复B.分组内排序、允许序号跳跃C.全局随机排序D.去重排序10.以下哪种数据同步方式延迟最低（）A.全量定时同步B.增量定时同步C.CDC实时同步D.离线批量同步11.Hive分区的主要目的是（）A.优化查询性能、减少扫描数据量B.简化建表语句C.提高数据存储精度D.保证数据唯一性12.数据拉链表的核心作用是（）A.存储实时数据B.保留数据历史变更轨迹C.聚合多维度数据D.清洗脏数据13.Airflow、Azkaban的核心功能是（）A.数据存储B.ETL任务调度与运维C.数据计算D.数据可视化14.以下哪种场景适合使用增量同步而非全量同步（）A.业务表每日新增少量数据、历史数据无修改B.数据表初始搭建导入数据C.数据表频繁大批量改写D.数据量极小的配置表15.数据仓库DWS层的核心定位是（）A.原始数据层B.明细清洗层C.轻度聚合宽表层D.高度聚合报表层16.SQL中distinct关键字的作用是（）A.数据排序B.去除重复数据C.数据分组D.条件过滤17.导致ETL任务数据倾斜的主要原因是（）A.数据量过小B.分组key数据分布不均C.任务调度频率过高D.字段类型不匹配18.以下不属于数据质量考核指标的是（）A.完整性B.一致性C.时效性D.随机性19.Hive中over()窗口函数默认的窗口范围是（）A.分组内所有数据B.当前行及上一行C.全局所有数据D.当前行及下一行20.离线ETL任务最常用的调度周期是（）A.秒级B.分钟级C.日级D.毫秒级二、多项选择题（共10题，每题2分，共20分）每题有两个及以上正确答案，少选、多选、错选均不得分1.标准数据仓库分层包含哪些层级（）A.ODS原始数据层B.DWD明细数据层C.DWS聚合数据层D.ADS应用数据层2.常见的ETL开发工具包含（）A.DataStageB.KettleC.FlinkD.SparkSQL3.数据清洗中需要处理的脏数据类型有（）A.空值、缺失值B.重复数据C.逻辑异常数据D.格式不统一数据4.导致ETL任务运行失败的常见原因有（）A.源表字段变更B.数据类型不匹配C.资源内存溢出D.网络中断、源数据延迟5.实时数据同步常用技术包含（）A.CDCB.Binlog解析C.定时全量抽取D.Kafka流式消费6.维度建模的经典模型包含（）A.星型模型B.雪花模型C.星座模型D.范式模型7.解决Hive数据倾斜的常用方案有（）A.对空值key随机打散B.拆分倾斜key单独计算C.调整reduce数量D.开启数据倾斜优化参数8.ETL增量同步的常用依据有（）A.业务更新时间B.自增主键IDC.数据创建时间D.随机字段9.数据质量监控的核心场景包含（）A.数据量波动监控B.空值率监控C.指标一致性监控D.任务超时监控10.以下属于聚合函数的有（）A.sum()B.count()C.max()D.row_number()三、判断题（共10题，每题1分，共10分）正确选对，错误选错1.ETL的核心是将杂乱的业务原始数据，经过清洗转换后形成标准化、可分析的数据。（）2.数据仓库的数据需要实时增删改，和业务数据库保持一致。（）3.增量同步相比全量同步，效率更高、资源消耗更低。（）4.Hive分区字段可以直接作为表的普通字段参与查询筛选。（）5.拉链表可以完整记录数据的新增、修改、删除全生命周期状态。（）6.窗口函数执行优先级高于groupby分组聚合函数。（）7.数据倾斜只会导致任务运行缓慢，不会造成任务失败。（）8.ODS层数据可以直接用于业务指标统计和前端报表展示。（）9.CDC技术可以实现无侵入、低延迟的实时数据增量同步。（）10.去重、补空、格式统一都属于ETL转换环节的核心操作。（）四、简答题（共3题，每题5分，共15分）1.简述ETL全量同步和增量同步的区别及适用场景。2.简述数据仓库四层分层架构（ODS/DWD/DWS/ADS）的核心作用。3.简述ETL数据倾斜的定义、危害及常规解决思路。五、实操题（共1题，15分）现有用户订单明细表dwd_order_detail（每日分区），字段包含：dt(分区日期)、order_id(订单ID)、user_id(用户ID)、order_amount(订单金额)、create_time(创建时间)、pay_status(支付状态)。请编写SQL实现：统计2025-01-01当日，每个用户的有效支付订单数、累计支付总金额，仅统计支付成功的订单。六、参考答案及详细解析（一）单项选择题答案及解析1.B解析：ETL是Extract（抽取）、Transform（转换）、Load（加载）的缩写，标准执行顺序为抽取业务源数据、清洗转换加工、加载至数据仓库目标表。2.B解析：数据仓库四大特性为面向主题、集成性、非易失、相对稳定，数据批量更新，不支持业务数据库的实时增删改。3.B解析：维度建模是数据仓库专用建模方式，适配分析统计场景；范式建模多用于业务数据库，侧重数据冗余最小化。4.C解析：truncate清空表所有数据、保留表结构，不可回滚；delete逐行删除可回滚，drop直接删除整张表及结构。5.B解析：维度表存储维度描述信息（用户、时间、地区等），数据量小、更新少；事实表存储业务度量指标（订单量、金额等），数据量大。6.C解析：数据清洗核心是修正脏数据，包含去重、补空、修正异常、统一格式；指标计算属于数据转换加工环节。7.B解析：Kafka分区是并行读写的最小单位，分区数越多，并行消费、生产能力越强，可有效提升数据吞吐量。8.B解析：ODS层为原始数据层，完全同步业务库数据，不做深度加工，保留数据原貌，为后续分层提供数据源。9.A解析：row_number()分组内连续排序，序号唯一不重复；rank()会出现序号跳跃，dense_rank()连续不跳跃。10.C解析：CDC变更数据捕获可实时抓取数据库增删改操作，延迟毫秒级，远低于各类离线定时同步方式。11.A解析：分区将大表数据按时间、地区等维度拆分，查询时仅扫描目标分区，大幅减少数据扫描量，优化查询效率。12.B解析：拉链表通过记录数据生效时间、失效时间，完整留存数据历史变更记录，适用于需要回溯历史数据的场景。13.B解析：Airflow、Azkaban、DolphinScheduler均为开源工作流调度工具，核心用于ETL任务定时调度、监控、重跑运维。14.A解析：增量同步适用于每日新增数据、历史数据稳定无变更的业务表；全量同步适用于初始化、数据频繁改写、小体量配置表场景。15.C解析：DWS层为汇总层，基于DWD明细层数据，按用户、地区、时间等维度做轻度聚合，生成宽表，支撑上层快速查询。16.B解析：distinct关键字用于查询结果去重，可针对单列或多列组合去除重复数据。17.B解析：数据倾斜本质是分组、聚合的key分布不均，少量key承载绝大部分数据，导致单个任务节点压力过大。18.D解析：数据质量四大核心指标为完整性、一致性、准确性、时效性，无随机性指标。19.A解析：Hive窗口函数未指定rows范围时，默认窗口为partition分组内的所有数据。20.C解析：离线ETL处理T+1批量数据，主流调度周期为每日执行；秒级、毫秒级为实时任务调度周期。（二）多项选择题答案及解析1.ABCD解析：行业通用数据仓库四层架构包含ODS原始层、DWD明细层、DWS聚合层、ADS应用层，层级清晰、职责分离。2.ABCD解析：Kettle、DataStage为专用ETL工具；SparkSQL、Flink为大数据计算引擎，广泛用于批量、实时ETL开发。3.ABCD解析：脏数据包含空值缺失、重复冗余、逻辑异常（如订单金额为负）、格式混乱（日期、编码不统一）等各类问题数据。4.ABCD解析：源表结构变更、数据类型冲突、任务资源不足、数据源延迟、网络异常均是ETL任务失败的高频原因。5.ABD解析：CDC、Binlog解析、Kafka流式消费均为实时同步技术；定时全量同步属于离线批量同步方式。6.ABC解析：维度建模三大模型为星型、雪花型、星座型；范式模型是业务数据库建模方式。7.ABCD解析：空值打散、倾斜key拆分、调整计算资源、开启平台优化参数，均是企业解决Hive数据倾斜的常规落地方案。8.ABC解析：业务更新时间、创建时间、自增ID是增量同步的核心依据，可精准筛选新增、变更数据，随机字段无法作为同步依据。9.ABCD解析：数据量波动、空值超标、指标不一致、任务超时失败，均属于ETL数据及任务质量的核心监控场景。10.ABC解析：sum、count、max为聚合函数；row_number为窗口函数，不属于聚合函数范畴。（三）判断题答案及解析1.对解析：ETL的核心价值就是完成原始业务数据的抽取、清洗、标准化转换，产出可用于分析、统计、报表的高质量数据。2.错解析：数据仓库数据相对稳定、批量更新，以查询分析为主，不支持业务库高频实时增删改操作。3.对解析：增量同步仅处理新增、变更数据，无需全量扫描数据表，大幅节省计算、存储资源，执行效率更高。4.对解析：Hive分区字段为虚拟字段，可直接参与where筛选、分组、排序等查询操作，是优化查询的核心手段。5.对解析：拉链表通过时间区间标记数据状态，可完整记录数据新增、修改、删除的全部历史轨迹，支持历史数据回溯。6.错解析：groupby分组聚合执行优先级高于窗口函数，窗口函数是在分组聚合结果或明细数据基础上执行计算。7.错解析：严重数据倾斜会导致部分任务节点资源耗尽、内存溢出，直接造成ETL任务运行失败。8.错解析：ODS层为原始脏数据，未经过清洗规整，存在重复、异常、缺失数据，无法直接用于指标统计和报表展示。9.对解析：CDC技术无需侵入业务系统，通过抓取数据库日志实现数据同步，延迟极低，是实时ETL的核心技术。10.对解析：数据去重、空值补全、格式标准化、异常数据修正，均属于ETL转换（Transform）环节的核心工作。（四）简答题详细答案1.简述ETL全量同步和增量同步的区别及适用场景核心区别：①数据处理范围：全量同步清空目标表数据，全量抽取源表所有数据重新加载；增量同步仅抽取新增、变更的数据，追加或更新至目标表。②资源消耗：全量同步数据量大、计算和存储资源消耗高、执行耗时久；增量同步处理数据量小、效率高、资源消耗低。③数据时效性：全量同步多为低频定时执行，时效性差；增量同步支持高频离线同步和实时同步，时效性更强。适用场景：全量同步适用于数据表初始化搭建、小体量配置表、历史数据频繁改写、数据无唯一增量标识的场景。增量同步适用于大数据量表、每日新增数据稳定、历史数据极少修改、需要高频更新数据的业务场景。2.简述数据仓库四层分层架构（ODS/DWD/DWS/ADS）的核心作用①ODS原始数据层：同步业务数据库原始数据，完全保留源数据结构和内容，不做深度加工，作为数据仓库统一数据源，保障数据溯源性。②DWD明细数据层：对ODS层数据进行清洗、去重、补空、格式统一、脏数据过滤，生成标准化、高质量的业务明细数据，统一数据口径。③DWS聚合数据层：基于DWD明细数据，按用户、时间、地区、业务场景等维度进行轻度聚合，生成业务宽表，减少上层重复计算，提升查询效率。④ADS应用数据层：面向业务报表、数据看板、指标查询等具体应用，基于DWS层数据做高度聚合、指标计算，产出可直接对外展示的最终业务指标数据。3.简述ETL数据倾斜的定义、危害及常规解决思路定义：ETL任务执行分组、聚合、关联操作时，数据key分布极度不均，少