ETL开发工程师笔试真题（含详细答案）

ETL开发工程师笔试真题（含详细答案）适用岗位：ETL开发、数据仓库开发、大数据数仓工程师考试时长：90分钟满分：100分说明：试题贴合企业实际工作场景，无理论空洞考题，涵盖ETL基础、SQL实战、数据仓库规范、问题排查、脚本开发等核心工作内容一、单项选择题（共10题，每题3分，共30分）1.标准ETL流程的正确执行顺序是（）A.转换→抽取→加载B.抽取→转换→加载C.加载→抽取→转换D.抽取→加载→转换答案：B详细解析：ETL是数据仓库核心作业流程，E（Extract抽取）是从业务数据库、日志、文件等数据源抓取原始数据；T（Transform转换）是对原始数据做清洗、去重、字段拆分、格式统一、关联计算等处理；L（Load加载）是将处理后的规范数据写入数仓分层表、目标业务表。2.在数仓分层中，ODS层的核心作用是（）A.存储聚合统计后的业务指标数据B.原样同步数据源原始数据，保留数据快照C.存储清洗、转换后的标准明细数据D.存储最终报表展示数据答案：B详细解析：ODS层为原始数据层，核心原则是数据原样落地，不做复杂转换和计算，仅做同步、增量/全量落地，保留数据源真实快照，为后续分层计算提供原始依据。C为DWD明细层作用，A为DWS聚合层作用，D为ADS应用层作用。3.ETL数据清洗中，对手机号字段的异常处理不包括（）A.去除首尾空格B.剔除10位非合规手机号C.批量替换手机号正常格式D.删除所有11位数字手机号答案：D详细解析：正常合规手机号为11位数字，属于有效数据，无需删除。日常清洗针对手机号主要做去空格、剔除位数异常、非数字字符清洗、格式标准化等操作。4.以下哪种同步方式适用于业务表数据量极大、更新频繁，且需要实时增量同步的场景（）A.全量覆盖同步B.触发器增量同步C.定时全量同步D.人工手动同步答案：B详细解析：全量同步适合小数据量、更新频率低的表，大数据量全量同步会占用大量服务器资源、耗时久；触发器增量同步可实时捕获数据新增、更新、删除操作，适配高频更新的大表场景，是ETL增量同步常用方式。5.数仓中维度表的核心特征是（）A.存储业务度量指标，数据频繁变动B.存储业务描述信息，数据相对稳定C.数据量极大，每日增量海量数据D.仅用于数据存储，不参与关联查询答案：B详细解析：维度表用于存放业务维度描述信息，如用户维度、时间维度、地区维度，字段多为名称、属性、分类等，数据更新频率低、稳定性高。事实表存储度量指标、交易数据，数据量大、更新频繁。6.SQL中用于去除重复数据的关键字是（）A.DISTINCTB.UNIQUEC.DELETED.GROUPBY答案：A详细解析：DISTINCT用于查询结果去重；UNIQUE是表字段唯一约束，不能用于查询去重；GROUPBY用于分组统计，需结合聚合函数使用，不可单纯去重；DELETE为删除数据语句。7.ETL作业调度中，以下哪种情况最容易导致数据重复（）A.增量同步未配置唯一主键去重B.作业定时延后执行C.日志输出过多D.数据表字段过多答案：A详细解析：增量同步依靠主键、唯一标识判断数据是否新增或更新，未配置主键去重、未做幂等处理时，重复调度、重试作业会导致同一数据多次写入，产生重复脏数据，是ETL开发中最常见的重复数据问题。8.以下不属于ETL转换（Transform）环节操作的是（）A.字段格式统一B.脏数据过滤C.从MySQL读取业务数据D.多表关联拼接字段答案：C详细解析：从数据源读取数据属于抽取（Extract）环节；数据清洗、格式转换、多表关联、字段加工、脏数据处理均属于转换环节。9.数仓分层中DWD层的主要存储内容是（）A.原始未加工数据B.清洗后的业务明细数据C.聚合后的统计指标数据D.前端展示报表数据答案：B详细解析：DWD层为明细数据层，基于ODS层原始数据，完成清洗、去重、字段标准化、维度关联，存储高质量、标准化的业务明细数据，是数仓核心中间层。10.ETL作业执行失败，优先排查的核心日志是（）A.系统开机日志B.ETL作业运行报错日志C.服务器访问日志D.数据库登录日志答案：B详细解析：作业运行报错日志会精准记录SQL语法错误、数据异常、字段不匹配、连接超时、资源不足等核心问题，是排查ETL作业失败的首要依据。二、填空题（共5题，每题4分，共20分）1.数仓四层经典分层分别是：ODS层、______、DWS层、______。答案：DWD明细层、ADS应用层2.ETL同步数据的两种核心方式是______同步和______同步。答案：全量、增量3.数据清洗中，常见的脏数据类型包括空值数据、______、______、重复数据。答案：格式异常数据、逻辑错误数据（如时间颠倒、数值超出合理范围）4.事实表和维度表关联查询的核心场景是______建模，该模型可以有效减少数据冗余。答案：星型5.ETL作业幂等性的核心目的是______。答案：避免作业重复执行导致数据重复、数据错乱三、简答题（共3题，每题8分，共24分）1.简述全量同步和增量同步的区别，以及各自的适用场景。详细答案：（1）核心区别全量同步：每次作业执行都会清空目标表数据，将数据源所有数据重新同步写入，数据完整性高，但资源消耗大、执行耗时久。增量同步：仅同步数据源新增、修改、删除的变动数据，无需同步全量数据，执行速度快、资源占用低，但需要依赖更新时间、主键等标识精准捕获变动数据。（2）适用场景全量同步：适用于数据量小、更新频率低、数据变动无规律的基础维度表、配置表。增量同步：适用于数据量大、每日高频新增更新的业务明细表，如订单表、用户行为表、支付记录表。2.ETL开发中，空值（NULL）处理的常用方案有哪些？详细答案：（1）字段填充：针对数值型空值，统一填充0；针对字符串型空值，填充默认标识如“未知”“无”，保证数据统一性。（2）数据过滤：核心业务字段为空的无效数据，直接过滤剔除，不流入下层数仓分层。（3）关联补全：通过维度表关联，补齐缺失的维度空值数据。（4）标记留存：非核心字段空值不做删除，单独增加字段标记空值状态，保留原始数据完整性。3.简述ODS、DWD、DWS、ADS四层数仓分层的核心作用。详细答案：（1）ODS原始层：同步业务库原始数据，保留数据快照，不做复杂加工，为下层计算提供原始数据源，保障数据可追溯。（2）DWD明细层：清洗原始数据，去除脏数据、重复数据，统一字段格式，关联基础维度，生成标准化、高质量的业务明细数据。（3）DWS聚合层：基于明细数据，按时间、区域、用户等维度做轻度聚合、指标计算，汇总每日、每小时业务数据，提升查询效率。（4）ADS应用层：面向业务报表、数据看板、数据分析需求，定制化输出最终指标数据，直接支撑业务使用。四、SQL实操题（共2题，每题10分，共20分）基础表结构：订单表order_info（order_id订单ID，user_id用户ID，order_amount订单金额，create_time下单时间，order_status订单状态）用户表user_info（user_id用户ID，user_name用户名，user_area所属地区，register_time注册时间）1.编写SQL，统计2025年10月每日订单总金额、订单总数，过滤无效订单（订单状态为取消、退款）。参考答案：sql

SELECT

DATE(create_time)ASorder_date,

COUNT(order_id)ASorder_total_num,

SUM(order_amount)ASorder_total_amount

FROMorder_info

WHERE

DATE_FORMAT(create_time,'%Y-%m')='2025-10'

ANDorder_statusNOTIN('取消','退款')

GROUPBYDATE(create_time)

ORDERBYorder_date;解题说明：通过日期函数截取年月限定统计范围，过滤无效订单状态，按日期分组统计订单量和总金额，最后按时间排序，符合日常数仓统计规范。2.编写SQL，查询2025年注册、且有有效下单记录的用户姓名、所属地区、注册时间、累计下单金额。参考答案：sql

SELECT

u.user_name,

u.user_area,

u.register_time,

IFNULL(SUM(o.order_amount),0)AStotal_order_amount

FROMuser_infou

LEFTJOINorder_infoo

ONu.user_id=o.user_id

ANDo.order_statusNOTIN('取消','退款')

WHEREDATE_FORMAT(u.register_time,'%Y')='2025'

GROUPBYu.user_id,u.user_name,u.user_area,u.register_time;解题说明：使用左关联保留所有2025年注册用户，过滤无效订单，通过IFNULL处理用户无下单记录的空值，避免统计结果出现NULL，保证数据规整。五、场景分析题（6分）场景：日常ETL调度中，每日凌晨执行的订单同步作业，今日执行耗时从往常的5分钟暴涨至30分钟，且部分数据缺失，请分析可能原因及排查解决方案。详细答案：###可能原因

1.业务侧数据量突增：当日订单交易量暴涨，同步数据体量翻倍，导致作业执行耗时增加；

2.数据源异常：业务库卡顿、查询超时、字段临时变更，导致数据读取不全、部分数据缺失；

3.作业资源不足：服务器CPU、内存、磁盘资源占用过高，ETL作业运行受限；

4.同步规则问题：新增过滤条件错误、关联逻辑出错，导致有效数据被误过滤；

5.调度冲突：同一时间段有其他大数据作业运行，抢占系统资源。###排查及解决方案