版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
2026年大数据ETL助理岗位知识考试真题及答案一、单项选择题(每题2分,共30分)1.ETL的核心流程对应的中文全称是?A.数据抽取、转换、加载B.数据抽取、加载、转换C.数据存储、转换、查询D.数据清洗、转换、归档答案:A2.ETL流程中,负责处理缺失值、重复值、异常值的核心环节是?A.抽取B.转换C.加载D.调度答案:B3.下列属于开源ETL工具的是?A.InformaticaB.DataStageC.KettleD.OracleGoldengate答案:C解析:Informatica、DataStage是商业付费ETL工具,OracleGoldengate是数据库同步工具,Kettle(PentahoDataIntegration)是应用广泛的开源ETL工具。4.数据仓库的核心特征不包括以下哪一项?A.面向主题B.集成性C.事务性D.时变性答案:C解析:事务性是OLTP业务数据库的核心特征,数据仓库是面向分析的OLAP系统,不支持高频事务操作。5.Sqoop工具的核心作用是?A.分布式内存计算B.关系型数据库与Hadoop生态间的数据同步C.消息队列传输D.实时流处理答案:B6.开源数据同步工具DataX的核心三大组件不包括?A.ReaderB.ChannelC.WriterD.Scheduler答案:D解析:DataX采用Reader(读)、Channel(传输通道)、Writer(写)三层架构,Scheduler是调度组件,不属于核心同步架构。7.下列不属于增量数据抽取实现方式的是?A.时间戳比对B.全表扫描C.触发器捕获D.日志解析(CDC)答案:B解析:全表扫描属于全量抽取的实现逻辑,增量抽取是仅抽取业务变更的部分数据。8.数据质量维度中,“数据不存在缺失、取值符合业务规则”对应的维度是?A.完整性B.一致性C.准确性D.及时性答案:A9.Hive数据仓库的底层存储依赖以下哪个组件?A.MapReduceB.YARNC.HDFSD.HBase答案:C10.关于SQL中的NULL值与空字符串,下列说法正确的是?A.NULL值和空字符串完全等价B.NULL值参与算术运算结果仍为NULLC.空字符串参与算术运算结果为NULLD.COUNT(列名)会统计NULL值的行答案:B11.Kettle工具中,负责实现数据流转、字段处理的核心对象是?A.作业(Job)B.转换(Transformation)C.数据库连接D.调度器答案:B解析:Kettle中转换负责数据处理与流转,作业负责任务编排与流程控制。12.缓慢变化维(SCD)中,保留全部历史变更记录的类型是?A.Type1(覆盖更新)B.Type2(新增行)C.Type3(新增列)D.以上都不是答案:B13.数据血缘的核心作用不包括?A.追踪数据来源与加工链路B.评估变更的影响范围C.排查数据质量问题根因D.实现数据加密存储答案:D14.下列不属于脏数据范畴的是?A.缺失值B.重复值C.异常值D.元数据答案:D15.下列属于ETL作业调度工具的是?A.NavicatB.DolphinSchedulerC.DBeaverD.Redis答案:B解析:Navicat、DBeaver是数据库客户端工具,Redis是缓存数据库,DolphinScheduler是分布式作业调度工具,常用于ETL任务调度。二、多项选择题(每题2分,共20分)1.下列属于ETL数据抽取常见方式的有?A.全量抽取B.增量抽取C.CDC变更捕获D.数据归档答案:ABC解析:数据归档是数据生命周期管理的操作,不属于数据抽取的实现方式。2.下列属于数据清洗常用操作的有?A.重复数据删除B.缺失值填充C.字段格式标准化D.异常值处理答案:ABCD3.下列属于关系型数据库的有?A.MySQLB.OracleC.MongoDBD.PostgreSQL答案:ABD解析:MongoDB是文档型NoSQL数据库,不支持关系模型与标准SQL。4.Kettle(PDI)的核心工具组件包括?A.SpoonB.PanC.KitchenD.Carte答案:ABCD解析:Spoon是图形化设计工具,Pan是命令行执行转换的工具,Kitchen是命令行执行作业的工具,Carte是远程执行服务组件。5.下列属于大数据数据仓库常见分层的有?A.ODS层(贴源层)B.DWD层(明细层)C.DWS层(汇总层)D.ADS层(应用层)答案:ABCD6.下列属于Hive支持的存储文件格式的有?A.TextFileB.ORCC.ParquetD.SequenceFile答案:ABCD7.增量数据抽取的常见实现方式包括?A.时间戳比对法B.触发器法C.日志解析法(CDC)D.全表比对法答案:ABCD8.数据质量校验的常用规则包括?A.空值校验B.唯一性校验C.取值范围校验D.关联一致性校验答案:ABCD9.ETL作业调度的常见触发方式有?A.定时触发B.依赖触发C.事件触发D.手动触发答案:ABCD10.下列工具可用于ETL数据同步的有?A.DataXB.FlumeC.SqoopD.Canal答案:ABCD三、判断题(每题1分,共10分)1.ETL流程的执行顺序是先加载数据,再进行数据转换。答案:错误解析:ETL顺序为抽取(Extract)、转换(Transform)、加载(Load),ELT模式才是先加载后转换。2.全量抽取适合数据量小、业务变更频率低的业务表。答案:正确3.Kettle中的转换步骤是串行执行的。答案:错误解析:Kettle转换的每个步骤默认以多线程并行执行,可通过配置调整并行度。4.数据仓库的数据主要面向业务分析场景,不支持高频事务写入。答案:正确5.SQL中COUNT(*)与COUNT(列名)的统计结果完全一致。答案:错误解析:COUNT(*)会统计所有行(含NULL值行),COUNT(列名)会忽略该列为NULL的行。6.CDC(变更数据捕获)技术属于增量抽取的一种实现方式。答案:正确7.Hive是一个分布式关系型数据库,支持行级事务更新。答案:错误解析:Hive是大数据数据仓库工具,底层依赖计算引擎,原生不支持行级事务,高频更新场景不适用。8.数据血缘可以追溯数据从来源到最终应用的全链路加工过程。答案:正确9.ETL作业仅需在首次上线时做数据校验,后续运行无需重复校验。答案:错误解析:ETL作业每次运行都需要做数据质量校验,避免源端数据异常、逻辑变更导致结果错误。10.缓慢变化维Type2类型会保留数据的全部历史变更记录。答案:正确四、简答题(每题10分,共20分)1.简述ETL与ELT的核心区别,以及各自的适用场景。答案:(1)核心区别:ETL是先对抽取到的源数据完成转换、清洗操作,再加载到目标存储;ELT是先将原始数据全量加载到目标存储,再依托目标端的计算能力完成转换操作。(2)ETL适用场景:数据量较小、转换逻辑复杂度高、目标端计算资源有限的场景,如传统中小型关系型数据仓库建设。(3)ELT适用场景:数据规模大、目标端(大数据平台、云数仓)计算能力强、需要保留全量原始数据痕迹的场景,如大型企业大数据平台、云原生数据仓库建设。2.简述数据质量的5个核心维度及其含义。答案:(1)完整性:数据不存在缺失,必填字段、记录条数符合业务预期;(2)准确性:数据取值真实、符合业务规则,不存在错误或异常值;(3)一致性:同一数据在不同系统、不同表中的取值统一,不存在逻辑矛盾;(4)及时性:数据能够按业务要求的时效完成加工、交付,满足分析使用需求;(5)唯一性:数据不存在重复记录,主键、唯一标识字段符合唯一性约束。五、实操题(共20分)1.某业务系统MySQL数据库中有用户表user_info,字段包括:user_id(BIGINT,主键)、user_name(VARCHAR(50))、register_time(DATETIME,注册时间)、phone(VARCHAR(20),手机号)。请完成以下任务:(1)写出将该表全量抽取到HiveODS层表ods.ods_user_info的Sqoop命令,要求字段分隔符为\t、覆盖写入目标表。(7分)(2)写出按register_time字段增量抽取当日新增数据到HiveODS层的Sqoop命令,要求追加写入、字段分隔符为\t。(7分)(3)若抽取到的phone字段存在空值、长度不足11位、包含非数字字符三类数据质量问题,请简述对应的清洗规则。(6分)答案:(1)全量抽取Sqoop命令:sqoopimport\
--connectjdbc:mysql://mysql-host:3306/business_db\
--usernameroot\
--password'your_password'\
--tableuser_info\
--hive-import\
--hive-tableods.ods_user_info\
--fields-terminated-by'\t'\
--hive-overwrite\
--m1评分要点:连接参数、源表配置、Hive导入参数、分隔符设置、覆盖写入配置各1分,整体格式正确2分。(2)增量抽取Sqoop命令:sqoopimport\
--connectjdbc:mysql://mysql-host:3306/business_db\
--usernameroot\
--password'your_password'\
--tableuser_info\
--hive-import\
--hive-tableods.ods_user_info\
--fields-terminated-by'\t'\
--check-columnregister_time\
--incrementalappend\
--last-value'2026-XX-XX00:00:00'\
--m1评分要点:增量模式配置、检查列配置、上次时间阈值、追加写入配置各1分,整体格式正确3分。(3)清洗
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 智能办公设备无线连接全流程手册
- 电视制片人节目策划执行及实施绩效考核表
- 2026年度合同终止函(7篇)
- 快递业务主管服务响应及客户评价考核表
- 露营者户外发电机安全操作手册
- 信息敏感性考核表
- 库存清查差异通知函5篇范文
- 徒步旅行者防风防水装备清单
- 建筑工程质量检查三检制操作手册
- 财务报表编制说明补充确认函4篇
- 企业融资申请书范本及填写指南
- 藏羌碉楼营造技艺传承-洞察及研究
- DB35∕T 1036-2023 10kV及以下电力用户业扩工程技术规范
- 河北食品经营许可现场核查表及核查意见(食品销售)
- 人权法试题及答案
- 中国文化概论教学课件
- 学生心理健康一生一策档案表
- 深圳市罗湖区2022-2023学年七年级上学期期中地理试题
- 会展部门发展和规划
- 有效竞品分析(好产品竞品分析方法论)
- 半球电压力锅说明书
评论
0/150
提交评论