ETL数据抽取课件

数据抽取

2015年9月2日

数据分析事业部

舒礼明2023/1/91数据抽取

2015年9月2日数据分析事业部目录：ETL定义ETL过程问题分析现状分析培训目的：掌握ETL基本概念了解ETL的问题以及现状2目录：培训目的：2目录：ETL定义ETL过程问题分析现状分析3目录：3ETL定义ETL定义涉及以下内容：ETL定义ETL定义：数据的抽取（extract）、转换（transform）、装载（Load）的过程。ETL前提

确认ETL范围：通过对目标表信息的收集选择ETL工具：a.考虑资金b.运行的平台、对源和目标的支持程度、数据抽取管理监控功能、对异常情况处理。确认解决方案：抽取分析、变化数据的捕获、目标表的刷新策略、数据的转换以及数据验证ETL原则1.尽量对数据进行预处理。保证数据的安全性、集成与加载的高效性。2.ETL的过程是主动的“拉取”，而不是从内部“推送”，起可控性将大为增加。3.流程化的配置管理4.数据质量的保证：正确性、一致性、完成性、有效性、可获取性4ETL定义ETL定义涉及以下内容：4目录：ETL定义ETL过程问题分析现状分析5目录：5数据抽取数据清洗数据转换数据加载ETL过程6数据抽取ETL过程6ETL过程7ETL过程7ETL过程.数据抽取8ETL过程.数据抽取8ETL过程.数据抽取数据来源文件系统、业务系统抽取方式根据具体业务进行全量或者增量抽取抽取效率将数据按照一定的规则拆分成几部分进行并行处理抽取策略根据具体的业务制定抽取的时间、频度，以及抽取的流程9ETL过程.数据抽取数据来源9ETL过程.数据清洗10ETL过程.数据清洗10ETL过程.数据清洗数据不缺对空数据、缺失数据进行数据不缺操作，无法处理的作标记数据替换对无效数据进行数据替换格式规范化将源数据抽取的数据格式转换成为便于进入仓库处理的目标数据格式主外键约束通过建立主外键约束，对非法数据进行替换或者导出到错误文件重新处理11ETL过程.数据清洗数据不缺11ETL过程.数据转换12ETL过程.数据转换12ETL过程.转换规则数据合并多用表关联实现，大小表关联使用嵌套，大大表关联用join数据拆分按一定规则进行数据拆分行列互换排序、修改序号去除重复记录数据验证：sum、count、查询维度表实现方式A.在ETL引擎中进行（SQL无法实现的）B.在数据库中进行（SQL可以实现）13ETL过程.转换规则数据合并13ETL过程.数据加载14ETL过程.数据加载14ETL过程.数据加载15ETL过程.数据加载15目录：ETL定义ETL过程问题分析现状分析16目录：16问题分析数据异常将错误的信息单独输出，继续执行ETL，错误数据修改后再单独加载中断ETL，修改后重新执行ETL原则：最大限度接收数据环境异常对于网络中断等外部原因造成的异常，设定尝试次数或者尝试时间，超数或超时后，由外部人员手工干预其他异常例如源数据结构改变、接口改变等异常情况，应进行同步后，再装载数据17问题分析数据异常17ETL设计规范.开发ETL开发首先要确定的是流程的执行顺序以及条；其次是具体表映射关系的定义，在数据库性能允许的情况下，尽可能使用sql语句进行处理。对于具体映射和流程的命名，应该以维护方便为前提：映射：以目标表名命名流程：以流程要实现的功能命名不允许使用临时的SQL语句操作数据库，必须编写好的SQL脚本或存储过程限定手工干预只能运行某个流程，不允许运行单个过程每一项手工操作必须留下记录18ETL设计规范.开发18ETL设计规范.设计SQL语句应书写规范，关键字全部大写，同时应增加注释。对于自定义咧，需要按照公司规范来命名，eg19ETL设计规范.设计SQL语句应书写规范，关键字全部大写，同常见问题的分析字符集问题缓慢变化维度处理增量、实时同步的处理错误数据的检测变换数据的捕获抽取异常中止的处理20常见问题的分析字符集问题20ETL工具厂商目前ETL工具来源：数据库厂商自带的ETL工具，如OWB等第三方工具提供商，如informatic等开源ETL工具，如kettle21ETL工具厂商目前ETL工具来源：21谢谢观看！22谢谢观看！22数据抽取

2015年9月2日

数据分析事业部

舒礼明2023/1/923数据抽取

2015年9月2日数据分析事业部目录：ETL定义ETL过程问题分析现状分析培训目的：掌握ETL基本概念了解ETL的问题以及现状24目录：培训目的：2目录：ETL定义ETL过程问题分析现状分析25目录：3ETL定义ETL定义涉及以下内容：ETL定义ETL定义：数据的抽取（extract）、转换（transform）、装载（Load）的过程。ETL前提

确认ETL范围：通过对目标表信息的收集选择ETL工具：a.考虑资金b.运行的平台、对源和目标的支持程度、数据抽取管理监控功能、对异常情况处理。确认解决方案：抽取分析、变化数据的捕获、目标表的刷新策略、数据的转换以及数据验证ETL原则1.尽量对数据进行预处理。保证数据的安全性、集成与加载的高效性。2.ETL的过程是主动的“拉取”，而不是从内部“推送”，起可控性将大为增加。3.流程化的配置管理4.数据质量的保证：正确性、一致性、完成性、有效性、可获取性26ETL定义ETL定义涉及以下内容：4目录：ETL定义ETL过程问题分析现状分析27目录：5数据抽取数据清洗数据转换数据加载ETL过程28数据抽取ETL过程6ETL过程29ETL过程7ETL过程.数据抽取30ETL过程.数据抽取8ETL过程.数据抽取数据来源文件系统、业务系统抽取方式根据具体业务进行全量或者增量抽取抽取效率将数据按照一定的规则拆分成几部分进行并行处理抽取策略根据具体的业务制定抽取的时间、频度，以及抽取的流程31ETL过程.数据抽取数据来源9ETL过程.数据清洗32ETL过程.数据清洗10ETL过程.数据清洗数据不缺对空数据、缺失数据进行数据不缺操作，无法处理的作标记数据替换对无效数据进行数据替换格式规范化将源数据抽取的数据格式转换成为便于进入仓库处理的目标数据格式主外键约束通过建立主外键约束，对非法数据进行替换或者导出到错误文件重新处理33ETL过程.数据清洗数据不缺11ETL过程.数据转换34ETL过程.数据转换12ETL过程.转换规则数据合并多用表关联实现，大小表关联使用嵌套，大大表关联用join数据拆分按一定规则进行数据拆分行列互换排序、修改序号去除重复记录数据验证：sum、count、查询维度表实现方式A.在ETL引擎中进行（SQL无法实现的）B.在数据库中进行（SQL可以实现）35ETL过程.转换规则数据合并13ETL过程.数据加载36ETL过程.数据加载14ETL过程.数据加载37ETL过程.数据加载15目录：ETL定义ETL过程问题分析现状分析38目录：16问题分析数据异常将错误的信息单独输出，继续执行ETL，错误数据修改后再单独加载中断ETL，修改后重新执行ETL原则：最大限度接收数据环境异常对于网络中断等外部原因造成的异常，设定尝试次数或者尝试时间，超数或超时后，由外部人员手工干预其他异常例如源数据结构改变、接口改变等异常情况，应进行同步后，再装载数据39问题分析数据异常17ETL设计规范.开发ETL开发首先要确定的是流程的执行顺序以及条；其次是具体表映射关系的定义，在数据库性能允许的情况下，尽可能使用sql语句进行处理。对于具体映射和流程的命名，应该以维护方便为前提：映射：以目标表名命名流程：以流程要实现的功能命名不允许使用临时的SQL语句操作数据库，必须编写好的SQL脚本或存储过程限定手工干预只能运行某个流程，不允许运行单个过程每一项手工操作必须留下记录40ETL设计规范.开发18ETL设计规范.设计SQL语句应书写规范，关键字全部大写，同时应增加注释。对于自定义咧，需要按照公司规范来命名，eg41ETL设计规范.设计SQL语句应书写规范，关键字全部大写，同常见问