工作automaiton开发学习spdb edw automation说明

1、上海浦东发展银行企业级数据仓库项目ETL Automation说明文档二二一年二月( 版本号 1.0 )本文档及其里面所包含的为材料并且由 SPDB/NCR 共同拥有。都不得以任何本文档中的进行与传播。SPDB/NCR，不得将材料泄露给第Copyright 2005 SPDB/NCR保留所有的权利。浦东发展银行企业级数据仓库 Automation 说明文档目录说明文档1第一章 前言第二章 AUTOMATION体系架构第三章 ETL环境部署3.1 AUTOMATION服务器架构3.2 AUTOMATION任务部署3.3 ETL子系统3.4 ETL任务及依赖触发. 第四章 ETL流程设计4.1 S

2、A数据加载流程4.1.1 流程概述4.1.2 流程设计4.1.2.14.1.2.24.1.2.3接口设计_镜像方式接口设计_文件方式接口任务说明4.2 PDM数据加载转换流程4.3 应用加载转换流程4.4 备份流程第五章 ETL维护说明5.1 日常5.1.15.1.2.内容与管理工具5.2 异常问题与处理5.3 附加程序说明第六章 AUTOMATION集成DATASTAGE说明6.1 体系架构SPDB/NCR材料I浦东发展银行企业级数据仓库 Automation 说明文档6.2 调用相关技术说明6.2.1 Automation调度6.2.2 DataStage命令行接口6.2.3 DataSt

3、age调用环境说明6.3 调用逻辑详细设计6.3.1 数据库连接方式的DataStage任务调用6.3.2 文本方式的DataStage任务调用6.4 DATASTAGE集成用例6.5 DATASTAGE集成问题与解决.6.5.1 DataStage JOB连接数据库超时6.5.2 DataStage JOB始终处于Running状态SPDB/NCR材料II浦东发展银行企业级数据仓库 Automation 说明文档第一章 前言ETLAutotmaionETL本文档详细阐述了架构和流程设计，以及Automation 维护操作说明。SPDB/NCR材料浦东发展银行企业级数据仓库 Automatio

4、n 说明文档第二章 Automation 体系架构体系架构描述：数据架构描述：SPDB/NCR材料浦东发展银行企业级数据仓库Automation 说明文档从上图可以看到目前加载步骤和数据：数据处理过程：源数据源数据提供方式为汇聚平台镜像或数据文本nn镜像方式：汇聚平台总控生成当日数据库镜像文本方式：导出文本上传到指定目录SA 加载Automation 调用 DataStageJOB 完成 Stage Area 区的数据加载PDM 转换Automation 调用 PDM 转换任务完成从 SA 到 PDM 的数据转换，PDM 和 EDW PDM，在目前流程中，POC PDM 优先。应用转换POCA

5、utomation 调用应用转换任务完成从 PDM 到应用的数据转换，CIM、POC APL、EDW POC 应用迁移、EDW 1104。数据质量检查EDWAutomation 调用 DQC 数据质量检查任务完成对 PDM 的数据质量检查数据备份Automation调用增量任务对 SA 进行备份，每周调用全备任务对SPDB/NCR材料浦东发展银行企业级数据仓库Automation 说明文档Teradata 数据库进行全备。数据库结构：SDATA存放 Stage Area 数据DW_HDATA存放传票文件历史数据PDATA存放 POC PDM 数据PAPPL存放 POC 应用数据PTEMP存放

6、POC 转换临时数据DBVIEW存放 POC PDM/PAPPL 的视图DW_PDATA存放 EDW PDM 数据DW_PTEMP存放 EDW PDM 转换临时数据DW_PVIEW存放 EDW PDM 视图DW_PAPPL存放 POC 应用迁移（基于 EDW）相关数据DW_MDATA存放数据集市（1104）DW_CIMVIEW存放 CIM 视图DW_DBVIEW存放 POC 应用迁移数据DW_DQC存放数据质量检查结果DW_DQCVIEWSPDB/NCR材料浦东发展银行企业级数据仓库Automation 说明文档存放 DQC 视图SPDB/NCR材料浦东发展银行企业级数据仓库 Automati

7、on 说明文档第三章 ETL 环境部署3.1 Automation 服务器架构3.2 Automation 任务部署SPDB/NCR材料服务器网络位置运行任务备份任务SPDBETL1TeraData ETL 总调度服务器机柜位置：26 号机柜IP:10.100.189.221机器名：SPDB-ETL-01PDM（基础数据转换任务, POC 和 EDW）APL（POC 应用任务） BAK（备份任务） CIM（CIM 应用任务）CTR（系统任务） CBS(系统 SA 加载任务) CL4(绩效系统 SA 加载任务) CCS(呼叫中心 SA 加载任务) DZC(单证系统 SA 加载任务) EPY(网银

8、系统 SA 加载任务) FAR(SA 加载任务) FUN(通 SA 加载任务)浦东发展银行企业级数据仓库Automation 说明文档SPDB/NCR材料INK(支付网关 SA 加载任务) IPP(前置系统 SA 加载任务) PEN(企业年金 SA 加载任务) RMC(风险系统 SA 加载任务) RMP(个贷系统 SA 加载任务) SFI(SAP FI 系统 SA 加载任务) STR(SAP TR 系统SA 加载任务) SHR(SAP HR 系统 SA 加载任务)SPA(SAP PA 系统 SA 加载任务) 114（1104 应用任务） APL（EDW POC 迁移应用任务）SPDBETL2D

9、atastage ETL 调度服务器机柜位置：30 号机柜IP:10.100.189.99机器名：SPDB-ETL-03CTR（系统任务） CBS(系统 SA 加载任务) CL4(绩效系统 SA 加载任务) CCS(呼叫中心 SA 加载任务) DZC(单证系统 SA 加载任务) EPY(网银系统 SA 加载任务) FAR(SA 加载任务) FUN(通 SA 加载任务) INK(支付网关 SA 加载任务) IPP(前置系统 SA 加载任务) PEN(企业年金 SA 加载任务) RMC(风险系统 SA 加载任务) RMP(个贷系统 SA 加载任务)SFI(SAP FI 系统 SA 加载任务) ST

10、R(SAP TR 系统 SA 加载任务)SHR(SAP HR 系统 SA 加载任PDM（基础数据转换任务, POC 和 EDW）APL（POC 应用任务） BAK（备份任务） CIM（CIM 应用任务）浦东发展银行企业级数据仓库 Automation 说明文档ETLAutomation 采机方式保证其中一台发生异常时能够正常运行流程，SPDBETL1 与 SPDBETL2 互为。3.3 ETL 子系统为了更好地管理 ETL 任务，我们把性质相同的任务归类，称其为 ETL 子系统。日常数据加载的任务分为数据抽取加载和数据转换两大部分。数据抽取加载任务是将源数据通过 DataStage 抽取到目标

11、数据库的临时数据，它们是以源数据为中心的，我们可以把相同数据源的任务一个 ETL子系统。的数据转换并放入SPDB 的 PDM 数据数据转换任务是将临时数据库中，也把 PDM 数据库中的数据转换到 SPDB 的应用数据库。，增加一个 ETL 子系统，它的任务用来实现为了与汇聚平台进行交互接口的作用。ETL 子系统的列表：SPDB/NCR材料ETL 子系统名描述CTR系统接口AIP个贷资产保全系统CBS系统CL4绩效考核系统CCS呼叫中心系统DZC单证系统务)SPA(SAP PA 系统 SA 加载任务)114（1104 应用任务） APL（EDW POC 迁移应用任务）SPDBETL3CIM OL

12、AP 服务器IP:10.100.181.54机器名：SPDB-OLAP-01APL（Cube 任务）浦东发展银行企业级数据仓库Automation 说明文档3.4 ETL 任务及依赖触发以下文档对目前 Automation 任务及依赖触发 SA 任务进行了描述：D:SPDB-SDATA任务定义 EDWPDM 任务D:SPDB-PDATA任务定义 EDW APL 任务D:SPDB-POC应用迁移定 CIM 任务D:SPDB-CIM任务定义及SPDB/NCR材料EPY支付网统FARFUN通INK网银系统IPP前置系统PEN企业年金系统RMC对公风险系统RMP个贷系统SFISAP-FI 系统STRS

13、AP-TR 系统SHRSAP-HR 系统SPASAP-PA 系统PDMPDM 数据转换（EDW、POC）PREPDM 预处理APL应用数据转换CIMCIM 应用1141104 应用BAK备份浦东发展银行企业级数据仓库Automation 说明文档 1104 任务D:SPDB-1104任务定义 DQC 任务D:SPDB-DQC任务定义及POC PDM 任务POC APL 任务SPDB/NCR材料浦东发展银行企业级数据仓库 Automation 说明文档第四章 ETL 流程设计整个 ETL 过程都是通过 DW Automation 来实现统一的流程化调度和运行管理。目前的整体流程图如下：注：目前

14、POC 仍处于整体 ETL 流程中，POC 应用迁移完成将去除。后，POC4.1 SA 数据加载流程4.1.1 流程概述SA 数据加载流程分为正常流程和应急流程两种方式，保证 SA 数据在正常流程加载发生异常时能够及时更换加载流程顺利进行数据加载。正常流程即采用首选镜像方式 SA 加载任务，应急流程即采用备选文本方式 SA 加载任务，目前有部分由于没有镜像方式，在正常流程中采用备选文本方式。目前提供数据的方式如下：SPDB/NCR材料浦东发展银行企业级数据仓库Automation 说明文档整体流程图如下：SPDB/NCR材料系统系统名称加载方式目前方式提供时点AIP个贷资产保全系统镜像、文本镜

15、像不在此次上线范围CBS系统镜像、文本镜像第二日 01:3002:30CL4绩效考核系统镜像、文本文本第二日 03:0004:00CCS呼叫中心系统镜像、文本镜像第二日 01:00DZC单证系统镜像镜像未确定EPY支付网统镜像、文本文本第二日 04:00,未上线FAR镜像、文本文本当日 21:3022:00FUN通文本文本当日 23:0022:30INK网银系统镜像、文本文本第二日 04:00，未上线IPP前置系统文本文本第二日 00:00PEN企业年金系统文本文本当日 21:00RMC对公风险系统镜像、文本镜像第二日 00:3001:00RMP个贷系统镜像、文本镜像当日 22:3023:00

16、SFISAP-FI 系统ABAP 接口文本第二日 01:0002:00注：SAP 业务总帐提供 2次（第二日 01:00 和13:00 各一次）STRSAP-TR 系统ABAP 接口文本第二日 03:00SHRSAP-HR 系统ABAP 接口文本第二日 03:00SPASAP-PA 系统文本文本未确定浦东发展银行企业级数据仓库Automation 说明文档职责划分：SPDB/NCR材料Automation主机启动正常流程启动备份流程（人工干预）日期错误接口文件日期执行ETL_START脚本日期错误接口文件日期消息文件内容总控操作失败执行ETL_START_F脚本日期正确总控操作日期正确是否完成

17、ETL抽取流程是否完成ETL抽取流程完成数据抽取执行ETL_END脚本发送接口文件删除汇聚镜像完成数据抽取是否完成ETL转换流程完成数据转换ETL流程浦发银行数据仓库Automation整体流程启动ETL数据转换流程执行数据库加载脚本接收汇聚平台镜像删除结果接口文件启动备份数据抽取流程执行文本加载脚本发送接口文件删除汇聚平台镜像启动正常数据抽取流程执行数据库加载脚本接收备份流程接口文件接收正常流程接口文件浦东发展银行企业级数据仓库 Automation 说明文档负责用 DataStage 实现从源到 SA 的数据抽取。NCR 负责 DataStage 任务的调度和流程。4.1.2 流程设计是

18、SA 数据加载的发起方，Automation 与它们通过接汇聚总控程序或互启动流程。SA 数据加载由 Automation 通过设置系统开始任务和系统结束任务来，系统开始任务和系统结束任务与接口文件相对应，其整体流程如下：4.1.2.1 接口设计_镜像方式汇聚总控程序负责进行镜像生成，并发接口文件 1 给 Automation，Automation 收到接口文件 1 后，对接口文件日期进行，如果判统的 SA 数据加载。Automation 完成某系统断结果为，则启动对SA 数据加载后，会发送接口文件 2 给汇聚总控程序，汇聚总控程序接收后会 对 镜 像 进 行 删 除 ， 删 除 镜 像 操

19、作 完 成 后 会 发 送 接 口 3 给Automation,Automation 收到接口文件 3 后，对接口文件日期进行判断是否删除镜像，并日志。流程图如下：SPDB/NCR材料浦东发展银行企业级数据仓库Automation 说明文档接口规范如下：接口 1：接口文件与各系统一一对应；该接口文件指由汇聚平台主机发送过来的消息文件，通知Automation进行数据加载，其消息文件内容会包含汇聚主机数据库 Online 的日志，也生产系统主机 BC 操作的日志。接口文件中内容：nn标志(0:/1:失败)第一行：操作第二行及以下：操作日志内容接口命名规范：dir.rmc_etl_startYYY

20、YMMDD dir.dzc_etl_startYYYYMMDD dir.rmp_etl_startYYYYMMDD dir.cl4_etl_startYYYYMMDD dir.ccs_etl_startYYYYMMDD dir.ink_etl_startYYYYMMDD dir.far_etl_startYYYYMMDDdir.cbs_etl_startYYYYMMDD对公风险系统(单证系统对公资产保全)个贷系统绩效考核系统呼叫中心(网银系统系统)系统其中，YYYYMMDD 为 8 位数据日期，而非系统日期；SPDB/NCR材料浦东发展银行企业级数据仓库 Automation 说明文档接口文件

21、对应 Automation 任务： dir.rmc_etl_startYYYYMMDD：RMC_ETL_START dir.dzc_etl_startYYYYMMDD：DZC_ETL_START dir.rmp_etl_startYYYYMMDD：RMP_ETL_START dir.cl4_etl_startYYYYMMDD：CL4_ETL_START dir.ccs_etl_startYYYYMMDD：CCS_ETL_START dir.ink_etl_startYYYYMMDD：INK_ETL_START dir.far_etl_startYYYYMMDD： FAR_ETL_START d

22、ir.cbs_etl_startYYYYMMDD：CBS_ETL_START接口 2：接口文件与各系统一一对应；接口文件中无内容，为 0 字节文件；接口命名规范：dir.rmc_etl_endYYYYMMDD dir.dzc_etl_endYYYYMMDD dir.rmp_etl_endYYYYMMDD dir.cl4_etl_endYYYYMMDD dir.ccs_etl_endYYYYMMDD dir.ink_etl_endYYYYMMDD dir.far_etl_endYYYYMMDDdir.cbs_etl_endYYYYMMDD对公风险系统(单证系统对公资产保全)个贷系统绩效考核系统呼

23、叫中心(网银系统系统)系统其中，YYYYMMDD 为 8 位数据日期，而非系统日期； 接口文件对应 Automation 任务： dir.rmc_etl_endYYYYMMDD：RMC_ETL_END dir.dzc_etl_endYYYYMMDD：DZC_ETL_END dir.rmp_etl_endYYYYMMDD：RMP_ETL_END dir.cl4_etl_endYYYYMMDD：CL4_ETL_END dir.ccs_etl_endYYYYMMDD：CCS_ETL_END dir.ink_etl_endYYYYMMDD：INK_ETL_END dir.far_etl_endYYYY

24、MMDD：FAR_ETL_ENDSPDB/NCR材料浦东发展银行企业级数据仓库 Automation 说明文档dir.cbs_etl_endYYYYMMDD：CBS_ETL_END接口 3：接口文件与各系统一一对应；接口文件中内容：nn标志(0:/1:失败)第一行：镜像删除操作第二行及以下：操作日志内容接口命名规范：dir.rmc_etl_delYYYYMMDD dir.dzc_etl_delYYYYMMDD dir.rmp_etl_delYYYYMMDD dir.cl4_etl_delYYYYMMDD dir.ccs_etl_delYYYYMMDD dir.ink_etl_delYYYYMM

25、DD dir.far_etl_delYYYYMMDDdir.cbs_etl_delYYYYMMDD对公风险系统(单证系统对公资产保全)个贷系统绩效考核系统呼叫中心(网银系统系统)系统其中，YYYYMMDD 为 8 位数据日期，而非系统日期； 接口文件对应 Automation 任务如下： dir.rmc_etl_delYYYYMMDD：RMC_ETL_DEL dir.dzc_etl_delYYYYMMDD：DZC_ETL_DEL dir.rmp_etl_delYYYYMMDD：RMP_ETL_DEL dir.cl4_etl_delYYYYMMDD：CL4_ETL_DEL dir.ccs_etl

26、_delYYYYMMDD：CCS_ETL_DEL dir.ink_etl_delYYYYMMDD：INK_ETL_DEL dir.far_etl_delYYYYMMDD：FAR_ETL_DEL dir.cbs_etl_delYYYYMMDD：CBS_ETL_DEL此外，SAP 系统采用 ABAP 接口提供数据，与 Automation 的交互只涉及到接口文件 1，其接口规范如下：dir.sfi_etl_start1YYYYMMDDdir.sfi_etl_start2YYYYMMDDSAP FI 系统（非 SAP 业务总账部分）SAP FI 系统（SAP 业务总账部分）SPDB/NCR材料浦东发

27、展银行企业级数据仓库 Automation 说明文档dir.spa_etl_startYYYYMMDD dir.str_etl_startYYYYMMDD dir.shr_etl_startYYYYMMDD与 Automation 任务对应如下：SAP PA 系统SAP TR 系统SAP HR 系统dir.sfi_etl_start1YYYYMMDD：SFI_ETL_START1 dir.sfi_etl_start2YYYYMMDD：SFI_ETL_START2 dir.spa_etl_startYYYYMMDD：SPA_ETL_START dir.str_etl_startYYYYMMDD：

28、STR_ETL_START dir.shr_etl_startYYYYMMDD：SHR_ETL_START注：dir.sfi_etl_start2YYYYMMDD 会传送两次，第一次不包含 SAP 离岸和SAP 离岸和总帐部分，第二次总帐部分。4.1.2.2 接口设计_文件方式进行数据文本导出并上传到指定目录，并发送接口文件 4 给由Automation，Automation 收到接口文件 4 后，对接口文件日期进行，如果，则启动对统的 SA 数据加载。结果为流程图如下：接口规范如下：接口 4：接口文件与各系统一一对应；SPDB/NCR材料浦东发展银行企业级数据仓库 Automation 说明

29、文档接口文件中无内容，为 0 字节文件；接口命名规范：dir.rmc_etl_start_fYYYYMMDD dir.dzc_etl_start_fYYYYMMDD dir.rmp_etl_start_fYYYYMMDD dir.cl4_etl_start_fYYYYMMDD dir.ccs_etl_start_fYYYYMMDD dir.ink_etl_start_fYYYYMMDD dir.far_etl_start_fYYYYMMDD dir.cbs_etl_start_fYYYYMMDD dir.fun_etl_start_fYYYYMMDD dir.ipp_etl_start_fYY

30、YYMMDD dir.pen_etl_start_fYYYYMMDD dir.sfi_etl_start1_fYYYYMMDD dir.sfi_etl_start2_fYYYYMMDD dir.spa_etl_start_fYYYYMMDD dir.str_etl_start_fYYYYMMDDdir.shr_etl_start_fYYYYMMDD对公风险系统(单证系统对公资产保全)个贷系统绩效考核系统呼叫中心(系统)网银系统系统通系统前置系统企业年金系统SAP FI 系统（非 SAP 业务总账部分） SAP FI 系统（SAP 业务总账部分） SAP PA 系统SAP TR 系统SAP HR

31、 系统其中，YYYYMMDD 为 8 位数据日期，而非系统日期； 接口文件对应 Automation 任务如下：dir.rmc_etl_start_fYYYYMMDD：RMC_ETL_START_F dir.dzc_etl_start_fYYYYMMDD：DZC_ETL_START_F dir.rmp_etl_start_fYYYYMMDD：RMP_ETL_START_F dir.cl4_etl_start_fYYYYMMDD：CL4_ETL_START_F dir.ccs_etl_start_fYYYYMMDD：CCS_ETL_START_F dir.ink_etl_start_fYYYYM

32、MDD：INK_ETL_START_F dir.far_etl_start_fYYYYMMDD：FAR_ETL_START_F dir.cbs_etl_start_fYYYYMMDD：CBS_ETL_START_F dir.fun_etl_start_fYYYYMMDD：FUN_ETL_START_F dir.ipp_etl_start_fYYYYMMDD：IPP_ETL_START_FSPDB/NCR材料浦东发展银行企业级数据仓库 Automation 说明文档dir.pen_etl_start_fYYYYMMDD：PEN_ETL_START_F dir.sfi_etl_start1_fYY

33、YYMMDD：SFI_ETL_START1_F dir.sfi_etl_start2_fYYYYMMDD：SFI_ETL_START2_F dir.spa_etl_start_fYYYYMMDD：SPA_ETL_START_F dir.str_etl_start_fYYYYMMDD：STR_ETL_START_F dir.shr_etl_start_fYYYYMMDD：SHR_ETL_START_F注：dir.sfi_etl_start2_fYYYYMMDD 会传送两次，第一次不包含 SAP 离岸SAP 离岸和和总帐部分，第二次总帐部分。4.1.2.3 接口任务说明接口文件 1 和 4 对应的

34、 Automation 任务完成如下功能：接口文件日期：Automation 处理接口文件时需要对接口文件1 的日期当天数据日期进行，为了当前 SA 系统数据日期，设计了数据表 ETL_TXDATE 存放在 Automation 知识库中，按Automation 在接口文件日期字母和数据日期存放当前数据日期，时会从该表获取当前数据日期，最后在某个SA 系统加载完之后会更新该表相总控操作统的数据日期。Automation 处理汇聚总控程序发送过来的接口文件时需要对接口文件 1的内容进行，如前接口文件 1 规范所述，接口文件中了总控操作返回的结果和日志，Automation 会获取该结果值进行日志

35、。，并且总控操作汇聚总控操作结果及日志简要描述如下：结果011111日志描述create bcv and split bcv all successful BC create failedBCsplit failed Active VGfailedMount DatabasefailedDatabase OnlinefailedSPDB/NCR材料浦东发展银行企业级数据仓库 Automation 说明文档 Automation 备选任务状态更新AutomationSA 采用了首选和备选两份任务，PDM 转换任务会同时依赖于这两种方式任务，并由两种方式任务来触发。Automation 依赖是否满

36、足取决于任务运行时间和运行状态，无论采用哪式的 SA 数据加载，接口文件对应的任务会把另外式任务的运行时间和运行状态进行同步更新，以满足 PDM 与 SA 两种方式任务的依赖加载都可以启动 PDM 转换任务。式的 SA，这样就可以保证任何 Automation SA 任务重新运行次数重置Automation镜像方式的 DataStage JOB 产生超时和一直 Running 问题，采取了补救措施,即由失败的时候，程序DataStageJOB 运行，当 DataStageJOB自动重新启动该 DataStage JOB。为了重新启动的次数，设计 ETL_RUNCNT 表保存与 Automati

37、on 知识库中，按照 SA 任务名称和重启次数存放。接口文件任务在每次运行时即 SA 数据加载前会把该表对应系统任务的重启次数清 0，保证程序的有效性。Automation接口文件 1 和 4 流程如下：接口文件日期(etl_txdate 表操作)，日期正确，则进行，否则失败；如果是镜像方式，会接口文件内容，则进行，否则失败；更新另外式任务的运行时间和状态，更新，则进行，否则失败；Automation SA 任务重新运行次数重置为 0，任务执行。接口文件 2 对应的 Automaiton 任务完成如下功能： 发送消息文件Automation 完成 SA 某系统数据加载后，会向汇聚总控程序发送消

38、息文件，SPDB/NCR材料浦东发展银行企业级数据仓库 Automation 说明文档通知总控删除镜像。 更新 ETL_TXDATE 表的数据日期Automation 完成 SA 某系统数据加载后，会更新 ETL_TXDATE 表中对统数据日期为最新的数据日期，准备为下一次 SA 加载。接口文件 3 对应的 Automation 任务完成如下功能： 总控操作Automation 接收汇聚总控程序在删除镜像操作后发送过来的接口文件，对接口文件内容进行，即总控删除镜像是否，同时会日志。4.2 PDM 数据加载转换流程目前 POC PDM 和 EDW PDM 采用同一个 ETL 子系统。流程上，采取

39、 POC优先策略，POC 依赖于的 59 张表和风险的一张表，在 SA 数据加载上优先对 POC 依赖的 SA 表进行加载，与 POC 相关的 SA 表准备就绪后，POC 进行数据加载转换，POC 数据加载完成以后（数据加载转换流程。POC 应用）,才开始 EDW PDM依据该流程策略，Automation 在 CTR ETL 子系统增加了一个 ETL 任务POC_ETL_END，用于POC（PDM、APL）任务完成后开始 EDW PDM 任务（即在 ETL 依赖上建立 POC_ETL_END 任务与 POC（PDM、APL）任务的依赖和触发，同时建立 EDW PDM 任务与 POC_ETL_

40、END 的依赖关系）；增加一个 ETL 任务 EDW_ETL_END，用于标志 EDW PDM 任务结束。4.3 应用加载转换流程应用目前POC APL、EDW APL、CIM、1104、DQC，在 ETL 依赖关系上，POC APL 依赖与 POC PDM，EDW APL（POC 应用迁移）、CIM、1104、DQC 依赖于 EDW PDM。CIM、1104、DQC 应用任务，在 CTRETL 子系统分别增加了以下开始和结束任务用于流程。 CIM：CIM_ETL_START、CIM_ETL_ENDSPDB/NCR材料浦东发展银行企业级数据仓库 Automation 说明文档1104：1104

41、_ETL_START、1104_ETL_END DQC：DQC_ETL_START、DQC_ETL_END目前流程中，CIM 应用在依赖的 EDW PDM 任务完成以后开始运行，1104应用在 EDW PDM 整体完成以后开始运行，DQC 应用在 CIM 应用任务完成之后开始运行。其中，1104 应用的 1104_ETL_START 任务不同于常规 Automation 流程，它会当前日期是否为月末、半年末，在、月末、半年末生成文件来触发相应 1104 任务。4.4 备份流程SA 备份Cube 备份1104 备份NetVault备份任务知识库备份、每周全备。具体的流程如下：注：SA 备份和每周

42、全备采用了双备份，目前流程中。SA 备份只做了问题：每周全备由于是备份而且是双备份，运行时间较长，有可能会第（第二日数据最早就绪时间为 21:00），需要解决。二日数据加载SPDB/NCR材料浦东发展银行企业级数据仓库Automation 说明文档4.5任务处理流程主要任务处理流程如下图：SPDB/NCR材料浦东发展银行企业级数据仓库 Automation 说明文档第五章 ETL 维护说明5.1 日常5.1.1内容 Automation 任务运行状况按时检查 Automation 任务运行情况，当发生异常时需要及时予以解决。 Automation 服务SPDB-ETL-03(10.100.18

43、9.99) Automation 服务： ETLAGT 、 ETLCLN 、ETLMASETLMSG、ETLRCV、ETLSCH、ETLWDGSPDB-ETL-01(10.100.189.221) Automation 服务： ETLAGT 、ETLCLN 、ETLMASETLMSG、ETLRCV、ETLSCH、ETLWDGSPDB-OLAP-01 (10.100.181.54 ) Automation 服务： ETLAGT、ETLCLN、ETLMASETLMSG、ETLRCV、ETLWDG OLAP 服务SPDB-OLAP (10.100.181.54 ) AS 服务： MSSQLServe

44、rOLAPService5.1.2与管理工具 ETL_ADMIN 管理工具ETL Automation 提供了图形操作界面 (GUI) 的管理程序，通过此管理程序可以定义ETL Automation 中任务 (Job) 的各项属性, 例如任务所对应的任务数据来源(Job Source),任务执行时间窗口, 任务流、任务依赖,每个任务执行状态和日志。并可以通过管理运行/ETL/bin/ETL Admin.jar（鼠标双击）启动 Automation 管理工具或在一MS-DOS 窗口中输入并执行下列的指令：java -jar ETLAdmin.jarSPDB/NCR材料浦东发展银行企业级数据仓库

45、Automation 说明文档ETL任务状态ODBC DataSource名ETL任务名AutomationAutomation数据库名 ETL_MONITOR工具ETL Automation 提供了图形操作界面 (GUI) 的程序，通过过此程序可以实时看到目前在 ETL Automation 中有那些任务正在等待状态中(Pending), 以及有那些任务正在执行中 (Running)，同时, 可以通过程序看到 Automation 任务在某些状况下所产生的例外实时地采取对应措施。(Event) 以告知维护运行/ETL/bin/ETLMonitor.jar（鼠标双击）启动 Automation

46、MS-DOS 窗口中输入并执行下列的指令：java -jar ETLMonitor.jar工具或在一Event窗口ODBC DataSource名Automation用户AutomationAutomation 数据库 Pending窗口Running窗口 ETL_MONITOR执行 tl_monitor.pl工具（DOS 方式）推荐脚本查看所有任务的运行状况（在DOS 窗口下，进入D:ETLbin 目录，输入：etl_monitor.pl）SPDB/NCR材料Automation用户ETL子系统名浦东发展银行企业级数据仓库Automation 说明文档注：ETL 任务状态说明：Automat

47、ion 任务的状态如下几种情况：Pending：任务已经处于等待运行状态y：任务已处于准备状态Running：任务正在运行状态Done：任务已经Failed：任务失败完成接收到下日的文件，下一日任务开始接收到文件任务PendingRunningDone任务失败SPDB/NCR材料任务状态重置Failedy图中第一列为ETL Server名称，第二列为ETL子系统， 第三列为ETL任务名称，第四列为运行日期，第五列为ETL任务状态，第六列为ETL任务的开始日期， 第七列分别为ETL任务的结束日期。浦东发展银行企业级数据仓库 Automation 说明文档5.2 异常问题与处理异常问题处理在日常过

48、程中产生的问题情况的列表及分析，正和处理。目前，Automation 流程常流程和应急流程中产生的问题正常运行时间为当日 21:00明日 13:00，如果某日 Automation 因为某种导致加载时间后延，需要及时对进行分析和解决，后继流程能够继续运行。5.2.1 接口处理问题5.2.1.1 镜像方式 总控操作失败汇聚平台总控程序操作完成后会把消息文件发送给Automation 以启动 ETL 流程。消息文件内容：第一行：操作标志(0:/1:失败)第二行及以下：操作日志内容如果总控镜像操作失败，Automation 的 ETL 流程如下：被启动，产生的错误提示ETLMonitor 错误提示：

49、 , _ETL_START invoke job script 任务脚本名 failedETLAdmin 查看详细日志：日志第一行状态标志为”1” 表示总控操作失败。详细日志第二行以下了总控操作哪项环节失败，具体错误及处理如下：SPDB/NCR材料流程序号问题点日志描述处理正常流程1BC 创建失败状态标志为”1”error:EVA BC create failed浦发 、余非，由浦发确认镜像失败 并予以解决，如果能够在短时2BC 拆分失败状态标志为”1” error:EVA BC split failed3Active VG 失败状态标志为”1”浦东发展银行企业级数据仓库 Automation 说明文档 消息文件日期错误汇聚平台总控程序操作完成后会把消息文件发送给 Automation 以启动程。消息文件的规范如下：ETL 流dir.cbs_etl_startYYYYMMDD系统其中，YYYYMMDD 为 8 位数据日期，而非系统日期如果汇聚镜像，但消息文件日期错误，Automation 的 ETL 流程被启动，产生的错误提示如下情况：ETLMonitor 错误提示：, _