数据整合培训

数据整合培训,郑斌高级顾问,培训时间安排,主题,数据整合方法论主流方法简介设计方法论实施方法论AscentialDataIntegrationSolutionDatastage组件AdministratorManagerDirectordesign基本功能Datastage高级功能,数据整合方法论,数据整合,成熟的方法论多年的积累，成熟的经验以方法论为核心指导原则,统一的标准化方法论模型标准化代码统一数据结构统一业务术语统一,完善的元数据管理数据源元数据管理数据中心元数据管理应用元数据管理,正确的数据质量评估方法论数据质量暴露数据质量评估数据质量对策,主题,数据整合方法论主流方法设计方法论实施方法论AscentialDataIntegrationSolutionDatastage组件AdministratorManagerDirectordesign基本功能Datastage高级功能,数据整合方法论-主流方法,主流方法简介先统一再ETL先抽取再统一，最后进行数据转换和装载,代码、数据结构、业务术语统一,清洗、转换、装载,数据抽取,Integration,T+L,代码、数据结构、业务术语统一,清洗、转换、装载,数据抽取,E,Integration,T+L,E,DB2II,Datastage/PowerCenter,Datastage/PowerCenter,Datastage/PowerCenter,Datastage/PowerCenter,主题,数据整合方法论主流方法简介设计方法论实施方法论AscentialDataIntegrationSolutionDatastage组件AdministratorManagerDirectordesign基本功能Datastage高级功能,数据整合方法论-设计方法,架构设计,架构设计流程设计模块设计,数据中心,数据整合方法论-设计方法,流程设计流程设计指的是关于数据处理流程的设计，通常有2种设计思路：分层设计分层设计是指将数据处理的流程细分，将共性归类，形成数据处理的几个层次按业务流程设计按业务流程设计是指将数据处理流程与业务流程相对应，即面向业务流程进行设计,架构设计流程设计模块设计,数据整合方法论-设计方法,分层设计图例,数据源,数据原始层,数据转换层,应用数据层,数据整合方法论-设计方法,按业务流程设计图例,车险理赔进度分析,数据直接从源到目标,数据整合方法论-设计方法,模块设计模块功能维度处理业务数据处理脏数据处理数据备份及日志处理流程处理（流程调度与控制）历史/增量数据处理模块复用性公共业务数据公共系统参数公共转换过程模块处理性能整合工具调优转换过程优化数据库性能调优,架构设计流程设计模块设计,数据整合方法论-设计方法,设计注意事项（一）取数规则、数据转换规则取数规则的设计要求双方技术人员参与，数据转换规则的设计除要求双方技术人员参与，还需要业务人员参与。这2个规则是后续设计的基础，为了避免在后续过程中因规则改变导致重新修改结构的情况发生，这个步骤应给与足够的重视。脏数据处理规则脏数据即不符合业务逻辑、不适合做业务分析的数据，因此，在设计过程中应确定脏数据处理的原则，避免系统中存在的脏数据给分析决策带来误导。,数据整合方法论-设计方法,高质量的数据是指那些符合业务需求的、反应客观事实的数据。衡量数据质量可在以下几个方面进行：,数据整合方法论-设计方法,设计注意事项（二）历史数据处理策略历史数据即系统正式运行前所有的数据，数据量大，处理逻辑可能与增量的不一样，应该根据实际情况进行设计。增量数据处理策略增量数据的确定。增量数据主要根据业务逻辑来确定是否，通常根据时间戳来确定，但是存在一些特殊的情况，需要通过日志来判断。如：某条数据在当天被做了修改，但是时间戳没有改变，仍然是以前的某个时间，这就只能通过日志或者其他辅助手段进行判断。增量数据的处理方法，同历史数据相比，二者的数据不一定完全相同，因此需要单独考虑。,数据整合方法论-设计方法,设计注意事项（三）失败、异常的处理策略由于数据整合过程是一个复杂的数据处理流程，没有好的失败、异常处理策略会增加维护的难度，同时给维护带来大量的工作。下图是一个好的监控系统，维护人员可以很方便的看到系统的执行状态，并及时进行维护。,主题,数据整合方法论主流方法简介设计方法论实施方法论AscentialDataIntegrationSolutionDatastage组件AdministratorManagerDirectordesign基本功能Datastage高级功能,数据整合方法论-实施方法论,需求分析报告书,开始,业务需求分析,规则评审,数据源分析,数据处理规则确定,概要设计,概要设计评审,详细设计（历史、增量、失败处理等）,详细设计评审,编码,单元功能测试,数据质量测试,数据质量评审,流程测试,性能测试,结束,处理规则说明书,业务规则,数据源分析报告,脏数据处理规则,概要设计说明书,开发计划,A,详细设计说明书,测试计划,数据测试报告,流程测试报告,性能测试报告,A,Yes,Yes,No,No,Yes,No,No,Yes,主题,数据整合方法论主流方法简介设计方法论实施方法论AscentialDataIntegrationSolutionDatastage组件AdministratorManagerDirectordesigner基本功能Datastage高级功能,Ascential数据集成解决方案,AscentialEnterpriseIntegrationSuite,ParallelExecutionEngine,DISCOVER,Discoverdatacontentandstructure,PREPARE,Standardize,match,andcorrectdata,TRANSFORMandDELIVER,Transform,enrich,anddeliverdata,ProfileStage,QualityStage,DataStage,MetaDataManagement,Real-TimeIntegrationServices,EnterpriseConnectivity,andEventManagement,ComplementaryToBPM,EAI,andEIITechnologies,Open,Service-OrientedArchitectureIntegratedDataProfiling&DataQualityAdvancedDataTransformationandRoutingReusableComponents&RulesUnlimitedPerformancewithLinearScalabilityRobust,IntelligentAdaptersAnytime,AnywhereConnectivityIndustryStandardCompliant(XML,EDI,JMS,JCA)Industry-ReadyIntegrationSolutions,Service-OrientedArchitecture,DataStageDeploymentModes,Target(DatabaseorFile),ODBC/Native,DataStageServer(WinNT,Win2000orUNIX),ODBC/Native,DataSources(DatabaseorFile),Dataflow,Dataflow,DataStageServer,运行DataStage作业底层引擎采用UniVerseRDBMS可运行于6种平台IntelNT,AlphaNTAIX,HPUX,SunSolaris,CompaqTru64,DataStageRepository,存储各种定义MetadataTransformationsStages存储运行信息存于UniVerseRDBMS中能import/export从/到各种环境,主题,数据整合方法论主流方法简介设计方法论实施方法论AscentialDataIntegrationSolutionDatastage组件AdministratorManagerDirectordesign基本功能Datastage高级功能,Manager,Designer,Director,4ComponentsinDataStage,Metadatacollectionandmanagement,DesignJob/processflow,Runjobs,checklogsandsetschedules,Administrator,Configsystemenvironment,DataStageAdministrator,系统配置创建Project系统变量管理DataStage引擎清除,调整查看设置License情况权限管理,DataStageManager,管理各种定义Metadata(元数据)TransformationsStages,Import/ExportODBC或APIMetaBrokersMicrosoftRepository/SybaseWCCActiveXtransformations,Metadatarepository,DataStageDirec