Informatica数据集成平台介绍

Informatica数据集成平台介绍,曹顺波,目录,概述Informatica数据集成平台介绍总结,即将分享的4个案例-数据集成领域,PowerCenter+PowerExchangecdcfordb2udb,PowerCenter+B2BDataTransformation,PowerCenter+PowerExchangeforgreenplum,PowerCenter+PowerExchangeforsap,即将分享的4个案例-数据集成领域,PowerCenter+PowerExchangecdcfordb2udb,PowerCenter+B2BDataTransformation,PowerCenter+PowerExchangeforgreenplum,PowerCenter+PowerExchangeforsap,powercenter,产品,PowerCenterPowerExchangeconnectionPowerExchangeCDCB2BDataTransformationMetadataManagerDataServiceDataReplication,PowerCenter+PowerExchagngeconnection,PowerCenter,PowerExchangeCDC,RDBMS,PowerExchangeforSAPNetweaver,PowerExchangeforRDBMS,PowerExchange,InformaticaB2B,PowerCenter强大的数据集成平台,Transformation,监督,观察,报告,确保数据一致,提供影响分析与持续的数据质量监控,PowerCenter,Informatica数据集成连接性,支持广泛的数据源,Informatica产品特色-提升开发生产力,图形化界面提升开发和维护生产力内嵌超过100多种运算，提供数据模型载入时常用的SequentialGenerator、Lookup以及其他常用函数如RANK等支持数据模型常用的SlowlyChangeDimension功能，提供向导提升开发速度支持数据库的Partitioning功能，可支持动态Partitioning，不需要人工调整Partitioning设定,Informatica产品特色-强调管理,逻辑设计与数据库独立，开发人员不需要直接接触实体数据库，符合IT管理需求影响/依赖性分析，当表级项出现异动时可透过此功能了解对其他表项的影响范围和评估执行过程以甘特图的形式展现，可以跟踪执行状态，成功失败笔数，耗用资源等等，其日志LOG可存放到数据库中，便于提供后续的系统查询和整合,Informatica产品特色-弹性与开放标准,数据源和目的端的数据库可根据需要调整，不限制厂商，开发环境和生产环境可采用不同的厂商的数据库或文本文件，不需要重新编译主动式Metadata，可存放在各种主流的开放式数据库中，可轻易的进行移植支持C、DCOM、JAVA、StoredProcedure，提供SDK，提升与外部整合的接口的弹性支持SOA架构，可以成为WebServices的Consumer及Provider,丰富的ETL功能,异构数据源，异构目标实现多种缓慢变化维全局变量及参数，支持参数文件局部变量，前后记录比较条件汇总异构数据源关联行/列转换静态、动态Lookup支持ETL事务处理自定义SQLPreSQL和PostSQL复用组件复用Mapping调用存储过程调用外部用户自定义过程可视化Debug强大的函数支持、功能丰富的转换语言,数据源为文件列表SessionRecovery基于多目标表约束装载错误数量控制FTP源和FTP目标ETL任务分区增量汇总测试装载BulkLoadingExternalLoader(Oracle、DB2、SYBASE)复用Workflow功能丰富的Workflow控制任务串行、并行控制基于时间、事件和指示文件触发任务Workflow中调用操作系统外部命令Workflow中调用Email多ETLServer协同工作.,PowerCenter图形化界面,完全图形化操作、易使用、易开发、易维护,最易于实施与使用的产品,易学易用的Informatica,完善的数据采集和分发手段,数据采集和分发批处理增量实时断点续传RSA加密和压缩调度和监控任务串行、并行控制多Server协同工作基于时间、事件、操作系统外部命令等触发方式Email提醒异常情况。,Partitioning(分区并行)支持-提高系统性能,Read/WriteIn-memoryLookupCache,Read/WriteIn-memoryAggregatorCache,Extract,Transform,Load,Partition1,Partition2,Partition3,PowerCenterserversonServerGrid,Off-gridPowerCenterserver,Distributedprocessingofworkflows,Dynamicallyroutetaskstoavailableservers,UNIX,LINUX,NT,网格计算支持-提高性能,PowerCenterHighAvailabilityOptionAutomaticFailoverSimulation,PowerCenter企业级扩展功能,PowerCenter企业级扩展功能,PowerCenterHPGridBenchmark,PowerCenter总结,支持广泛的数据源和目标丰富的ETL清洗转换功能简单的开发部署完善的监控和调度企业级的option（分区并行、GIRD、HA、版本控制、）性能强大（1TB数据，8个节点，1个半小时）,WhatIsPowerExchangeforSAP?,EnablesnativeintegrationofSAPintoInformatica,TableextractionALE/IDOCBAPI/FunctionModulesDMIBCI,OS,SAPGUI,Informatica,RFC,RFCLibrary,CalltoTransportFunctionModules,HowINFAIntegrateswithSAPNetWeaverArchitectureComplete,DatabaseLayer,WASWebApplicationServer,EP,Greenplum通过PowerCenter加载数据方式,PowerExchangeforGreenplumODBC,PowerExchangeforGreenplum,PowerExchangeforGreenplum可以快速高效的将数据加载到Greenplum数据库，它通过调用Greenplumgpload批量加载数据，效率比ODBC高很多,PowerExchangeforGreenplum架构,PowerExchangeforGreenplum效率（单位条/秒）,PowerExchangeCDC,PowerExchangeUniversalAccesstoData,-AccessibleinReal-timeand/orviaChangeDataCapture(CDC),RegistrationDataMaps,PowerExchangeChangeCaptureArchitectureforUDB,DataRecords,SQL,LogReadAPI,ChangeStream,RegistrationDataMaps,PowerExchangeChangeCaptureArchitectureforLogMinerBasedOracleCDC,DataRecords,SQL,LogMiner,1.OraclecollectsandpersistschangesinRedoLogs,2.PowerCenterissuesstandardSQLrequest,3.PowerExchangeissuesLogMinerrequest,4.PowerExchangesendschangeddatarecordstoPowerCenter,ChangeStream,RegistrationDataMaps,PowerExchangeChangeCaptureArchitectureforSQLServer,DataRecords,SQL,SQLReplication,ChangeStream,RegistrationDataMaps,PowerExchangeChangeCaptureArchitecturefori5/OS,DataRecords,SQL,Journaling(i5/OS),PowerExchange优势,变化数据捕捉(CDC)和实时数据(Realtime)图形化、拖拉拽的作业设计实时的数据抽取和处理,可以做到秒级.产品机理是通过监控数据环境的日志，实现增量的变化/实时捕捉(DBLogbased或Journalbased).支持开放型平台,关系型数据库,AS/400和大机环境(Mainframe).对被监控的源环境影响小.,B2B,B2B验证和处理复杂结构化或非结构化数据,复杂的行业数据格式:金融医疗制造保险通信政府安全,InformaticaB2B,快速、高效的转换复杂数据为正确的格式,收益：正确的数据能更好的支持业务行为和处理流程消除因手工、自定义过程所带来的成本和风险,将WORD报表数据抽取成为XML格式,并入库,B2B优势,B2BDT可抽取任意格式的数据，并创建任意目标格式快速实施易使用及维护可处理复杂的数据操作及业务逻辑,MetadataManager,MetadataManager&BusinessGlossarySummary,Twopurpose-builtUIs,OneMetadataRepository,MetadataManager.ITstaffmanagesthetechnicalmetadataaboutwhereyourdataisandwhatitlookslike.BusinessGlossary.BusinessstaffandDataStewardscreateandmanagebusinesstermsanddefinitions.ThisbringsbusinesscontexttoITprojects,MetadataBusinessTechnical,BusinessGlossary,MetadataManager,MetadataManager&BusinessGlossaryisapartofPowerCenterAdvancedEdition,BusinessUsers,ITStaff,Business-ITCollaboration,MetadataManagerRepository,MetadataManager&BusinessGlossaryProductDescription,MetadataManager,MetadataReports,MetadataBusinessTechnical,MetadataConnectivity,DataIntegration,BusinessGlossary,ITStaffView,BusinessUserView,DataLineageVisualizeDataFlowsSourcetoTarget,DataLineageprovidesthe“as-built”blueprintsofhowyourenvironmentworks.,MetadataManager&BusinessGlossaryEnd-to-EndDataLineage,1.DataLineagefromDI,DB,DMandBI,2.Descriptions,Expressionsetcfromalltools,InformaticaConfidential-DoNotDistribute,ImprovedDIproductivityandlowerbusinessrisk,ImpactAnalysisUnderstandtheImpactofDIChangesBeforeYouMakeThem,InformaticaDataService,GetonesinglepointofaccessforSecured,Complete&TrustworthyDataMakemultiple&diversesilosdatasourcesappearasoneFederatedatainreal-timewithnophysicallymovingthedataAbstractsourcesfromconsumingapplications&insulatesfromchange,LogicalViewofUnderlyingResources,WhatisInformaticaDataServices?DataVirtualizationSolution,DataDeliveryMode,DataProviders,DataConsumers,OperationalSystems,ArchivalSystem,Reporting/BITools,EAIandETLSystems,DataServices,Transform&Filter,RDBMS,Samedata,IDS特点,访问异构数据源Oracle、ibmdb2udb、sqlserver、sybase、Teradata、mysql、odbcAS400、SAP、Z/OS、IMS、VSAM数据探查、质量、高级转换数据分析探查、数据解析和标准化、地址校验、匹配重复数据针对非技术业务用户提供的基于角色的自助服务,InformaticaDataReplication+fastclone,IDR（InformaticaDataReplication）OLTP数据实时复制,COPY,COPY,COPY,COPY,COPY,DW/OLT