Informatica主数据管理解决方案-CAPPT课件

统一主数据管理平台方案但彬Informatica中国,Informatica专注于数据集成的独立软件开发商,成立时间:19932012年收入为:8.116亿美元7年平均增长率:每年17%员工人数:2,810多人合作伙伴:450多家主要的系统集成商、独立软件供应商、原始设备制造商和按需生产的先驱客户:超过5,000家客户遍布全球82个国家直接客户遍布全球28个国家客户忠诚度排名位居榜首（已连续7年获此殊荣）,.,1.数据采集,数据仓库,分析应用,BI,报表,数据挖掘,仪表盘,任意格式任意数据源任意延时任意模式,ERP,CRM,办公,PLM,财务,网站,业务系统,2.数据审计与发现(数据探查),3.数据质量管理(建立和管理数据质量规则，仪表盘，报警等),5.主数据和参考数据管理,渠道,区域,产品,客户,4.数据处理,AnyformatAnysourceAnylatencyAnymode,8.元数据管理(操作型,技术型,业务层),7.数据归档,归档,Retrieval,6b.数据虚拟化,外部数据,复杂事件处理,Informatica产品定位,.,内容提要,从公司治理到主数据管理主数据平台解决方案Informatica案例分享,.th,2013at5:00pmPST,集团企业数据利用的发展与挑战,财务管理,投资管理,客户服务,人力资源,决策支持,不同的系统管理各种业务流程走向精细化协同管理利用数据仓库汇集数据但是企业内外协同受信息流现状的制约面临的问题数据标准数据质量管控流程,集团,产业集团,企业数据仓库,企业数据集成,.th,2013at5:00pmPST,公司治理影响公司业务方向、管理、和控制发展路线的一系列流程、策略、惯例、规章制度等。,IT治理确保IT能够支撑企业战略目标的管理、组织架构、和流程。,主数据治理确保企业主数据的有效性、可访问性、质量、一致性、可审性、和安全性所需要的流程、策略、标准、和技术。,从主数据入手，提升主数据质量，是业务管控的基础,业务流程,CRMSystem,ERPSystem,OrderMgmtSystem,FinanceSystem,HRSystem,主数据的重要性大多数的数据质量问题是主数据问题使治理目标和范围明确主数据系统使咨询内容落地,.th,2013at5:00pmPST,客户、产品、服务、供应商、机构、资源等组成完整的360度主数据视图,客服,金融客户,网上业务,离港,机票,积分,航段,航空客户,物流客户,旅业客户,储蓄,住宅,健康,支付,意外,养老,助学,发件,配偶,收件,酒店,票务,物流,旅行代理,业务经理,孩子,企业,航空,保险代理,不同主数据是业务的不同视角：客户角度产品、服务机构资源产品角度客户资源机构供应商角度产品机构角度产品客户资源资源角度机构产品客户,完整的主数据视图,父母,.,提高生产力和效率提高决策能力提高业务灵活性提高合规性问题：贵公司实施主数据项目的主要原因是什么？业务需求技术需求面临哪些难题,主数据管理的驱动力,.th,2013at5:00pmPST,企业集团主数据平台集中管理各类主数据,AcctRep,Organization,Account,Customer,Product,MDM,数据管理,DI/DQ,财务管理,投资管理,客户服务,人力资源,决策支持,DW,数据服务,.,灵活的数据模型可定制的业务逻辑和工作流程可配置的用户界面/接口解决不同领域业务问题可用统一的平台扩展到解决其他业务问题和领域,预定义数据模型预定义的业务逻辑和工作流程预定义的用户界面/接口解决特定领域的业务问题扩展到其他业务领域需要购买新的应用,平台级MDM,应用级MDM,根据客户的特有需求进行配置，使用不同客户需求,预置的应用以解决特定的主数据问题(customer,product,financial),Customer,Product,COA,客户,产品,COA,主数据管理的不同实现路径,.,InformaticaMDM简介经验证的多域主数据方案,部署情况,市场影响力,跨越多行业的平台级解决方案(FinancialServices,LifeSciences,HighTech),大量案例证明在多域主数据部署的能力,快速部署平均上线时间:3-9个月最具伸缩性解决方案最大450M主记录数的成功案例可验证的多域主数据几乎一半的客户都在统一平台上部署了客户和产品域,超过50%的财富500企业和全球500强企业MerrillLynch,DeutscheBank,Johnson&Johnson,Pfizer,Apple,Kodak,Cadbury,跨越多行业的客户解决方案(25+solutions),InformaticaMDM提供产品、客户、账户等关键数据的统一视图，快速低成本提升业务运营、客户体验、以及合规等能力,.th,2013at5:00pmPST,Informatica主数据管理平台统一管理多域主数据,MDM,现有哪些应用系统涉及主数据？ERP、CRM、PLM、PDM重点关注哪些主数据？客户、产品、供应商应用系统可能以哪种方式与主数据交互？批量、实时、准实时,.,为应用和数据仓库交付可信的数据,管理统一、可信、真实的主数据,数据清洗和标准化,剖析、发现数据内容、一致性、数据结构,从不同的应用和数据源访问、获取数据,平台需要的能力,数据获取,数据探索,数据清洗,数据管理,数据发布,1,2,3,4,5,.th,2013at5:00pmPST,ESB,统一客户数据平台架构,企业数据集成平台,运营支撑,分析决策,数据集市,仪表板,分析报表,业务应用,遗留数据,社交媒体和第三方数据,数据质量,数据探索,1,2,3,主数据管理,4,ODS,数据管控,模型管理,合并管理,重复识别,数据关联,Ora数据仓库,运行、生产、销售,数据管理平台,TD数据仓库,客户/市场,ESB,数据发布服务,5,.,Informatica产品在主数据管理中的定位,Operational,Analytical,CIF,LegacySystems,DataWarehouse,DataMarts,Portal/Dashboard,BusinessIntelligence,LegacySystems,Applications,Applications,Legacy,ThirdPartyData,MasterDataManagement,MDMFoundation,实时交付可信的、相互关联的主数据,及时交付可信的、相互关联的数据,DataQuality,DataProfiling,DataIntegration,DataServices,1,2,3,5,MasterDataManagement,4,.,数据获取,关键需求:在任意的源和目标数据之间进行数据访问和发布各种数据格式，各种地方不同的延迟需求(批量,实时,消息队列)高性能和高可用支持不同MDM部署风格元数据可视化,数据集成,1,DataIntegration,产品支持:InformaticaPowerCenterInformaticaPowerExchangeInformaticaB2BExchange,.th,2013at5:00pmPST,数据探索,关键需求:发现和记录数据中的所有异常将问题进行分类（完备性、遵从性、一致性、准确性、唯一性、依赖性）,数据探索,2,DataProfiling,产品支持:InformaticaDataProfile,.th,2013at5:00pmPST,数据清洗,关键需求:数据清洗数据丰富地址标准化数据监控和报告基于SOA访问DQ规则根据条件的格式校验规则数据变化，去噪，转换开放式清洗架构,数据清洗,3,DataQuality,产品支持:InformaticaDataQualityAddressDoctor,.th,2013at5:00pmPST,数据质量问题实例,完整性COMPLETENESS,合法性CONFORMITY,一致性CONSISTENCY,重复性DUPLICATION,关联性INTEGRITY,准确性ACCURACY,值域划分RANGE,完整性:丢失关键数值,合法性:非法格式,Consistency:IncorrectFormat,一致性:数据是格式正确并完整，但不符合业务逻辑,Duplication:Fuzzymatching,重复性:模糊匹配,关联性:识别记录关系,关联性:识别记录关系,准确性:须利用其他数据来验证其准确程度,值域划分:界定数值范围,.,特性,剖析,解析,清洗,标准化,Comprehensivedataquality,数据丰富,匹配,剔重,数据质量功能一览,.,共同参与数据质量工作,数据经理业务主管,IT开发人员,数据管理人员,记分卡,基于WEB客户端,.,使用Analyst对数据进行全方位的剖析,DataSteward,Reusedataqualityrulesinprofilinganalysis,.,使用Developer开发具体任务,.,流间分析在处理流程中任意位置进行分析,剖析数据源,剖析处理单元,剖析规则,.,量化质量，跟踪监控基于web的积分卡便于共享,数据主管业务经理,基于Web格式的记分卡是你能够:查看和共享数据质量记分卡下钻到具体数据制定策略，降低对业务的影响,.,DataQuality可提供每个实体对象记分卡及监控,规则,.,DQA-业务人员可手工管理不良数据,.th,2013at5:00pmPST,案例DataQualityFrameworkKPICalculationAndAggregationModel(CAAM),.,RepresentationofDataQualityIndexDataQualitydashboardsByInfluencingfactorsBySourceofInformationDQIonEnduserreports,数据质量分析/监控,.th,2013at5:00pmPST,管控数据生命周期中的创建，使用，关联，和监控,关联多种主数据，建立关系视图,通过合并创建真实可信的统一的数据视图,快速匹配和精确识别重复数据,通过灵活的模型支持，定义各种类型的主数据,MDM关键功能数据管理,Model,Recognize,Resolve,Relate,Govern,数据管理,4,MasterDataManagement,产品支持:InformaticaMDM,.th,2013at5:00pmPST,数据发布,关键需求:同步可信的主数据到下游应用和数据仓库获得统一的主数据视图和相关的交易数据,数据发布,5,DataServices,产品支持:InformaticaPowerCenterInformaticaPowerExchange,InformaticaDataServicesInformaticaComplexEventProcessing,.th,2013at5:00pmPST,模型的重点是方法和参考没有完全适应的模型，所以定制能力很重要InformaticaMDM支持各种模型和定制同时我们有金融、制造、零售等多个行业成功实施的模型,模型管理灵活的模型支持,.,RECOGNIZE,Recognize,MasterDataManagement,关键能力:根据配置的规则，识别在多个系统中存在的潜在的匹配对象根据阈值定义，确定是否匹配将有疑似的匹配结果，通过业务流程提交人工确认将确认重复的数据进行合并,重复识别模糊匹配技术,.,综合管理系统,呼叫中心,营销系统,IdentityResolution,客户样例,使用模糊匹配，标示相似的数据.使用数据子集进行精确匹配(i.e.姓、名、联系方式、ID信息、地址信息等),创建唯一的ID,并为黄金记录选择恰当的属性,创建交叉引用索引，指向原有系统的主键和系统标示,数据合并业务整合衔接,.,数据覆盖原则数据合并的关键,客户主数据,LiquidAssets$190,157$383,522$559,934,Equity$3,342$40,666$109,354,PublicYYY,CreditRatingAAA-AA-AAA,DomicileFranceUSAUSA,PartyNameIXISCorporate&InvestmentBankWellsFargo&Co.GeneralElectricCompany,AsofDate1/31/20063/27/20064/15/2006,ADDR1ElmandCarltonStreets123MainStreet57,rueduFoubourg,CITYMinneapolisNewHavenParis,ADDR5504231426375003,ADDR4MNCT,Name_FullWellsFargo&Co.GeneralElectricCompanyIXISCorporate&InvestmentBank,Policy#308-03-8500005-10-4640917-13-8500,个险,AmericanMedicalAssociationData,RatingBaaAaaAAA,CountryUSUSFR,CompanyNameWellsFargo&Co.IXISCIBGE,Policy#308038500410051046400291713850028,AsofDate8/26/20076/15/20071/30/2008,团险,Address57rueduFoubourg6thandMarquette123MainSt,CityParisMinneapolisNewHaven,Zip7500355405,StateMNCT,CompanyNameIXISCIBWellsFargoGEFinancial,Callin#852139999503829837762,C.C.,TickerSymbolWFCGE,TotalAssets$207,059$481,741$673,342,COUNTRYUSAUSAFrance,LiquidAssets$190,157$383,522$559,934,Equity$3,342$40,666$109,354,TotalAssets$207,059$481,741$673,342,SICCode602160213511,Industry602160213511,.th,2013at5:00pmPST,关键要素:跨系统、跨应用能力为不同的商业目的，创建、管理多种不同的层次关系关联不同的实体，构建360-度视图保持所有实体、实体关系历史,RECOGNIZE,Relate,MasterDataManagement,数据关联构建360度视图,.th,2013at5:00pmPST,传统数据源,整合社交媒体信息,PowerCenterPowerExchange,InformaticaMDMHub,FMS,CRM,社交媒体,.th,2013at5:00pmPST,创建,使用,管理和监控创建和维护高质量的主数据校验，增加，丰富数据特定数据的审批和业务协作可定制的灵活的客户数据搜索交互式客户层次，关系浏览，维护快速客户识别与合并处理任务分发管理和流程定义主数据历史和血缘追踪层次结构历史记录和对比主数据审计,业务用户数据管理界面,数据管控控制数据过程,.th,2013at5:00pmPST,InformaticaMDM主要界面,AdminConsole系统配置数据模型规则(清洗,匹配,信任，校验,分发等)JavaSwingConsole,InformaticaDataDirector数据管理员/用户界面数据管控功能创建,管理,使用,监控集成的工作流基于Web页面的配置和使用界面,InformaticaDataControls将主数据呈现给业务用户层次关系管理历史数据管理事前数据质量控制预防数据重复,.,Products,管控界面,.th,2013at5:00pmPST,数据匹配与任务管理,.th,2013at5:00pmPST,首页仪表板显示待办任务,流程的当前MDM用户会收到任务提醒，可以在此打开任务，进行数据操作，并批准或退回。,.th,2013at5:00pmPST,社交媒体整合Bettie通过社交媒体交友、购物、表达观点,.th,2013at5:00pmPST,Bettie同时是我们的客户,.th,2013at5:00pmPST,通过社交媒体数据，丰富客户关联关系,.th,2013at5:00pmPST,移动设备应用,.th,2013at5:00pmPST,三类接口支持系统之间的集成,数据管理平台,ERP,CRM,数据仓库,主数据层,整合层,业务层,数据整合平台（DIH）,流程整合平台（BPM）,服务整合平台（ESB）,业务系统,业务系统可以通过DIH、ESB、BPM三条总线分别从数据、服务、流程三个层次与主数据平台的批量、实时、流程接口进行全面集成,批量数据,实时服务,业务流程,WebServicesMQSeriesJMSTIBCOwebMethodsSAPNetWeaverXIEncyryptedstream,PeoplesoftOracleAppsSiebelSASSAPNetWeaverSAPIDOCSAPBCISAPDMISAPBW,OracleDB2UDBDB2/400SQLServerSybaseInformixTeradataODBCFlatFilesWebLogs,XMLIndustryFormats,FlatFilesFTPComplexFilesTapeFormats,ERP,Databases,XML,Flatfiles,Mainframe,UnstructuredData,Messages,ADABASDatacomDB2IDMSIMSVSAMC-ISAMTapeFormats,.PDF.DOC.XLSEmail,CloudApps,EDI,DIDeveloper,数据集成业界最好的数据集成平台,MDM,.,服务集成业界标准接口方式,通过SOA服务方式，将MDM信息服务化，供不同应用使用不同粒度的API服务自动生成提供SIFSDK,.th,2013at5:00pmPST,工作流集成,Exit,Task1,Start,Task2,CRM/ERP,Task3,MDM,CRM/ERP,数据管理员,数据发布,InformaticaMDM内嵌任务管理功能InformaticaMDM内嵌简单审批流程利用第三方工作流引擎可以：获得/修改任务状态通过WS查询/修改主数据实现复杂审批流程,安全访问管理(SAM)实现访问控制,SAM采用基于角色的访问控制框架资源，描述所有可访问的对象每一个资源都有多种访问权限一个角色可以具备对不同资源的不同权限一个用户可与被授予一个或多个角色,.,安全控制,清洗/匹配/信任,交叉参考,层次关系,流程管理,HubServer(ServicesIntegrationFramework),消费层,分析应用.,操作型应用,DataWarehouse,BI,DataDirector,业务系统/数据来源,管理层,应用逻辑层ApplicationServerOracleWebLogic,IBMWebSphere,jBossOperatingSystemsAIX,HP-UX,Linux(SUSE&RedHat),Solaris,Windows,数据层RDBMS/DI/DQOracle9i,10g,11gDB2UDBPWC,IDQOperatingSystemsAIX,HP-UX,Linux,Solaris.Windows,XML,WebServices,EJB,内部业务系统,外部数据来源,ETL,SQL,相关企业,InformaticaMDM架构和平台支持,数据管理员,历史审计,集成服务(WS/JMS/SQL),协同办公,财务管理,综合管理,营销管理,人力资源管理,资产管理,主数据模型,元数据模型,中心数据库,系统管理,系统设计,数据管理,协同办公,财务管理,综合管理,营销管理,人力资源管理,资产管理,.th,2013at5:00pmPST,整合模式不是绝对的四种模式，可以根据业务搭配和演进,SingleDomain(customer),MultipleDomains(customer,product,vendors,account,location,),Recognize,Recognize&Resolve,Relate,Create,.,Registry为查询应用构建主数据“视图”,所以数据的新增、修改、删除都在业务系统完成从各业务系统抽取数据到MDM查询的时候根据匹配规则搜索相似记录为查询者生成“黄金记录”视图，但不合并相似记录因为MDM不进行数据“写”操作，所以没有数据回写到业务系统,54,王斌|男|1972.3.8,王彬|NA|19720308,王斌|男|1972.3.8,王斌|01|1972.8.3,王彬|男|1972.3.8-王斌|男|1972.3.8王彬|NA|19720308王斌|男|1972.3.8王斌|01|1972.8.3,查询“王彬”,.th,2013at5:00pmPST,Consolidation面向分析系统的单流向主数据整合,所以数据的新增、修改、删除都在业务系统完成从各业务系统抽取数据到MDMMDM根据规程清洗，查重，合并，生成“黄金记录”和映射关系主数据用于查询和数据仓库等分析型应用因为MDM不进行数据“写”操作，所以没有数据回写到业务系统,55,王斌|男|1972.3.8,王彬|NA|19720308,王斌|男|1972.3.8,王斌|01|1972.8.3,王彬|男|1972.3.8-王斌|男|1972.3.8王彬|NA|19720308王斌|男|1972.3.8王斌|01|1972.8.3,查询“王彬”,Customer,Contract,Payment,DW,.th,2013at5:00pmPST,Coexistence主数据在业务系统与MDM中一致共存,业务系统和MDM都可以对主数据进行增、删、改、查等操作数据变化同步(通过抽取、服务、或者异步消息)到MDMMDM更新主数据，并将数据变化同步到其他业务系统或数据仓库，保持数据一致业务系统根据自身需求和特点，采用不同的方式处理从MDM同步过来的数据主数据用于查询和数据仓库等分析型应用,56,王斌|男|1972.3.8,王彬|NA|19720308,王斌|男|1972.3.8,王斌|01|1972.8.3,王彬|男|1972.3.8-王斌|男|1972.3.8王彬|NA|19720308王斌|男|1972.3.8王斌|01|1972.8.3,查询“王彬”,Customer,Contract,Payment,DW,修改“生日”,王斌|男|1971.7.4,王斌|男|1971.7.4,王彬|男|1971.7.4,写入业务数据库,调用业务服务,写入映射表,.th,2013at5:00pmPST,Transactional统一在MDM维护主数据,最严格的控制业务系统都通过MDM主数据进行增、删、改、查等所有操作只有MDM存放主数据变通的办法业务系统都通过MDM主数据进行增、删、改等维护操作，数据同步给需要的业务系统保留主数据的业务系统，可以查询自己的主数据，其他系统直接查询MDM,57,王彬|男|1972.3.8,王彬|男|1972.3.8-(只有一份数据拷贝),通过MDM查询“王彬”,Customer,Contract,Payment,DW,修改“生日”,王彬|男|1971.7.4,王彬|男|1971.7.4,同步给保留主数据的系统,王彬|男|1972.3.8,王彬|男|1971.7.4,在本地数据库查询“王彬”,.th,2013at5:00pmPST,内容提要,从公司治理到主数据管理主数据平台解决方案Informatica案例分享,.th,2013at5:00pmPST,为全球多个行业的客户提供主数据解决方案,HighTech,Health&LifeSciences,Banking,Insurance,Oil&Gas,Publishing,Automotive,Media,CPG,Manufacturing,Business-userFocused,Aviation,Agriculture,WasteManagement,Retail,.,国内案例1：XX集团主数据管理面临的挑战和目标,挑战集团共性系统之间主数据管理彼此孤立不同系统的不同视角，导致数据一致性问题突出主数据共享困难，点对点传输是主数据问题更为突出组织架构主数据来源多，情况复杂目标制定XX集团主数据管理的策略制定XX集团主数据平台的技术标准和功能范围搭建XX集团组织主数据平台,.th,2013at5:00pmPST,整体架构集团总部与SBU/BU两级主数据平台,.th,2013at5:00pmPST,第一阶段：制定主数据管理规范,第二阶段：搭建集团组织主数据平台,项目启动准备,现状调研与分析,主数据管理规范,组织主数据技术与集成标准,组织主数据平台概要设计,组织主数据收集与清理,详细设计,配置开发,集成测试,单元测试,系统上线,运维支持,项目进展,用户培训,一期项目计划,.th,2013at5:00pmPST,集团共性系统,主数据源,InformaticaMDM平台,主数据管理,PowerCenterServer(ETL),整体架构说明,OracleDatabase10.2.4,InformaticaDataQuality,InformaticaMDMHub,Informatica9,数据质量管理/主数据管理,主数据分析报告,数据质量报告,公司层次管理,SIS,HFM,FMS,TMS,TIS,6SCS,HR,.th,2013at5:00pmPST,主数据展现（1）,用户可以通过InformaticaMDMDirector来管理主数据以及查看层级关系。多种组织结构