Informatica主数据管理解决方案-CA

统一主数据管理平台方案

但彬

Informatica中国Informatica

专注于数据集成的独立软件开发商成立时间:19932021年收入为:8.116亿美元7年平均增长率:每年17%员工人数:2,810多人合作伙伴:450多家主要的系统集成商、独立软件供给商、原始设备制造商和按需生产的先驱客户:超过5,000家客户遍布全球82个国家直接客户遍布全球28个国家客户忠诚度排名位居榜首〔已连续7年获此殊荣〕编辑课件1.数据采集数据仓库分析应用BI报表数据挖掘仪表盘任意格式任意数据源任意延时任意模式ERPCRM办公PLM财务网站业务系统云计算套装应用非结构化数据2.数据审计与发现(数据探查)3.数据质量管理(建立和管理数据质量规那么，仪表盘，报警等)5.主数据和参考数据管理渠道区域产品客户4.数据处理AnyformatAnysourceAnylatencyAnymode8.元数据管理(操作型,技术型,业务层)7.数据归档归档Retrieval6b.数据虚拟化外部数据复杂事件处理Informatica产品定位编辑课件内容提要从公司治理到主数据管理主数据平台解决方案Informatica案例分享编辑课件th,2021at5:00pmPST集团企业数据利用的开展与挑战

AccountOrganizationSalesRepPartnerOrganizationProductProductOrganizationAccountAccountZoneServicesAccountPricing财务管理投资管理客户效劳人力资源决策支持不同的系统管理各种业务流程走向精细化协同管理利用数据仓库聚集数据但是企业内外协同受信息流现状的制约面临的问题数据标准数据质量管控流程……集团产业集团企业数据仓库企业数据集成编辑课件th,2021at5:00pmPST公司治理影响公司业务方向、管理、和控制开展路线的一系列流程、策略、惯例、规章制度等。IT治理确保IT能够支撑企业战略目标的管理、组织架构、和流程。主数据治理确保企业主数据的有效性、可访问性、质量、一致性、可审性、和平安性所需要的流程、策略、标准、和技术。从主数据入手，提升主数据质量，是业务管控的根底业务流程CRMSystemERPSystemOrderMgmtSystemFinanceSystemHRSystem主数据的重要性——大多数的数据质量问题是主数据问题使治理目标和范围明确主数据系统使咨询内容落地AccountOrganizationSalesRepPartnerOrganizationProductProductOrganizationAccountAccountZoneServicesAccountPricing编辑课件th,2021at5:00pmPST客户、产品、效劳、供给商、机构、资源等组成完整的360度主数据视图客服金融客户网上业务离港机票积分航段航空客户物流客户旅业客户储蓄住宅健康支付意外养老助学发件客户配偶收件酒店票务物流旅行代理业务经理孩子企业航空保险代理不同主数据是业务的不同视角：客户角度产品、效劳机构资源产品角度客户资源机构供给商角度产品机构角度产品客户资源资源角度机构产品客户完整的主数据视图父母编辑课件提高生产力和效率提高决策能力提高业务灵活性提高合规性……问题：贵公司实施主数据工程的主要原因是什么？业务需求技术需求面临哪些难题……主数据管理的驱动力编辑课件th,2021at5:00pmPST企业集团主数据平台集中管理各类主数据

AcctRepOrganizationAccountCustomerProductMDM数据管理AccountOrganizationSalesRepPartnerOrganizationProductProductOrganizationAccountAccountZoneServicesAccountPricingDI/DQ社交媒体财务管理投资管理客户效劳人力资源决策支持DW数据效劳编辑课件灵活的数据模型可定制的业务逻辑和工作流程可配置的用户界面/接口解决不同领域业务问题可用统一的平台扩展到解决其他业务问题和领域预定义数据模型预定义的业务逻辑和工作流程预定义的用户界面/接口解决特定领域的业务问题扩展到其他业务领域需要购置新的应用平台级MDM应用级MDM根据客户的特有需求进行配置，使用不同客户需求预置的应用以解决特定的主数据问题(customer,product,financial)CustomerProductCOA客户产品COA主数据管理的不同实现路径编辑课件InformaticaMDM简介

经验证的多域主数据方案部署情况市场影响力跨越多行业的平台级解决方案

(FinancialServices,LifeSciences,HighTech…)大量案例证明在多域主数据部署的能力快速部署

平均上线时间:3-9个月最具伸缩性解决方案

最大450M主记录数的成功案例可验证的多域主数据

几乎一半的客户都在统一平台上部署了客户和产品域超过

50%的财富500企业和全球500强企业

MerrillLynch,DeutscheBank,Johnson&Johnson,Pfizer,Apple,Kodak,Cadbury,…跨越多行业的客户解决方案

(25+solutions)InformaticaMDM提供产品、客户、账户等关键数据的统一视图，快速低本钱提升业务运营、客户体验、以及合规等能力编辑课件th,2021at5:00pmPSTInformatica主数据管理平台统一管理多域主数据提升绩效降低成本提升客户服务质量管控风险与合规机构合并与剥离MDM

客户

订单

产品

地点提高决策精确度企业应用遗留系统云应用非结构数据第三方数据现有哪些应用系统涉及主数据？ERP、CRM、PLM、PDM……重点关注哪些主数据？客户、产品、供给商……应用系统可能以哪种方式与主数据交互？批量、实时、准实时…编辑课件为应用和数据仓库交付可信的数据管理统一、可信、真实的主数据数据清洗和标准化剖析、发现数据内容、一致性、数据结构从不同的应用和数据源访问、获取数据平台需要的能力数据获取数据探索数据清洗数据管理数据发布12345编辑课件th,2021at5:00pmPSTESB统一客户数据平台架构企业数据集成平台运营支撑分析决策数据集市仪表板分析报表业务应用遗留数据社交媒体和第三方数据数据质量数据探索123主数据管理4ODS数据管控模型管理合并管理重复识别数据关联Ora数据仓库运行、生产、销售数据管理平台TD数据仓库客户/市场ESB数据发布效劳5编辑课件Informatica产品在主数据管理中的定位OperationalAnalyticalCIFLegacy

SystemsDataWarehouseDataMartsPortal/DashboardBusinessIntelligenceLegacy

SystemsApplicationsApplicationsLegacyThirdPartyDataMasterDataManagementMDMFoundation实时交付可信的、相互关联的主数据及时交付可信的、相互关联的数据DataQualityDataProfilingDataIntegrationDataServices1235MasterDataManagement4编辑课件数据获取关键需求:在任意的源和目标数据之间进行数据访问和发布各种数据格式，各种地方不同的延迟需求

(批量,实时,消息队列)高性能和高可用支持不同MDM部署风格元数据可视化数据集成1DataIntegration产品支持:InformaticaPowerCenterInformaticaPowerExchangeInformaticaB2BExchange编辑课件th,2021at5:00pmPST数据探索关键需求:发现和记录数据中的所有异常将问题进行分类〔完备性、遵从性、一致性、准确性、唯一性、依赖性〕数据探索2DataProfiling产品支持:InformaticaDataProfile编辑课件th,2021at5:00pmPST数据清洗关键需求:数据清洗数据丰富地址标准化数据监控和报告基于SOA访问DQ规那么根据条件的格式校验规那么数据变化，去噪，转换开放式清洗架构数据清洗3DataQuality产品支持:InformaticaDataQualityAddressDoctor编辑课件th,2021at5:00pmPST数据质量问题实例完整性COMPLETENESS合法性CONFORMITY一致性CONSISTENCY重复性DUPLICATION关联性INTEGRITY准确性\ACCURACY值域划分RANGE完整性:丧失关键数值合法性:非法格式Consistency:IncorrectFormat一致性:数据是格式正确并完整，但不符合业务逻辑Duplication:Fuzzymatching重复性:模糊匹配关联性:识别记录关系关联性:识别记录关系准确性:须利用其他数据来验证其准确程度值域划分:界定数值范围编辑课件特性剖析解析清洗,标准化Comprehensive

dataquality数据丰富匹配,剔重功能从非结构化的模式推演数据的含义从非结构化的数据构建结构化数据识别、纠正数据错误；将数据转化成标准格式/术语增加附加的属性和分类识别和消除重复数据“liquid”+”crystal”+”display”=

1conceptCamera=manufacturer,megapixels,zoom,andcolorWoodd=wood=wudPaperweight:

100gi.s.o.100kgDivingwatchwithWatchattribandDivingEquipmentattribPIM样例2productsindifferentlanguagesareinfactthesameitemCDI样例姓名:

姓+名字(CHS,KOR,JPN);FN+MN+PN+LN(Latin);Addr=#,street,city,state,zip,country;Bill=WilliamSt,Str=Street(ENU/DEU)St=Saint(FRA)HaidongSong:“single,1child,SummitEstate,DoNotMail”HaidongSong=宋海东=数据质量功能一览编辑课件共同参与数据质量工作数据质量1.分析

2.确定数据质量规则和目标3.制定质量提高计划4.部署数据质量计划5.数据质量报告与跟踪数据经理业务主管IT开发人员数据管理人员记分卡基于WEB客户端编辑课件使用Analyst对数据进行全方位的剖析使业务人员参与数据分析工作，提高生产力和工作效率，降低IT人员的依赖性DataStewardReusedataqualityrulesinprofilinganalysis编辑课件使用Developer开发具体任务图形化界面，功能强大，操作简单编辑课件流间分析

在处理流程中任意位置进行分析剖析数据源剖析处理单元剖析规那么编辑课件量化质量，跟踪监控

基于web的积分卡便于共享简单易用，不需要任何专业技术数据主管业务经理基于Web格式的记分卡

是你能够:查看和共享数据质量记分卡下钻到具体数据制定策略，降低对业务的影响编辑课件DataQuality可提供每个实体对象记分卡及监控纳税人税金发票出口退税规那么编辑课件DQA-业务人员可手工管理不良数据编辑课件th,2021at5:00pmPST案例

DataQualityFramework

KPICalculationAndAggregationModel(CAAM)编辑课件RepresentationofDataQualityIndexDataQualitydashboardsByInfluencingfactorsBySourceofInformationDQIonEnduserreports数据质量分析/监控编辑课件th,2021at5:00pmPST管控数据生命周期中的创立，使用，关联，和监控关联多种主数据，建立关系视图通过合并创立真实可信的统一的数据视图快速匹配和精确识别重复数据通过灵活的模型支持，定义各种类型的主数据MDM关键功能–数据管理ModelRecognizeResolveRelateGovern数据管理4MasterDataManagement产品支持:InformaticaMDM编辑课件th,2021at5:00pmPST数据发布关键需求:同步可信的主数据到下游应用和数据仓库获得统一的主数据视图和相关的交易数据数据发布5DataServices产品支持:InformaticaPowerCenterInformaticaPowerExchangeInformaticaDataServicesInformaticaComplexEventProcessing编辑课件th,2021at5:00pmPST模型的重点是方法和参考没有完全适应的模型，所以定制能力很重要Informatica

MDM支持各种模型和定制同时我们有金融、制造、零售等多个行业成功实施的模型模型管理

——灵活的模型支持编辑课件RECOGNIZERecognizeMasterDataManagement关键能力:根据配置的规那么，识别在多个系统中存在的潜在的匹配对象根据阈值定义，确定是否匹配将有疑似的匹配结果，通过业务流程提交人工确认将确认重复的数据进行合并Wang,Bao-QiangRECOGNIZECRMERP王宝强重复识别

——模糊匹配技术编辑课件综合管理系统呼叫中心营销系统UniqueIDNameGender111王彬男UniqueIDSourceSystemSystemID111CRM929992111ERPAKK-111111Legacy098388188PrimaryKeyNameGender929992王彬女PrimaryKeyNameGenderAKK-111王斌男PrimaryKeyFullName098388188WangBinIdentityResolution客户样例使用模糊匹配，标示相似的数据.使用数据子集进行精确匹配

(i.e.姓、名、联系方式、ID信息、地址信息等)创立唯一的ID,并为黄金记录选择恰当的属性创立交叉引用索引，指向原有系统的主键和系统标示数据合并

——业务整合衔接编辑课件数据覆盖原那么

——数据合并的关键客户主数据LiquidAssets$190,157$383,522$559,934Equity$3,342$40,666$109,354PublicYYYCreditRatingAAA-AA-AAADomicileFranceUSAUSAPartyNameIXISCorporate&InvestmentBankWellsFargo&Co.GeneralElectricCompanyAsofDate1/31/20063/27/20064/15/2006ADDR1ElmandCarltonStreets123MainStreet57,rueduFoubourgCITYMinneapolisNewHavenParisADDR5504231426375003ADDR4MNCTName_FullWellsFargo&Co.GeneralElectricCompanyIXISCorporate&InvestmentBankPolicy#308-03-8500005-10-4640917-13-8500个险AmericanMedicalAssociationDataRatingBaaAaaAAACountryUSUSFRCompanyNameWellsFargo&Co.IXISCIBGEPolicy#308038500410051046400291713850028AsofDate8/26/20076/15/20071/30/2021团险Address57rueduFoubourg6thandMarquette123MainStCityParisMinneapolisNewHavenZip7500355405StateMNCTCompanyNameIXISCIBWellsFargoGEFinancialCallin#852139999503829837762C.C.TickerSymbolWFCGETotalAssets$207,059$481,741$673,342COUNTRYUSAUSAFranceLiquidAssets$190,157$383,522$559,934Equity$3,342$40,666$109,354TotalAssets$207,059$481,741$673,342SICCode602160213511Industry602160213511编辑课件th,2021at5:00pmPST关键要素:跨系统、跨应用能力为不同的商业目的，创立、管理多种不同的层次关系关联不同的实体，构建360-度视图保持所有实体、实体关系历史RECOGNIZERelateMasterDataManagement同事雇员RELATE冯小刚王宝强华谊兄弟数据关联

——构建360度视图编辑课件th,2021at5:00pmPST传统数据源整合社交媒体信息接口功能FacebookListentowall(ownandusers’whohaveauthorized)SearchPostsFetchUserProfileFetchUserfriendsOtherAPIs(Groups,Events,Photos,etc.)TwitterSearchTweetsFetchUserProfileFetchUserfollowersandfollowingFollowUseractivityStreaming(Filter,Samplehose)OtherAPIsLinkedInPeopleSearchbykeywordSearchUpdatesFetchUserProfileFetchConnectionsOtherAPIsKapowWebContentDataSiftSocialMediaFeeds(Facebook,Twitterandothers)SocialMediaAugmentationOtherAPI’s(HistoricQueries,DataDestinations&Recordings)PowerCenterPowerExchangeInformaticaMDMHubFMSCRM社交媒体编辑课件th,2021at5:00pmPST创立,使用,管理和监控创立和维护高质量的主数据校验，增加，丰富数据特定数据的审批和业务协作可定制的灵活的客户数据搜索交互式客户层次，关系浏览，维护快速客户识别与合并处理任务分发管理和流程定义主数据历史和血缘追踪层次结构历史记录和比照主数据审计业务用户数据管理界面Multidomain

MasterDataCreateConsumeManageMonitor数据管控

——控制数据过程编辑课件th,2021at5:00pmPSTInformaticaMDM主要界面AdminConsole系统配置数据模型规那么(清洗,匹配,信任，校验,分发等)

JavaSwingConsoleInformaticaDataDirector数据管理员/用户界面数据管控功能创立,管理,使用,监控集成的工作流基于Web页面的配置和使用界面InformaticaDataControls将主数据呈现给业务用户层次关系管理历史数据管理事前数据质量控制预防数据重复

编辑课件Products管控界面编辑课件th,2021at5:00pmPST数据匹配与任务管理编辑课件th,2021at5:00pmPST首页仪表板显示待办任务流程的当前MDM用户会收到任务提醒，可以在此翻开任务，进行数据操作，并批准或退回。编辑课件th,2021at5:00pmPST社交媒体整合

Bettie通过社交媒体交友、购物、表达观点编辑课件th,2021at5:00pmPSTBettie同时是我们的客户……编辑课件th,2021at5:00pmPST通过社交媒体数据，丰富客户关联关系编辑课件th,2021at5:00pmPST移动设备应用可配置基于角色的访问控制简单的查询地理半径式搜索集成的清洗功能层次关系视图创建，编辑，查看主数据社会化信息供应交易数据接入编辑课件th,2021at5:00pmPST三类接口支持系统之间的集成数据管理平台ERPCRM数据仓库主数据层整合层业务层数据整合平台〔DIH〕流程整合平台〔BPM〕效劳整合平台〔ESB〕业务系统业务系统可以通过DIH、ESB、BPM三条总线分别从数据、效劳、流程三个层次与主数据平台的批量、实时、流程接口进行全面集成清洗转换批量数据实时效劳业务流程WebServicesMQSeriesJMSTIBCOwebMethodsSAPNetWeaverXIEncyryptedstreamPeoplesoftOracleAppsSiebelSAS…SAPNetWeaverSAPIDOCSAPBCISAPDMISAPBWOracleDB2UDBDB2/400SQLServerSybaseInformixTeradataODBCFlatFilesWebLogs…XMLIndustryFormatsFlatFilesFTPComplexFilesTapeFormats…ERPDatabasesXMLFlatfilesMainframeUnstructuredDataMessagesADABASDatacomDB2IDMSIMSVSAMC-ISAMTapeFormats.PDF.DOC.XLSEmailCloudAppsEDIDIDeveloper数据集成——业界最好的数据集成平台MDM编辑课件效劳集成——业界标准接口方式通过SOA效劳方式，将MDM信息效劳化，供不同应用使用不同粒度的API效劳自动生成提供SIFSDK编辑课件th,2021at5:00pmPST工作流集成ExitTask1StartTask2CRM/ERPTask3MDMCRM/ERP数据管理员数据发布InformaticaMDM内嵌任务管理功能InformaticaMDM内嵌简单审批流程利用第三方工作流引擎可以：获得/修改任务状态通过WS查询/修改主数据实现复杂审批流程平安访问管理(SAM)实现访问控制SAM采用基于角色的访问控制框架资源，描述所有可访问的对象每一个资源都有多种访问权限一个角色可以具备对不同资源的不同权限一个用户可与被授予一个或多个角色编辑课件平安控制清洗/匹配/信任交叉参考层次关系流程管理HubServer(ServicesIntegrationFramework)消费层分析应用.操作型应用DataWarehouseBIDataDirector业务系统/数据来源管理层应用逻辑层ApplicationServerOracleWebLogic,IBMWebSphere,jBossOperatingSystemsAIX,HP-UX,Linux(SUSE&RedHat),Solaris,Windows数据层RDBMS/DI/DQOracle9i,10g,11gDB2UDBPWC,IDQOperatingSystemsAIX,HP-UX,Linux,Solaris.WindowsXML,

Web

Services,EJB内部业务系统外部数据来源ETL,

SQL相关企业InformaticaMDM架构和平台支持数据管理员历史审计集成效劳(WS/JMS/SQL)协同办公财务管理综合管理营销管理人力资源管理资产管理交付发现清洗转换访问监控主数据模型元数据模型中心数据库系统管理系统设计数据管理协同办公财务管理综合管理营销管理人力资源管理资产管理编辑课件th,2021at5:00pmPSTRegistryMDMMultidomainMDM标示单一的客户、病人、产品，形成客户信息视图用于支持DI/DW报表和分析要求，以及法规遵从面向销售、市场、客户服务支持操作型要求…统一的数据入口，同时支持分析型、操作型的需求RegistryConsolidationCoexistenceCentralized(Transactional)DataProfilingDataIntegrationRegistry(IdentityResolution)DataProfilingDataIntegrationandTransformationDataQualityMasterDataManagementsoftware整合模式——不是绝对的四种模式，可以根据业务搭配和演进SingleDomain(customer)MultipleDomains(customer,product,vendors,account,location,…)RecognizeRecognize&ResolveRelateCreate编辑课件Registry——为查询应用构建主数据“视图〞所以数据的新增、修改、删除都在业务系统完成从各业务系统抽取数据到MDM查询的时候根据匹配规那么搜索相似记录为查询者生成“黄金记录〞视图，但不合并相似记录因为MDM不进行数据“写〞操作，所以没有数据回写到业务系统54王斌|男|1972.3.8王彬|NA|19720308王斌|男|1972.3.8王斌|01|1972.8.3王彬|男|1972.3.8-----------------------王斌|男|1972.3.8王彬|NA|19720308王斌|男|1972.3.8王斌|01|1972.8.3查询“王彬〞编辑课件th,2021at5:00pmPSTConsolidation——面向分析系统的单流向主数据整合所以数据的新增、修改、删除都在业务系统完成从各业务系统抽取数据到MDMMDM根据规程清洗，查重，合并，生成“黄金记录〞和映射关系主数据用于查询和数据仓库等分析型应用因为MDM不进行数据“写〞操作，所以没有数据回写到业务系统55王斌|男|1972.3.8王彬|NA|19720308王斌|男|1972.3.8王斌|01|1972.8.3王彬|男|1972.3.8-----------------------王斌|男|1972.3.8王彬|NA|19720308王斌|男|1972.3.8王斌|01|1972.8.3查询“王彬〞CustomerContractPaymentDW编辑课件th,2021at5:00pmPSTCoexistence——主数据在业务系统与MDM中一致共存业务系统和MDM都可以对主数据进行增、删、改、查等操作数据变化同步(通过抽取、效劳、或者异步消息)到MDMMDM更新主数据，并将数据变化同步到其他业务系统或数据仓库，保持数据一致业务系统根据自身需求和特点，采用不同的方式处理从MDM同步过来的数据主数据用于查询和数据仓库等分析型应用56王斌|男|1972.3.8王彬|NA|19720308王斌|男|1972.3.8王斌|01|1972.8.3王彬|男|1972.3.8-----------------------王斌|男|1972.3.8王彬|NA|19720308王斌|男|1972.3.8王斌|01|1972.8.3查询“王彬〞CustomerContractPaymentDW修改“生日〞王斌|男|1971.7.4王斌|男|1971.7.4王彬|男|1971.7.4写入业务数据库调用业务效劳写入映射表编辑课件th,2021at5:00pmPSTTransactional——统一在MDM维护主数据最严格的控制业务系统都通过MDM主数据进行增、删、改、查等所有操作只有MDM存放主数据变通的方法业务系统都通过MDM主数据进行增、删、改等维护操作，数据同步给需要的业务系统保存主数据的业务系统，可以查询自己的主数据，其他系统直接查询MDM57王彬|男|1972.3.8王彬|男|1972.3.8-----------------------(只有一份数据拷贝)通过MDM查询“王彬〞CustomerContractPaymentDW修改“生日〞王彬|男|1971.7.4王彬|男|1971.7.4同步给保存主数据的系统王彬|男|1972.3.8王彬|男|1971.7.4在本地数据库查询“王彬〞编辑课件th,2021at5:00pmPST内容提要从公司治理到主数据管理主数据平台解决方案Informatica案例分享编辑课件th,2021at5:00pmPST为全球多个行业的客户提供主数据解决方案DifferentiationTrulyMultidomainMDMComplex

HierarchyManagementFastTime-to-ValueCompetitiveHighTechHealth&LifeSciencesBankingInsuranceOil&GasPublishingAutomotiveMediaCPGManufacturingBusiness-userFocusedAviationAgricultureWasteManagementRetail编辑课件国内案例1：XX集团主数据管理

——面临的挑战和目标挑战集团共性系统之间主数据管理彼此孤立不同系统的不同视角，导致数据一致性问题突出主数据共享困难，点对点传输是主数据问题更为突出组织架构主数据来源多，情况复杂目标制定XX集团主数据管理的策略制定XX集团主数据平台的技术标准和功能范围搭建XX集团组织主数据平台编辑课件th,2021at5:00pmPST整体架构

——集团总部与SBU/BU两级主数据平台编辑课件th,2021at5:00pmPST201201020304050607080910第一阶段：制定主数据管理标准第二阶段：搭建集团组织主数据平台工程启动准备现状调研与分析主数据管理标准组织主数据技术与集成标准组织主数据平台概要设计组织主数据收集与清理详细设计配置开发集成测试单元测试系统上线运维支持工程进展用户培训一期工程方案编辑课件th,2021at5:00pmPST集团共性系统主数据源InformaticaMDM平台主数据管理PowerCenterServer

(ETL)整体架构说明OracleDatabase10.2.4InformaticaDataQualityInformaticaMDMHubInformatica9数据质量管理/主数据管理主数据分析报告数据质量报告公司层次管理SISHFMFMSTMSTIS6SCSHR编辑课件th,2021at5:00pmPST主数据展现〔1〕用户可以通过InformaticaMDMDirector来管理主数据以及查看层级关系。多种组织结构展现形式，适应与不同的关系类型展现。公司详细数据树状结构层次结构编辑课件t