Informatica主数据管理解决方案

统一主数据管理平台方案

但彬

Informatica中国统一主数据管理平台方案

但彬

InformInformatica

专注于数据集成的独立软件开发商成立时间:19932012年收入为:8.116亿美元7年平均增长率:每年17%员工人数:2,810多人合作伙伴:

450多家主要的系统集成商、独立软件供应商、原始设备制造商和按需生产的先驱客户:超过5,000家客户遍布全球82个国家直接客户遍布全球28个国家客户忠诚度排名位居榜首

（已连续7年获此殊荣）Informatica专注于数据集成的独立软件开发商成立时1.数据采集数据仓库分析应用BI报表数据挖掘仪表盘任意格式任意数据源任意延时任意模式ERPCRM办公PLM财务网站业务系统云计算套装应用非结构化数据2.数据审计与发现(数据探查)3.数据质量管理(建立和管理数据质量规则，仪表盘，报警等)5.主数据和参考数据管理渠道区域产品客户4.数据处理AnyformatAnysourceAnylatencyAnymode8.元数据管理(操作型,技术型,业务层)7.数据归档归档Retrieval6b.数据虚拟化外部数据复杂事件处理Informatica产品定位1.数据采集数据仓库分析应用BI报表数据挖掘仪表盘任意格式内容提要从公司治理到主数据管理主数据平台解决方案Informatica案例分享内容提要从公司治理到主数据管理集团企业数据利用的发展与挑战

AccountOrganizationSalesRepPartnerOrganizationProductProductOrganizationAccountAccountZoneServicesAccountPricing财务管理投资管理客户服务人力资源决策支持不同的系统管理各种业务流程走向精细化协同管理利用数据仓库汇集数据但是企业内外协同受信息流现状的制约面临的问题数据标准数据质量管控流程……集团产业集团企业数据仓库企业数据集成集团企业数据利用的发展与挑战

AccountOrganiza公司治理影响公司业务方向、管理、和控制发展路线的一系列流程、策略、惯例、规章制度等。IT治理确保IT能够支撑企业战略目标的管理、组织架构、和流程。主数据治理确保企业主数据的有效性、可访问性、质量、一致性、可审性、和安全性所需要的流程、策略、标准、和技术。从主数据入手，提升主数据质量，是业务管控的基础业务流程CRMSystemERPSystemOrderMgmtSystemFinanceSystemHRSystem主数据的重要性——大多数的数据质量问题是主数据问题使治理目标和范围明确主数据系统使咨询内容落地AccountOrganizationSalesRepPartnerOrganizationProductProductOrganizationAccountAccountZoneServicesAccountPricing公司治理IT治理主数据治理从主数据入手，提升主数据质量，是业客户、产品、服务、供应商、机构、资源等组成完整的360度主数据视图客服金融客户网上业务离港机票积分航段航空客户物流客户旅业客户储蓄住宅健康支付意外养老助学发件客户配偶收件酒店票务物流旅行代理业务经理孩子企业航空保险代理不同主数据是业务的不同视角：客户角度产品、服务机构资源产品角度客户资源机构供应商角度产品机构角度产品客户资源资源角度机构产品客户完整的主数据视图父母客户、产品、服务、供应商、机构、资源等组成完整的360度主提高生产力和效率提高决策能力提高业务灵活性提高合规性……问题：贵公司实施主数据项目的主要原因是什么？业务需求技术需求面临哪些难题……主数据管理的驱动力提高生产力和效率主数据管理的驱动力企业集团主数据平台集中管理各类主数据

AcctRepOrganizationAccountCustomerProductMDM数据管理AccountOrganizationSalesRepPartnerOrganizationProductProductOrganizationAccountAccountZoneServicesAccountPricingDI/DQ社交媒体财务管理投资管理客户服务人力资源决策支持DW数据服务企业集团主数据平台集中管理各类主数据

AcctRepOrg灵活的数据模型可定制的业务逻辑和工作流程可配置的用户界面/接口解决不同领域业务问题可用统一的平台扩展到解决其他业务问题和领域预定义数据模型预定义的业务逻辑和工作流程预定义的用户界面/接口解决特定领域的业务问题扩展到其他业务领域需要购买新的应用平台级MDM应用级MDM根据客户的特有需求进行配置，使用不同客户需求预置的应用以解决特定的主数据问题(customer,product,financial)CustomerProductCOA客户产品COA主数据管理的不同实现路径灵活的数据模型预定义数据模型平台级MDM应用级MDM根据InformaticaMDM简介

经验证的多域主数据方案部署情况市场影响力跨越多行业的平台级解决方案

(FinancialServices,LifeSciences,HighTech…)大量案例证明在多域主数据部署的能力快速部署

平均上线时间:3-9个月最具伸缩性解决方案

最大450M主记录数的成功案例可验证的多域主数据

几乎一半的客户都在统一平台上部署了客户和产品域超过

50%的财富500企业和全球500强企业MerrillLynch,DeutscheBank,Johnson&Johnson,Pfizer,Apple,Kodak,Cadbury,…跨越多行业的客户解决方案

(25+solutions)InformaticaMDM提供产品、客户、账户等关键数据的统一视图，快速低成本提升业务运营、客户体验、以及合规等能力InformaticaMDM简介

经验证的多域主数据方案Informatica主数据管理平台统一管理多域主数据提升绩效降低成本提升客户服务质量管控风险与合规机构合并与剥离MDM

客户

订单

产品

地点提高决策精确度企业应用遗留系统云应用非结构数据第三方数据现有哪些应用系统涉及主数据？ERP、CRM、PLM、PDM……重点关注哪些主数据？客户、产品、供应商……应用系统可能以哪种方式与主数据交互？批量、实时、准实时…Informatica主数据管理平台统一管理多域主数据提升为应用和数据仓库交付可信的数据管理统一、可信、真实的主数据数据清洗和标准化剖析、发现数据内容、一致性、数据结构从不同的应用和数据源访问、获取数据平台需要的能力数据获取数据探索数据清洗数据管理数据发布12345为应用和数据仓库交付可信的数据管理统一、可信、真实的主数据数ESB统一客户数据平台架构企业数据集成平台运营支撑分析决策数据集市仪表板分析报表业务应用遗留数据社交媒体和第三方数据数据质量数据探索123主数据管理4ODS数据管控模型管理合并管理重复识别数据关联Ora数据仓库运行、生产、销售数据管理平台TD数据仓库客户/市场ESB数据发布服务5ESB统一客户数据平台架构企业数据集成平台运营支撑分析决策数Informatica产品在主数据管理中的定位OperationalAnalyticalCIFLegacy

SystemsDataWarehouseDataMartsPortal/DashboardBusinessIntelligenceLegacy

SystemsApplicationsApplicationsLegacyThirdPartyDataMasterDataManagementMDMFoundation实时交付可信的、相互关联的主数据及时交付可信的、相互关联的数据DataQualityDataProfilingDataIntegrationDataServices1235MasterDataManagement4Informatica产品在主数据管理中的定位Operat数据获取关键需求:在任意的源和目标数据之间进行数据访问和发布各种数据格式，各种地方不同的延迟需求

(批量,实时,消息队列)高性能和高可用支持不同MDM部署风格元数据可视化数据集成1DataIntegration产品支持:InformaticaPowerCenterInformaticaPowerExchangeInformaticaB2BExchange数据获取关键需求:数据集成1Data产品支持:数据探索关键需求:发现和记录数据中的所有异常将问题进行分类（完备性、遵从性、一致性、准确性、唯一性、依赖性）数据探索2DataProfiling产品支持:InformaticaDataProfile数据探索关键需求:数据探索2Data产品支持:数据清洗关键需求:数据清洗数据丰富地址标准化数据监控和报告基于SOA访问DQ规则

根据条件的格式校验规则数据变化，去噪，转换开放式清洗架构数据清洗3DataQuality产品支持:InformaticaDataQualityAddressDoctor数据清洗关键需求:数据清洗3Data产品支持:数据质量问题实例完整性COMPLETENESS合法性CONFORMITY一致性CONSISTENCY重复性DUPLICATION关联性INTEGRITY准确性\ACCURACY值域划分RANGE完整性:丢失关键数值合法性:非法格式Consistency:IncorrectFormat一致性:数据是格式正确并完整，但不符合业务逻辑Duplication:Fuzzymatching重复性:模糊匹配关联性:识别记录关系关联性:识别记录关系准确性:须利用其他数据来验证其准确程度值域划分:界定数值范围数据质量问题实例完整性合法性一致性重复性关联性准确性值特性剖析解析清洗,标准化Comprehensive

dataquality数据丰富匹配,剔重功能从非结构化的模式推演数据的含义从非结构化的数据构建结构化数据识别、纠正数据错误；将数据转化成标准格式/术语增加附加的属性和分类识别和消除重复数据“liquid”+”crystal”+”display”=

1conceptCamera=manufacturer,megapixels,zoom,andcolorWoodd=wood=wudPaperweight:

100gi.s.o.100kgDivingwatchwithWatchattribandDivingEquipmentattribPIM样例2productsindifferentlanguagesareinfactthesameitemCDI样例姓名:

姓+名字(CHS,KOR,JPN);FN+MN+PN+LN(Latin);Addr=#,street,city,state,zip,country;Bill=WilliamSt,Str=Street(ENU/DEU)St=Saint(FRA)HaidongSong:“single,1child,SummitEstate,DoNotMail”HaidongSong=宋海东=数据质量功能一览特性剖析解析清洗,标准化Comprehensive

data共同参与数据质量工作数据质量1.分析

2.确定数据质量规则和目标3.制定质量提高计划4.部署数据质量计划5.数据质量报告与跟踪数据经理业务主管IT开发人员数据管理人员记分卡基于WEB客户端共同参与数据质量工作数据质量1.分析2.确定数据质量规使用Analyst对数据进行全方位的剖析使业务人员参与数据分析工作，提高生产力和工作效率，降低IT人员的依赖性DataStewardReusedataqualityrulesinprofilinganalysis使用Analyst对数据进行全方位的剖析使业务人员参与数据分使用Developer开发具体任务图形化界面，功能强大，操作简单使用Developer开发具体任务图形化界面，功能强大，操作流间分析

在处理流程中任意位置进行分析剖析数据源剖析处理单元剖析规则流间分析

在处理流程中任意位置进行分析剖析数据源剖析处理单元量化质量，跟踪监控

基于web的积分卡便于共享简单易用，不需要任何专业技术数据主管业务经理基于Web格式的记分卡

是你能够:查看和共享数据质量记分卡下钻到具体数据制定策略，降低对业务的影响量化质量，跟踪监控

基于web的积分卡便于共享简单易用，不需DataQuality可提供每个实体对象记分卡及监控纳税人税金发票出口退税规则DataQuality可提供每个实体对象记分卡及监控纳税DQA-业务人员可手工管理不良数据DQA-业务人员可手工管理不良数据案例

DataQualityFramework

KPICalculationAndAggregationModel(CAAM)案例DataQualityFramework

KPRepresentationofDataQualityIndexDataQualitydashboardsByInfluencingfactorsBySourceofInformationDQIonEnduserreports数据质量分析/监控RepresentationofDataQuality管控数据生命周期中的创建，使用，关联，和监控关联多种主数据，建立关系视图通过合并创建真实可信的统一的数据视图快速匹配和精确识别重复数据通过灵活的模型支持，定义各种类型的主数据MDM关键功能–数据管理ModelRecognizeResolveRelateGovern数据管理4MasterDataManagement产品支持:InformaticaMDM管控数据生命周期中的创建，使用，关联，和监控关联多种主数据，数据发布关键需求:同步可信的主数据到下游应用和数据仓库获得统一的主数据视图和相关的交易数据数据发布5DataServices产品支持:InformaticaPowerCenterInformaticaPowerExchangeInformaticaDataServicesInformaticaComplexEventProcessing数据发布关键需求:数据发布5Data产品支持:模型的重点是方法和参考没有完全适应的模型，所以定制能力很重要Informatica

MDM支持各种模型和定制同时我们有金融、制造、零售等多个行业成功实施的模型模型管理

——灵活的模型支持模型管理

——灵活的模型支持RECOGNIZERecognizeMasterDataManagement关键能力:根据配置的规则，识别在多个系统中存在的潜在的匹配对象根据阈值定义，确定是否匹配

将有疑似的匹配结果，通过业务流程提交人工确认将确认重复的数据进行合并Wang,Bao-QiangRECOGNIZECRMERP王宝强重复识别

——模糊匹配技术RECOGNIZERecognizeMaster关键能力:W综合管理系统呼叫中心营销系统UniqueIDNameGender111王彬男UniqueIDSourceSystemSystemID111CRM929992111ERPAKK-111111Legacy098388188PrimaryKeyNameGender929992王彬女PrimaryKeyNameGenderAKK-111王斌男PrimaryKeyFullName098388188WangBinIdentityResolution客户样例使用模糊匹配，标示相似的数据.使用数据子集进行精确匹配

(i.e.姓、名、联系方式、ID信息、地址信息等)创建唯一的ID,并为黄金记录选择恰当的属性创建交叉引用索引，指向原有系统的主键和系统标示数据合并

——业务整合衔接综合管理系统呼叫中心营销系统UniqueIDNameGen数据覆盖原则

——数据合并的关键客户主数据LiquidAssets$190,157$383,522$559,934Equity$3,342$40,666$109,354PublicYYYCreditRatingAAA-AA-AAADomicileFranceUSAUSAPartyNameIXISCorporate&InvestmentBankWellsFargo&Co.GeneralElectricCompanyAsofDate1/31/20063/27/20064/15/2006ADDR1ElmandCarltonStreets123MainStreet57,rueduFoubourgCITYMinneapolisNewHavenParisADDR5504231426375003ADDR4MNCTName_FullWellsFargo&Co.GeneralElectricCompanyIXISCorporate&InvestmentBankPolicy#308-03-8500005-10-4640917-13-8500个险AmericanMedicalAssociationDataRatingBaaAaaAAACountryUSUSFRCompanyNameWellsFargo&Co.IXISCIBGEPolicy#308038500410051046400291713850028AsofDate8/26/20076/15/20071/30/2008团险Address57rueduFoubourg6thandMarquette123MainStCityParisMinneapolisNewHavenZip7500355405StateMNCTCompanyNameIXISCIBWellsFargoGEFinancialCallin#852139999503829837762C.C.TickerSymbolWFCGETotalAssets$207,059$481,741$673,342COUNTRYUSAUSAFranceLiquidAssets$190,157$383,522$559,934Equity$3,342$40,666$109,354TotalAssets$207,059$481,741$673,342SICCode602160213511Industry602160213511数据覆盖原则

——数据合并的关键客户主数据LiquidAs关键要素:跨系统、跨应用能力为不同的商业目的，创建、管理多种不同的层次关系关联不同的实体，构建360-度视图保持所有实体、实体关系历史RECOGNIZERelateMasterDataManagement同事雇员RELATE冯小刚王宝强华谊兄弟数据关联

——构建360度视图关键要素:RECOGNIZERelateMaster同事雇员传统数据源整合社交媒体信息接口功能FacebookListentowall(ownandusers’whohaveauthorized)SearchPostsFetchUserProfileFetchUserfriendsOtherAPIs(Groups,Events,Photos,etc.)TwitterSearchTweetsFetchUserProfileFetchUserfollowersandfollowingFollowUseractivityStreaming(Filter,Samplehose)OtherAPIsLinkedInPeopleSearchbykeywordSearchUpdatesFetchUserProfileFetchConnectionsOtherAPIsKapowWebContentDataSiftSocialMediaFeeds(Facebook,Twitterandothers)SocialMediaAugmentationOtherAPI’s(HistoricQueries,DataDestinations&Recordings)PowerCenterPowerExchangeInformaticaMDMHubFMSCRM社交媒体整合社交媒体信息接口功能FacebookListento创建,使用,管理和监控创建和维护高质量的主数据校验，增加，丰富数据特定数据的审批和业务协作可定制的灵活的客户数据搜索交互式客户层次，关系浏览，维护快速客户识别与合并处理任务分发管理和流程定义主数据历史和血缘追踪层次结构历史记录和对比主数据审计业务用户数据管理界面Multidomain

MasterDataCreateConsumeManageMonitor数据管控

——控制数据过程创建,使用,管理和监控业务用户数据管理界面MultidoInformaticaMDM主要界面AdminConsole系统配置数据模型规则(清洗,匹配,信任，校验,分发等)

JavaSwingConsoleInformaticaDataDirector数据管理员/用户界面数据管控功能创建,管理,使用,监控集成的工作流基于Web页面的配置和使用界面InformaticaDataControls将主数据呈现给业务用户层次关系管理历史数据管理事前数据质量控制预防数据重复

InformaticaMDM主要界面AdminConsProducts管控界面Products管控界面数据匹配与任务管理数据匹配与任务管理首页仪表板显示待办任务流程的当前MDM用户会收到任务提醒，可以在此打开任务，进行数据操作，并批准或退回。首页仪表板显示待办任务流程的当前MDM用户会收到任务提醒，社交媒体整合

Bettie通过社交媒体交友、购物、表达观点社交媒体整合

Bettie通过社交媒体交友、购物、表达观点Bettie同时是我们的客户……Bettie同时是我们的客户……通过社交媒体数据，丰富客户关联关系通过社交媒体数据，丰富客户关联关系移动设备应用可配置基于角色的访问控制简单的查询地理半径式搜索集成的清洗功能层次关系视图创建，编辑，查看主数据社会化信息供应交易数据接入移动设备应用可配置三类接口支持系统之间的集成数据管理平台ERPCRM数据仓库主数据层整合层业务层数据整合平台（DIH）流程整合平台（BPM）服务整合平台（ESB）业务系统业务系统可以通过DIH、ESB、BPM三条总线分别从数据、服务、流程三个层次与主数据平台的批量、实时、流程接口进行全面集成清洗转换批量数据实时服务业务流程三类接口支持系统之间的集成ERPCRM数据仓库主数据层整合层WebServicesMQSeriesJMSTIBCOwebMethodsSAPNetWeaverXIEncyryptedstreamPeoplesoftOracleAppsSiebelSAS…SAPNetWeaverSAPIDOCSAPBCISAPDMISAPBWOracleDB2UDBDB2/400SQLServerSybaseInformixTeradataODBCFlatFilesWebLogs…XMLIndustryFormatsFlatFilesFTPComplexFilesTapeFormats…ERPDatabasesXMLFlatfilesMainframeUnstructuredDataMessagesADABASDatacomDB2IDMSIMSVSAMC-ISAMTapeFormats.PDF.DOC.XLSEmailCloudAppsEDIDIDeveloper数据集成——业界最好的数据集成平台MDMWebServicesPeoplesoftOracleXM服务集成——业界标准接口方式通过SOA服务方式，将MDM信息服务化，供不同应用使用不同粒度的API服务自动生成

提供SIFSDK服务集成——业界标准接口方式通过SOA服务方式，将MDM信息工作流集成ExitTask1StartTask2CRM/ERPTask3MDMCRM/ERP数据管理员数据发布InformaticaMDM内嵌任务管理功能InformaticaMDM内嵌简单审批流程利用第三方工作流引擎可以：获得/修改任务状态通过WS查询/修改主数据实现复杂审批流程工作流集成ExitTask1StartTask2CRM/安全访问管理(SAM)实现访问控制SAM采用基于角色的访问控制框架资源，描述所有可访问的对象每一个资源都有多种访问权限一个角色可以具备对不同资源的不同权限一个用户可与被授予一个或多个角色安全访问管理(SAM)实现访问控制SAM采用基于角色的访问控安全控制清洗/匹配/信任交叉参考层次关系流程管理HubServer(ServicesIntegrationFramework)消费层分析应用.操作型应用DataWarehouseBIDataDirector业务系统/数据来源管理层应用逻辑层ApplicationServerOracleWebLogic,IBMWebSphere,jBossOperatingSystemsAIX,HP-UX,Linux(SUSE&RedHat),Solaris,Windows数据层RDBMS/DI/DQOracle9i,10g,11gDB2UDBPWC,IDQOperatingSystemsAIX,HP-UX,Linux,Solaris.WindowsXML,

Web

Services,EJB内部业务系统外部数据来源ETL,

SQL相关企业InformaticaMDM架构和平台支持数据管理员历史审计集成服务(WS/JMS/SQL)协同办公财务管理综合管理营销管理人力资源管理资产管理交付发现清洗转换访问监控主数据模型元数据模型中心数据库系统管理系统设计数据管理协同办公财务管理综合管理营销管理人力资源管理资产管理安全控制清洗/匹配/信任交叉参考层次关系流程管理HubSeRegistryMDMMultidomainMDM标示单一的客户、病人、产品，形成客户信息视图用于支持DI/DW报表和分析要求，以及法规遵从面向销售、市场、客户服务支持操作型要求…统一的数据入口，同时支持分析型、操作型的需求RegistryConsolidationCoexistenceCentralized(Transactional)DataProfilingDataIntegrationRegistry(IdentityResolution)DataProfilingDataIntegrationandTransformationDataQualityMasterDataManagementsoftware整合模式——不是绝对的四种模式，可以根据业务搭配和演进SingleDomain(customer)MultipleDomains(customer,product,vendors,account,location,…)RecognizeRecognize&ResolveRelateCreateRegistryMDMMultidomainMDMRegRegistry——为查询应用构建主数据“视图”所以数据的新增、修改、删除都在业务系统完成从各业务系统抽取数据到MDM查询的时候根据匹配规则搜索相似记录为查询者生成“黄金记录”视图，但不合并相似记录因为MDM不进行数据“写”操作，所以没有数据回写到业务系统54王斌|男|1972.3.8王彬|NA|19720308王斌|男|1972.3.8王斌|01|1972.8.3王彬|男|1972.3.8-----------------------王斌|男|1972.3.8王彬|NA|19720308王斌|男|1972.3.8王斌|01|1972.8.3查询“王彬”Registry——为查询应用构建主数据“视图”所以数据的新Consolidation——面向分析系统的单流向主数据整合所以数据的新增、修改、删除都在业务系统完成从各业务系统抽取数据到MDMMDM根据规程清洗，查重，合并，生成“黄金记录”和映射关系主数据用于查询和数据仓库等分析型应用因为MDM不进行数据“写”操作，所以没有数据回写到业务系统55王斌|男|1972.3.8王彬|NA|19720308王斌|男|1972.3.8王斌|01|1972.8.3王彬|男|1972.3.8-----------------------王斌|男|1972.3.8王彬|NA|19720308王斌|男|1972.3.8王斌|01|1972.8.3查询“王彬”CustomerContractPaymentDWConsolidation——面向分析系统的单流向主数据整合Coexistence——主数据在业务系统与MDM中一致共存业务系统和MDM都可以对主数据进行增、删、改、查等操作数据变化同步(通过抽取、服务、或者异步消息)到MDMMDM更新主数据，并将数据变化同步到其他业务系统或数据仓库，保持数据一致业务系统根据自身需求和特点，采用不同的方式处理从MDM同步过来的数据主数据用于查询和数据仓库等分析型应用56王斌|男|1972.3.8王彬|NA|19720308王斌|男|1972.3.8王斌|01|1972.8.3王彬|男|1972.3.8-----------------------王斌|男|1972.3.8王彬|NA|19720308王斌|男|1972.3.8王斌|01|1972.8.3查询“王彬”CustomerContractPaymentDW修改“生日”王斌|男|1971.7.4王斌|男|1971.7.4王彬|男|1971.7.4写入业务数据库调用业务服务写入映射表Coexistence——主数据在业务系统与MDM中一致共存Transactional——统一在MDM维护主数据最严格的控制业务系统都通过MDM主数据进行增、删、改、查等所有操作只有MDM存放主数据变通的办法业务系统都通过MDM主数据进行增、删、改等维护操作，数据同步给需要的业务系统保留主数据的业务系统，可以查询自己的主数据，其他系统直接查询MDM57王彬|男|1972.3.8王彬|男|1972.3.8-----------------------(只有一份数据拷贝)通过MDM查询“王彬”CustomerContractPaymentDW修改“生日”王彬|男|1971.7.4王彬|男|1971.7.4同步给保留主数据的系统王彬|男|1972.3.8王彬|男|1971.7.4在本地数据库查询“王彬”Transactional——统一在MDM维护主数据最严格的内容提要从公司治理到主数据管理主数据平台解决方案Informatica案例分享内容提要从公司治理到主数据管理为全球多个行业的客户提供主数据解决方案DifferentiationTrulyMultidomainMDMComplex

HierarchyManagementFastTime-to-ValueCompetitiveHighTechHealth&LifeSciencesBankingInsuranceOil&GasPublishingAutomotiveMediaCPGManufacturingBusiness-userFocusedAviationAgricultureWasteManagementRetail为全球多个行业的客户提供主数据解决方案Differentia国内案例1：XX集团主数据管理

——面临的挑战和目标挑战集团共性系统之间主数据管理彼此孤立不同系统的不同视角，导致数据一致性问题突出主数据共享困难，点对点传输是主数据问题更为突出组织架构主数据来源多，情况复杂目标制定XX集团主数据管理的策略制定XX集团主数据平台的技术标准和功能范围搭建XX集团组织主数据平台国内案例1：XX集团主数据管理

——面临的挑战和目标挑战整体架构

——集团总部与SBU/BU两级主数据平台整体架构

——集团总部与SBU/BU两级主数据平台201201020304050607080910第一阶段：制定主数据管理规范第二阶段：搭建集团组织主数据平台项目启动准备现状调研与分析主数据管理规范组织主数据技术与集成标准组织主数据平台概要设计组织主数据收集与清理详细设计配置开发集成测试单元测试系统上线运维支持项目进展用户培训一期项目计划201201020304050607080910第一阶段：制集团共性系统主数据源InformaticaMDM平台主数据管理PowerCenterServer

(ETL)整体架构说明OracleDatabase10.2.4InformaticaDataQualityInformaticaMDMHubInformatica9数据质量管理/主数据管理主数据分析报告数据质量报告公司层次管理SISHFMFMSTMSTIS6SCSHR集团共性系统主数据源InformaticaMDM平台主数主数据展现（1）用户可以通过InformaticaMDMDirector来管理主数据以及查看层级关系。多种组织结构展现形式，适应与不同的关系类型展现。公司详细数据树状结构层次结构主数据展现（1）用户可以通过InformaticaMDM选择InformaticaMDM的原因Informatica平台完全符合XX集团建立集团共性的主数据管理平台的需求通过InformaticaPowerCenter实现主数据平台与各业务系统之间的数据抽取、数据更新和数据推送。通过InformaticaDataQuality实现主数据的数据探查、数据匹配与比对，进行差异数据分析；通过InformaticaMDM平台实现主数据的展现，控制，审计，管理等功能InformaticaMDM平台可以扩展至其它主数据的业务需求可从目前组织机构主数据入手，扩展至未来的其它领域主数据需求；从组织机构的数据质量规范开始，建立企业级的数据质量管理控制平台；实现企业级的数据集成选择InformaticaMDM的原因Informatic数据资源管理平台南方电网覆盖五省区、紧密联接港澳，并与周边国家和地区多点相连。供电面积100万平方公里，供电人口2.3亿人，供电客户6700万户。2012年全网统调最高负荷1.2亿千瓦，全社会用电量8396亿千瓦时。年度完成售电量

(千瓦时)西电东送量

(千瓦时)营业收入完成固定资产投资500强(公司排名)20127010亿1243亿4192亿元858亿元第152位20116667亿966亿3794亿元900亿元第149位20106027亿1117亿3696亿元993亿元第156位数据资源管理平台南方电网覆盖五省区、紧密联接港澳，并与周边国目标与挑战——完善数据资源管理的关键是主数据管理数据资源管理组织及认责体系不完善数据资源管理的流程不完整数据资源管理的技术支撑不足数据标准及数据规划落地执行力度不够企业目标：建成经营型、服务型、一体化、国内领先、国际知名的企业但是，数据已经成为公司生产运行和经营管理中的一个短板，这个问题不解决，企业的战略就无法落地，主要表现在：目标与挑战数据资源管理组织及认责体系不完善企业目标：建成经营国内案例2：国内某集团企业组件架构国内案例2：国内某集团企业组件架构案例2：系统集成关系数据资源管理平台主数据管理数据标准管理数据质量管理平台管理总部省级公司数据资源管理平台信息集成平台信息集成平台资产管理系统营销管理系统财务管理系统人力资源管理系统协同办公系统综合管理系统资产管理系统营销管理系统财务管理系统人力资源管理系统协同办公系统综合管理系统数据中心按照两级部署，通过信息集成平台，实现系统的“横向集成，纵向贯通”。主数据管理数据标准管理数据质量管理平台管理编码管理编码管理案例2：系统集成关系数据资源管理平台主数据管理数据标准管理数主数据域与模型系统资源、资产设备、用电客户、拓扑连接、量测资源、公共支持等六大类70主数据域与模型系统资源、资产设备、用电客户、拓扑连接、量测资主数据查询列表展示界面，可按主数据不同属性进行查询和搜索条件定制按职能域分类整理主数据对象主数据对象按主数据不同属性进行查询和搜索条件定制根据输入的查询条件查询出的结果列表界面开发示例——数据查询主数据查询列表展示界面，可按主数据不同属性进行查询和搜索条件主数据360视图展示界面，实现主数据及其关联对象的全景展现360视图以主数据基本信息和打印视图两种视图进行展现数据数据对象的主键信息数据对象详细信息数据对象历史数据数据对象审计信息数据对象的子对象信息界面开发示例——数据管理主数据360视图展示界面，实现主数据及其关联对象的全景展现3主数据历史版本展示界面历史数据展示界面开发示例——数据历史主数据历史版本展示界面历史数据展示界面开发示例——数据历史建立“五横四纵”的数据治理框架，实现管理创新保障数据的唯一性与可信性轻松、全面的数据模型开发节约成本、提高效率完整客户视图解决部门间业务和数据交叉问题客户收益建立“五横四纵”的数据治理框架，实现管理创新客户收益为什么选择Informatica灵活的模型支持快速配置的业务规则易于二次开发应对业务变化为什么选择Informatica灵活的模型支持谢谢！谢谢！统一主数据管理平台方案

但彬

Informatica中国统一主数据管理平台方案

但彬

InformInformatica

专注于数据集成的独立软件开发商成立时间:19932012年收入为:8.116亿美元7年平均增长率:每年17%员工人数:2,810多人合作伙伴:

450多家主要的系统集成商、独立软件供应商、原始设备制造商和按需生产的先驱客户:超过5,000家客户遍布全球82个国家直接客户遍布全球28个国家客户忠诚度排名位居榜首

（已连续7年获此殊荣）Informatica专注于数据集成的独立软件开发商成立时1.数据采集数据仓库分析应用BI报表数据挖掘仪表盘任意格式任意数据源任意延时任意模式ERPCRM办公PLM财务网站业务系统云计算套装应用非结构化数据2.数据审计与发现(数据探查)3.数据质量管理(建立和管理数据质量规则，仪表盘，报警等)5.主数据和参考数据管理渠道区域产品客户4.数据处理AnyformatAnysourceAnylatencyAnymode8.元数据管理(操作型,技术型,业务层)7.数据归档归档Retrieval6b.数据虚拟化外部数据复杂事件处理Informatica产品定位1.数据采集数据仓库分析应用BI报表数据挖掘仪表盘任意格式内容提要从公司治理到主数据管理主数据平台解决方案Informatica案例分享内容提要从公司治理到主数据管理集团企业数据利用的发展与挑战

AccountOrganizationSalesRepPartnerOrganizationProductProductOrganizationAccountAccountZoneServicesAccountPricing财务管理投资管理客户服务人力资源决策支持不同的系统管理各种业务流程走向精细化协同管理利用数据仓库汇集数据但是企业内外协同受信息流现状的制约面临的问题数据标准数据质量管控流程……集团产业集团企业数据仓库企业数据集成集团企业数据利用的发展与挑战

AccountOrganiza公司治理影响公司业务方向、管理、和控制发展路线的一系列流程、策略、惯例、规章制度等。IT治理确保IT能够支撑企业战略目标的管理、组织架构、和流程。主数据治理确保企业主数据的有效性、可访问性、质量、一致性、可审性、和安全性所需要的流程、策略、标准、和技术。从主数据入手，提升主数据质量，是业务管控的基础业务流程CRMSystemERPSystemOrderMgmtSystemFinanceSystemHRSystem主数据的重要性——大多数的数据质量问题是主数据问题使治理目标和范围明确主数据系统使咨询内容落地AccountOrganizationSalesRepPartnerOrganizationProductProductOrganizationAccountAccountZoneServicesAccountPricing公司治理IT治理主数据治理从主数据入手，提升主数据质量，是业客户、产品、服务、供应商、机构、资源等组成完整的360度主数据视图客服金融客户网上业务离港机票积分航段航空客户物流客户旅业客户储蓄住宅健康支付意外养老助学发件客户配偶收件酒店票务物流旅行代理业务经理孩子企业航空保险代理不同主数据是业务的不同视角：客户角度产品、服务机构资源产品角度客户资源机构供应商角度产品机构角度产品客户资源资源角度机构产品客户完整的主数据视图父母客户、产品、服务、供应商、机构、资源等组成完整的360度主提高生产力和效率提高决策能力提高业务灵活性提高合规性……问题：贵公司实施主数据项目的主要原因是什么？业务需求技术需求面临哪些难题……主数据管理的驱动力提高生产力和效率主数据管理的驱动力企业集团主数据平台集中管理各类主数据

AcctRepOrganizationAccountCustomerProductMDM数据管理AccountOrganizationSalesRepPartnerOrganizationProductProductOrganizationAccountAccountZoneServicesAccountPricingDI/DQ社交媒体财务管理投资管理客户服务人力资源决策支持DW数据服务企业集团主数据平台集中管理各类主数据

AcctRepOrg灵活的数据模型可定制的业务逻辑和工作流程可配置的用户界面/接口解决不同领域业务问题可用统一的平台扩展到解决其他业务问题和领域预定义数据模型预定义的业务逻辑和工作流程预定义的用户界面/接口解决特定领域的业务问题扩展到其他业务领域需要购买新的应用平台级MDM应用级MDM根据客户的特有需求进行配置，使用不同客户需求预置的应用以解决特定的主数据问题(customer,product,financial)CustomerProductCOA客户产品COA主数据管理的不同实现路径灵活的数据模型预定义数据模型平台级MDM应用级MDM根据InformaticaMDM简介

经验证的多域主数据方案部署情况市场影响力跨越多行业的平台级解决方案

(FinancialServices,LifeSciences,HighTech…)大量案例证明在多域主数据部署的能力快速部署

平均上线时间:3-9个月最具伸缩性解决方案

最大450M主记录数的成功案例可验证的多域主数据

几乎一半的客户都在统一平台上部署了客户和产品域超过

50%的财富500企业和全球500强企业MerrillLynch,DeutscheBank,Johnson&Johnson,Pfizer,Apple,Kodak,Cadbury,…跨越多行业的客户解决方案

(25+solutions)InformaticaMDM提供产品、客户、账户等关键数据的统一视图，快速低成本提升业务运营、客户体验、以及合规等能力InformaticaMDM简介

经验证的多域主数据方案Informatica主数据管理平台统一管理多域主数据提升绩效降低成本提升客户服务质量管控风险与合规机构合并与剥离MDM

客户

订单

产品

地点提高决策精确度企业应用遗留系统云应用非结构数据第三方数据现有哪些应用系统涉及主数据？ERP、CRM、PLM、PDM……重点关注哪些主数据？客户、产品、供应商……应用系统可能以哪种方式与主数据交互？批量、实时、准实时…Informatica主数据管理平台统一管理多域主数据提升为应用和数据仓库交付可信的数据管理统一、可信、真实的主数据数据清洗和标准化剖析、发现数据内容、一致性、数据结构从不同的应用和数据源访问、获取数据平台需要的能力数据获取数据探索数据清洗数据管理数据发布12345为应用和数据仓库交付可信的数据管理统一、可信、真实的主数据数ESB统一客户数据平台架构企业数据集成平台运营支撑分析决策数据集市仪表板分析报表业务应用遗留数据社交媒体和第三方数据数据质量数据探索123主数据管理4ODS数据管控模型管理合并管理重复识别数据关联Ora数据仓库运行、生产、销售数据管理平台TD数据仓库客户/市场ESB数据发布服务5ESB统一客户数据平台架构企业数据集成平台运营支撑分析决策数Informatica产品在主数据管理中的定位OperationalAnalyticalCIFLegacy

SystemsDataWarehouseDataMartsPortal/DashboardBusinessIntelligenceLegacy

SystemsApplicationsApplicationsLegacyThirdPartyDataMasterDataManagementMDMFoundation实时交付可信的、相互关联的主数据及时交付可信的、相互关联的数据DataQualityDataProfilingDataIntegrationDataServices1235MasterDataManagement4Informatica产品在主数据管理中的定位Operat数据获取关键需求:在任意的源和目标数据之间进行数据访问和发布各种数据格式，各种地方不同的延迟需求

(批量,实时,消息队列)高性能和高可用支持不同MDM部署风格元数据可视化数据集成1DataIntegration产品支持:InformaticaPowerCenterInformaticaPowerExchangeInformaticaB2BExchange数据获取关键需求:数据集成1Data产品支持:数据探索关键需求:发现和记录数据中的所有异常将问题进行分类（完备性、遵从性、一致性、准确性、唯一性、依赖性）数据探索2DataProfiling产品支持:InformaticaDataProfile数据探索关键需求:数据探索2Data产品支持:数据清洗关键需求:数据清洗数据丰富地址标准化数据监控和报告基于SOA访问DQ规则

根据条件的格式校验规则数据变化，去噪，转换开放式清洗架构数据清洗3DataQuality产品支持:InformaticaDataQualityAddressDoctor数据清洗关键需求:数据清洗3Data产品支持:数据质量问题实例完整性COMPLETENESS合法性CONFORMITY一致性CONSISTENCY重复性DUPLICATION关联性INTEGRITY准确性\ACCURACY值域划分RANGE完整性:丢失关键数值合法性:非法格式Consistency:IncorrectFormat一致性:数据是格式正确并完整，但不符合业务逻辑Duplication:Fuzzymatching重复性:模糊匹配关联性:识别记录关系关联性:识别记录关系准确性:须利用其他数据来验证其准确程度值域划分:界定数值范围数据质量问题实例完整性合法性一致性重复性关联性准确性值特性剖析解析清洗,标准化Comprehensive

dataquality数据丰富匹配,剔重功能从非结构化的模式推演数据的含义从非结构化的数据构建结构化数据识别、纠正数据错误；将数据转化成标准格式/术语增加附加的属性和分类识别和消除重复数据“liquid”+”crystal”+”display”=

1conceptCamera=manufacturer,megapixels,zoom,andcolorWoodd=wood=wudPaperweight:

100gi.s.o.100kgDivingwatchwithWatchattribandDivingEquipmentattribPIM样例2productsindifferentlanguagesareinfactthesameitemCDI样例姓名:

姓+名字(CHS,KOR,JPN);FN+MN+PN+LN(Latin);Addr=#,street,city,state,zip,country;Bill=WilliamSt,Str=Street(ENU/DEU)St=Saint(FRA)HaidongSong:“single,1child,SummitEstate,DoNotMail”HaidongSong=宋海东=数据质量功能一览特性剖析解析清洗,标准化Comprehensive

data共同参与数据质量工作数据质量1.分析

2.确定数据质量规则和目标3.制定质量提高计划4.部署数据质量计划5.数据质量报告与跟踪数据经理业务主管IT开发人员数据管理人员记分卡基于WEB客户端共同参与数据质量工作数据质量1.分析2.确定数据质量规使用Analyst对数据进行全方位的剖析使业务人员参与数据分析工作，提高生产力和工作效率，降低IT人员的依赖性DataStewardReusedataqualityrulesinprofilinganalysis使用Analyst对数据进行全方位的剖析使业务人员参与数据分使用Developer开发具体任务图形化界面，功能强大，操作简单使用Developer开发具体任务图形化界面，功能强大，操作流间分析

在处理流程中任意位置进行分析剖析数据源剖析处理单元剖析规则流间分析

在处理流程中任意位置进行分析剖析数据源剖析处理单元量化质量，跟踪监控

基于web的积分卡便于共享简单易用，不需要任何专业技术数据主管业务经理基于Web格式的记分卡

是你能够:查看和共享数据质量记分卡下钻到具体数据制定策略，降低对业务的影响量化质量，跟踪监控

基于web的积分卡便于共享简单易用，不需DataQuality可提供每个实体对象记分卡及监控纳税人税金发票出口退税规则DataQuality可提供每个实体对象记分卡及监控纳税DQA-业务人员可手工管理不良数据DQA-业务人员可手工管理不良数据案例

DataQualityFramework

KPICalculationAndAggregationModel(CAAM)案例DataQualityFramework

KPRepresentationofDataQualityIndexDataQualitydashboardsByInfluencingfactorsBySourceofInformationDQIonEnduserreports数据质量分析/监控RepresentationofDataQuality管控数据生命周期中的创建，使用，关联，和监控关联多种主数据，建立关系视图通过合并创建真实可信的统一的数据视图快速匹配和精确识别重复数据通过灵活的模型支持，定义各种类型的主数据MDM关键功能–数据管理ModelRecognizeResolveRelateGovern数据管理4MasterDataManagement产品支持:InformaticaMDM管控数据生命周期中的创建，使用，关联，和监控关联多种主数据，数据发布关键需求:同步可信的主数据到下游应用和数据仓库获得统一的主数据视图和相关的交易数据数据发布5DataServices产品支持:InformaticaPowerCenterInformaticaPowerExchangeInformaticaDataServicesInformaticaComplexEventProcessing数据发布关键需求:数据发布5Data产品支持:模型的重点是方法和参考没有完全适应的模型，所以定制能力很重要Informatica

MDM支持各种模型和定制同时我们有金融、制造、零售等多个行业成功实施的模型模型管理

——灵活的模型支持模型管理

——灵活的模型支持RECOGNIZERecognizeMasterDataManagement关键能力:根据配置的规则，识别在多个系统中存在的潜在的匹配对象根据阈值定义，确定是否匹配

将有疑似的匹配结果，通过业务流程提交人工确认将确认重复的数据进行合并Wang,Bao-QiangRECOGNIZECRMERP王宝强重复识别

——模糊匹配技术RECOGNIZERecognizeMaster关键能力:W综合管理系统呼叫中心营销系统UniqueIDNameGender111王彬男UniqueIDSourceSystemSystemID111CRM929992111ERPAKK-111111Legacy098388188PrimaryKeyNameGender929992王彬女PrimaryKeyNameGenderAKK-111王斌男PrimaryKeyFullName098388188WangBinIdentityResolution客户样例使用模糊匹配，标示相似的数据.使用数据子集进行精确匹配

(i.e.姓、名、联系方式、ID信息、地址信息等)创建唯一的ID,并为黄金记录选择恰当的属性创建交叉引用索引，指向原有系统的主键和系统标示数据合并

——业务整合衔接综合管理系统呼叫中心营销系统UniqueIDNameGen数据覆盖原则

——数据合并的关键客户主数据LiquidAssets$190,157$383,522$559,934Equity$3,342$40,666$109,354PublicYYYCreditRatingAAA-AA-AAADomicileFranceUSAUSAPartyNameIXISCorporate&InvestmentBankWellsFargo&Co.GeneralElectricCompanyAsofDate1/31/20063/27/20064/15/2006ADDR1ElmandCarltonStreets123MainStreet57,rueduFoubourgCITYMinneapolisNewHavenParisADDR5504231426375003ADDR4MNCTName_FullWellsFargo&Co.GeneralElectricCompanyIXISCorporate&InvestmentBankPolicy#308-03-8500005-10-4640917-13-8500个险AmericanMedicalAssociationDataRatingBaaAaaAAACountryUSUSFRCompanyNameWellsFargo&Co.IXISCIBGEPolicy#308038500410051046400291713850028AsofDate8/26/20076/15/20071/30/2008团险Address57rueduFoubourg6thandMarquette123MainStCityParisMinneapolisNewHavenZip7500355405StateMNCTCompanyNameIXISCIBWellsFargoGEFinancialCallin#852139999503829837762C.C.TickerSymbolWFCGETotalAssets$207,059$481,741$673,342COUNTRYUSAUSAFranceLiquidAssets$190,157$383,522$559,934Equity$3,342$40,666$109,354TotalAssets$207,059$481