Inatica主数据管理解决方案_CA.ppt

统一主数据管理平台方案但彬Informatica中国 Informatica专注于数据集成的独立软件开发商 成立时间 19932012年收入为 8 116亿美元7年平均增长率 每年17 员工人数 2 810多人合作伙伴 450多家主要的系统集成商 独立软件供应商 原始设备制造商和按需生产的先驱客户 超过5 000家客户遍布全球82个国家直接客户遍布全球28个国家客户忠诚度排名位居榜首 已连续7年获此殊荣 1 数据采集 数据仓库 分析应用 BI 报表 数据挖掘 仪表盘 任意格式任意数据源任意延时任意模式 ERP CRM 办公 PLM 财务 网站 业务系统 2 数据审计与发现 数据探查 3 数据质量管理 建立和管理数据质量规则 仪表盘 报警等 5 主数据和参考数据管理 渠道 区域 产品 客户 4 数据处理 AnyformatAnysourceAnylatencyAnymode 8 元数据管理 操作型 技术型 业务层 7 数据归档 归档 Retrieval 6b 数据虚拟化 外部数据 复杂事件处理 Informatica产品定位 3 内容提要 从公司治理到主数据管理主数据平台解决方案Informatica案例分享 4 集团企业数据利用的发展与挑战 财务管理 投资管理 客户服务 人力资源 决策支持 不同的系统管理各种业务流程走向精细化协同管理利用数据仓库汇集数据但是企业内外协同受信息流现状的制约面临的问题数据标准数据质量管控流程 集团 产业集团 企业数据仓库 企业数据集成 5 公司治理影响公司业务方向 管理 和控制发展路线的一系列流程 策略 惯例 规章制度等 IT治理确保IT能够支撑企业战略目标的管理 组织架构 和流程 主数据治理确保企业主数据的有效性 可访问性 质量 一致性 可审性 和安全性所需要的流程 策略 标准 和技术 从主数据入手 提升主数据质量 是业务管控的基础 业务流程 CRMSystem ERPSystem OrderMgmtSystem FinanceSystem HRSystem 主数据的重要性 大多数的数据质量问题是主数据问题使治理目标和范围明确主数据系统使咨询内容落地 6 客户 产品 服务 供应商 机构 资源等组成完整的360度主数据视图 客服 金融客户 网上业务 离港 机票 积分 航段 航空客户 物流客户 旅业客户 储蓄 住宅 健康 支付 意外 养老 助学 发件 配偶 收件 酒店 票务 物流 旅行代理 业务经理 孩子 企业 航空 保险代理 不同主数据是业务的不同视角 客户角度产品 服务机构资源产品角度客户资源机构供应商角度产品机构角度产品客户资源资源角度机构产品客户 完整的主数据视图 父母 7 提高生产力和效率提高决策能力提高业务灵活性提高合规性 问题 贵公司实施主数据项目的主要原因是什么 业务需求技术需求面临哪些难题 主数据管理的驱动力 8 企业集团主数据平台集中管理各类主数据 AcctRep Organization Account Customer Product MDM 数据管理 DI DQ 财务管理 投资管理 客户服务 人力资源 决策支持 DW 数据服务 9 灵活的数据模型可定制的业务逻辑和工作流程可配置的用户界面 接口解决不同领域业务问题可用统一的平台扩展到解决其他业务问题和领域 预定义数据模型预定义的业务逻辑和工作流程预定义的用户界面 接口解决特定领域的业务问题扩展到其他业务领域需要购买新的应用 平台级MDM 应用级MDM 根据客户的特有需求进行配置 使用不同客户需求 预置的应用以解决特定的主数据问题 customer product financial Customer Product COA 客户 产品 COA 主数据管理的不同实现路径 10 InformaticaMDM简介经验证的多域主数据方案 部署情况 市场影响力 跨越多行业的平台级解决方案 FinancialServices LifeSciences HighTech 大量案例证明在多域主数据部署的能力 快速部署 平均上线时间 3 9个月最具伸缩性解决方案 最大450M主记录数的成功案例可验证的多域主数据 几乎一半的客户都在统一平台上部署了客户和产品域 超过50 的财富500企业和全球500强企业 MerrillLynch DeutscheBank Johnson Johnson Pfizer Apple Kodak Cadbury 跨越多行业的客户解决方案 25 solutions InformaticaMDM提供产品 客户 账户等关键数据的统一视图 快速低成本提升业务运营 客户体验 以及合规等能力 11 Informatica主数据管理平台统一管理多域主数据 MDM 现有哪些应用系统涉及主数据 ERP CRM PLM PDM 重点关注哪些主数据 客户 产品 供应商 应用系统可能以哪种方式与主数据交互 批量 实时 准实时 12 为应用和数据仓库交付可信的数据 管理统一 可信 真实的主数据 数据清洗和标准化 剖析 发现数据内容 一致性 数据结构 从不同的应用和数据源访问 获取数据 平台需要的能力 数据获取 数据探索 数据清洗 数据管理 数据发布 1 2 3 4 5 13 ESB 统一客户数据平台架构 企业数据集成平台 运营支撑 分析决策 数据集市 仪表板 分析报表 业务应用 遗留数据 社交媒体和第三方数据 数据质量 数据探索 1 2 3 主数据管理 4 ODS 数据管控 模型管理 合并管理 重复识别 数据关联 Ora数据仓库 运行 生产 销售 数据管理平台 TD数据仓库 客户 市场 ESB 数据发布服务 5 14 Informatica产品在主数据管理中的定位 Operational Analytical CIF LegacySystems DataWarehouse DataMarts Portal Dashboard BusinessIntelligence LegacySystems Applications Applications Legacy ThirdPartyData MasterDataManagement MDMFoundation 实时交付可信的 相互关联的主数据 及时交付可信的 相互关联的数据 DataQuality DataProfiling DataIntegration DataServices 1 2 3 5 MasterDataManagement 4 15 数据获取 关键需求 在任意的源和目标数据之间进行数据访问和发布各种数据格式 各种地方不同的延迟需求 批量 实时 消息队列 高性能和高可用支持不同MDM部署风格元数据可视化 数据集成 1 DataIntegration 产品支持 InformaticaPowerCenterInformaticaPowerExchangeInformaticaB2BExchange 16 数据探索 关键需求 发现和记录数据中的所有异常将问题进行分类 完备性 遵从性 一致性 准确性 唯一性 依赖性 数据探索 2 DataProfiling 产品支持 InformaticaDataProfile 17 数据清洗 关键需求 数据清洗数据丰富地址标准化数据监控和报告基于SOA访问DQ规则根据条件的格式校验规则数据变化 去噪 转换开放式清洗架构 数据清洗 3 DataQuality 产品支持 InformaticaDataQualityAddressDoctor 18 数据质量问题实例 完整性COMPLETENESS 合法性CONFORMITY 一致性CONSISTENCY 重复性DUPLICATION 关联性INTEGRITY 准确性 ACCURACY 值域划分RANGE 完整性 丢失关键数值 合法性 非法格式 Consistency IncorrectFormat 一致性 数据是格式正确并完整 但不符合业务逻辑 Duplication Fuzzymatching 重复性 模糊匹配 关联性 识别记录关系 关联性 识别记录关系 准确性 须利用其他数据来验证其准确程度 值域划分 界定数值范围 19 特性 剖析 解析 清洗 标准化 Comprehensivedataquality 数据丰富 匹配 剔重 数据质量功能一览 20 共同参与数据质量工作 数据经理业务主管 IT开发人员 数据管理人员 记分卡 基于WEB客户端 21 使用Analyst对数据进行全方位的剖析 DataSteward Reusedataqualityrulesinprofilinganalysis 22 使用Developer开发具体任务 23 流间分析在处理流程中任意位置进行分析 剖析数据源 剖析处理单元 剖析规则 24 量化质量 跟踪监控基于web的积分卡便于共享 数据主管业务经理 基于Web格式的记分卡是你能够 查看和共享数据质量记分卡下钻到具体数据制定策略 降低对业务的影响 25 DataQuality可提供每个实体对象记分卡及监控 规则 26 DQA 业务人员可手工管理不良数据 27 案例DataQualityFrameworkKPICalculationAndAggregationModel CAAM 28 RepresentationofDataQualityIndexDataQualitydashboardsByInfluencingfactorsBySourceofInformationDQIonEnduserreports 数据质量分析 监控 29 管控数据生命周期中的创建 使用 关联 和监控 关联多种主数据 建立关系视图 通过合并创建真实可信的统一的数据视图 快速匹配和精确识别重复数据 通过灵活的模型支持 定义各种类型的主数据 MDM关键功能 数据管理 Model Recognize Resolve Relate Govern 数据管理 4 MasterDataManagement 产品支持 InformaticaMDM 30 数据发布 关键需求 同步可信的主数据到下游应用和数据仓库获得统一的主数据视图和相关的交易数据 数据发布 5 DataServices 产品支持 InformaticaPowerCenterInformaticaPowerExchange InformaticaDataServicesInformaticaComplexEventProcessing 31 模型的重点是方法和参考没有完全适应的模型 所以定制能力很重要InformaticaMDM支持各种模型和定制同时我们有金融 制造 零售等多个行业成功实施的模型 模型管理 灵活的模型支持 32 RECOGNIZE Recognize MasterDataManagement 关键能力 根据配置的规则 识别在多个系统中存在的潜在的匹配对象根据阈值定义 确定是否匹配将有疑似的匹配结果 通过业务流程提交人工确认将确认重复的数据进行合并 重复识别 模糊匹配技术 33 综合管理系统 呼叫中心 营销系统 IdentityResolution 客户样例 使用模糊匹配 标示相似的数据 使用数据子集进行精确匹配 i e 姓 名 联系方式 ID信息 地址信息等 创建唯一的ID 并为黄金记录选择恰当的属性 创建交叉引用索引 指向原有系统的主键和系统标示 数据合并 业务整合衔接 34 数据覆盖原则 数据合并的关键 客户主数据 LiquidAssets 190 157 383 522 559 934 Equity 3 342 40 666 109 354 PublicYYY CreditRatingAAA AA AAA DomicileFranceUSAUSA PartyNameIXISCorporate InvestmentBankWellsFargo Co GeneralElectricCompany AsofDate1 31 20063 27 20064 15 2006 ADDR1ElmandCarltonStreets123MainStreet57 rueduFoubourg CITYMinneapolisNewHavenParis ADDR5504231426375003 ADDR4MNCT Name FullWellsFargo Co GeneralElectricCompanyIXISCorporate InvestmentBank Policy 308 03 8500005 10 4640917 13 8500 个险 AmericanMedicalAssociationData RatingBaaAaaAAA CountryUSUSFR CompanyNameWellsFargo Co IXISCIBGE Policy 308038500410051046400291713850028 AsofDate8 26 20076 15 20071 30 2008 团险 Address57rueduFoubourg6thandMarquette123MainSt CityParisMinneapolisNewHaven Zip7500355405 StateMNCT CompanyNameIXISCIBWellsFargoGEFinancial Callin 852139999503829837762 C C TickerSymbolWFCGE TotalAssets 207 059 481 741 673 342 COUNTRYUSAUSAFrance LiquidAssets 190 157 383 522 559 934 Equity 3 342 40 666 109 354 TotalAssets 207 059 481 741 673 342 SICCode602160213511 Industry602160213511 35 关键要素 跨系统 跨应用能力为不同的商业目的 创建 管理多种不同的层次关系关联不同的实体 构建360 度视图保持所有实体 实体关系历史 RECOGNIZE Relate MasterDataManagement 数据关联 构建360度视图 36 传统数据源 整合社交媒体信息 PowerCenterPowerExchange InformaticaMDMHub FMS CRM 社交媒体 37 创建 使用 管理和监控创建和维护高质量的主数据校验 增加 丰富数据特定数据的审批和业务协作可定制的灵活的客户数据搜索交互式客户层次 关系浏览 维护快速客户识别与合并处理任务分发管理和流程定义主数据历史和血缘追踪层次结构历史记录和对比主数据审计 业务用户数据管理界面 数据管控 控制数据过程 38 InformaticaMDM主要界面 AdminConsole系统配置数据模型规则 清洗 匹配 信任 校验 分发等 JavaSwingConsole InformaticaDataDirector数据管理员 用户界面数据管控功能创建 管理 使用 监控集成的工作流基于Web页面的配置和使用界面 InformaticaDataControls将主数据呈现给业务用户层次关系管理历史数据管理事前数据质量控制预防数据重复 39 Products 管控界面 40 数据匹配与任务管理 41 首页仪表板显示待办任务 流程的当前MDM用户会收到任务提醒 可以在此打开任务 进行数据操作 并批准或退回 42 社交媒体整合Bettie通过社交媒体交友 购物 表达观点 43 Bettie同时是我们的客户 44 通过社交媒体数据 丰富客户关联关系 45 移动设备应用 46 三类接口支持系统之间的集成 数据管理平台 ERP CRM 数据仓库 主数据层 整合层 业务层 数据整合平台 DIH 流程整合平台 BPM 服务整合平台 ESB 业务系统 业务系统可以通过DIH ESB BPM三条总线分别从数据 服务 流程三个层次与主数据平台的批量 实时 流程接口进行全面集成 批量数据 实时服务 业务流程 47 WebServicesMQSeriesJMSTIBCOwebMethodsSAPNetWeaverXIEncyryptedstream PeoplesoftOracleAppsSiebelSAS SAPNetWeaverSAPIDOCSAPBCISAPDMISAPBW OracleDB2UDBDB2 400SQLServerSybaseInformixTeradataODBCFlatFilesWebLogs XMLIndustryFormats FlatFilesFTPComplexFilesTapeFormats ERP Databases XML Flatfiles Mainframe UnstructuredData Messages ADABASDatacomDB2IDMSIMSVSAMC ISAMTapeFormats PDF DOC XLSEmail CloudApps EDI DIDeveloper 数据集成 业界最好的数据集成平台 MDM 48 服务集成 业界标准接口方式 通过SOA服务方式 将MDM信息服务化 供不同应用使用不同粒度的API服务自动生成提供SIFSDK 49 工作流集成 Exit Task1 Start Task2 CRM ERP Task3 MDM CRM ERP 数据管理员 数据发布 InformaticaMDM内嵌任务管理功能InformaticaMDM内嵌简单审批流程利用第三方工作流引擎可以 获得 修改任务状态通过WS查询 修改主数据实现复杂审批流程 50 安全访问管理 SAM 实现访问控制 SAM采用基于角色的访问控制框架资源 描述所有可访问的对象每一个资源都有多种访问权限一个角色可以具备对不同资源的不同权限一个用户可与被授予一个或多个角色 51 安全控制 清洗 匹配 信任 交叉参考 层次关系 流程管理 HubServer ServicesIntegrationFramework 消费层 分析应用 操作型应用 DataWarehouse BI DataDirector 业务系统 数据来源 管理层 应用逻辑层ApplicationServerOracleWebLogic IBMWebSphere jBossOperatingSystemsAIX HP UX Linux SUSE RedHat Solaris Windows 数据层RDBMS DI DQOracle9i 10g 11gDB2UDBPWC IDQOperatingSystemsAIX HP UX Linux Solaris Windows XML WebServices EJB 内部业务系统 外部数据来源 ETL SQL 相关企业 InformaticaMDM架构和平台支持 数据管理员 历史审计 集成服务 WS JMS SQL 协同办公 财务管理 综合管理 营销管理 人力资源管理 资产管理 主数据模型 元数据模型 中心数据库 系统管理 系统设计 数据管理 协同办公 财务管理 综合管理 营销管理 人力资源管理 资产管理 52 整合模式 不是绝对的四种模式 可以根据业务搭配和演进 SingleDomain customer MultipleDomains customer product vendors account location Recognize Recognize Resolve Relate Create 53 Registry 为查询应用构建主数据 视图 所以数据的新增 修改 删除都在业务系统完成从各业务系统抽取数据到MDM查询的时候根据匹配规则搜索相似记录为查询者生成 黄金记录 视图 但不合并相似记录因为MDM不进行数据 写 操作 所以没有数据回写到业务系统 王斌 男 1972 3 8 王彬 NA 19720308 王斌 男 1972 3 8 王斌 01 1972 8 3 王彬 男 1972 3 8 王斌 男 1972 3 8王彬 NA 19720308王斌 男 1972 3 8王斌 01 1972 8 3 查询 王彬 54 Consolidation 面向分析系统的单流向主数据整合 所以数据的新增 修改 删除都在业务系统完成从各业务系统抽取数据到MDMMDM根据规程清洗 查重 合并 生成 黄金记录 和映射关系主数据用于查询和数据仓库等分析型应用因为MDM不进行数据 写 操作 所以没有数据回写到业务系统 王斌 男 1972 3 8 王彬 NA 19720308 王斌 男 1972 3 8 王斌 01 1972 8 3 王彬 男 1972 3 8 王斌 男 1972 3 8王彬 NA 19720308王斌 男 1972 3 8王斌 01 1972 8 3 查询 王彬 Customer Contract Payment DW 55 Coexistence 主数据在业务系统与MDM中一致共存 业务系统和MDM都可以对主数据进行增 删 改 查等操作数据变化同步 通过抽取 服务 或者异步消息 到MDMMDM更新主数据 并将数据变化同步到其他业务系统或数据仓库 保持数据一致业务系统根据自身需求和特点 采用不同的方式处理从MDM同步过来的数据主数据用于查询和数据仓库等分析型应用 王斌 男 1972 3 8 王彬 NA 19720308 王斌 男 1972 3 8 王斌 01 1972 8 3 王彬 男 1972 3 8 王斌 男 1972 3 8王彬 NA 19720308王斌 男 1972 3 8王斌 01 1972 8 3 查询 王彬 Customer Contract Payment DW 修改 生日 王斌 男 1971 7 4 王斌 男 1971 7 4 王彬 男 1971 7 4 写入业务数据库 调用业务服务 写入映射表 56 Transactional 统一在MDM维护主数据 最严格的控制业务系统都通过MDM主数据进行增 删 改 查等所有操作只有MDM存放主数据变通的办法业务系统都通过MDM主数据进行增 删 改等维护操作 数据同步给需要的业务系统保留主数据的业务系统 可以查询自己的主数据 其他系统直接查询MDM 王彬 男 1972 3 8 王彬 男 1972 3 8 只有一份数据拷贝 通过MDM查询 王彬 Customer Contract Payment DW 修改 生日 王彬 男 1971 7 4 王彬 男 1971 7 4 同步给保留主数据的系统 王彬 男 1972 3 8 王彬 男 1971 7 4 在本地数据库查询 王彬 57 内容提要 从公司治理到主数据管理主数据平台解决方案Informatica案例分享 58 为全球多个行业的客户提供主数据解决方案 HighTech Health LifeSciences Banking Insurance Oil Gas Publishing Automotive Media CPG Manufacturing Business userFocused Aviation Agriculture WasteManagement Retail 59 国内案例1 XX集团主数据管理 面临的挑战和目标 挑战集团共性系统之间主数据管理彼此孤立不同系统的不同视角 导致数据一致性问题突出主数据共享困难 点对点传输是主数据问题更为突出组织架构主数据来源多 情况复杂目标制定XX集团主数据管理的策略制定XX集团主数据平台的技术标准和功能范围搭建XX集团组织主数据平台 60 整体架构 集团总部与SBU BU两级主数据平台 61 第一阶段 制定主数据管理规范 第二阶段 搭建集团组织主数据平台 项目启动准备 现状调研与分析 主数据管理规范 组织主数据技术与集成标准 组织主数据平台概要设计 组织主数据收集与清理 详细设计 配置开发 集成测试 单元测试 系统上线 运维支持 项目进展 用户培训 一期项目计划 62 集团共性系统 主数据源 InformaticaMDM平台 主数据管理 PowerCenterServer ETL 整体架构说明 OracleDatabase10 2 4 InformaticaDataQuality InformaticaMDMHub Informatica9 数据质量管理 主数据管理 主数据分析报告 数据质量报告 公司层次管理 SIS HFM FMS TMS TIS 6SCS HR 63 主数据展现 1 用户可以通过Informatica