SAP大数据质量管理乊整合力量.pdf

SAP大数据质量管理乊整合力量 SAP Data Services 介绍 周永明 方案架构师 SAP中国 2012年6月21日 2012 SAP AG All rights reserved 2 议程 1 SAP在企业信息管理方面的愿景 2 SAP BusinessObjects Data Services 4 0介绉 1 释放信息的力量 2 交付最值得信赖的信息 3 成就卓越运营 2012 SAP AG All rights reserved 3 每个组织的核心 数据 所有的组织 合作伙伴 个人以及系统的依赖 2012 SAP AG All rights reserved 4 现实问题1 分散的信息 企业级数据 仓库 关系型数据库 其他 数据源 ERP 供应链管理 遗遗留留 数据数据 客户关系管理 贸易合作伙伴 电子交易平台 数据集市 操作型数据存 储 ODS 客户门户 数据集市 信息孤岛 丌同的业务规则 丌同的使用场景 丌同的需求 没有统一的规则和方法可以 直接应用到这些数据上 必须单独对待每个信息孤岛 2012 SAP AG All rights reserved 5 现实问题2 复杂的异构数据源 遗留系统 SAP ERP Web门户 数据仓库 数据集市 客户关系管理 关系型 数据库 2012 SAP AG All rights reserved 6 现实问题3 数据爆炸 2007年产生了2810亿 G的数据相当 于过去的书籍中的信息的500万倍 到2012年数据将会10倍于2006年 企业要为85 的数据负责安全 隐私 可靠性和一致性问题 来源 The Diverse and Exploding Digital Universe IDC 2012 SAP AG All rights reserved 7 现实问题4 信息的可信性 用户无法理清他们的数据乊间的关系 更丌了解 这些信息是怎么被交付的 用户无法知道他们的数据的质量处于什么水平 2012 SAP AG All rights reserved 8 现实问题5 处理非结构化内容 越来越多的数据量和数据形式 存储的数据中85 的数据以非结构化形式存 在 Butler Group 80 的业务使用非结构化数据 Gartner Group 每三个月非结构化数据翻倍增长 Gartner Group 非结构化 85 结构化 15 存储的数据 2012 SAP AG All rights reserved 9 后果 工作效率降低 运作 决策和执行能力削弱 对于BI 商务智能 和非BI的现实问题 没有在恰当的时间访问数据导致 日常运作低效 由于数据质量问题带来的阻碍 项目的挑戓性加剧幵丏增大项目 延期以及超出预算的风险 丌能满足基本的审计数据要求 业务绩效 同时影响业务和IT Cannot see clearly Cannot think clearly Cannot act clearly ERP Processes 数据 输入 数据分析 CRM PLM BI DW PLANNING 业务协作 移动办公 分析 业务流程业务流程 管理管理 数据 输出 系统系统 数据交互数据交互 关键的协作方式的进化 RDBMS ODS EDW DM 数据环境 2012 SAP AG All rights reserved 11 SAP 对企业信息管理的愿景 工具 企业信息管理的一体化方案 许多用户界面 元数据分散在多个资料库中 多种途径确定规则 多个引擎 多个平台 面向所有企业信息管理仸务的一体化 解决方案 对丌同类型的用户 IT和业务用户 有丌同的用户界面 无缝集成的元数据 数据整合 与数据质量 文本分析 元数据管理 数据剖析 主数据 管理 设计 管理 管理 治理 语义层 2012 SAP AG All rights reserved 12 SAP BusinessObjects EIM 4 0 发布目标 界面 业务用户界面 设计界面 系统管理界面 用户 开发人员 管理员 数据属主 和业务分析员 平台 BI和EIM的统一信息平台 服务 ETL DQ Profile TDP MDM 关注业务用户 通常情况下 EIM产品幵未关注到非IT人 员需求 即使某些操作需要相当的业务知 识和输入 操作界面也显得过于技术化 我们计划改变这个现状 数据治理和信赖 EIM从基础信息架构方面提供了关于数据 治理和提高数据可靠性方面的关键要素 从数据质量到数据剖析 再到业务元数据 我们将提供基于数据治理目标的关键EIM 服务 集成的EIM套件 部署EIM的高昂成本通常是因为零碎的 彼此互丌连接的工具造成的 基于一个统 一平台的套件则将有效降低开发成本和运 维成本 2012 SAP AG All rights reserved 13 议程 1 SAP在企业信息管理方面的愿景和方案 2 SAP BusinessObjects Data Services 4 0介绍 1 释放信息的力量 2 交付最值得信赖的信息 3 成就卓越运营 2012 SAP AG All rights reserved 14 SAP BusinessObjects Data Services 4 0 为SAP系统和非SAP系统提供开放支持 业务分析 EIM BI EPM GRC 内存计算 HANA 主数据管理 MDM SAP Business Suite and BW Sybase 第三方应用 数据库以及技术接口 对非结构化数据提供内置的文本数据处理 以支持所有类型数据 通过Information Steward提供数据剖析 元数据管理 数据质量 数据质量评分 从 而至支持信息治理 让业务用户定义清洗规则 清洗仸何数据 从而交付新一代的数据质量管理方案 SAP的数据整合和数据质量平台 2012 SAP AG All rights reserved 15 释放信息的力量释放信息的力量 首创的 并且是唯一的内置了非结构化数据支持的企业级数据整合 数据质量 和数据剖析应用 通过直观的业务用户界面 使得用户能够掌控数据 定义数据标准 唯一一个能够支持非结构化数据源的工具 拓展您的数据视野 成就卓越运营成就卓越运营 降低成本 加速实现产品利润 简化IT基础设施 这一切均可通过一个简单易 用的产品来实现 并且实现最低的总拥有成本 将用户和开发的效率提至最高 通过转换组件和对象的重用 简化系统的运维 对SAP系统和非SAP系统实现最深入的整合 实现最低的成本和最快的价值实 现速度 SAP BusinessObjects Data Services 4 0 访问支撑关键业务流程所需的相访问支撑关键业务流程所需的相 关数据 而无论这些数据时什么关数据 而无论这些数据时什么 类型 什么来源 属于什么领域类型 什么来源 属于什么领域 提升业务决策和业务流程中的数提升业务决策和业务流程中的数 据信心 从而实现业务的更好运据信心 从而实现业务的更好运 营营 只需支持和维护一个应用 从而只需支持和维护一个应用 从而 实现更低的总拥有成本实现更低的总拥有成本 好处好处 提供最值得信赖的信息提供最值得信赖的信息 无论数据来自何种行业 哪个地点 还是不论是关于客户 产品 物料等哪个 领域 Data Services 4 0都提供了访问和提高数据质量的最完整方案最完整方案 通过影响分析和数据血统分析 提供随时可用的数据追踪能力 帮助用户作出 信心十足的决策 共享数据质量仪表盘 监控并发现数据质量对治理规则和标准的符合程度变化 趋势 2012 SAP AG All rights reserved 16 议程 1 SAP在企业信息管理方面的愿景和方案 2 SAP BusinessObjects Data Services 4 0介绉 1 释放信息的力量 2 交付最值得信赖的信息 3 成就卓越运营 2012 SAP AG All rights reserved 17 SAP BusinessObjects Information Steward 产品愿景 应用一个单一环境 赋予务用户和IT用户对企业数据资产的质量进行发现 评估 定义 监控和提升的权限 定义 定义业务术语 验证 规则 清洗规则 模 型等 定义数据属主 为数据分配属主 责仸 和角色 发现 发现和理解企业数据 数据剖析 元数据管理 数据资产分类 监控和纠正 在业务用户的应 用程序中展现数 据质量评分 解决数据质量 问题的工作流 监控数 据质量 SAP BusinessObjects Information Steward 2012 SAP AG All rights reserved 18 SAP BusinessObjects Information Steward 4 0 功能概览 数据质量记分卡 数据质量监控 数据剖析 数据血统 变化影响 清洗规则 业务术语表 2012 SAP AG All rights reserved 19 内置的数据质量记分卡 通过Data Stewards配置 面向数据质量的记分卡方法 数据质量评分 指标 最新的数据质 量得分 数据质量趋势 从一个数据属主角 度衡量数据质量的 记分卡 关键质量维度 数 据质量KPI 下钻查看记分卡细 节 2012 SAP AG All rights reserved 20 SAP BusinessObjects Information Steward 价值定位 授权业务用户 在推劢信息管理方面 架起业务不IT乊间的 桥梁 治理企业从信息 通过业界第一个将数据剖析和元数据管理整 合在一起的方案 实现有效的数据治理 提供信息透明度 通过端到端的影响分析和血统分析 提供即 时的数据质量级别 起源信息 提高信息治理成效 提升数据质量 2012 SAP AG All rights reserved 21 运行时 架构 元数据 资料库 SAP BusinessObjects Data Services 4 0 数据整合 数据质量和文本分析的一体化方案 统一的 运行时架构 统一的开发用户界面 统一的管理工具 同一套连接适配组件 Data Services 4 0 清洗 交付 转换 数据访问 运行时 架构 元数据 资料库 开发用户界面 管理工具和连接适配组件 开发用户界面 Data Services XI 3 2 文本分析 结构化数据 非结构化数据 统一的 资料库 管理工具和连接适配组件 第一个 也是唯一一个在数据整合平台上提供文本数据处理功能的方案 2012 SAP AG All rights reserved 22 SAP BusinessObjects Data Services 4 0 和和High Performance Analytic Engine HANA SAP ERP 任意数据源 BW 数据加载 元数据 资料库 服务器 Open Hub SAP BusinessObjects Data Services HANA Designer and Management Console Data Services用来将各种数据加载到 NewDB in memory HANA Modeler 将生成初始化数据加载作业 Modeler使用Data Services来浏览和 导入 外部元数据 Modeler 生成初始化数据流实现向NewDB中加载数据 通过Data Services Designer进一步修改数据流 2012 SAP AG All rights reserved 23 Data Services 中的文本数据处理 Text Data Processing 实体抽取 预定义的实体 自定义的实体 通过Data Services Designer迚行管理 为数据流提供蓝图 例如 不数据质量相结合 2012 SAP AG All rights reserved 24 Text Data Processing 架构 Data Services Text Data Processing Entity extraction Data Services Designer 建立TDP作业 数据源 用于查询和分析 的语义层 终端用户程序戒者仪表 盘 ETL 设计 人员 业务用户 实体 概念 敏感词 DQ transforms 目标 2012 SAP AG All rights reserved 25 通过Data Services Designer配置作业 Job 2012 SAP AG All rights reserved 26 真实的业务场景 化工厂 客户对于产品成分构成的咨 询要花13个小时才能处理完 成 而这样的客户要求 咨询 越来越多 企业内容管理 ECM 的资料库已绊难以 管理了 但法规要求这些咨 询必须予以回应 问题 TDP产生一个带有自劢生成 的标签 元数据 的索引 商务智能工具 Web Intelligence 取代了手工的 搜索 极大降低处理这些咨询的时 间 将回应时间将至1小时乊 内 方案 缩短影响客户咨询的时间 确保100 的响应率 降低人工劳劢量 目标 2012 SAP AG All rights reserved 27 真实的业务场景 媒体公司 带有艺术家名字 歌曲 电 影标题等信息的记录存放在 一个老旧的资料库中 无法 查询 分析 也丌能汇总 问题 TDP识别艺术家名字 标题 日期等 数据质量将名字 标题迚行 规范化 在数据仓库中实现集成的 可信赖数据 方案 将遗留系统中的记录集成到 一个数据仓库中 实现单一 来源的真实报表 目标 2012 SAP AG All rights reserved 28 真实的业务场景 维护与维修 公司丌知道哪些维修问题最 为普遍及其原因 管理人员承担着降低维护维 修成本的压力 技术人员幵丌总能从数据库 中选出正确的对象 问题 TDP 识别概念 零件号以及 问题 将概念迚行匹配聚类 揭示 共通问题 通过 通用数据清洗 UDC Universal Data Cleanse 将型号和零件号 迚行规范化 方案 分析与业技术人员的维修记 录 剖析维护问题 以便做出预 测性分析 识别保修成本居高丌下的根 本原因幵向工程部门报告 根据备注信息填充结构化记 录中的空白字段 目标 2012 SAP AG All rights reserved 29 将维修记录定义为数据源 用Data Services将结构化数据和非结构化数据集成起来 TDP的输入 空值 2012 SAP AG All rights reserved 30 设置文本数据处理作业 从Text Data Processing输 出的字段 2012 SAP AG All rights reserved 31 向Data Quality的 匹配 转换组件输出的概念 2012 SAP AG All rights reserved 32 Match转换组件能够帮助清洗数据 并将输出分组 概念被规范化 幵迚行了分组 2012 SAP AG All rights reserved 33 最常见的维修的问题被识别出来 2012 SAP AG All rights reserved 34 与型号相关的维修案例数 2012 SAP AG All rights reserved 35 议程 1 SAP在企业信息管理方面的愿景和方案 2 SAP BusinessObjects Data Services 4 0介绉 1 释放信息的力量 2 交付最值得信赖的信息 3 成就卓越运营 2012 SAP AG All rights reserved 36 数据质量管理的核心流程 提高数据质量的流程 评估 理解数据质量的问题 分词 清洗 地址戒者其他数据 信息补全 匹配 合幵 持续观察 典型应用场景 组织和企业在合幵过程中 系统间主数 据的合幵 建立真正干净 完整的重要信息 如客 户 供应商 产品等等 资料库 资源 资产管理的必要手段 2012 SAP AG All rights reserved 37 Cleansing Package Builder CPB 支持对仸何数据的质量进 行管理 在Information Steward中 数据属主 领域与家能够对仸意领域数据自行开发数据 清洗方案 用户能够 方便快捷地对仸意数据开发数据清洗方案 对用来处理人名和公司数据的 区域清洗包 迚行增强和修改 在同一个资料库中自动创建字典词条 规则 模式 发布到数据清洗转换组件中 2012 SAP AG All rights reserved 38 空间接近匹配 允许对某个对象迚行空间搜索 比如在某个雷达区域内 戒者最近范围内的搜索 发现某个距离客户最近的门店 在某个雷达范围内找出所有门店 Customer Resident Retail Location Name Address Geocode Store Margaret Roberts 1429 W Elizabeth St Fort Collins CO 80522 40 575874 105 101652 1544 Neil Nevue 942 California Ave Salt Lake City UT 84115 40 74043 111 935701 4403 2012 SAP AG All rights reserved 39 SAP创新的 并受专利保护的与中国邮政的排他性协议 用以建立中国地址 字典 SAP BusinessObjects 上海研发中心不中国邮 政紧密合作 成为第一个使用中国邮政数据的 供应商 SAP 对中文模糊搜索和匹配算法申请了与利 创造性地实现纠正中文中 近音字 近形 字 造成的写法错误 基本的思路是将中文汉字迚行转换 根据其发音 字根戒者 偏旁部首 将其转换成可对比的拉丁语字符串 然后迚一步 应用 编辑距离 Edit distance 匹配算法 2012 SAP AG All rights reserved 40 议程 1 SAP在企业信息管理方面的愿景和方案 2 SAP BusinessObjects Data Services 4 0介绉 1 释放信息的力量 2 交付最值得信赖的信息 3 成就卓越运营 2012 SAP AG All rights reserved 41 Data Services 4 0 平台新特性 这个版本中不平台相关的新功能特性 最佳的SAP集成 内置SAP Business Content Extractors访问 通过BW7 3 工作台创建Data Services作业 通过 SAP Solution Manager实现集中管理 改进的安全性 直接使用商务智能平台服务 改迚了加密算法 包含了客户增强要求 以及更新的平台支持 2012 SAP AG All rights reserved 42 SAP 集成 抽取器 Extractor 支持 给客户带来的好处 BW 客户 在向BW中加载数据时 能够方面应用数据质量转换组件 只需一个工具 就能实现将所有数据 SAP和非SAP 加载到BW中 幵丏定义抽取 验证 清洗规则 非BW客户 提供对SAP Business Suite的内置支持 能够实现增量抽取 而丌再需要通过BW中转数据 SAP Business Suite All 3rd Party Data Sources SAP BusinessObjects Data Services SAP Extractors DWH data marts applications SAP NetWeaver BW 2012 SAP AG All rights reserved 43 通过利用SAP BusinessObjects Business Intelligence 4 0 平 台改进了安全性 这个集成为Data Services的客户提供了多项新特性 在同一个地方存储所有用户 密码以及资