Inatica+SuperGlue+元数据管理平台.ppt

1、企业级元数据管理SuperGlue,中国区高级技术顾问 姜炜,元数据简介,2,元数据(Metadata) 定义,元数据是描述数据的数据(Data about Data)。 可理解为比一般意义的数据范畴更加广泛的数据，不再仅仅表示数据的类型、名称、值等信息，进一步提供了数据的上下文描述信息，比如数据的所属域、取值范围、数据间的关系、业务规则，甚至是数据的来源。 在分析型项目中，元数据可以帮助DW管理员和DW开发人员非常方便地找到他们所关心的数据 元数据是描述分析型应用内数据的结构、建立方法及流程的数据，可将其按用途的不同分为两类：技术元数据（Technical Metadata）和业务元数据（B

2、usiness Metadata）。,这些问题真是头痛,已存在系统，有哪些关键业务数据？ 关键业务数据在不同系统的业务定义？ 同一实体在不同系统中的命名规则及其他属性一致？ 同一实体与本系统或其他系统对象是否存在依赖关系？ 具体的依赖关系描述是怎么样的？ 实体所有者是谁？谁作过修改或变更？ 一旦对象定义发生变化，其他开发团队会不会有影响？ 老板问，这张报表A指标值怎么算出来的？原始数据从哪得到的？ 公司要上市，要审计公司信息化建设的健康程度，以什么为依据？总不能给人家看像山一样高的word或excel 文档吧？ 许多政策法规范要求数据透明（例如美国的萨班斯-奥克斯莱法案）以及专业行业协会（例如

3、监督环境保护、食品与药物安全、劳动行为以及运输安全的行业协会） ,元数据的使命,是企业智能化信息建设的DNA 提供一份数据定义和元素的详细示意图, 有利于发现冗余的定义和元素 企业元数据标准: 减少数据冗余性,增加数据共享,使应用开发过程更有效费用更低、避免异构结构定义、提高不同工具之间定义的重复利用率 帮助用户理解数据来龙去脉、关系及相关属性 企业集成所必需的:：参照性、引用性、血缘分析、影响分析、变化分析。 质量审计 ： 血缘分析 支持需求变化 ： 变更报告 状态元数据有利于增强企业运营效率、规避错误及风险,有一点是不变的: 利用数据解决企业问题的能力,仍然是企业赢利和取胜的关键,有用的数

4、据在哪里：好像在沙滩上寻找一粒沙子 答案：元数据,元数据现状,各自为战，所遵循的标准各异。,元数据标准化的意义,在形成标准以前，要进行集成的情况如下图所示：,数据建模工具,抽取与转换 工具,前端访问工具,数据质量评估工具,元数据标准化的意义,在形成标准以后的情况如下图所示：,元数据标准,9,元数据(Metadata) 标准化,OMG (Object Management Group)是一个拥有500多会员的国际标准化组织，著名的CORBA标准即出自该组织。 公共仓库元模型（Common Warehouse Metamodel）的主要目的是在异构环境下，帮助不同的数据仓库工具、平台和元数据知识库

5、进行元数据交换。,CWM元模型的包结构,市场评价,12,Intelligent Enterprise2005 Readers Choice Awards,Informatica SuperGlue (Metadata Manager MM),14,企业现状,数据丰富、知识匮乏 多种工具产生多种元数据 快速实施DW或分析型项目都会陷入元数据困境 数据/定义 重复、冗余、不一致 企业整体利用数据受到质疑,仔细听听这两个声音： 两种产品间元数据的同步很难。要想在用于建立、运行和访问数据仓库所需的六种工具间进行元数据同步几乎是不可想象的。但对于流畅、强大、高效率的数据仓库操作来说，要么同步，要么放弃

6、我们实际需要的是能够由所有工具访问的专一而全面的元数据源，这些工具不但包含专为数据仓库服务的工具，也包含为其它IS功能服务而购买的工具。总之，一个元数据源，就没有同步问题了,Informatica SuperGlue 体系结构,Sources,Targets,Business Intelligence,Metadata,Metadata,Metadata,Custom Metadata,Data Modeling,Metadata,SuperGlue,Metadata,Informatica SuperGlue 元数据管理流程,Presentation Server,XConnect,Info

7、rmatica SuperGlue 采集元数据界面,SuperGlue 特性,内嵌的数据整合引擎,可扩展的Web-Based体系结构,私有目录,直观的分析和报表,智能数据体系,私有元数据目录 (如A的IT）,跨系统、跨项目通用搜索 考究的 knowledgebase角色, 系统, 基于流程的视图,智能数据体系 提供了审计索引的功能,功能丰富的 可视化图形化回溯信息直到数据源 精确的、最新的元数据模型驱动 当数据源改变时关联信息被刷新,直观的分析和报表功能近在咫尺的洞察力,“信息供应链”的全面质量管理数据质量, 使用,冲突分析, 冗余分析 仪表盘驱动 监控和信息公告,元数据整合,XConnect

8、s,SDK,内嵌的数据整合引擎访问到任何位置、任何元数据,任何数据源元数据 知识库,平面文件, 关系型数据库, 应用程序,XML, CWM-XMI 易于使用完全可视化的开发 环境用于元数据整合,?,DBMS,EAI,MS Office,ERP,CASE,BI,ETL,Flat Files,XML,Others,List List Automatic 4. List,可扩展的Web-Based体系结构灵活的开发和部署,百分之百基于WebJ2EE兼容平台 内嵌的私有化设置对象和功能层次的许可 可扩展性任何信息, 任何关联, 任何元数据模型(基于OMG MOF协议) 友好的入口Web服务, 完全SD

9、K 没有隐藏的议程 开放的关系型数据库, 操作系统,服务器支持,XXX元数据管理系统 Informatica SuperGlue,25,元数据体系结构,个性化的仪表盘,不同用户的个性化仪表盘 报警提示 数据集成运营报表 影响分析 差异分析 信息公告 ,Cobol 样本文件,方法一:利用PowerCenter Designer 导入Cobol 结构,方法二:利用SuperGlue 的自定义元模型内置了基于CWM的COBOL类,集成Oracle ,Erwin, PowerCenter等多种工具的元数据PowerCenter 内Cobol 结构的显示,业务元数据 基本定义,对象版本控制 反应历史变化

10、,业务元数据 基本定义,元数据血缘分析 跨工具,计算表达式,数据源,数据整合过程,SuperGlue 内置元数据同步引擎定期或不定期地更新数据项的具体内容,可手工或调度执行元数据同步任务,高安全性,可增删: 用户、组、角色，并赋予不同权限,SuerGlue: 强大的元数据影响分析,SuperGlue: 跨工具元数据血缘分析表级、字段级,验证数据流程及中间转换过程,验证月收入字段,向后血统,向前血统,SuperGlue友好界面,完全Web 式访问 树状导航 跨工具 操作简单 个性化的仪表盘 ,SuperGlue : 用户登录日志,SuperGlue: 用户活动日志,SuperGlue: 可设定日

11、志级别,SuperGlue: 元数据模糊查询,SuperGlue: 集成了百张信息统计报表,Informatica SuperGlue 成功案例,45,Thrivent Financial,挑战: 跨数据仓库多个过程的影响分析 多个应用基础架构的管理 所有手工的过程, Excel文件 解决方案: 环境: PowerCenter, PowerAnalyzer on AIX, ER Studio SuperGlue 元数据目录,搜索, 血缘分析和影响分析 收益: 能够实现以前所不能作到的多种分析 帮助决定数据仓库的成本及基础架构 变更分析，可及时传播到各个团队,Hewlett-PackardDat

12、a Insight,挑战: 多个不同数据源中，存在不准确的、矛盾的数据 不能跨系统的识别和找到相关内容 解决方案: 环境: PowerCenter, Oracle, SQL Server; Erwin, Rational Rose, Business Objects, custom SuperGlue 元数据目录, 搜索, 血缘分析 和影响分析 收益: 提高数据的准确性和一致性 提高了针对数据起源、数据流程及数据目录的认识程度 减少运营报告的周期 提高已存在数据元素的可重用性和标准化程度,Waste Management自动元数据的采集,挑战: 不能实现自动的源和目标数据源的元数据采集 要为报表和信息系统提供准确、及时的元数据定义 要提高ETL过程的可见度 解决方案: 环境: Oracle 9i, PowerCenter 7.x, IBM AIX, DB2 on AS400, Erwin, PowerAnalyzer SuperGlue 元数据目录, 搜索, 血缘分析 和影响分析 收益: : 高效的自动元数据采集 为业务用户提供服务层次 提高数据仓库中数据处理过程的可见度 增强运营的技术元数据：转换、计算、运行时间、加载数据量等,Abbott Labs跨系统的影响分析,挑战: 手工管理元数