电信元数据管理PPT课件.ppt

可编辑 电信元数据管理 版本V0 2 2008年3月石竹软件 1 可编辑 电信行业元数据管理解决方案 MetaOne功能介绍 元数据实施简介 目录 元数据建设与维护 2 可编辑 系统规划过程 业务分析过程 背景 系统运维过程 维护流程 系统开发 实现过程 知识保存介质 文档DOC EXCEL 语言 程序 逻辑设计图 ER图 知识间建立关系统一保存便于使用 3 可编辑 元数据对系统的价值 元数据的应该贯穿整个系统的生命周期规划 业务分析 设计 实现 维护 扩容 元数据协助企业的规划 设计 业务分析 落地 为IT系统系统开发提供指导 元数据提供IT实现过程的展示 在过程中消除系统 平台有关性 为规划 设计 业务提供可理解的反馈信息 元数据促进企业统计口径的一致 元数据促进企业流程的规范化 4 可编辑 10000号 元数据承载平台在系统中的应用 CRM ODS 数据质量管理 数据质量规则库 计费 渠道 报表 元数据管理系统 ODS DW ODS元数据 应用 业务分析 指标分析 主题分析 程序监控 指标监控 接口监控 知识反馈 变更分析 质量监控 信息地图 指标库 接口文件说明 业务模型业务规则 生产系统 其他生产系统 5 可编辑 元数据承载平台在项目中的应用 战略 业务 逻辑 物理 元数据承载平台METAONE 初始阶段 构建阶段 交付阶段 项目立项项目规划 项目管理项目统筹 项目移交后使用 需求收集 运营维护阶段 统一规范分析模型 系统设计 需求控制主动控制物理实现 运营维护 6 可编辑 元数据概念 元数据是什么 元数据即描述数据的数据在ODS系统中 如果认为ODS的报表 指标的内容都是数据 用来描述这些指标定义 业务口径 技术口径 关键字 指标数据来源 ETL程序处理过程的信息就是元数据 元数据 7 可编辑 元数据概念 元数据分类 面向运维技术人员数据结构和数据处理细节方面的技术化描述源系统接口规范数据仓库结构的描述数据集市定义描述分析数据处理过程的描述等信息 面向业务分析人员数据和处理规则的业务化描述业务规则业务术语指标业务口径信息分类 面向运维管理人员是对运维管理相关信息的描述管理流程人员职责工作内容分配描述 业务元数据 技术元数据 管理元数据 8 可编辑 元数据价值 对整个企业协助企业管理数据资产管理 形成统一信息地图 知识传承的平台 有助解决数据孤岛集中浏览分布在企业内部的所有电子文档 形成虚拟文档库建设企业范围的指标库 统一指标定义和管理对管理人员明确人员在系统维护中的职责 责任到人明确新需求所涉及到的人员和功能 帮助任务安排通过元数据发布流程管理 保证数据标准的权威性和可控性 9 可编辑 元数据价值 对业务人员提供业务数据 如指标 报表定义和统计口径 帮助理解和使用更好地维护业务数据之间的关系一致性增加对数据的信任度 通过血统分析 ETL映射分析对技术人员帮助系统建设1 提供跨平台跨工具软件的数据模型2 快速部署数据集3 可协助系统移植或扩容帮助系统维护1 降低维护成本 通过影响分析 掌握各程序 数据之间的关系和相互影响 更好地明确系统变更所涉及的范围 避免遗漏 2 帮助数据库管理 通过表重要程度分析 掌握使用率集中或及相对沉寂的库表 帮助库表的重点监控 数据迁移及清理 10 可编辑 处理特性的根本不同大量的历史数据跨部门数据集成和使用业务人员直接使用数据 元数据在电信ODS DW系统的重要性 提高数据质量 11 可编辑 电信行业元数据系统建设目标 总目标 实现企业级数据资产的统一视图 支持有效的数据资源管理建设数据质量管理体系中符合CWM标准的元数据管理平台 为全网ODS DW数据质量管理体系的建设 扩充和数据交换打下基础 为数据质量管理提供支撑完善企业ODS DW系统基础设施 为数据仓库开发和管理奠定基础 具体目标 保证数据描述的准确性 一致性 端到端管理提供业务处理的统一解释 提高数据可信性支持数据校验 清理 提高数据质量展示数据和处理的相关性 提高系统运行可靠性 12 可编辑 目录 电信行业元数据管理解决方案 元数据基本概念 元数据实施简介 元数据建设与维护 13 可编辑 MetaOne元数据产品定位 企业级元数据管理 元数据的承载平台 为其他需要元数据信息的产品 应用提供支撑和服务 14 可编辑 MetaOne环境描述 15 可编辑 产品关键特性 一 第三方产品完全独立 第三方产品 定位于企业级元数据管理全中文支持目前国内支持全中文内核 唯一成熟的元数据管理产品同时适用于各种用户元模型可完全扩展支持CWM规范 可完全扩展 适应企业中长期发展需要端到端的元数据管理提供企业级元数据统一视图 提供了清晰定义和分析跟踪业务运作历史数据的实际可行的解决方案 16 可编辑 产品关键特性 二 主流开放性100 JAVA J2EE模式构建 基于Web瘦客户端架构 元数据存储于主流关系型数据库 能识别和产生符合CWM国际规范的XML文件 提供开放的调用接口 易于扩展和应用集成强大的分析功能图形化分析 多种分析功能 如血统分析可快速追溯数据来源和加工过程 影响分析可掌握元数据之间的相互影响元数据自动获取支持主流BI工具软件如DB2 Oracle Teradata DB2OLAP EssbaseOLAP PowerCenter Erwin等 并持续推出更多工具软件接口系统整合系统可独立运行 并可与其他系统如经分系统无缝整合及双向交互 17 可编辑 产品优势 在国内拥有最多元数据实施的成功案例 如上海电信 安徽电信 吉林移动 广东移动 中国银行等可快速部署元数据管理系统 并支持元数据范围的不断扩展提供预定义元模型目前国内唯一支持全中文内核的元数据产品 同时适用于管理人员 技术人员 业务人员是完全独立的第三方元数据产品 不依附于任何工具软件 开放 通用 支持主流BI工具软件开放式元数据存储库 采用主流关系型数据库 以面向对象的方式构建存储模式 易于管理和扩展提供完善的元数据发布流程管理 把元数据变更纳入流程监控 使之更具权威性和可控性提供完善的元数据版本管理 便于追踪元数据变更 18 可编辑 产品逻辑结构 元数据自动获取 DB2 Oracle Teradata Powercenter DB2OLAP ESSBASEOLAP Erwin 元数据批量导入 XLS格式 XMI格式元数据手工维护 界面操作 应用处理层 系统应用逻辑控制 提供元数据的永久存储 元模型控制等功能 支持以主流关系型数据库作为存储库 以面向对象的方式构建存储模式 易于管理和扩展 元数据展现 以Web方式展现元数据 能够让用户随时随地的访问元数据 图形方式的展现能以更易于理解的形式表现元数据的内容和依赖关系 19 可编辑 产品物理架构 20 可编辑 元数据管理标准 CWM体系结构 UML描述各种元数据模型MOF MetaObjectFacility 提供操纵元数据的接口XMI XMLMetadataInterchange 提供元数据交换的机制 21 可编辑 产品遵循的元数据与元模型规范 遵循标准化 国际化的CWM模型 CommonWarehouseMetamodel元模型可完全扩展 主流开放性 100 JAVA 22 可编辑 CarnationMetaOne成功案例 已成功实施上海电信 安徽电信 吉林移动 四川移动 浙江移动 广东移动 中国银行等元数据管理系统近期多个移动公司将基于CarnationMetaOne实施元数据管理CarnationMetaOne是目前唯一可快速部署 全中文的成熟的元数据管理产品 满足企业业务要求 适应企业中长期发展需要 23 可编辑 产品主界面 基于Web的浏览器方式 操作界面简洁美观 便于操作界面可更换皮肤 便于适应用户的各种需要 24 可编辑 主要应用及分析功能 主要应用元数据全文检索业务流程管理的应用需求变更影响评估维表变更评估企业指标库API接口元数据分析图形血统分析表重要程度和无关程度分析图形映射分析差异分析 25 可编辑 元数据全文检索 帮助用户在企业级海量信息库中快速检索并准确定位信息项帮助用户解决 有哪些信息 这些信息在哪里 的问题 26 可编辑 业务流程管理的应用 图形化维护需求业务流程元数据的相互关系 27 可编辑 需求变更影响评估 需求变更影响评估应用主要利用元数据支撑功能 对经营分析维护开发过程提供需求变更评估方面的IT化支撑 减少对人的依赖 在提高需求变更评估效率的基础上 使需求变更的影响评估更全面可靠 需求变更影响评估应用应满足以下要求 关联实体影响评估 受影响实体关联处理过程评估 维表变更影响评估 灵活展现 影响评估报告 28 可编辑 需求变更影响评估画面演示 关联实体影响评估 受影响实体关联处理过程评估 维表变更影响评估 29 可编辑 维表变更评估 维表变更影响评估 30 可编辑 企业指标库 指标搜索 检索并定位指标 可找出名称相似的指标做进一步分析 31 可编辑 元数据应用包 指标库管理 通过指标库管理 管理ODS DW系统乃至整个企业的指标库信息 统一企业的指标定义和作用 并可根据需要扩充指标元模型 对指标库进行相应维护可浏览指标的基本信息 清楚了解每个指标的业务口径 技术口径等基本属性 可对指标进行血统分析 影响分析可以业务人员能理解的格式 批量导入指标元数据 可批量导出指标 便于指标信息在企业范围内的分发可链接到ODS DW系统查看指标报表数据 32 可编辑 API接口 提供强大的API接口 用户可以基于元数据开发各种应用灵活强大的API为用户自定义应用提供基础其方向可能包括但不仅限于 数据质量 流程管理 元数据分析 元数据获取 元数据使用 元数据图形分析 33 可编辑 元数据应用包 系统整合 可方便地与其他系统整合 如ODS DW系统 实现双向交互在不改变ODS DW系统用户操作习惯的情况下 使用户很方便地获得元数据的服务 如搜索报表 指标 查看定义 了解统计口径及数据来源 加工过程 相互影响 帮助理解ODS DW系统所提供的数据 促进经分系统的推广使用 点击可以查看该指标的元数据具体信息 34 可编辑 元数据分析 多种元数据分析功能 有效帮助用户了解企业的统一数据视图 解决 数据从哪里来 怎么来 相互之间有什么影响 它们有何不同 等等问题如血统分析 影响分析 映射分析 拓扑图分析 表外键关系分析 ER图形展现 表重要程度分析 表无关程度分析 元数据差异分析等 血统分析 影响分析 映射分析 35 可编辑 元数据分析 图形血统分析 血统分析 查看数据从哪里来 即数据的加工过程 了解数据的来龙去脉 如某个指标是否来自详单数据增加用户对数据的信任度 更好地使用数据 如KPI指标 36 可编辑 元数据分析 图形影响分析 影响分析 预览元数据对全局的影响 有助于执行变更前充分评估 及与相关人员事前沟通如接口文件 库表 Tcl程序 报表 指标等对其他数据或程序的影响 37 可编辑 元数据分析 图形映射分析 映射分析 查看ETL程序内部的映射关系 了解数据加工过程的细节帮助技术人员了解数据处理过程涉及到哪些对象 数据转换是否正确帮助业务人员了解数据如何来的细节 进一步增强对经ETL处理而来的指标 报表数据的信任度 38 可编辑 元数据分析 表重要程度和无关程度分析 表重要程度分析 按数据库表被使用的情况分析其重要程度 如果一个表在越多地方被使用到 则可以认为它越重要 为数据库管理提供参考表无关程度分析与表重要程度分析对应 被使用的越少的表 其无关程度 独立性 越高 为数据库管理提供参考 39 可编辑 元数据分析 差异分析 可比较任意两组元数据之间的属性值差异 如分析两个库的库表差异 两个部门的指标差异等提供对元数据按名称自动匹配的功能 并可人工调整显示详细的差异分析结果 并可根据实际情况人工调整差异分析结果可导出为XLS格式的差异分析报告 便于分析和报告 40 可编辑 元数据应用包 人员管理及任务分析 整理整个企业的IT系统维护组如经分项目组的各人员信息 方便理清组内的各人员负责的内容 便于工作协调和交接 41 可编辑 元数据应用包 主机拓扑信息维护及分析 管理整个企业IT环境的各服务器的相关信息 方便系统维护和管理 42 可编辑 元数据应用包 ETL日志查询与分析 分析ODS DW库表的抽取 装载情况 帮助快速定位处理异常的库表配合库表的影响分析 为指标和报表数据的可信度提供依据 协助提高数据质量 43 可编辑 电信行业元数据管理解决方案 MetaOne功能介绍 元数据实施简介 目录 元数据管理与维护 44 可编辑 元数据管理与维护 元数据的管理与维护是元数据系统建设成败的关键元数据的应该贯穿整个系统的生命周期设计 开发 测试 维护 扩容 元数据促进系统建设的规范化 流程化 制度化建设 45 可编辑 维护与管理 MO的元数据维护机制技术元数据的维护业务元数据的维护管理元数据的维护元模型的管理元数据导入 导出MO系统管理版本管理用户权限 46 可编辑 MO的元数据维护机制 元数据自动获取支持主流BI工具软件如DB2 Oracle Teradata DB2OLAP EssbaseOLAP PowerCenter Erwin等 并持续推出更多工具软件接口程序元数据设计流程 ETL MAPPING开发流程 元标注采用MO进行设计 采用MO API自行开发接口 47 可编辑 元模型管理 元模型支持CWM规范 并可完全扩展 适应企业中长期发展需要 48 可编辑 元数据管理 元数据树型结构展现 反映元数据内部的体系架构权限控制可具体到单个元数据 便于有控制地进行信息共享 49 可编辑 元数据维护 图形化关系维护 梳理分散于企业各系统 各部门 各数据层面 各工具软件元数据之间的关系 形成企业级完整的数据流图图形化拖拉方式维护元数据之间的关系 操作方便直观 易于维护和浏览 50 可编辑 ETLMapping映射文档解析 ETLMapping映射文档解析元标注文档解析 表对象级转换过程维护 51 可编辑 元数据维护 图形化ETL程序映射关系维护 表对象级转换过程维护 ETL是经营分析系统的核心命脉 直接关系着数据质量的好坏图形化维护ETL程序内部映射关系 梳理ETL过程中表级或字段级的数据处理过程 字段级转换过程维护 52 可编