MetaOne产品白皮书.pdf

Carnation MetaOne 元数据管理产品白皮书元数据管理产品白皮书 石竹软件有限公司石竹软件有限公司 Carnation MetaOne 元数据管理产品白皮书 石竹软件有限公司 电话1/20 目目 录录 1. Carnation MetaOne元数据管理产品元数据管理产品 . 2 1.1 产品优势. 2 2. 产品体系结构概述产品体系结构概述 4 2.1 体系结构特点. 4 2.2 实现技术. 6 3. 产品特性产品特性 9 4. 产品功能简介产品功能简介 12 4.1 功能概述. 12 4.2 元模型管理. 12 4.3 元数据版本管理. 12 4.4 血统分析. 13 4.5 影响分析. 13 4.6 映射分析. 13 4.7 主机拓扑图. 13 4.8 ETL日志分析 14 4.9 人员管理. 14 4.10 表重要程度分析. 14 4.11 元数据差异分析. 14 4.12 元数据全文检索. 15 5. 国内客户成功案例国内客户成功案例 16 5.1 吉林移动元数据管理系统. 16 5.2 四川移动元数据管理系统. 17 5.3 中国银行元数据管理系统. 18 6. 石竹软件的优势石竹软件的优势 20 Carnation MetaOne 元数据管理产品白皮书 石竹软件有限公司 电话2/20 1. Carnation Carnation MetaOne 元数据管理产品MetaOne 元数据管理产品 MetaOne 是石竹软件基于多年与国外知名的元数据厂商合作的基础上研发的 业界领先的通用的企业级元数据管理产品，在国内拥有最多元数据管理方面的 成功案例。它是第三方的元数据产品，适应企业复杂的 IT 异构环境；是目前支 持全中文内核的唯一成熟产品；支持 CWM 规范，元模型可完全扩展；支持主流 BI 工具软件的元数据自动获取；具有完善的用户权限管理、提供多种图形化分 析功能；可快速部署企业元数据管理系统。 MetaOne 作为市场上少有的成熟的元数据产品，提供完善的元数据管理功 能，是企业完善数据资产管理机制、数据资产保值与增值的一流选择，是企业 IT 基础设施的重要组成部分。 1.11.1 产品优势 产品优势 ? 第三方独立、通用的元数据产品第三方独立、通用的元数据产品：定位于企业级元数据管理，适合企 业复杂的 IT 异构环境。 ? 全中文内核全中文内核：全中文操作界面、在线帮助、产品手册，是目前国内支 持全中文内核元数据管理的唯一成熟产品，同时适应业务人员、技术 人员、管理人员。 ? 可扩展的元模型可扩展的元模型：元数据符合 CWM 规范，可完全扩展，能够满足项 目快速实施的需要，更可以适应长期用户需求变化的需要。 ? 端到端的元数据管理端到端的元数据管理：Web 浏览器操作方式，作为真正端到端的元数 据管理工具，提供企业级的元数据统一视图，是第一个提供清晰地分 析和跟踪业务运作历史数据的实际可行的解决方案。 ? 自动元数据获取自动元数据获取：采用多种操作方式简化元数据导入的复杂性，支持 主流 BI 工具软件的元数据自动获取，保证元数据最新、一致和可用。 ? 主流开放性主流开放性：MetaOne 软件是 100%JAVA、按 J2EE 模式构建、基于 Web 的瘦客户端架构，元数据存储于主流关系型数据库系统；能够导 Carnation MetaOne 元数据管理产品白皮书 石竹软件有限公司 电话3/20 入、导出符合 CWM 国际规范的 XML 文件。 ? 提供提供 Webservice 接口接口，易于应用扩展和系统集成。 Carnation MetaOne 元数据管理产品白皮书 石竹软件有限公司 电话4/20 2. 产品体系结构概述产品体系结构概述 2.12.1 体系结构特点 体系结构特点 以先进、基于 J2EE 的架构的 MetaOne，能够轻松实现各种业务系统的元数 据整合。 .1 强大的元数据获取接口，支持多种工具强大的元数据获取接口，支持多种工具 在企业中有大量的元数据信息被存储在业务源系统、结构化文本等，需要 获取这些元数据信息，需要通过接口功能实现。为了能令企业快速地获得元数 据信息，并且对元数据有效地维护，MetaOne 提供大量的功能强大的接口。接 口类型包括数据库、BI 工具、建模工具、结构化文本（XLS）等。并且接口支 持元数据的增量更新。 已经支持包括 Oracle、DB2、DB2 OLAP SERVER、ERwin、Teradata、 PowerCenter、Datastage、Essbase、Excel、XMI 等接口。 元数据 存储库 元数据 存储库 自动元数据获取自动元数据获取 数据仓库系统数据仓库系统 数据集市系统数据集市系统 业务系统业务系统 业务系统业务系统 业务系统业务系统 开放元数据获取开放元数据获取 元数据维护元数据维护 结构化元数据结构化元数据 XLS/CSV等等 非结构化元数据非结构化元数据 word/PDF等等 集成分析、管理集成分析、管理 分析应用 信息标准发布 Web门户、用户管理 MetaOne Carnation MetaOne 元数据管理产品白皮书 石竹软件有限公司 电话5/20 .2 基于角色的权限管理，粒度达元数据级别 基于角色的权限管理，粒度达元数据级别 MetaOne是基于角色的访问控制模式，易于在终端用户信息访问和数据安 全性之间做出平衡。在基于角色的系统中，把执行任务的互不相关的授权赋予 角色。然后，管理员把角色指派给用户。所有指派给一个用户的角色的组合能 力确定一个人的能力范围。同样，用户被没有授予的权限所限制。 基于角色的访问控制模式适用于所有MetaOne应用，确保终端用户获取完 成工作所需的信息和功能。 .3 瘦客户 Web 界面 瘦客户 Web 界面 由于合理的性能和充分的功能性，现代企业更喜欢瘦客户Web界面。瘦客户 Web界面能自助式访问信息和应用，简化了管理任务，降低了总成本。对于真正 的瘦客户Web应用，所有软件安装在共享的服务器上，通过预装的Web浏览器展 现给用户。不需要插件或者其他客户端软件下载和维护。 .4 可定制的单点登陆功能，能够与用户现有系统实现快速无缝集成 可定制的单点登陆功能，能够与用户现有系统实现快速无缝集成 MetaOne提供灵活的，可定制的单点登陆设置，用户可以使用自己的认证 系统，也可以使用MetaOne提供的认证系统进行登陆认证。 Carnation MetaOne 元数据管理产品白皮书 石竹软件有限公司 电话6/20 2.22.2 实现技术 实现技术 .1 基于 J2EE 架构 基于 J2EE 架构 本系统的实现技术采用符合 SUN 公司颁布的 J2EE 规范。J2EE 架构作为一种 标准的开发平台，使用多层分布式的应用模式，增进各种异构系统间的互操作 性；具有重用能力，并集成基于 XML 的数据交换；作为未来数据资源管理的基 础设施，基于 J2EE 架构的开放式软件体系结构将为系统间的有效集成奠定基 础。 J2EE 规范定义了一个完善的应用组件技术框架，从简单的 Web 应用到复杂 的分布式企业级应用都可以在此技术框架上构造。在研究了大量流行的 Web 应 用框架的基础上，我们提出了一种 Web 应用框架整合模型。该模型基于分层思 想，结合设计模式方法，给出了一组约束，增加了域对象层、服务定位层和数 据接口层，有效地解决了框架整合过程中出现的功能冗余、层间通信不便、耦 合度太高等问题。该模型充分挖掘了各个框架的长处，使它们以一种松散耦合 方式结合，形成一个更高层次的应用框架。 在本系统中，后台数据库通过对象-关系映射进行封装，兼容几乎所有的关 系型数据库，并且极大地简化了对存储层的访问。中间的处理采用注射式容器 框架 SpringFrameWork，能够有效的隔离业务逻辑和实现。前端以浏览器方式 实现人机交互。 IOC容器 业务逻辑 浏览器 元数据存储库 对象关 系映射 浏览器 Carnation MetaOne 元数据管理产品白皮书 石竹软件有限公司 电话7/20 .2 基于标准规范的元数据集成和管理 基于标准规范的元数据集成和管理 为了有效的管理数据仓库、日益复杂的业务系统，进一步提高数据质量， 必须对元数据进行有效、统一的集成和管理。为解决元数据的互操作性问题， 本项目中采用了当前使用范围最广的由国际化标准组织 OMG 所提出的 MOF 和 CWM 规范。 OMG组织定义了四层元模型结构如下图所示： M3 meta-metamodel 例如：MOF M2 metamodel 例如：CWM M1 model 例如：用户模型 M0 data 例如：用户数据 元-元模型（meta-metamodel）是元模型建模的基础。用 M3 代表，MOF 就 是一个元-元模型。 元模型(metamodel）是元-元模型的实例，即元模型的任一元素均为某一元- 元模型元素的实例。用 M2 代表，UML 和 CWM 就是元模型。元模型基本上都 为某一特定模型定义了描述语言。 模型(model）是元模型的实例。模型的主要作用是为特定语义领域定义了描 述语言，例如用户可以为包括软件、业务流程、需求等不同问题域定义描述语 言。模型层用 M1 表示。 而 M0 层则是 M1 层元素的运行时实例。 .3 元数据核心管理 元数据核心管理 根据 OMG 的元数据四层元模型基础，我们建立了元数据管理的核心模块， 这是整个元数据管理的基础。通过这个核心模块，扩展元模型就能够更方便、 快速的支持到更多类型元数据信息。 在系统的内部对数据仓库的元数据实现以 CWM 模型的方式管理，能够屏 Carnation MetaOne 元数据管理产品白皮书 石竹软件有限公司 电话8/20 蔽不同工具带来的差异，能够统一和跨系统地实现元数据的影响分析、血统分 析等非常重要的元数据分析应用。在核心层能够支持元数据、元模型的版本和 变更管理，能够提供元数据的比较，提供报警、版本分析等的上层应用。在技 术上，采用了对象-关系映射的技术对数据存储层进行了封装，能够有效的屏蔽 不同数据库的差异，并支持所有的关系型数据库。针对数据库一层，采用了大 量的优化策略保证系统的运行效率。这些优化涉及数据库系统的索引机制、查 询优化器、连接策略、数据排序和采样等部分。 Carnation MetaOne 元数据管理产品白皮书 石竹软件有限公司 电话9/20 3. 产品特性产品特性 提供提供 100%可定制的元模型管理可定制的元模型管理 强大的元模型管理功能支持用户按树状结构定制形成用户需要的元模型 结构，形成统一的元数据类，特别适合支持业务元数据的管理，同时多 样性的类关系管理支持灵活、规范的元数据项关联关系。 端到端的元数据管理端到端的元数据管理 作为真正端到端的元数据管理工具，提供企业级的元数据统一视图，提 供了清晰定义和分析跟踪业务运作历史数据的实际可行的解决方案。 自动元数据获取自动元数据获取 可连接其他软件工具（Oracle、DB2、ESSBASE OLAP、DB2 OLAP、 PowerCenter、Erwin 等）自动获取元数据，保证了元数据的最新、一 致、可用、极大减少人工维护工作量。 强大的应用分析强大的应用分析 高级搜索功能 快速调查应用、数据问题，附带详细灵活的搜索选项 血统分析 了解数据在应用中流动变化的来源和目的 影响分析 追踪企业范围的系统变化影响 映射视图分析 揭示数据在系统内移动的变换方式 报告 创建并保存用户报表，方便需要频繁使用的数据读取 审计 追踪业务规则和公司标准的变化 基于现代开发标准的体系架构基于现代开发标准的体系架构 100%Java、基于 Web 的多层瘦客户架构 基于 CWM/XMI 标准的元数据接口 完全国际化支持 元数据存储于主流关系数据库系统 同时适用于业务、技术用户同时适用于业务、技术用户 直观、便于导航的现代界面 Carnation MetaOne 元数据管理产品白皮书 石竹软件有限公司 电话10/20 常用报表、查询和信息资产的用户快捷模板 用户控制的配置文件管理 集成的搜索帮助系统 基于多年最佳实践经验的预配置库基于多年最佳实践经验的预配置库 数据字典 数据辞典 命名约定 业务规则和需求 个人技能和责任 IT基础设施 数据信任 安全灵活的管理功能安全灵活的管理功能 系统管理员和项目经理可以管理全部 MetaOne 环境，包括用户、组、连 接和安全保密。 强健的用户和数据安全 ? 用户和组安全管理 Carnation MetaOne 元数据管理产品白皮书 石竹软件有限公司 电话11/20 ? 功能/工具权限管理 ? 客户化的对象和元数据级许可限制/授权数据存取 Carnation MetaOne 元数据管理产品白皮书 石竹软件有限公司 电话12/20 4. 产品功能简介产品功能简介 4.14.1 功能概述 功能概述 MetaOne 针对企业中不同类型的用户提供强大的、功能完善的元数据管 理和应用分析功能。 下文简要概述基本的元数据管理和应用分析功能。 4.24.2 元模型管理 元模型管理 提供元模型的浏览、添加、删除、修改等功能。 元模型支持 CWM 规范，可完全扩展。 4.34.3 元数据版本管理 元数据版本管理 记录元数据的每次变更，提供版本变更历史查询，提供版本回溯功能。 Carnation MetaOne 元数据管理产品白皮书 石竹软件有限公司 电话13/20 4.44.4 血统分析 血统分析 适用于任何元数据，图形化展现元数据始端依赖关系，元数据血缘的追 溯。操作灵活，选择性展开收缩与浏览功能。 4.54.5 影响分析 影响分析 适用于任何元数据，图形化展现元数据对末端应用的影响关系，元数据修 改的大局观。操作灵活，选择性展开收缩与浏览功能。 4.64.6 映射分析 映射分析 适用于 ETL程序元数据，展现 ETL程序内部的数据转换过程，提供字段级 映射逻辑处理。 4.74.7 主机拓扑图 主机拓扑图 维护主机信息及主机之间的拓扑关系，可图形化方式展现主机拓扑图。 Carnation MetaOne 元数据管理产品白皮书 石竹软件有限公司 电话14/20 4.84.8 ETL 日志分析 ETL 日志分析 维护 ETL程序源与末，主要字段逻辑转化信息，维护完成直接反映出 ETL与表或者接口文件的关系。 4.94.9 人员管理 人员管理 提供开发和系统运维过程中各参与人员承担的角色及具体负责的工作内容 描述，如具体某个需求开发由谁负责，ETL某个加载转换过程由谁负责维护等 系统访问情况信息。 4.104.10 表重要程度分析 表重要程度分析 根据库表与其他元数据的关系数量对库表重要程度进行倒序排名的 TopN 分析，也可指定关系数统计。本功能可协助技术人员进行库表清理及分离。库 表关系数越小的重要程度越低，系统按关系数从小到大的顺序排序显示库表元 数据，提供表元数据属性界面的链接。 数据库表元数据与其他元数据的关系统计（表与 ETL程序、表与 OLAP、 表与指标等），分析库表的重要程度，关系数越大的重要程度越高，系统按关 系数从大到小的顺序排序显示表元数据，提供表元数据属性界面的链接。提供 统计和重新计算功能以降低分析对整个系统性能的影响，提供指定关系数统计 及 TopN分析。 4.114.11 元数据差异分析 元数据差异分析 对元数据系统中两组元数据按属性值进行差异分析，差异结果可手工调 整，并可生成差异分析报告。 Carnation MetaOne 元数据管理产品白皮书 石竹软件有限公司 电话15/20 4.124.12 元数据全文检索 元数据全文检索 实现元数据智能检索，通过输入关键字，检索系统所有相关元数据，并实 现链接到具体技术或业务元数据界面。 Carnation MetaOne 元数据管理产品白皮书 石竹软件有限公司 电话16/20 5. 国内客户成功案例国内客户成功案例 5.15.1 吉林移动元数据管理系统 吉林移动元数据管理系统 吉林移动是中国移动的元数据管理规范的试点省公司之一。石竹软件基于 对元数据管理工具深入系统的研究和丰富的经验，携手亚信科技实施了元数据 管理系统。结合集团公司规范要求，在经营分析系统内部成功建立统一的业 务、技术元数据视图，能够有效、准确的提供从接口文件到指标及处理过程的 描述，成为 IT和业务管理人员查询业务规则和确定数据质量核查的有力工具， 为其他省的移动公司建立元数据管理系统提供重要参考。 .1 客户情况 客户情况 吉林移动公司管辖 8 个地市分公司，用户数 500 多万。2004 年 11 月吉林移 动作为中国移动首批元数据管理试点省，采用 MetaOne 元数据产品建设元数据 维护及指标管理系统。系统已顺利上线运营，并于 2005 年 10 月通过中国移动 集团评审。 .2 解决方案 解决方案 2005 年 7 月，吉林移动基于业界著名元数据管理产品 MetaOne 实施元数据 管理项目，结合集团公司规范要求，在经营分析系统内部成功建立统一的业 务、技术元数据视图，能够有效、准确的提供从接口文件到指标及处理过程的 描述，成为 IT和业务管理人员查询业务规则和确定数据质量核查的有力工具， 为其他省的移动公司建立元数据管理系统提供重要参考。 本期工程在实施深度方面，覆盖从业务源系统一直到 OLAP分析、报表、 KPI 指标等方面的元数据，完成“数据流图”的构建过程，能够进行有关数据 指标的信息回溯工作，并提供可供业务人员理解和使用的用户访问界面。 Carnation MetaOne 元数据管理产品白皮书 石竹软件有限公司 电话17/20 吉林移动元数据管理系统的成功实施，实现了 BI 系统各环节中各类元数据 的统一管理，全面提升 BI 系统应用价值 、有效支持经营分析系统前端应用服 务，使系统使用者随时随需查阅感兴趣的元数据内容，不仅减少了经营分析系 统使用人员的工作量，还极大地提高了使用人员的工作效率；对系统维护人 员，极大提升了系统的维护能力，提高了经营分析系统的数据质量；并在元数 据管理平台的基础之上建设了元数据管理的典型应用指标管理平台，构架 起了企业级指标管理体系，为企业级的指标管理探索了一条崭新的道路。 吉林移动元数据管理系统试点工程的成功应用，显著提高了 BI 系统的数据 管理质量、对中国移动系统平台建设与发展具有重要参考价值，为中国移动经 营分析系统建设提供了宝贵的参照体系。 5.25.2 四川移动元数据管理系统 四川移动元数据管理系统 四川移动元数据项目是中国移动元数据建设首批试点后，正式大规模推动 元数据建设的项目。该项目采用 MetaOne 建设经营分析系统元数据维护及指标 管理平台，已顺利上线运行并通过验收。 .1 客户情况 客户情况 四川移动公司有用户数 1200 多万，数据量超过 10TB。四川移动元数据项 目实施包括技术元数据、业务元数据收集整理，元数据平台搭建、定制化开发 等完整内容，最终在中国移动元数据管理规范、CWM 规范指导下，建设符合 四川移动实际需要的四川移动元数据维护及指标管理系统。 .2 解决方案 解决方案 2005 年 12 月，石竹软件为四川移动实施基于业界著名元数据管理产品 MetaOne 的元数据管理解决方案，根据集团公司规范要求，并在此基础上根据 四川移动的实际需要定制开发，最终建设完成四川移动元数据维护与指标管理 系统。 Carnation MetaOne 元数据管理产品白皮书 石竹软件有限公司 电话18/20 四川移动元数据维护及指标管理系统以元数据模型为基础；在此基础上提 供元数据管理维护功能，并且成功地嵌入到经分系统中，管理范围涉及经营分 析系统的整个流程，从接口文件一直到指标 ，完成接口文件?ETL程序?数据 仓库 ODS表?汇总程序?数据库 DW表、ST表?Cube（Outline）?指标及 ST 表?指标的数据流图。 通过本项目的实施，将把四川移动经营分析系统的相关技术元数据（如 OLAP、数据库、ETL程序、接口文件等）和业务元数据（比如指标）纳入管 理，完善经营分析系统基础设施，促进系统使用和进化拓展；建立企业级统一 的业务、技术元数据视图，规范数据资源管理，改进企业知识传承机制；快速 提供数据变换过程和数据依赖的描述，有助于指标和统计口径的理解；保存数 据关系与约束规则，支持数据质量控制和核查；支持数据集市的快速部署，为 数据集市建设提供坚实基础。 5.35.3 中国银行元数据管理系统 中国银行元数据管理系统 2006 年 6 月，石竹软件为中国银行总行实施企业级业务元数据管理项目： 基于 MetaOne 建设元数据管理平台，并根据中国银行的实际需求做客户化定 制，完成公共信息管理、数据差异分析等应用，以及元数据发布流程管理。 .1 客户情况 客户情况 中国银行是中国四大国有商业银行之一，其业务范围涵盖商业银行、投资 银行和保险领域，旗下有中银香港、中银国际、中银保险等控股金融机构，在 全球范围内为个人和公司客户提供全面和优质的金融服务。按核心资本计算， 2005 年中国银行在英国银行家杂志“世界 1000 家大银行”排名中列第十 八位。主营商业银行业务，包括公司、个人金融、资金业务和金融机构等业 务。公司业务以信贷产品为基础，致力于为客户提供个性化、创新的金融服务 和融资、财务解决方案。 中国银行现有八大业务系统及其他信息管理系统，需要建立企业级的统一 逻辑视图，以便未来建设风险管理系统、决策支持系统、营销管理系统以及客 户关系管理系统等。 C