一种双向元数据管理系统

1、种双向元数据管理系统A Two-way Meta-data Management SystemDING Xian(Software Engineering of Tongji University, Shanghai 200092, China): As the "road map" of the enterprise -data-warehouse, the metadata plays an important role in the construction of enterprise -data-warehouse. Designing a sound conten

2、t meta-data system is an effective way to achieve the enterprise-data- warehouse. By studying the two-way metadata management system,the essay gives a metadata management solution for the enterprise-data-warehouse. The solution can not only extract the meta data from the enterprise-data-warehouse an

3、d store the information in the metadata management ystem, but also provide the necessary metadata information for the data warehouse subsystem. Such solution can solve a lot of operation issues of the enterprise-data-warehouse and greatly reduce the difficulty in managing the enterprise-data-warehou

4、sing, ensuring the accuracy of the metadata, which can ensures thateach subsystem can communicate efficiently and operate stably.1 概述1.1 研究的背景随着数据大集中的完成， 各家银行都在研究适合银行信息分 析处理的数据仓库解决方案， 并建立相应的数据仓库系统， 提高 分析数据和挖掘信息的能力，以提升银行自身品牌和潜在竞争 力。整个银行数据仓库的组织结构是由元数据来组织的，它是 “关于数据的数据”， 元数据至少应包含如下一些信息： 数据结 构、数据综合算法、从基于

5、 OLTP的业务环境到银行数据仓库环 境的规划等， 元数据在数据仓库的建设中起着重要的作用。 元数 据管理系统必须成为集中了企业级数据仓库所有管理和运行信 息的一个统一的知识库，才能够为庞大的企业级数据仓库的开 发、运行和管理提供足够的信息， 提升企业级数据仓库的生产效 率，保证企业级数据仓库的稳定运行。因此，要求元数据库中的 信息必须是集成的、 准确的和保留历史的。 然而对于目前那些具 有元数据管理系统的数据仓库来说， 存在着一个很大的体系架构 缺陷，就是企业级数据仓库只采用了单向的元数据管理体系架 构，即元数据信息只从外部流向元数据库， 而元数据库无法在运 行时为数据仓库提供支持。企业级数

6、据仓库中包含多个子系统， 每个子系统都具有与其 开发、运行相关的元数据。 元数据管理系统从这些子系统中提取 元数据， 形成数据仓库统一的元数据视图。 但是如果元数据只是 单向地从各个子系统流向元数据管理系统， 虽然可以将元数据集 成，为数据仓库的开发和管理提供一定帮助， 但很可能造成以下 的缺陷：1）元数据库逐渐演变成一个元数据的查询工具，无法发挥 出作为数据仓库核心知识库的总控作用；2）元数据信息不会从访问接口流向其他子系统，则无法促 进元数据的及时更新，难以从根本上保证元数据的保证准确性；3）元数据库不提供运行时所需信息， 各个子系统需要维护 自己的一套元数据以支持自己的运行，造成了元数据

7、的冗余；4）元数据库无法保证其内容的准确性，则无法成为数据仓 库运行时的核心部件， 造成相关的各系统之间需要进行直接信息 交互，大大增加了子系统之间的通信成本，难以管理。1.2 研究的目的 本文描述的元数据系统建设方法，克服了现有技术中的缺 点，提供了一种基于双向体系架构的元数据管理系统， 能够支持 从企业级数据仓库的其他子系统抽取元数据存储到元数据管理 系统，同时也支持向企业级数据仓库其他子系统提供其所需的元 数据信息，解决上述的诸多元数据和数据仓库的运行管理问题， 大大减少了数据仓库的管理难度、 保证了元数据的准确性、 使得 各子系统能高效地通信和稳定运行。2 双向体系架构2.1 框架简述

8、本文提供了一种具有双向互动特征的元数据管理系统， 通过 元数据提取装置将数据仓库各子系统的元数据提取到元数据运 行库装置中， 并采用通用的关系型元数据模型存储元数据； 通过 通用桥接器， 可将关系型元模型的元数据提取到对象型元模型的 元数据知识库装置中， 形成分析结果供用户查询； 通过数据库视 图，可以向其他子系统提供其所需的元数据信息。 最终实现了元 数据的统一管理， 为子系统的运行和它们之间的交互提供了统一 平台。其中，1）通用的元数据模型是通过对各子系统的元数据进行概括 形成的、能满足各子系统要求的统一的元模型；2）通用桥接器是可以灵活定制同步任务和数据映射的元数 据同步程序；元数据管理

9、系统采用数据库视图的方式提供元数据访问接 口，实现子系统之间的元数据交互。2.2 框架组成本系统中主要由 4 部分组成： 包含元数据运行库装置、 元数 据提取装置、元数据服务接口装置、元数据知识库装置 （ 如图 1 所示）。其中，“元数据运行库装置”与“元数据提取装置”连接， 负责存储数据仓库统一的关系型元模型， 将其它子系统的元数据 集成于统一的元模型中； “元数据提取装置”连接着“元数据运 行库装置”和其他子系统， 负责将其他子系统中未经加工的最基础最为明细的元数据，提取存储到元数据运行库装置中；“元数据服务接口装置”连接着“元数据运行库装置”与“元数据知 识库装置”以及其他子系统，元数据服务接口装置负责将元数据 运行库装置中的基础元数据变