浅谈数据仓库中的元数据管理技术.docxVIP

浅谈数据仓库中的元数据管理技术 孙力君 仇道霞 方峻峰 宋楠山东省烟草公司信息中心摘要：数据仓库是数据库的发展方向之一， 对企业管理和决策支持起着重要的辅助作用。简要介绍了数据仓库和元数据的基本概念，重点阐述了元数据的概念、作用、CWM标准、来源，并就元数据具体应用进行了初步的研究和探讨。关键词：数据仓库；元数据； 1. 引言随着市场竞争的越来越激烈，烟草行业的信息化建设不断的深入发展，全行业形成了“以信息化带动烟草行业现代化建设”的基本共识，明确了“统一标准、统一平台、统一数据库、统一网络”，逐步实现系统集成、资源整合、信息共享的信息化建设总体要求，走过了“由基础性向应用性、由局部性向全局性、由分散性向集中性建设”的三个转变历程，初步形成了“数字烟草”的行业信息化建设格局，既对行业数据中心的建设提出了迫切的要求，也为行业数据中心建设奠定了坚实的基础。随着数据库技术尤其是数据仓库技术的发展， 人类能更容易获得自己需要的数据和信息， 由于元数据是数据仓库中非常重要的组成部分， 因此讨论和研究元数据在数据仓库中的作用和应用， 具有非常重要的意义。元数据管理是山东烟草数据中心建设的重要组成部分，元数据管理平台为用户提供高质量、准确、易于管理的数据，它贯穿数据中心构建、运行和维护的整个生命周期。同时，在数据中心构建的整个过程中，数据源分析、ETL过程、数据库结构、数据模型、业务应用主题的组织和前端展示等环节，均需要通过相应的元数据的进行支撑。元数据管理的生命周期包括元数据获取和建立、元数据的存储、元数据浏览、元数据分析、元数据维护等部分。通过元数据管理，形成整个系统信息数据资的准确视图，通过元数据的统一视图，缩短数据清理周期、提高数据质量以便能系统性地管理数据中心项目中来自各业务系统的海量数据，梳理业务元数据之间的关系，建立信息数据标准完善对这些数据的解释、定义，形成企业范围内一致、统一的数据定义，并可以对这些数据来源、运作情况、变迁等进行跟踪分析。完善数据中心的基础设施，通过精确把握经营数据来精确把握瞬息万变的市场竞争形式，使山东烟草在市场竞争中保持优势。总的来说，元数据管理平台集成相关的元数据，形成企业的全局数据视图，提供企业级共享元数据的平台，是烟草业务系统的基础设施，对业务系统的发展、应用和数据质量的提升有着深远影响。2.数据仓库概述目前有关数据仓库的概念有多种，其中最经典的，引用最为广泛的定义是W.H.Inmon在Building the Data Warehouse一书中给出的，他指出：“数据仓库是面向主题的、集成的、随时间变化的、非易失的数据集合，用于支持管理层的决策过程”。1之所以要引入数据仓库， 是因为随着信息时代的到来， 如何从大量已存在的数据中提取出自己所感兴趣的信息并进行分析和预测越来越成为企业管理者和决策者所关心的问题。为了更好的进行管理和决策， 许多企业都选择了数据仓库， 利用数据仓库可以对各种源数据进行抽取、清理、加工和转换， 再利用联机分析系统(OLAP) 和数据挖掘系统(MM) 提供各种决策信息。对于数据仓库的概念我们可以从两个层次予以，首先，数据仓库用于支持决策，面向分析型数据处理，它不同于企业现有的操作型数据库；其次，数据仓库是对多个异构的数据源有效集成，集成后按照主题进行了重组，并包含历史数据，而且存放在数据仓库中的数据一般不再修改。在数据仓库系统的众多组成部分中， 元数据扮演着十分重要的角色， 如何在数据仓库系统中构建元数据库并进行高效的管理， 是构建数据仓库系统首先要考虑的问题。3.元数据概念按照传统的定义，元数据（Metadata）是关于数据的数据。在数据仓库系统中，元数据可以帮助数据仓库管理员和数据仓库的开发人员和最终用户非常方便地找到他们所关心的数据；元数据是描述数据仓库内数据的结构和建立方法的数据，可将其按用途的不同分为两类：技术元数据（Technical Metadata）和业务元数据（Business Metadata）。(1)技术元数据是存储关于数据仓库系统技术细节的数据，是用于开发和管理数据仓库使用的数据，它主要包括以下信息：1)数据仓库结构的描述，包括仓库模式、视图、维、层次结构和导出数据的定义，以及数据集市的位置和内容；2)业务系统、数据仓库和数据集市的体系结构和模式3)汇总用的算法，包括度量和维定义算法，数据粒度、主题领域、聚集、汇总、预定义的查询与报告；4)由操作环境到数据仓库环境的映射，包括源数据和它们的内容、数据分割、数据提取、清理、转换规则和数据刷新规则、安全（用户授权和存取控制）。(2)业务元数据从业务角度描述了数据仓库中的数据，它提供了介于使用者和实际系统之间的语义层，使得不懂计算机技术的业务人员也能够“读懂”数据仓库中的数据。业务元数据主要包括以下信息：使用者的业务术语所表达的数据模型、对象名和属性名；访问数据的原则和数据的来源；系统所提供的分析方法以及公式和报表的信息；具体包括以下信息：1)企业概念模型：这是业务元数据所应提供的重要的信息，它表示企业数据模型的高层信息、整个企业的业务概念和相互关系。以这个企业模型为基础，不懂数据库技术和SQL语句的业务人员对数据仓库中的数据也能做到心中有数。2)多维数据模型：这是企业概念模型的重要组成部分，它告诉业务分析人员在数据集市当中有哪些维、维的类别、数据立方体以及数据集市中的聚合规则。这里的数据立方体表示某主题领域业务事实表和维表的多维组织形式。3)业务概念模型和物理数据之间的依赖：以上提到的业务元数据只是表示出了数据的业务视图，这些业务视图与实际的数据仓库或数据库、多维数据库中的表、字段、维、层次等之间的对应关系也应该在元数据知识库中有所体现。4.元数据的作用与其说数据仓库是软件开发项目，还不如说是系统集成项目1，因为它的主要工作是把所需的数据仓库工具集成在一起，完成数据的抽取、转换和加载，OLAP分析和数据挖掘等。如图1所示，它的典型结构由操作环境层、数据仓库层和业务层等组成。其中，第一层（操作环境层）是指整个企业内有关业务的OLTP系统和一些外部数据源；第二层是通过把第一层的相关数据抽取到一个中心区而组成的数据仓库层；第三层是为了完成对业务数据的分析而由各种工具组成的业务层。图中左边的部分是元数据管理，它起到了承上启下的作用，具体体现在以下几个方面：(1) 企业智能化信息建设的DNA在企业中，数据是无所不在的，是企业信息化建设的血脉。而元数据则是企业血脉中的DNA，是保持企业信息化良性发展的重要组成部分。优质的DNA，才能造就出优质的企业高智能信息化系统。(2) 企业元数据标准，助力企业数据和系统的集成 1) 有利于企业数据、信息共享。2) 有利于减少数据冗余性3) 有利于应用开发过程更有效，准确及时的元数据，为开发过程提供了指导作用及参照的重要作用4) 有利于节约企业成本：元数据提供的信息，极大的保证了开发过程、企业IT运营维护的时效性，并避免重复投资5) 避免异构结构定义、提高不同工具之间定义的重复利用率6) 使得技术人员和业务人员可以统一的对各业务系统、分析型项目、数据仓库、BI系统等，进行统一的元数据管理和监督。7) 统一掌握企业关键业务指标的数据来源及计算规则(3) 状态元数据有利于增强企业运营效率、规避错误及风险 1) 系统、数据库、存储等组成部分的状态即可以看作是数据，也可以视为相对实体的元数据，有利于企业增强维护、合理按排执行任务等动作。2) 数据集成的执行状态，也是相对执行作业的元数据，通过作业状态元数据的分析，可以监控服务器运行效率，规避作业执行错误而导致的不良后果。(4) 元数据是进行数据集成所必需的数据仓库最大的特点就是它的集成性。这一特点不仅体现在它所包含的数据上，还体现在实施数据仓库项目的过程当中。一方面，从各个数据源中抽取的数据要按照一定的模式存入数据仓库中，这些数据源与数据仓库中数据的对应关系及转换规则都要存储在元数据知识库中；另一方面，在数据仓库项目实施过程中，直接建立数据仓库往往费时、费力，因此在实践当中，人们可能会按照统一的数据模型，首先建设数据集市，然后在各个数据集市的基础上再建设数据仓库。不过，当数据集市数量增多时很容易形成“蜘蛛网”现象，而元数据管理是解决“蜘蛛网”的关键。如果在建立数据集市的过程中，注意了元数据管理，在集成到数据仓库中时就会比较顺利；相反，如果在建设数据集市的过程中忽视了元数据管理，那么最后的集成过程就会很困难，甚至不可能实现。(5) 元数据定义的语义层可以帮助最终用户理解数据仓库中的数据最终用户不可能象数据仓库系统管理员或开发人员那样熟悉数据库技术，因此迫切需要有一个“翻译”，能够使他们清晰地理解数据仓库中数据的含意。元数据可以实现业务模型与数据模型之间的映射，因而可以把数据以用户需要的方式“翻译”出来，从而帮助最终用户理解和使用数据。(6) 元数据是保证数据质量的关键数据仓库或数据集市建立好以后，使用者在使用的时候，常常会产生对数据的怀疑。这些怀疑往往是由于底层的数据对于用户来说是不“透明”的，使用者很自然地对结果产生怀疑。而借助元数据管理系统，最终的使用者对各个数据的来龙去脉以及数据抽取和转换的规则都会很方便地得到，这样他们自然会对数据具有信心；当然也可便捷地发现数据所存在的质量问题。甚至国外有学者还在元数据模型的基础上引入质量维，从更高的角度上来解决这一问题。(7) 元数据可以支持需求变化随着信息技术的发展和企业职能的变化，企业的需求也在不断地改变。如何构造一个随着需求改变而平滑变化的软件系统，是软件工程领域中的一个重要问题。传统的信息系统往往是通过文档来适应需求变化，但是仅仅依靠文档还是远远不够的。成功的元数据管理系统可以把整个业务的工作流、数据流和信息流有效地管理起来，使得系统不依赖特定的开发人员，从而提高系统的可扩展性。5. 元数据业界标准没有规矩不成方圆。元数据管理之所以困难，一个很重要的原因就是缺乏统一的标准。在这种情况下，各公司的元数据管理解决方案各不相同。近几年，随着元数据联盟MDC（Meta Data Coalition）的开放信息模型OIM（Open Information Model）和OMG组织的公共仓库模型CWM（Common Warehouse Model，如图2所示）标准的逐渐完善，以及MDC和OMG组织的合并，为数据仓库厂商提供了统一的标准，从而为元数据管理铺平了道路。CWM为数据仓库和商业智能（BI）工具之间共享元数据，制定了一整套关于语法和语义的规范。它主要包含以下四个方面的规范：(1) CWM元模型（Metamodel）：描述数据仓库系统的模型；(2) CWM XML：CWM元模型的XML表示；(3) CWM DTD：DW/BI共享元数据的交换格式(4) CWM IDL：DW/BI共享元数据的应用程序访问接口（API）CWM通过以下几方面提供很强的对象模型：UML：以通常方式定义元数据结构及语义的标准语言；XML：作为互换机制的标准，用于共享元模型及在UML中以XML定义模型；MOF：（Meta Object Facility）定义协同元模型的公用接口及语义。包括MOF-to-IDL（接口定义语言）映射，定义了一个接口规范标准用于通过API访问、发现、管理模型。(1) 元模型（BASE）包构造和描述其它CWM包中的元模型类的基础。它是UML的一个子集，由以下四个子包组成：1) 核心（Core）包：它的类和关联是该模型的核心，其它所有的包都以它为基础。2) 行为（Behavioral）包：包括描述CWM对象行为的类与关联，并且它为描述所定义的行为提供了基础。3) 关系（Relationships）包：包括描述CWM对象之间关系的类与关联。4) 实例（Instance）包：包括表示CWM分类器（Classfier）的类与关联。(2) 基础包（Foundation）它包括表示CWM概念和结构的模型元素，这些模型元素又可被其他CWM包所共享，它由以下六个子包组成：1) 业务信息（Business Information）包：包括表示模型元素业务信息的类与关联。2) 数据类型（Data Types）包：包括表示建模者可以用来创建所需数据类型的结构的类与关联。3) 表达式（Expressions）包：包括表示表达式树的类与关联。4) 关键字和索引（Keys and Indexes）包：包括表示键和索引的类与关联。5) 软件发布（Software Deployment）包：包括软件如何在数据仓库中发布的类与关联。6) 类型映射（Type Mapping）包：包括表示不同系统之间数据类型映射的类与关联。(3) 资源包（Resource）用于描述数据资源的包，包含用于定义数据源（数据仓库行为的源或目标）及逻辑模型的元模型。它包括以下四个子包：1) 关系（Relational）包：包括表示关系型数据资源的元数据的类与关联。2) 记录（Record）包：包括表示记录型数据资源的元数据的类与关联。3) 多维（Multidimensional）包：包括表示多维数据资源的元数据的类与关联。4) XML包：包括表示XML数据资源的元数据的类与关联。(4) 分析（Analysis）包提供数据仓库经常用到的信息分析模型。数据移动、转换、分析模型（立方体、维、属性、层次或级），用于构造数据挖掘的元数据，信息可视化及发布的核心元模型。它由以下五个子包组成：1) 转换（Transformation）包：包括表示数据抽取和转换工具的元数据的类与关联。2) OLAP包：包括表示OLAP工具的元数据的类与关联。3) 数据挖掘（Data Mining）包：包括表示数据挖掘工具的元数据的类与关联。4) 信息可视化（Information Visualization）包：包括表示信息可视化工具的元数据的类与关联。5) 业务术语（Business Nomenclature）包：包括表示分类业务的元数据的类与关联。(5) 管理（Management）包用于描述数据仓库管理的包，提供表现数据仓库处理及操作的元模型。事件安排模型（例如，日常抽取及装载）跟踪活动状态及完成情况，改变数据仓库元素的日志。它包括以下两个子包：1) 仓库过程（Warehouse Process）包：包括表示仓库过程的元数据的类与关联。2) 仓库操作（Warehouse Operation）包：包括表示仓库操作结果的元数据的类与关联。6. 元数据来源企业系统一般有众多的业务系统，多种工具集成，元数据分布在各种工具中，依据不同的来源，根据元数据涉及的环节可分为接口元数据、ETL元数据、数据仓库元数据、OLAP元数据、报表元数据等。(1) 接口元数据接口数据方件格式包括接口数据文件的命名、传输周期、格式等说明信息，主要来源于外部系统和为数据中心的接口规范，主要包括以下内容：1) 接口ID，接口名称2) 接口周期：日，周，月3) 接口传输时间窗：规定开始时间、规定结束时间4) 接口规模：大型、中型、小型5) 接口数据格式：字段列表，分隔符，引号符6) 接口位置：文件目录，文件名，接口表名7) 接口传输日志：实际接口到达时间(2) ETL元数据在数据仓库项目中，如果ETL采用第三方工具(如DataStage，Informatica等)，这些工具一般均有比较强的元数据管理能力，因此ETL的元数据在数据仓库中不进行独立考虑。ETL元数据来源于ETL工具和ETL处理过程，包括：1) ETL映射规则2) ETL单元：ETL 作业名称、存储过程名称、输入数据集、输出数据集3) ETL流程：开始ETL单元、下一单元、下单元4) ETL装载记录：ETL流程开始时间、ETL单元开始时间、流程结束时间，单元结束时间(3) 数据仓库元数据ODS元数据和DW元数据均属于数据仓库元数据，是数据仓库系统的核心元数据。数据仓库系统RDBMS进行数据的存储和管理，设计模型采用星型模式、雪花模式等，遵循数据仓库的设计准则，实现主题、维、度量等多维模仿概念模型。1) 数据仓库逻辑模型：实体名称、属性名称和类型、关系2) 数据仓库物理模型：数据库名称、模式名称、表、字段、主键、外键、索引、分区(4) OLAP元数据1) 维度：维名称、维元素、钻取路径、级别2) 度量：度量名称、格式、计算公式3) Cube：维度、度量、数据量4) 星型模式：事实表、维表、汇总表(5) 报表元数据报表元数据包括对报表和报表中具体指标的描述信息，报表数据的生成、录入和展现有可能并不依赖于第三方工具。1) 报表ID、报表名称、上报部门2) 指标ID、指标名称、指标规则3) 语义层：指标与表的映射规则、过滤条件(6) 质量元数据1) 数据集度量：数据集名称、度量名称、度量周期2) 质量指标：指标名、计算公式3) 稽核记录：稽核日期、稽核类型(7) 界面元数据1) 菜单：菜单项、行为2) 界面元素（窗体、按钮、文本框等）：位置、大小、行为(8) 系统管理元数据1) 系统模块：模块名称、位置、子模块2) 访问日志：访问日期、访问模块、访问用户、停留时间7. 元数据管理元数据管理是数据中心信息资源标准管理，尤其是数据元标准管理的主要子系统。通过该系统来规范管理全省数据资源的规范定义、命名、分类等，同时元数据管理系统也将帮助我们从技术的角度梳理所有的信息系统，了解所有数据资源的生产、存储、转换和同步等所有相关活动，从而建立数据元的血统关系，帮助我们理解每一个数据的来龙去脉。元数据管理功能包含元模型管理、元数据的维护及查询、元数据批量加载、元数据自动获取、元数据的分析及应用、元数据版本管理以及元数据的同步检查等。(1) 元模型管理元模型管理涉及对元模型包、元模型类、元模型属性、数据类型、关系的操作。元模型支持CWM规范，可完全扩展。提供元模型管理功能，授权用户可浏览、新增、修改、删除元模型。用户可定制适合自己需求的元模型，随着业务的不断发展扩展元模型，如建立新的类、增加属性、定义新的关系等。元数据模型建议采用公共仓库元模型CWM（Common Warehouse Metamodel）。CWM的主要目的是在异构环境下，帮助不同的数据仓库工具、平台和元数据知识库进行元数据交换。(2) 元数据的维护系统根据山东烟草数据中心元数据管理规范对元数据进行定义，支持山东烟草元数据的分类管理。系统提供包括获取层元数据维护、存储层元数据维护、访问层元数据维护、交换层元数据维护以及元数据的检索、浏览、打印等功能。下面以获取层元数据的维护为例说明元数据维护，获取层数据数据包括ETL程序元数据维护、接口数据表元数据维护、元数据关系维护、OLAP与表元数据关系维护、表与ETL元数据关系维护、ETL与接口文件元数据关系维护、ETL与ETL元数据关系维护、ETL程序字段映射关系维护等。ETL程序元数据维护ETL是山东烟草数据中心的核心组成部分，此处ETL程序是广义的，包括TCL、SH、Datastage Job等各种形式的程序。提供对ETL程序元数据的增加、删除、修改及浏览功能。可以按树型方式逐步展开元数据进行浏览，点击某个ETL元数据节点后，可显示该元数据的详细信息，可以对该元数据的内容进行编辑。用户选择增加ETL元数据，系统提示输入ETL元数据相关属性值，点击确定按钮后，ETL程序元数据存入存储库。用户选择了某个ETL程序元数据之后，可以对该元数据进行修改。系统列出原来各个属性的值，提示用户输入新的值。点击确定按钮后，新的ETL程序元数据存入存储库。用户选择了某个ETL程序元数据之后，可以对该元数据进行删除。系统提示用户确认。接口数据表元数据维护提供对接口数据表元数据的增加、删除、修改及浏览功能。可以按树型方式逐步展开元数据进行浏览，点击某个接口文件元数据节点后，可显示该元数据的详细信息，可以对该元数据的内容进行编辑。用户选择增加接口数据表元数据，系统提示输入接口数据表元数据相关属性值，点击确定按钮后，接口数据表数据存入存储库。用户选择了某个接口数据表元数据之后，可以对该元数据进行修改。系统列出原来各个属性的值，提示用户输入新的值。点击确定按钮后，新的接口数据表元数据存入存储库。用户选择了某个接口数据表元数据之后，可以对该元数据进行删除。系统提示用户确认。元数据关系维护元数据关联和影响分析用于描述数据仓库对象和对象之间的依赖关系。用户可以对数据仓库中的一个对象和其它对象之间的联系进行分析，用户可能需要了解一个报表的数据是如何生成的，计算公式是什么，下图3是元数据关系维护图。OLAP与表元数据关系维护以图形化方式维护OLAP与数据库表元数据之间的关系，或删除关系。要求关系的建立完全按照元模型的定义。ETL与ETL元数据关系维护这种关系以图形化方式维护ETL程序之间（包括DataStage作业、TCL程序、汇总程序等）的关系，以及增加、修改、删除等关系。ETL程序字段映射关系维护维护ETL程序所用到的数据表、字段的映射关系，包括关系建立、修改、删除、浏览。用户选择了某个ETL程序元数据之后，可以对该元数据的字段映射关系进行浏览。选择映射关系维护时，系统根据该ETL程序与DB2(或Oracle)表元数据的关系，列出相关的输入、输出表及其包含的字段，用户则可以在此基础上增加、修改、删除字段之间的映射关系。(3) 元数据批量加载系统提供元数据批量加载的功能，作为对手工维护元数据的增强，可加载按一定格式组织到XLS文件的元数据、XML格式存储的元数据。系统可自动产生XLS模板并且可将元数据批量导出为XLS文件。XLS格式元数据批量导入系统提供XLS格式元数据的批量加载，把不能自动获取的元数据以业务人员能理解的格式进行组织，并批量加载到元数据存储库，导入过程提供导入错误日志，系统对导入操作进行日志记录。XML格式元数据批量导入与XLS格式的元数据批量导入一样，系统提供XML格式的元数据的批量导入功能。元数据整理模板生成XLS格式元数据批量加载时，XLS文件中的元模型属性要与元数据系统的定义一致，定义不一致将导致导入失败。用户每次导入前，需检查所用模板是否最新版本，如不一致则要手工修改模板。元数据管理提供自动生成模板的功能，以减少人工维护导入模板的工作量。根据系统最新的元模型自动生成XLS导入模板，导入模板在客户手工整理元数据时使用。产生的模板为XLS文件，每个元模型对应一个工作表。元数据批量导出为XLS将所有或指定范围的元数据导出系统，保存为XLS文件。本功能为与其他系统的整合提供数据的接口，也是元数据备份的一种方法，主要由管理员级别的用户使用。用户进入元数据批量导出界面，选择要导出的元数据（可选择全部），按确定，选择导出文件的保存路径和文件名，系统将指定范围的元数据和关系数据导出为指定名称的XLS文件，保存在所选路径。元数据批量导出为XML山东烟草数据中心的元数据与国家烟草专卖局元数据系统的交换方法之一是以XML格式作为元数据上传、下传的接口规范。系统提供将所有或指定范围的元数据导出系统的功能，保存为XML文件，用于与其他元数据系统交换元数据，如下图4所示： (4) 元数据自动获取山东烟草数据中心采用的软件工具元数据提供自动加载的功能，自动加载符合XML标准，包括Power Designer、数据仓库、OLAP、一号工程等接口元数据的自动获取。(5) 元数据的分析及应用元数据分析的内容包括：血统分析、影响分析、映射分析、拓扑图分析、表外键关系分析、ER图形展现、表重要程度分析、表无关程度分析、元数据差异分析等，应用主要包括对外部系统提供元数据应用服务。下面举例说明血