元数据白皮书.doc

元数据管理白皮书1.什么是元数据32.为什么需要一个元数据知识库32.1.对IT用户的价值32.2.对商业用户的价值43.Teradata Meta Data Services 2.143.1.环境43.2.MDS管理元数据知识库的工具43.3.应用信息模型（Application Information Models）43.4.安全43.5.Teradata数据库信息模型（DIM）43.6.Teradata数据字典扫描程序43.7.DIM自动更新43.8.审计跟踪53.9.业务元数据53.10.ETL元数据53.11.MetaSurf54.定制和扩展元数据知识库54.1.MetaDesigner54.2.C+编程接口54.3.COM编程接口54.4.XML接口55.元数据互换65.1.元数据集成技术65.2.元数据标准66.本地化和国际化61. 什么是元数据所谓元数据，是指关于数据的数据，可以用来描述数据的类型、来源、定义、存储位置、商业规则，使得业务人员可以正确地使用数据仓库，技术人员可以使用元数据信息开发数据仓库应用、维护数据仓库的运行。基于上面的定义我们可以知道元数据的使用者可以分为：技术用户、商业用户两类，因此元数据也可以相应的分为业务元数据（Business Metadata）、技术元数据（Technical Metadata）两类，下面分别针对这两类信息说明： 技术元数据（Technical Metadata）技术元数据主要被企业IT人员（系统分析员、数据仓库管理员、数据库管理员）使用。技术元数据为企业数据仓库提供了详细的蓝图，企业IT人员可以借助这一蓝图更方便的扩展和维护数据仓库。技术元数据可以跟踪数据的流动，确定元数据来自哪里？什麽时间被加载？目标数据库是什麽？数据从源到目标移动过程中应用于该数据的技术和业务规则是什麽？通过跟踪、分析源数据加载到目标系统的过程，企业IT人员可以使用技术元数据检查数据仓库信息的准确性。此外利用已经定义的技术元数据信息企业IT人员可以分析任何涉及改变对数据仓库的影响，这样可以更快速的实施改变和后续项目。 商业元数据（Business Metadata）商业元数据主要被企业业务人员使用，以他们可以理解的、简单易懂的语言描述数据仓库的对象，使他们能够不借助企业IT人员就可以找到自己需要的信息。2. 为什么需要一个元数据知识库很多人已经有了关于数据仓库的元数据，这些元数据可能是文档、电子表格、书面说明或是头脑中的想法。存储、定位和维护这些信息可能是很麻烦的。一个数据仓库的元数据知识库提供了一个中央存储位置，是用户可以在线访问信息。知识库中存储了数据仓库整个处理过程中涉及到的信息，这些信息包括：数据仓库的加载，数据仓库中数据的结构，数据仓库中数据的的使用。2.1. 对IT用户的价值数据仓库的元数据知识库允许IT人员更有效的管理数据仓库。IT人员可以使用元数据完成下列工作： 消除数据冗余 在对数据仓库做改变之前确定改变的影响 确定数据使用情况，了解花费时间修改、花费空间存储的数据是否有人使用 理解数据仓库的结构和关系2.2. 对商业用户的价值数据仓库的元数据知识库对商业用户也有很高价值。例如：商业用户可以 搜索知识库查找特定的信息在数据仓库中的位置 理解数据仓库中数据的含义 取得关于数据的进一步信息，如：数据如何被刷新？什么人拥有数据？数据何时被修改？数据来自哪里？ 理解数据的商业规则，如：数据的最大、最小值是什么？编码的含义？ 理解数据所属的业务主题是什么3. Teradata Meta Data Services 2.13.1. 环境MDS将元数据存储在Teradata数据库的一组表中。MDS软件运行在Windows（Win98/ME/NT/2000）或MP-RAS Unix系统，借助Teradata ODBC Driver访问Teradata数据库。MDS2.1支持Teradata数据库V2R4.0.X和V2R4.1.X。3.2. MDS管理元数据知识库的工具MDS2.1提供了两个工具管理存储元数据德Teradata表：metacreate、metamigrate。这些工具支持Windows和Unix MP-RAS平台。Metacreate工具在一个已定义的数据库中初始化元数据知识库，建立MDS需要的表。在初始的元数据知识库被建立以前不能进行任何MDS操作。MDS 2.1提供了一个工具metamigrate转化低版本的MDS知识库到MDS2.1格式。这个工具自动修改所有已存在的数据（模式、对象等）以符合MDS 2.1格式。3.3. 应用信息模型（AIM）应用信息模型（AIM）定义了一组元数据在MDS知识库中如何存储。一个事例模型表示如下：AIM有三类对象构成： 类描述（Class Descriptions） 定义了元数据的类型。在上面的例子里数据库、视图和表都是类描述。在知识库中类描述的实体被称为对象。 属性描述（Property Descriptions） 和类描述相关的数据域如：类型、名称。 关系描述（Relationship Descriptions） 描述两个类之间的关系。在上面的例子里关系描述被定义为“DatabaseHasTables”，关系在数据库对象和标对象之间建立了联系。3.4. 安全MDS 2.1提供了丰富的安全管理功能，可以控制不同的用户、组读、写、增加元数据对象。这些安全设定可以由MetaManager或MDS编程接口实现。3.5. Teradata数据库信息模型（DIM）Teradata数据库信息模型（DIM）是特定的元数据信息模型，MDS用它来存储Teradata数据库结构和内容的信息。MDS 2.1中Teradata物理元数据可以包含触发器和存储过程信息。MDS 2.1对物理元数据提供了扩展，使得它可以存储与Teradata物理信息相关的商业信息。3.6. Teradata数据字典扫描程序MDS提供了一个Teradata数据字典扫描程序Metaload 以便加载Teradata系统物理元数据到知识库中。多个Teradata系统可以加载到一个单一的知识库中，知识库不必与提供元数据的Teradata在一个系统。Metaload使用Teradata ODBC Driver访问Teradata系统。Metaload 分析数据字典的数据定义语句，建立不同对象的关系。MDS分析视图定义语句存储视图引用的表列信息；MDS分析存储过程的定义语句存储存储过程对视图、表、其它存储过程的引用；MDS分析触发器的定义语句存储触发器与表列的关系。3.7. DIM自动更新由于Teradata数据库物理元数据市MDS知识库的重要组成部分，因此保持最新信息动态反映Teradata系统的改变是至关重要的。MDS使用自动的DIM更新特性保持MDS知识库与Teradata系统的一致性。假如多个Teradata系统被存储在单一的知识库中，每一个Teradata系统均可被更新。MDS提供了一个数据库服务器端的进程（Relay Services Gateway RSG），借助RSG数据库引擎转发每一个数据定义语句到MDS，MDS分析SQL抽取出元数据改变的部分更新知识库。在MDS 2.1中RSG运行在Windows和MP-RAS两个平台（Windows平台要求Teradata为V2R4），RSG通过TCP/IP与MDS组件DDL Gateway（运行在Windows和MP-RAS两个平台）通讯，DDL Gateway负责管理RSG和Teradata的处理信息，并调用Integrity Server修改MDS知识库。3.8. 审计跟踪MDS提供了维护Teradata数据定义语句改变的审计跟踪功能。审计日志存储在MDS知识库中，可以通过MetaManager浏览。3.9. 商业元数据MDS 2.1提供了Excel Import Utility 从Excel电子表格中加载商业元数据到商业信息类。此外，来自数据模型工具（如：ERWin）的商业信息也可以借助Meta Integration Model Bridge (MIMB，Meta Integration Technology公司产品)加入知识库。3.10. ETL元数据除了物理和商业信息外，MDS还可以存储和维护ETL工具和ETL工具对物理元数据操作的信息，例如：表最后被加载的时间？什么工具用于加载此表？客户加载模型（Client Load Model）被用来存储此类信息，这个模型将维护从加载脚本抽取出的元数据与Teradata数据库信息模型中表、列等对象的关系，如：此脚本对那个表操作。MDS工具Metaclient 将扫描Mulitload、Fastload和Tpump脚本和输出文件，抽取信息加入知识库，同时建立脚本与Teradata数据库信息模型中表、列等对象的关系。这个工具运行在Windows和MP-RAS Unix上。3.11. MetaSurfMetaSurf提供了一个标准的、易于使用的Web界面，IT或商业用户可以通过此界面搜索、向下挖掘元数据知识库中的信息。MDS 2.1 MetaSurf有下列功能： 搜索结果可分多页显示 提供了使用布尔逻辑进行高级搜索的能力 提供了关键字检索的能力 在线编辑描述信息MetaSurf使用Active Server Pages 和 VB Scripting建立，这些脚本借助MDS COM接口访问MDS知识库。4. 定制和扩展元数据知识库MDS不仅提供了元数据模型管理Teradata物理和商业信息，而且还提供了一个框架使得最终用户可以定制和扩展元数据信息。4.1. MetaDesignerMetaDesigner 是一个Windows应用程序，它提供了易于使用的图形化界面。用户可以通过MetaDesigner 在MDS知识库中定义新的类、关系和属性。4.2. C+编程接口MDS提供的面向对象的编程接口，允许创建模型，定义类、类之间的关系，同时他也提供了编程接口增加、修改和删除元数据。C+编程接口在Windows和Unix MP-RAS两个平台有效。4.3. COM编程接口除了C+编程接口，MDS还提供了COM编程接口，MDS COM是一个脚本化的OLE自动化对象编程接口，接口允许其他应用程序或编程工具访问MDS知识库中的元数据。借助OLE自动化接口，一些应用程序，如：Office可以使用VB访问和浏览MDS知识库。COM编程接口只在Windows平台有效。4.4. XML接口C+和COM均为编程接口，为了易于使用，消除编程要求，MDS提供了XML工具MetaXML。MetaXML将读取XML格式的ASCII文件，分析内容，调用MDS C+接口执行相关操作。MetaXML除了可以加载元数据进入MDS知识库外还可以建立新的类、关系、属性。MetaXML只在Windows平台有效。5. 元数据互换5.1. Meta Integration TechnologyMeta Integration Te