元数据白皮书

Teradataadivisionof(^)NCR元数据管理白皮书TOC\o"1-5"\h\z\o"CurrentDocument"什么是元数据3\o"CurrentDocument"为什么需要一个元数据知识库3\o"CurrentDocument"对IT用户的价值4对商业用户的价值4\o"CurrentDocument"TeradataMetaDataServices2.14\o"CurrentDocument"环境4MDS管理元数据知识库的工具5应用信息模型(ApplicationInformationModels)5\o"CurrentDocument"安全6\o"CurrentDocument"Teradata数据库信息模型(DIM)7\o"CurrentDocument"Teradata数据字典扫描程序8\o"CurrentDocument"DIM自动更新8\o"CurrentDocument"审计跟踪8\o"CurrentDocument"业务元数据9\o"CurrentDocument"ETL元数据9\o"CurrentDocument"MetaSurf10\o"CurrentDocument"定制和扩展元数据知识库11\o"CurrentDocument"MetaDesigner11\o"CurrentDocument"C++编程接口12\o"CurrentDocument"COM编程接口12\o"CurrentDocument"XML接口12\o"CurrentDocument"元数据互换12元数据集成技术错误！未定义书签。\o"CurrentDocument"元数据标准12\o"CurrentDocument"本地化和国际化13什么是元数据所谓元数据，是指关于数据的数据，可以用来描述数据的类型、来源、定义、存储位置、商业规则，使得业务人员可以正确地使用数据仓库，技术人员可以使用元数据信息开发数据仓库应用、维护数据仓库的运行。基于上面的定义我们可以知道元数据的使用者可以分为：技术用户、商业用户两类，因此元数据也可以相应的分为业务元数据(BusinessMetadata)>技术元数据(TechnicalMetadata)两类，下面分别针对这两类信息说明：技术元数据(TechnicalMetadata)技术元数据主要被企业IT人员(系统分析员、数据仓库管理员、数据库管理员)使用。技术元数据为企业数据仓库提供了详细的蓝图，企业IT人员可以借助这一蓝图更方便的扩展和维护数据仓库。技术元数据可以跟踪数据的流动，确定元数据来自哪里？什麽时间被加载？目标数据库是什麽？数据从源到目标移动过程中应用于该数据的技术和业务规则是什麽？通过跟踪、分析源数据加载到目标系统的过程，企业IT人员可以使用技术元数据检查数据仓库信息的准确性。此外利用已经定义的技术元数据信息企业IT人员可以分析任何涉及改变对数据仓库的影响，这样可以更快速的实施改变和后续项目。商业元数据(BusinessMetadata)商业元数据主要被企业业务人员使用，以他们可以理解的、简单易懂的语言描述数据仓库的对象，使他们能够不借助企业IT人员就可以找到自己需要的信息。为什么需要一个元数据知识库很多人已经有了关于数据仓库的元数据，这些元数据可能是文档、电子表格、书面说明或是头脑中的想法。存储、定位和维护这些信息可能是很麻烦的。一个数据仓库的元数据知识库提供了一个中央存储位置，是用户可以在线访问信息。知识库中存储了数据仓库整个处理过程中涉及到的信息，这些信息包括：数据仓库的加载，数据仓库中数据的结构，数据仓库中数据的的使用。对IT用户的价值数据仓库的元数据知识库允许IT人员更有效的管理数据仓库。IT人员可以使用元数据完成下列工作：＞消除数据冗余＞在对数据仓库做改变之前确定改变的影响＞确定数据使用情况，了解花费时间修改、花费空间存储的数据是否有人使用＞理解数据仓库的结构和关系对商业用户的价值数据仓库的元数据知识库对商业用户也有很高价值。例如：商业用户可以＞搜索知识库查找特定的信息在数据仓库中的位置＞理解数据仓库中数据的含义＞取得关于数据的进一步信息，如：数据如何被刷新？什么人拥有数据？数据何时被修改？数据来自哪里？＞理解数据的商业规则，如：数据的最大、最小值是什么？编码的含义？＞理解数据所属的业务主题是什么3.TeradataMetaDataServices2.13.1.环境MDS将元数据存储在Teradata数据库的一组表中。MDS软件运行在Windows(Win98/ME/NT/2000)或MP-RASUnix系统，借助TeradataODBCDriver访问Teradata数据库。MDS2.1支持Teradata数据库V2R4.0.X和V2R4.1.X。MDS管理元数据知识库的工具MDS2.1提供了两个工具管理存储元数据德Teradata表：metacreate、metamigrate。这些工具支持Windows和UnixMP-RAS平台。Metacreate工具在一个已定义的数据库中初始化元数据知识库，建立MDS需要的表。在初始的元数据知识库被建立以前不能进行任何MDS操作。MDS2.1提供了一个工具metamigrate转化低版本的MDS知识库到MDS2.1格式。这个工具自动修改所有已存在的数据（模式、对象等）以符合MDS2.1格式。应用信息模型（AIM）应用信息模型（AIM）定义了一组元数据在MDS知识库中如何存储。一个事例模型表示如下：AIM有三类对象构成：类描述（ClassDescription）—定义了元数据的类型。在上面的例子里数据库、视图和表都是类描述。在知识库中类描述的实体被称为对象。属性描述（PropertyDescriptions）—和类描述相关的数据域如：类型、名称。关系描述（RelationshipDescriptions—描述两个类之间的关系。在上面的例子里关系描述被定义为“DatabaseHasTables”，关系在数据库对象和标对象之间建立了联系。

3.4.安全MDS2.1提供了丰富的安全管理功能，可以控制不同的用户、组读、写、增加兀数据对象。这些安全设定可以由MetaManager或MDS编程接口实现。AddSecuritvProfileName:|AccountingSecurityProfileDescription:|AccountingGroupOwner:JimMillerName^AccountingAddSecuritvProfileName:|AccountingSecurityProfileDescription:|AccountingGroupOwner:JimMillerName^Accounting蜂JimMiller|匚urrentAcce演T如日READFULLCount:2TypeofAccess:FULLCancelAddNanHelDeleteName;3.5.Teradata数据库信息模型（DIM）Teradata数据库信息模型（DIM）是特定的元数据信息模型，MDS用它来存储Teradata数据库结构和内容的信息。MDS2.1中Teradata物理元数据可以包含触发器和存储过程信息。MDS2.1对物理元数据提供了扩展，使得它可以存储与Teradata物理信息相关的商业信息。DataasTriggersTableHasTrkisEntityTableDatabasiasStoredProceduressTableHasIndicesDatabaseInformationModelBusAttrColumnTableBusAttrViewColumnIndexContai□=NewinMDS2.1SubjectAreaDatabaseOwnsDatabasesBusRuleValuesColumnHasTriggersViewHasTableCohImnsViewHasColumnsViewColumDataasTriggersTableHasTrkisEntityTableDatabasiasStoredProceduressTableHasIndicesDatabaseInformationModelBusAttrColumnTableBusAttrViewColumnIndexContai□=NewinMDS2.1SubjectAreaDatabaseOwnsDatabasesBusRuleValuesColumnHasTriggersViewHasTableCohImnsViewHasColumnsViewColumnTableHasCheckConstraintsConstraintReferencesColumnsCheck押eferenceColumnnsColumnsSystemHasNodesNodeBusAttrRulesSubjectAreaEntitiesDatabaseHasSubjectAreasSystemHasDatabasesDatabfseHasRulesBusinessRuleBusEntityHasAttributes\,\DatabaseHasViewsBusEntityViewDatabaseHasTablesTriggerValidValuesBusinessAttributiColumnTableHasRefConstraintsReferenceDatabOseHaEntitiesDataBaseSPReferencesViewsTableHasColumnsDatabaseSystemSPReferencesStoredProcedureStoredProcedure.1AViewSPHasParametersSPParameterTeradata数据字典扫描程序MDS提供了一个Teradata数据字典扫描程序Metaload以便加载Teradata系统物理元数据到知识库中。多个Teradata系统可以加载到一个单一的知识库中，知识库不必与提供元数据的Teradata在一个系统。Metaload使用TeradataODBCDriver访问Teradata系统。Metaload分析数据字典的数据定义语句，建立不同对象的关系。MDS分析视图定义语句存储视图引用的表列信息；MDS分析存储过程的定义语句存储存储过程对视图、表、其它存储过程的引用；MDS分析触发器的定义语句存储触发器与表列的关系。DIM自动更新由于Teradata数据库物理元数据市MDS知识库的重要组成部分，因此保持最新信息动态反映Teradata系统的改变是至关重要的。MDS使用自动的DIM更新特性保持MDS知识库与Teradata系统的一致性。假如多个Teradata系统被存储在单一的知识库中，每一个Teradata系统均可被更新。MDS提供了一个数据库服务器端的进程（RelayServicesGateway-RSG），借助RSG数据库引擎转发每一个数据定义语句到MDS，MDS分析SQL抽取出元数据改变的部分更新知识库。在MDS2.1中RSG运行在Windows和MP-RAS两个平台（Windows平台要求Teradata为V2R4），RSG通过TCP/IP与MDS组件DDLGateway（运行在Windows和MP-RAS两个平台）通讯，DDLGateway负责管理RSG和Teradata的处理信息，并调用IntegrityServer修改MDS知识库。审计跟踪MDS提供了维护Teradata数据定义语句改变的审计跟踪功能。审计日志存储在MDS知识库中，可以通过MetaManager浏览。商业元数据MDS2.1提供了ExcelImportUtility从Excel电子表格中加载商业元数据到商业信息类。此外，来自数据模型工具（如：ERWin）的商业信息也可以借助MetaIntegrationModelBridge（MIMB，MetaIntegrationTechnology公司产品）加入知识库。ETL元数据除了物理和商业信息外，MDS还可以存储和维护ETL工具和ETL工具对物理元数据操作的信息，例如：表最后被加载的时间？什么工具用于加载此表？客户加载模型（ClientLoadModel）被用来存储此类信息，这个模型将维护从加载脚本抽取出的元数据与Teradata数据库信息模型中表、列等对象的关系，如：此脚本对那个表操作。MDS工具Metaclient将扫描Mulitload、Fastload和Tpump脚本和输出文件，抽取信息加入知识库，同时建立脚本与Teradata数据库信息模型中表、列等对象的关系。这个工具运行在Windows和MP-RASUnix上。ClientLoadModelScriptHasSourcesSourceTypeINMODRoutineStartRecordRangeEndRecordRangeRecordFormatIndicatorBitsVScriptHasSourcesSourceTypeINMODRoutineStartRecordRangeEndRecordRangeRecordFormatIndicatorBitsVersionIDScriptQualifierOutputFileNameLoadUtilitySessCharSetScriptLevelDDLUsedProcessorTimeHighestReturnCodeCompletionStatusStartTimeStartDateEndTimeEndDateScriptHasTargetsTargetTypeTargetSystemNameTargetDatabaseNameTargetLevelDDLUsedTargetLevelDMLUsedNbrRecordsReadNbrRecsSentToTDNbrRecordsDeletedNbrRecordsInsertedNbrRecordsSkippedNbrRecordsUpdatedNbrErrorsTbl1NbrErrorsTbl2SourceUpdatesDIMTablesSourceFieldUpdatesDIMColumnsSourceFieldUpdatesDIMViewColumnsDataTypeDataLengthRecLayoutNScriptLoadsDIMViewsDatabase

Information

Model3.11.MetaSurf™MetaSurf™提供了一个标准的、易于使用的Web界面，IT或商业用户可以通过此界面搜索、向下挖掘元数据知识库中的信息。MDS2.1MetaSurf™有下列功能：＞搜索结果可分多页显示＞提供了使用布尔逻辑进行高级搜索的能力＞提供了关键字检索的能力＞在线编辑描述信息

MetaSurf使用ActiveServerPages和VBScripting建立，这些脚本借助MDSCOM接口访问MDS知识库。.MDSOuerview.Help.N-w喝；a「chexactmatchcontainsthek.MDSOuerview.Help.N-w喝；a「chexactmatchcontainsthekBackINewSearchIMl20002001.'VCflCofporstiMDS不仅提供了元数据模型管理Teradata物理和商业信息，而且还提供了一个框架使得最终用户可以定制和扩展