元数据管理-实用.ppt

1、元数据管理,冷鹏 （2006年编写）,数据集成技术,数据展现分析,数据仓库建模,厂商解决方案,谈元数据管理,数据仓库基础,项目开发管理,元数据管理工具,Informatica MetaManager DAG MetaCenter IBM MetaStage Oracle OWB CA Decisionbase Transformer ,元数据,MDC的开放信息模型 分析与设计（Analysis and Design） 对象与组件（Object and Component） 数据库与数据仓库（Database and Warehousing） 业务工程（Business Engineering）

2、 知识管理（Knowledge Management） OMG组织的CWM模型 UML MOF（元对象设施） XMI（XML元数据交换）,元数据的重要性,及时发现系统变化 找出需要调整的ETL程序 给出仓库中数据和指标的来源及规则 调整仓库的数据模型 促进项目组成员的沟通 监控数据质量 采用元数据跟用户确认新的需求,技术元数据,业务元数据,谁需要元数据,谁需要元数据,开发人员,谁需要元数据,谁需要元数据,业务经理,项目经理,谁需要元数据,架构师,谁需要元数据,元数据的存储区,数据仓库元数据结构图,元数据管理示意图,源数据,EDW （ODS+DW+DM）,前端工具,connections,暂存区

3、,元数据 数据库,Informatica Metadata Manger,Informatica Metadata Manager,Informatica Metadata Manager,* (on Oracle 8.1.7 and above, SQL Server 2000 SP3 and DB2 7.x EE/EEE and above),Source definition,源系统地址, 网络连接, 访问方式Location, network connection, access methods 计算机系统, 操作系统Computer platform definition, oper

4、ating system definition 数据库服务器名,访问方式,数据结构,有关的表,列Database server name, access methods, schema, table, elements of interests 源数据库链接说明 Source database links 逆工程与源系统设计获取定义说明Reverse engineering and source design capture specification 元数据交换说明Metadata exchange definition,Staging area definition,源至暂存区映像（Sou

5、rce-staging mapping） 暂存区至目标区映像Staging-target mapping 中间文件的传输说明File transport specification 中间文件的说明及使用File specification and usage 中间文件的前后处理(清理与压缩)说明File pre/post event processing specification 暂存区数据库的前后处理及中间处理说明及使用Staging database usage and pre/post process specification,Target modeling definition,星

6、结构Star schema 事实表定义说明Fact table definition 度量Measurement 数字键Numeric key 交替键Foreign key 索引Index definition 定义数据（如数据类型，数值大小和省缺值） 有效性制约Validation constraint 数据域值定义Data range validation 分区定义说明Partition specification 存储说明Storage specification,维表定义与说明Dimension table definition 主键Primary key 缓慢变化的维Slowly c

7、hanged dimension 维的等级/层次Dimension hierarchy 维的共享Dimension sharing 维的版号化Dimension versioning 数据库完整性限定Database integrity constraints,Target modeling definition,维表定义与说明Dimension table definition 主键Primary key 缓慢变化的维Slowly changed dimension 维的等级/层次Dimension hierarchy 维的共享Dimension sharing 维的版号化Dimension

8、 versioning 数据库完整性限定Database integrity constraints,Mapping definition,源至目标映像Source-target mapping 基本数据到综合数据的映像Basic data-summary mapping 标准字典Standard dictionary 转换字典Conversion dictionary 参照表Lookup tables 映像表Mapping tables,ETL definition,转换规则和方法Conversion rule and method 数据清洗说明Data cleaning specifica

9、tions 批作业说明Batch job specification 加载频率Loading frequency 累加时间片控制说明Incremental time slice control specification 回退说明与准则Rollback specification and policy 剥离与修改数据准则Strip and modification in bound data policy 转换函数库Conversion function library 传输定义与说明Transportation definition 加载定义与说明Loading definition,ETL

10、 definition,会期/对话管理定义与说明Session management definition 预定作业排时Scheduling 批作业前后事件说明及处理方法Pre-batch and post-batch job events 批作业日志Batch logging 会期/对话日志Session log 拒收日志Rejected log 坏数据日志Bad data log,Summary management definition,事实表/维表至总计方阵映像Fact/dimension-summary cube mapping 总计至总计映像Summary-summary mapp

11、ing 总计方阵设计Summary cube layout 聚合定义说明Aggregate definition 实体化视图/方阵定义说明Materialized view/cube definition 方阵间关系Relationships between cubes 嵌入式实体化视图/方阵之间的依赖性Dependency of nested materialized views/cubes 方阵组 Grouping of cubes,Summary management definition,刷新过程的定义与说明Refreshing definition 刷新前后事件处理说明Pre-ref

12、reshing and post refreshing events 刷新方法Refreshing methods 刷新组Refreshing groups 刷新执行顺序Refreshing sequence 刷新频率Refreshing frequency 刷新过程处理软件Refreshing procedures 刷新作业的监控检查Refreshing monitoring,OLAP definition,查询机制Query engine 虚拟方阵/视图定义Virtual cube/view definition 访问权限管理说明Privilege management specifica

13、tion 用户接口定义与说明User interface definition 访问方式Access method 结果数据提交方法Delivery method and definition 结果数据传输定义与说明Result set transportation definition 用户登入/登出User log in/log off 用户活动日志以及出错处理User logging and error handling 联机分析用户手册OLPA User manual,Application Software Specification,软件版号管理与说明Version control

14、 数据库应用版号Database application version 软件与程序版号Software and program version 程序与数据的参照所名Function-data object references 包/过程软件/函数Packages/stored procedures/functions 函数库Function library 元件Components 程序调用层次模型定义与说明Hierarchical level model 2-3级结构Architecture 2-3-tier structure 程序库Library 业务规则定义说明Business Rule definition 业务规则表Business rule tables 业务规则表与业务政策的联系Association between Business rule and business policies,Quality control and security definition,安全政策Security policy 审计日志Audit log 错误捕捉Error trapping 错误追朔方