元数据管理项目工程实施方案

1、Xx运动元数据管理项目的项目实施计划2012年5月目录1建设目标32系统环境配置32.1客户端环境配置32.2服务器端环境配置42.3网络配置4三元数据管理范围54项目实施计划64.1施工规划64.2时序74.3产品部署74.4元模型定制74.5元数据存储84.5.1技术元数据存储84.5.1.1关系数据库元数据84 . 5 . 1 . 2 LAP元数据84.5.1.3ETL元数据94.5.1.4模型元数据104.5.2业务元数据存储104.5.2.1商业指标元数据104.5.2.2业务规则术语元数据114.5.2.3维度基本编码元数据114.5.3管理类元数据存储114.6建立日常管理流程1

2、24.6.1元数据权利管理124.6.2通过元数据更改流程进行维护和管理124.6.3元数据同步维护124.6.3.1业务元数据同步维护124.6.3.2管理元数据同步维护134.6.3.3元数据同步维护144.6.3.4图书馆表结构元数据同步维护144 . 6 . 3 . 5欧文元数据同步维护154.7元数据交付和培训154.8元数据管理应用定制155元数据建设需要的协调工作166备份策略161建设目标根据中国移动通信集团xx有限公司经营分析系统元数据管理项目采购书设定的项目目标，本项目致力于解决现有子系统中的元数据管理问题，即建立业务分析系统的核心元模型、两级业务分析系统之间的元数据互操作

3、性、扩展元数据服务接口、增强基础元数据支持能力、满足移动集团总部NG2-BASS3.5的元数据管理相关标准的要求。具体而言，通过该项目实现了以下目标：实现元数据的基本管理功能提供方便友好的图形化元数据管理工具，实现元数据获取、维护、查询、更改、统计、导入等基本功能。实现一级和二级元数据互操作性生成一级管理分析系统关键接口的数据处理过程元数据的管理、关键接口元数据的分发以及基于互操作性元数据接口标准的关键接口数据处理过程元数据的上传，促进两级系统对关键接口的统一理解，规范数据处理过程。实现了元数据分析功能。实现了元数据的血缘关系分析和影响分析功能，实现了元数据的数据地图显示功能。业务分析系统的数

4、据处理过程的各种数据实体和元数据以拓扑图的形式在不同的层次上图形化显示。不同层次图形显示的粒度控制可以满足开发、运维或业务中不同应用场景的图形查询和辅助分析的需求。2系统环境配置系统环境配置包括客户端和服务器的平台软件、硬件配置和网络配置要求。这些配置要求与系统负载相关。2.1客户端环境配置配置项目配置要求硬件配置客户端主机行业主流处理器/2GB内存/20GB剩余硬盘空间/1亿网卡软件配置操作系统Windows 2000/Windows 2003/Windows XP/Windows Vista/Windows 7浏览器IE 6/IE 7/IE 8/IE 92.2服务器端环境配置配置项目量配置

5、要求硬件配置数据库服务器主机(1)14个中央处理器/8GB内存/500GB硬盘/超过1亿网卡应用服务器主机(1)14个中央处理器/8GB内存/100GB硬盘/超过1亿网卡元数据管理终端12个中央处理器/4GB内存/20GB硬盘/超过1亿网卡软件配置应用服务器操作系统1(以下选项之一是可选的，建议使用Unix系统)Unix、Linux微软NT 4.0 SP6 /2000服务器SP3/2003服务器应用服务器1Tomcat6.0版及更高版本JDK1JDK版本1.6及以上资料库1(以下任一项，建议使用Oracle 10g)Oracle 9i/10g/11gDB2 8.2及更高版本元数据管理终端操作系

6、统1微软NT 4.0 SP6 /2000服务器SP3/2003服务器注：1。数据库服务器和应用服务器可以共享一台主机2.元数据管理终端用于操作元数据管理客户端，如MIB客户端和MOConsole。2.3网络公司在项目建设期间，我们将重点关注xx移动网站。管理技术、业务、管理三类元数据。技术元数据主要包括：外部数据源接口、数据仓库数据库、ETL、存储过程、建模元数据等。业务元数据包括：维度、基本代码、指标、业务术语、业务规则、业务描述等。管理元数据包括：系统资源、人员管理、任务管理、需求过程管理、文档管理等。详细范围分类如下：应用模块特定功能分类子功能评论建设阶段元数据实体管理技术元数据数据源接

7、口按业务来源系统分类的组织模板排列，批量导入数据仓库数据库根据现有的系统组织自动探测和跟踪ETL应用程序(作业)按工作目的分类自动采集，根据现场条件导入部分模板逻辑模型按数据流方向分级分类自动采集，根据现场条件导入部分模板业务元数据维度元数据根据业务分类模板排列，批量导入基本编码根据业务分类模板排列，批量导入指标元数据根据业务分类模板排列，批量导入业务术语、业务规则、业务描述根据业务分类模板排列，批量导入管理元数据管理过程定义按需梳理模板排列，批量导入项目团队(部门)人员和角色的定义按需梳理模板排列，批量导入系统、主机和操作环境的管理按需梳理模板排列，批量导入元数据关系排序技术元数据数据库表中

8、数据库实体间字段级关系的整理按数据流关系排序sql日志工具界面分析ETL映射关系梳理根据工具或约定解析sql日志。自动解析或日志解析，或手动排序理清接口与库表的关系根据数据流关系进行组合自动解析或日志解析，或手动排序业务元数据整理各种业务的元数据关系根据业务数据的流向进行梳理自动解析或模板排序和导入管理元数据管理过程定义关系梳理根据管理关系模板排序规则导入理清项目组(部门)人员和角色之间的关系根据实际关系模板排序规则导入理清经营环境的管理关系根据实际关系模板排序规则导入元数据应用基本功能应用图形分析功能血缘关系分析、影响分析、数据图显示、主机拓扑、相关性分析、一致性分析元数据查询查询功能元数据

9、导入和导出导入和导出功能元数据质量管理元数据质量管理功能两级元系统互通两级业务分析系统的元数据交换功能应用程序扩展能力XMI格式接口REST风格界面教学语言接口4项目实施计划4.1建设规划Xx移动元数据项目建设，根据项目分为4个阶段：第一阶段：需求研究阶段，预计需要10个工作日；第二阶段：施工阶段，预计需要40个工作日；第三阶段：在线阶段，预计需要15个工作日；第四阶段：运行和维护阶段，估计为200个工作日。项目规划和人员配备清单需求研究阶段建设阶段在线阶段操作和维护阶段工作量估计10个工作日40个工作日15个工作日200个工作日功函需求调查元数据建设规划元模型规划体系工程元数据梳理导入元数据

10、标准时间系统试验用户培训系统维护系统操作和维护元数据更新元数据定制开发阶段性成果需求研究文档元数据建设规划文件元数据模型描述文档元数据项目规划文档元数据描述文档元数据源文件媒体元数据应用系统用户培训用户手册系统维护手册系统性能报告元数据更新报告定制开发功能文档人成员点工作xx可动的一名项目经理-管理援助一名项目经理-管理援助一名项目经理4.2计时第一阶段：2012年6月11日至6月22日；第二阶段：2012年7月2日至8月24日；第三阶段：2012年8月27日至9月14日；第四阶段：2012年9月17日至2013年6月21日；注：时间表以项目开始时间为准。4.3产品部署项目正式启动后，朱浩公司

11、根据产品模型安排工程师到场部署产品和交付产品媒体。根据产品安装程序完成部署。对部署的产品进行现场基础数据导入、参数配置、联合调整和启动操作，确保产品正常运行。4.4元模型定制xx移动元数据项目建设前期，根据系统需求文档和前期与客户进行的需求调研，确定各类信息资源标准，然后根据确定的信息资源标准进行分类，确定各类标准的元模型。相关研究过程由制造商和客户协助，元模型定制由朱浩完成。元模型是定义元数据的模型。元模型的定义遵循标准化和国际化的CWM模型(公共仓库元模型)。元模型具有完全可扩展性和主流开放性(100%JAVA)的特点。xx移动元数据模型设计的最终形成取决于xx移动、制造商和朱浩的最终审查

12、和决定。元模型基本上包括以下类别：管理类别(包括系统资源、人员管理、任务管理、需求过程管理、运行环境管理、文件管理)；技术类(关系数据库、OLAP、接口模型、ETL模型、欧文模型)；业务类别：元模型，如指标、关键绩效指标、报告等。编码模型：信息分类和编码模型如果需要，元模型可以在构建过程中进行扩展。最后，由朱浩元数据软件生成符合CWM规范的XML元数据模型。4.5元数据存储根据标准项目的实施步骤，在需求调查后，朱浩根据与集成商和客户协商一致的元模型标准定制元模型，下一步工作是在现场存储各种元数据。元数据存储过程流程图4.5.1技术元数据存储对于元数据存储，朱浩目前成熟的方法有：l工具界面自动提

13、取；l模板完成批量导入；技术元数据包括关系数据库、OLAP、接口模型、ETL模型和欧文模型。4.5.1.1关系数据库元数据朱浩已经有了从主流数据库中自动获取元数据的方法。这部分元数据可以直接获取。朱浩可以自动获取的数据库有：甲骨文、DB2、特雷数据、Sql server、sybase等。l实施前提：RDB元模型已经建立。相关制造商提供读取数据库或表结构的视图权限，并提供相关的连接方法。朱浩为MIB工具的相应接口配置了读取参数。实现：通过MIB配置数据源，执行作业，自动提取作业，生成数据仓库的数据库实体元数据。4.5.1.2的Olap元数据朱浩已经有了主流OLAP工具的自动获取方法，比如Cogn

14、os工具的OLAP元数据。这部分元数据可以自动获取。l实施前提：OLAP元模型完成；相关制造商提供读取Cognos数据源的链接方法和相关权限。朱浩为MIB工具的相应接口配置了读取参数。实现：通过MIB配置数据源、作业，并执行自动作业提取以生成与OLAP相关的元数据。注：如果现场使用Cognos以外的多维分析工具，朱浩将使用出口模板来指导制造商根据分类模板对OALP元数据进行分类，并批量导入元数据。上述方法不仅存储元数据实体，还生成关系维护。4.5.1.3的ETL元数据朱浩可以自动分析ETL主流工具datastage和Informatica来获取元数据。1.ETL工具元数据实现部分l实施前提：E

15、TL元模型完成；相关供应商提供了一个链接来读取数据源或提供由ETL工具转换生成的xml格式的设计文件。朱浩为MIB工具的相应接口配置了读取参数。实现：通过MIB配置数据源，作业，并执行自动作业提取来生成如果自动分析无效，模板应根据现场情况进行补充和分类，并批量导入。2.数据处理ETL元数据实现部分(存储过程)l实施前提：ETL元模型完成；朱浩同意相关制造商执行存储过程的Sql日志，制造商按要求提供了这些日志。朱浩为MIB工具的相应接口配置了读取参数。实现：通过MIB、作业配置数据源，并执行自动作业提取来生成ETL元数据。实体和关系是同步生成的。4.5.1.4模型的元数据朱浩可以为主流建模工具Erwin和PowerDesigner的建模元数据提供自动元数据获取功能。