元数据管理项目工程实施实施方案

1、元数据管理项目工程实施实施方案1 / 202 / 20作者： 日期：个人收集整理，勿做商业用途xx 移动元数据管理项目工程实施方案2012年5月3 / 20个人收集整理，勿做商业用途目录建设目标 6系统环境配置 62.1 客户 端 环 境 配 置62.2 服务 器 端 环 境 配 置72.3 网络 配 置7元数据管理范围 8项目实施计划 94.1 建设 规 划94.2时间安排104.3产品部署104.4 元模型定制104.5 元数据存储114.5.1技术类元数据存储11 据4.5.1.1 关系型数据库元数 114.5.1.2OLAP 元 数 据 124.5.1.3ETL 元 数 据 124.5

2、.1.4 模 型 元 数 据 134.5.2业务 元 数 据 存 储 134.5.2.1 业 务 指 标 元 数 据13 据4.5.2.2业务规则&术语元数14 据4.5.2.3维度&基础编码元数 144.5.3管理 类 元 数 据 存 储144 / 204.6建立日常管理流程154.6.1元数据权限管理15 理4.6.2通过元数据变更流程进行维护管15 护4.6.3元数据同步维16 护4.6.3.1 业务元数据同步维16 护4.6.3.2 管理元数据同步维17 护4.6.3.3 元数据同步维17 护4.6.3.4 库表结构元数据同步维18 护4.6.3.5Erwin元数据同步维18 训4.7

3、元数据交付、培194.8 元数据管理应用定制191920备份策略 -个人收集整理，勿做商业用途565 / 20个人收集整理，勿做商业用途1 建设目标依据中国移动通信集团 xx 有限公司经营分析系统元数据管理项目采购书所制定的 项目目标， 本项目致力于解决现有经分系统中元数据管理的问题， 即经营分析系统核心元模 型的建立、 两级经营分析系统元数据互通、 扩充元数据服务接口、 提升基础元数据支撑能力， 并能满足移动集团总部 NG2-BASS3.5元数据管理相关规范的要求。具体而言，通过本次项目实现如下目标：实现元数据基本管理功能 提供方便、友好的图形化元数据管理工具，实现对元数据的获取、维护、查询

4、、变更、 统计、导入等基本功能。实现一二级元数据互通功能生成一级经营分析系统重点接口的数据处理过程元数据的管理， 基于互通元数据接口标 准实现重点接口元数据的下发和重点接口数据处理过程元数据的上传， 促进两级系统对重点 接口统一理解和数据处理过程规范化。实现元数据的分析功能实现元数据的血缘分析及影响分析功能， 实现元数据的数据地图展现功能， 以拓扑图的 形式对经营分析系统的各类数据实体、 数据处理过程元数据进行分层次的图形化展现， 并通 过不同层次的图形展现粒度控制， 满足开发、 运维或者业务上不同应用场景的图形查询和辅 助分析需要。2 系统环境配置系统环境配置包括客户端和服务器端的平台软件、

5、 硬件配置和网络配置要求。 这些配置 要求与系统负荷有关。2.1 客户端环境配置配置项配置要求硬件配置客户端主机业界主流 CPU / 2GB 内存 / 20GB 剩余硬盘空间 / 100M 网卡软件配置操作系统Windows 2000 / Windows 2003 / Windows XP /Windows Vista / Windows 7浏览器IE 6 / IE 7 / IE 8 / IE 96 / 20个人收集整理，勿做商业用途2.2 服务器端环境配置配置项数量配置要求硬件配置数据库服务器主机（1 台）14 CPU / 8GB 内存 /500GB 硬盘 / 100M 网卡以上应用服务器主

6、机（1 台）14 CPU / 8GB 内存 /100GB 硬盘 / 100M 网卡以上元数据管理终端12 CPU / 4GB 内存 /20GB 硬盘 /100M 网卡以上软件配置应用服务器操作 系统1（以下任选其一，推荐使用 Unix 系统） Unix 、 Linux ；Microsoft NT 4.0 SP6 /2000 Server SP3/ 2003 Server应用服务器1Tomcat6.0 及以上版本JDK1JDK1.6 及以上版本数据库1（以下任选其一，推荐使用 Oracle 10g ）Oracle 9i / 10g / 11gDB2 8.2 及以上版本元数据管理终端 操作系统1M

7、icrosoft NT 4.0 SP6 /2000 Server SP3/ 2003 Server注： 1、数据库服务器和应用服务器可共用一台主机2、元数据管理终端用于进行 MIB-Client 、 MOConsole 等元数据管理客户端的操作2.3 网络配置以下是元数据管理系统的网络配置图， 其中的服务器是按逻辑功能划分的， 可以分别部 署在两台主机上，或者共用一台主机。元元元元元元 元元元元元元 元元元元元元元元 元元元元元7 / 20个人收集整理，勿做商业用途3 元数据管理范围 在项目建设过程中，我们将针对 xx 移动现场情况。管理技术，业务，管理类 3 大类元 数据。技术元数据主要包括

8、：外部数据源接口，数据仓库DB （ Teradata/Oracle）， ETL ，存储过程，建模元数据等。业务元数据包括：维度，基础编码，指标，业务术语，业务规则，业务描述等。 管理元数据包括：系统资源、人员管理，任务管理，需求流程管理、文档管理等。详细范围分类如下表：应用模块具体功能分类子功能备注建设阶段元数据 实体管理数据源接口按业务源系统分类组织模板整理，批量导入数据仓库 DB按照现有系统组织自动获取技术元数据ETL应用程序（作业）按作业用途分类自动获取，视现场情况部分模板导入逻辑模型按数据流向的层次分类自动获取，视现场情况部分模板导入业务元数据维度元数据根据业务梳理模板整理，批量导入基

9、础编码根据业务梳理模板整理，批量导入指标元数据根据业务梳理模板整理，批量导入业务术语、 业务规则、 业务描述根据业务梳理模板整理，批量导入管理元数据管理流程定义按需梳理模板整理，批量导入项目团队 （部门） 人员、 角色定 义按需梳理模板整理，批量导入系统、主机、运行环境管理按需梳理模板整理，批量导入元数据 关系梳理技术元数据数据库表 DB 实体间字段级关系 梳理按数据流关系梳理解析 sql 日志工具 接口解析ETL映射关系梳理根据工具解析，或 者约定解析 sql 日 志。自动解析或者日志 解析，或者手工整 理接口与库表之间关系梳理按照数据流关系梳理自动解析或者日志 解析，或者手工整 理8 /

10、20个人收集整理，勿做商业用途业务元数据各类业务元数据关系梳理按照业务数据流向梳理自动解析或者模板整理导入管理元数据管理流程定义关系梳理按照管理关系梳理模板整理导入项目团队 （部门） 人员、 角色关 系梳理按照实际关系梳理模板整理导入运行环境管理关系梳理按照实际关系梳理模板整理导入元数据应用基础功能应用图形分析功能血缘分析、影响分 析、数据地图展现、 主机拓扑、关联分 析、一致性分析元数据查询查询功能元数据导入导出导入导出功能元数据质量管理元数据质量管理功能两级元系统互通两级经营分析系统元数据互通功能应用扩展能力XMI 格式的接口REST风格接口MOI接口4 项目实施计划福建元数据工程实施方案

11、201205.mpp4.1 建设规划xx 移动元数据项目建设，按照项目分 4 个阶段进行： 第一阶段：需求调研阶段，预计 10 个工作日； 第二阶段：建设阶段，预计 40 个工作日； 第三阶段：上线阶段，预计 15 个工作日； 第四阶段：运维阶段，预计 200 个工作日。项目规划及人员安排列表需求调研阶段建设阶段上线阶段运维阶段工作量估算10 个工作日40 个工作日15 个工作日200 个工作日工作内容需求调研 元数据建设规划 元模型规划系统搭建 元数据梳理 导入元数据系统测试 系统试用 用户培训 系统维护系统运行维护 元数据更新 元数据定制开发9 / 20个人收集整理，勿做商业用途阶段性成果

12、需求调研说明文档 元数据建设规划文档 元数据模型说明文档 元数据项目计划文档元数据说明文档 元数据源文件介质 元数据应用系统用户使用培训 用户使用手册 系统维护手册系统运行情况报告元数据更新报告 定制开发功能文档人 员 分 工xx 移动项目经理 1 人-管理协助项目经理 1 人-管理协助项目经理 1 人-管理协助项目经理 1 人-管理协助皓竹 公司项目经理 1 人 需求调研人员 1 人项目经理 1 人 实施人员 1-2 人项目经理 1 人 实施人员 1-2 人实施人员 1 人 开发人员 1-4 人4.2 时间安排第一阶段： 2012 年 6 月 11日至 6月 22 日；第二阶段： 2012

13、年 7 月 2 日至 8 月 24 日；第三阶段： 2012 年 8 月 27 日至 9 月 14 日；第四阶段： 2012 年 9 月 17 日至 2013 年 6 月 21 日；备注：时间安排以项目启动时间为准4.3 产品部署项目正式启动后， 皓竹公司安排工程师到场按照产品模式进行产品部署、 产品介质交付。 根据产品安装步骤进行完整部署。对部署好的产品进行现场基础数据导入， 参数配置，联调，启动运行，确保产品正常运 行。4.4 元模型定制xx 移动元数据项目建设前期，根据系统需求文档以及前期与客户进行的需求调研来确 定各类信息资源标准， 然后根据确定的信息资源标准来进行分类， 并确定各类标

14、准的元模型。 相关调研过程由厂商，客户协助，元模型的定制由皓竹主导完成。元模型，即定义元数据的模型， 元模型的定义遵循标准化、国际化的CWM模型( CommonWarehouse Metamodel )，并且元模型具有可完全扩展、主流开放性(100%JAVA)的特点，最终形成 xx 移动元数据模型设计 ，需由 xx 移动、厂商、皓竹三方最终评审确定。元模型基本包括以下几大类： 管理类(包括系统资源、人员管理、任务管理、需求流程管理、运行环境管理、文 档管理)；技术类(关系型数据库、 OLAP、接口模型、 ETL 模型、 erwin 模型)； 业务类：指标、 KPI、报表等元模型；10 / 20

15、个人收集整理，勿做商业用途编码模型：信息分类及编码模型 视建设过程中如有需要扩展的，可进行元模型的扩展。 最终形成由皓竹元数据软件生成的符合 CWM 规范的 XML 元数据模型。4.5 元数据存储按照标准项目实施步骤， 在需求调研后， 皓竹根据与集成商、 客户协商约定的元模型标 准定制好元模型后，接下来的工作是现场各类元数据的存储。元数据存储过程流图4.5.1 技术类元数据存储对于元数据的存储，皓竹目前成熟的方式为：工具接口自动抽取 模板整理批量导入；技术元数据包括：关系型数据库 DB、 OLAP、接口模型、 ETL模型、 erwin 模型。4.5.1.1 关系型数据库元数据皓竹已经有对主流数

16、据库元数据的自动获取方式，此部分元数据可以直接获取。 皓竹能自动获取的数据库为： Oracle ， DB2， Teredata,Sql server ， sybase 等库。实现前提：RDB元模型制定完成； 相关厂商提供读取数据库或者表结构的视图权限，提供相关的连接方式。 皓竹对 MIB 工具相应接口进行读取参数配置。实现方式：通过 MIB 配置数据源，作业，执行作业自动抽取即可生成数据仓库 DB实体元数据。11 / 20个人收集整理，勿做商业用途4.5.1.2 OLAP元数据皓竹已经有对主流 OLAP工具的自动获取方式， 如 Cognos 工具的 OLAP元数据， 此部 分元数据可以自动获取

17、实现。实现前提：OLAP元模型制定完成；相关厂商提供读取 Cognos 数据源链接方式，相关权限。皓竹对 MIB 工具相应接口进行读取参数配置。实现方式： 通过 MIB配置数据源， 作业， 执行作业自动抽取即可生成 OLAP相关 元数据。备注：如现场使用的是 Cognos 之外的多维分析工具， 皓竹采用导出模板， 指导 厂商按照整理模板梳理 OALP元数据，批量导入元数据库。 以上方式除存储元数据实体外，关系维护也同时生成。4.5.1.3 ETL 元数据皓竹能提供对 ETL 主流工具 datastage， Informatica 的自动解析获取元数据功能。1 ETL 工具元数据实现部分实现前提

18、：ETL元模型制定完成；相关厂商提供读取数据源的链接方式，或者提供ETL 工具转换生成的 xml 格式的设计文件。皓竹对 MIB 工具相应接口进行读取参数配置。实现方式：通过 MIB 配置数据源，作业，执行作业自动抽取即可生成ETL元数据。实体以及关系同步生成。如果自动解析实现效果不佳，根据现场情况考虑模板补充整理，批量导入的方 式实现。2. 数据处理过程 ETL 元数据实现部分（存储过程）实现前提：ETL元模型制定完成； 皓竹与相关厂商约定存储过程执行 Sql 日志，厂商按照要求给出。 皓竹对 MIB 工具相应接口进行读取参数配置。12 / 20个人收集整理，勿做商业用途实现方式：通过 MI

19、B 配置数据源，作业，执行作业自动抽取即可生成ETL元数据。实体和关系同步生成。4.5.1.4 模型元数据皓竹能提供对建模主流工具 Erwin ， PowerDesigner 建模元数据的自动获取元数据功 能。1 Erwin 或者 PowerDesigner 工具元数据实现部分实现前提：ER元模型制定完成； 相关厂商提供通过以上提到的两类建模工具建模后，通过工具转换导出的 xml 格式文件。皓竹对 MIB 工具相应接口进行读取参数配置。实现方式：通过 MIB 配置数据源，作业，执行作业自动抽取即可生成建模元数 据。4.5.2 业务元数据存储 对于业务元数据的存储，皓竹目前成熟的方式为：工具接口

20、自动抽取；模板整理批量导入； 业务元数据包括：业务类指标、维度、基础编码，业务规则，术语等。 自动获取的业务指标工具：皓竹支持 arcplan，Cognos_Report ，MSTR 等报表工具元 数据自动获取。说明：由于业务指标，以及业务类的规则，维度，编码，术语等业务元数据都是跟 业务紧密相连，都是在建设和业务提升中不断积累所得，所以此块的元数据一般都 不规则化，一般都是使用根据调研确定的信息资源分类，提炼出特定的元模型，然 后皓竹提供导入模板。厂商按照模板整理相关元数据，然后批量导入元数据库中。 实体和关系同步生成。4.5.2.1 业务指标元数据业务指标工具设计类的存储实现方式如下：实现

21、前提：指标元模型制定完成。皓竹从元数据系统生成指标整理模板。13 / 20个人收集整理，勿做商业用途皓竹对对应系统厂商进行整理培训。 厂商按照要求梳理指标元数据。实现方式：通过 MIB 配置 XLS数据源，作业，执行作业将梳理好的指标元数据 批量导入系统。其他工具（不支持自动提取）实现的报表指标，都采用模板批量整理，批量 导入元数据库。实体和关系同步生成。4.5.2.2 业务规则 &术语元数据 业务规则，术语元数据存储实现方式如下：实现前提： 根据调研信息资源分类规则，业务规则、术语元模型制定完成。 从元数据系统导出整理模板。相关厂商按照模板要求梳理业务规则，术语元数据。皓竹对 MIB 工具

22、XLS接口进行读取参数配置。实现方式： 通过 MIB配置数据源， 作业， 执行作业自动抽取即可生成业务规则， 术语相关元数据。4.5.2.3 维度 &基础编码元数据 维度，基础编码元数据存储实现步骤如下： 实现前提： 根据调研信息资源分类规则，维度，基础编码元模型制定完成。 从元数据系统导出整理模板。相关厂商按照模板要求梳理维度，基础编码元数据。 皓竹对 MIB 工具 XLS接口进行读取参数配置。实现方式：通过 MIB 配置数据源，作业，执行作业自动抽取即可生成维度，基 础编码相关元数据。4.5.3 管理类元数据存储 由于管理类元数据都是根据每个企业自身管理制度以及管理方式产生的元数据， 所以

23、此 块的元数据一般都是文档化的， 一般都是使用根据调研确定的信息资源分类， 提炼出特定的 元模型， 然后皓竹提供导入模板。 厂商按照模板整理相关元数据， 然后批量导入元数据库中。 实体和关系同步生成。管理类元数据包括系统资源、人员管理，任务管理，需求流程管理、文档管理等。14 / 20个人收集整理，勿做商业用途此块元数据的存储实现步骤为：调研定制元模型，与客户确认。 在元数据中生成元数据整理模板。 厂商和客户根据模板要求整理相关元数据和关系。 皓竹将相应元数据通过 MIB 工具批量导入。4.6 建立日常管理流程项目在初期进行了产品部署， 元数据的存储后。 在试运行稳定的情况下， 需要根据客 户

24、项目的管理制度流程以及实际情况，摸索出一套符合 xx 移动的日常元数据管理流程办 法。在本章节中提供一套皓竹实施的元数据维护流程方案供参考。元数据的日常管理流程， 主要结合客户的管理习惯结合元数据系统中用户的使用权限 以及元数据中变更影响管理的功能，来实现对元数据管理系统中，元数据的增加，删除， 修改等操作的维护流程。4.6.1 元数据权限管理元数据管理系统中的用户， 在元数据的操作都有严格的的限制， 这个是通过创建用户 的时候，赋予不同的角色，来实现对不同用户的权限的限制，例如：当一个用户的登录元 数据的管理系统的角色是系统浏览者的时候， 那么此用户对系统只有浏览的权限， 而没有 修改的权限

25、等等。 又如： 当此用户只有对指标部分的操作权限的时候， 他只能对元数据管 理系统中的指标部分数据进行操作， 而对其他接口等部分数据就没有操作权限。 通过这种 赋予不同权限，来实现对元数据的维护的一个管理。4.6.2 通过元数据变更流程进行维护管理元数据管理系统中， 除了可以使用权限来控制元数据的维护之外， 还有通过元数据管 理系统中的变更影响功能来进行元数据维护管理。 其主要实现步骤如下： 首先， 元数据管 理系统中， 已经分配了相关的主要维护人。 如果需要修改元数据管理系统中的元数据， 必 须得到这些维护人的审核才可以进行， 当操作者需要对元数据管理系统中的某个元数据进 行修改的时候， 会

26、提交一个申请给相关的维护人， 维护人通过元数据管理系统中的血统分 析， 影响分析等功能， 来判断所提交的申请变更的元数据， 是否会对别的元数据产生重大 的影响。然后，根据判断结果，返回给操作者，是否可以对此元数据进行修改。15 / 20个人收集整理，勿做商业用途4.6.3 元数据同步维护4.6.3.1 业务元数据同步维护 业务元数据的同步，主要指手工录入的方式，对元数据管理系统的业务元数据，例如：KPI 指标，业务规则等数据进行更新。通过我们提供的规定的业务元数据整理模板，然后根 据模板来填写相应的数据，可以批量的对指标的数据的录入与更新。当数据仓库中的相关业务元数据发生变化的时候， 那么元数

27、据管理系统中的数据也要随 之同步更新。建议分以下步骤走：业务人员提出业务元数据发生变化。需求评审，确认，设计。厂商在生产系统中实现。厂商相关人员提交元数据变更申请。局方确认。元数据梳理，客户对梳理内容确认。变更元数据入库。业务元数据同步维护流程图16 / 20个人收集整理，勿做商业用途4.6.3.2 管理元数据同步维护管理元数据同步， 与业务元数据的同步过程很一样， 也是从通过填写导入模板来实现接 口文件的数据的批量的录入。当相关的管理元数据发生变化的时候，那么元数据管理系统中的数据也要随之同步更 新。管理元数据元数据导出增加/ 修改导入元数据供局方确认4.6.3.3 元数据同步维护ETL 程

28、序的同步，工具部分的 ETL 发生变化后，此部分元数据可以通过集成商或者客户确认更新后，元数据维护工程师接到变更要求后，由维护工程师执行MIB ，将相应变更元数据通过 MIB 自动解析入库。数据处理过程中的相关 ETL （存储过程） ，此部分在元数据建设调研期，就需要和厂商 约定好存储过程执行时输出符合解析要求的 sql 日志。然后皓竹配置 MIB 数据源，作业， 定期执行即可保持与生产系统的元数据同步。17 / 20个人收集整理，勿做商业用途ETL 元数据变更维护流程图4.6.3.4 库表结构元数据同步维护库表结构元数据的同步维护， 我们实现的主要的方式是通过我们的库表抽取程 序，来对库表中

29、的结构进行抽取，而且也是可以根据实际的需要，自动的对数据库 表中的结构进行抽取。当数据仓库中的相关库表结构发生变化的时候， 可以以定期同步的方式， 通过 自动调度任务来实现库表结构元数据的同步维护。定使用定 库表抽使用库表抽导入元数据4.6.3.5 Erwin 元数据同步维护Erwin 数据同步，主要是通过向元数据管理系统中导入 Erwin 工具生成的 xml18 / 20个人收集整理，勿做商业用途文件，从而实现对元数据的 Erwin 的数据的更新。Erwin使用导入元数4.7 元数据交付、培训 在项目完成产品部署，以及现场客户使用需求完成元模型定制，元数据的基础存储后。按照项目产品稳定运行要求后。皓竹进行元数据项目实施后的交付。项目交付包括以下工作： 元数据项目实施阶段成果汇报。 元数据产品培训，功能培训。元数据日常维护培训。4.8 元数据管理应用定制根据 xx 移动前期元数据的建设和使用情况， 进行元数据应用定制开发， 使得元数据融 入 xx 移动项目开发生产过程。促使元数据项目与数据仓库项目结合更紧密，充分发挥元数 据建设价值。说明