元数据管理模块方案

目录

1.现实状况分析......................................

L1目前日勺困境......................................

1.2什么是元数据管理................................

2.目H勺分析..........................................

2.1建立完善的指标解释体系.........................

2.2建立规范的元数据管理体系.......................

2.3建立有效的数据稽核体系.........................

3.功能概述..........................................

3.1元数据管理......................................

3.1.1业务元数据..................................

3.2.2技术元数据..................................

3.3元数据分析......................................

3.3.1血统分析....................................

3.3.2影响分析....................................

3.3.3重要性分析..................................

3.3.4无关性分析..................................

3.4数据稽核........................................

3.4.1稽核规则管理................................

3.4.2稽核任务调度................................

3.4.3稽核成果分析

3.4.4数据质量评估

3.4.5数据问题管理..................................

元数据管理系统概述

1.现实状况分析

伴随经营分析系统规模不停扩大，系统所积累数据量也越来越大，搜集到的

海量数据背后隐藏着大量珍宝贵要的信息，但也同步提高了系统的数据管理难

度：首先难以对这些数据进行有效解释，缺乏对业务流程执行口勺实时监控和管理;

另首先各部门数据与数据整合的难度也不停加大，影响到了经营分析系统中的数

据质量。

怎样对既有数据进行深层发掘，并揭示出埋藏在元数据中的趋势、因果关系、

关联模式等关键信息？这是下一步深化经营分析系统应用的电信运行商需要处

理日勺头等大事。构建BI,首先要保证的是数据质量。元数据管理处理的问题就

是怎样把业务系统中日勺数据分门别类地进行管理，并建立数据与数据之间日勺关

系，为数据仓库日勺数据质量监控提供基础素材。

1.1目前的困境

使用者（决策层、业务分析人员）：

1）经营分析系统中存在有诸多报表，不一样报表中存在某些相似H勺指标，

这些指标往往不一致，给业务分析和决策工作导致诸多困惑，必须花费很大

的精力去检查核算。

2）对于诸多指标，不清晰其详细含义，不清晰其反应口勺问题，不清晰其详

细算法和来龙去脉。

数据仓库项目开发维护者：

1）不一样报表中的同一指标不一致，必须花费很大日勺精力去检查，目前基

本上是通过手工检查表和存储过程日勺方式，效率较低。

2）没有完善的开发、维护规范。例如，新增一张分析报表，开发人员根据

业务人员的需求制作完毕之后，往往没有整顿完善对应H勺数据指标解释和元

数据管理，导致后来检查困难。

3）开发、维护规范的执行力较低，没有行之有效的管控手段。不严格按照

规范执行，伴随项目的发展和时间口勺推移，导致数据仓库项目口勺强健性和可

维护性呈几何级数卜.降，给数据仓库的建设带来大量的反复工作。

1.2什么是元数据管理

元数据最本质，最抽象的定义为：dataaboutdata（有■关数据注勺数据）。

而对于经营分析数据仓库而言，形象H勺定义为:元数据就是数据仓库的规范。

2.2建立规范的I元数据管理体系

让顾客可以清晰的理解数据仓库中数据流的来龙去脉，业务处理规则、

发展状况等，提高系统H勺可维护性、适应性和集成性，支持数据仓库/集市

的成长需求，减少因员工换岗导致H勺影响。

详细来讲，重要是对数据仓库建设、运行和维护的规范口勺管理。可以回

答诸如如下的问题:

哪张表是从业务系统抽取过来日勺原始话单表？

竞争对手新发展顾客事实表中日勺数据，是从哪些表汇总计算出来的？

DW顾客下的P_XXX这个存储过程是谁写的，目前尚有用吗？

我是新手，要生成套餐生命周期演化分析事实表，我该怎么做？

表空间不够了，哪些表的数据可以删掉？

2.3建立有效的数据稽核体系

增进数据仓库日勺数据质量建设，为提高整个系统的I数据质量奠定坚实欧I

基础。建立报警、监控机制，出现故障，能及时发现问题。提供整体系统运

行日勺状况分析，可以回答诸如如下问题：

今天的出帐顾客数过高，是怎么回事？

数据集市层中H勺DM_XXX表中数据为空，什么原因？

A报表中H勺全省ARPU值和B报表中的ARPU值为何不一样?

3.功能概述

3.1元数据管理

对数据仓库的层次构造、主题域划分，各层的多种对象，如表、存储过

程、索引、数据链、函数和包等的管理。可以清晰H勺展现各层次构造之诃的

数据流程，图形化展现各对象之间日勺关系，展现表中数据的来龙去脉。

3.1.1业务元数据

业务元数据包括如下信息：使用者的业务术语所体现的数据模型、对象

名和属性名；访问数据的原则和数据来源；系统所提供口勺分析措施及公式、

报表信息。

业务元数据管理除了管理上述信息外，还提供对业务元数据来源的管理

和差异性对比功能，使顾客可以以便的查询、比较和追溯。

包括两个子模块，指标管理和指标解释接口。

指标管理：重要实现对所有指标的维护功能，维护指标H勺基本信息、业

务规则和技术算法等。可以展现各个主题分析中的指标，以及指标间的区别

等信息。

元，据指标

序号指标ID指标名称计量单位类型

1E01发展用户数估篁人时点数

BDCRM2E02收入估菖元时期数

&CRM3E03移动电话普及率%时点数

HO总部指标体系4E04渠道网点数个时点数

土本指标

指标屋性

王aft度分类及说明

口崛2.0编均E03

日*营分析另监移动电话普及率

王口高层决策业务描述统计期末移动电话用尸数占统计区域内人口数的比例.

技术描述SELECT*FROMBF_GSM_CALL_T@HNBF

类型时点数

计量单位无

白牌时间2007年07月23日

所届部门计费部

|指标全文检索，|增加指标||修改指标||删除指标|

指标解释接口:提供统一的接口，使顾客可以在经营分析系统或CRM

系统中，点击任一指标名称，即可查看该指标的详细描述和解释阐明。

经营分析系统联机帮助区I

流失用户数

上月出帐本月不出帐的用户数

3.2.2技术元数据

技术元数据是存储有关数据仓库系统技术细节的数据，是用于开发和管

理数据仓库的数据，重要包括数据仓库构造的描述（各个主题的定义，星型

模式或雪花型模式的描述定义等）、ODS层（操作数据存储ODS.Operation

DataStorage）日勺企业数据模型描述（以描述关系表及其关联关系为形式）、

对数据稽核规则的定义、数据集市定义描述与装载描述（包括Cube欧I维度、

层次、度量以及对应事实表、概要表的抽取规则）。

系统除了维护技术员数据日勺基本信息外，更以图形日勺方式展现和管理各

技术元数据之间的关联关系和来源。

技术元数据管理重要包括如下几种功能模块：

元数据查询：按关键字、分类、主题域名称等维度进行查询，展现该元

数据的基本信息，如业务描述、技术描述、计量单位、所属分类等信息。

元数据维护：对元数据口勺基本信息进行维护，包括增、册IJ、改。

元数据指标

元数得基本信息

元数露名称元数据类型

BF_GSM_CALL_T表

闫DCRM正式库

OCRM元数笈息性

编科

Mg标2.0%用庠KPI0534

-3经营分析正式摩别名

0薛02月G问话单

5M

业务描述

土5ss指玩计期内G网所有用尸F

邑X营分析测试库技术播述

SELECT*FROM

,5MBF_GSM_CALL_T®HNBF

5MCODE

5ss

适用范围话各线计

计量单位无

创建时间

2007年07月23日

所属瓯门市场部v

|W|fW|

元数据关系查询：展现元数据之间口勺关系，Hi：按经营分析数据仓库的

各个层次进行展现；按元数据之间的映射关系展现；按元数据口勺处理流程进

行展现等等。

点击［选择］，弹出元数据选择界面，进行精确选择,

元数据类型：全部元数先名称：冏帐用户数I［选择］【克询

指标：出帐用户数

元数据关系管理：对元数据关系进行维护，包括增长、删除和修改。

点击除择］，弹出元数据选搭界面，迸行将选择.

元数据芟女:全部元数据名称:

增加上级节点

删除该叩点

修改元数据信息

得密权用控制，吊标右键点击

某元数据节点，进入超元数搭

的关系飨护界面，对X与茂地

元数痘之间的关系迸行地制改

除作.

,＞：

EBAJDM_0PP0'.E，T_5Jf、6^V_OPPOE'a_MOBILE-MOfi

点击某元数需节点，展瑰由元

数密的关系图.

指标：出餐用尸数

如上图所示，鼠标右键点击某个节点，对该节点进行增、册h改操作。

点击［选择］,弹出元数据选择界面，进行精确选择.

点击及6择］，弹出元数据选择界面，进行精确过

名称：I出帐用户数、［选择］:盍询J

£•

居

也

发

3.3元数据分析

血统分析•、影响分析、表重要程度分析、表无关程度分析等等。通过上

述分析，让顾客对整个数据仓库总体上有清晰的认识和理解，处理数据孤岛

的问题。

3.3.1血统分析

数据血统一DataLineage,通过数据血统分析，顾客可以懂得数据何时

更新、怎样计算以及从何处而来，所有这些手段协助顾客追溯报表中数据产

生日勺来源。这种深入洞查数据来龙去脉日勺能力对于协助顾客愈加信赖他们的

信息来说，具有至关重要的作用。

营帐系统话单表

业务生产系统

源数据SRC层

移动用户通话详单表ODS层

沉淀话务指标与移动在网用户比较------------------------

V_V_

数据仓库DW层

移动用户话务表移动新入网用户表

汇总产生新入网用户信息

数据集市DM层

移动大客户信息展现移动新入网用户信息展现

3.3.2影响分析

影响分析关注的重点是数据的流向，提供端对端影响分析，使您可以看

见源系统发生变化时，BI报表受到的影响，而因此可以轻松地处理BI环境

中的变化。

3.3.3重要性分析

分析Bl系统中，顾客最关怀的分析主题、报表和指标，追溯这些分析

主题、报表和指标波及到的元数据，这对于BI系统和数据仓库开发团体具

有重要的指导意义。

用户关注度对比图

分析各元数据对象之间的关联密集度，分析数据仓库中各层次H勺包、表

等对象的重要程度，指导数据仓库开发和维护团体对重点元数据进行重点关

注和质量监控。

3.3.4无关性分析

与重要性分析相反，伴随数据仓库系统的规模不停扩大，业务需求的日

益变化，会产生一定数量H勺无关数据、信息和报表，找出这些无关H勺内容，

结合业务需求分析其产生的本源，从而为顾客简化工作负载，减少项目总拥

有成本，为顾客提供可信赖的数据和分析能力。

报表无关程度

报表名称据法关注度（人次）

柒道明细日报面向领导层面的决策支持0

自定义套餐日报分析政策与市场对品牌发展的故略影响2

产品群分析分析渠道的发展和收益3

基站话务量4分析与日常业务运营相关的数据7

点击报表名称，可查看该报表

涉及到的相关数据来源分析。

3.4数据稽核

根据预先配置口勺规则、算法和质量检查度量，对数据的精确性、合理性

等多角度的检查，以及时发现问题，处理问题。

对于稽核成果，进行记录分析，形成成果汇报，为后来的数据仓库建设、

实行和维护的改善打下坚实日勺基础。

3.4.1稽核规则管理

接口数据检查：对接口数据的过程进行稽核和校验，分为文献接口，

DB-LINK接口，其他异构数据库接口。

处理过程检查：对数据处理过