技术文档-元数据实例参考.ppt

中国移动省级NG2-BASS3.0规范培训 -元数据管理分册 2019年4月25日星期四,目 录,修订背景,实现两级经分元数据信息互通，保障一、二经指标口径一致，使各省上报重点一经接口的真实汇总过程透明化，在发生数据质量问题时两级系统有共同的沟通平台，并防范部分省公司干扰指标真实性。,经过NG1-BASS2.0元数据管理模块的建设，各省在元数据管理和应用方面积累了一些具有推广价值的经验，同时也发现了一些存在问题,一级经营分析系统数据质量依赖于省级经营分析系统上传的接口数据质量，需要加强两级经营分析系统的数据理解一致性和重点接口的数据处理过程规范性；,为提升经分系统数据质量，需要建立经分与数据源系统的协同管理机制；,经营分析系统的发展对提出元数据管理模块提出新的要求，需要增强元模型管理、元数据获取能力和对外服务能基础能力，以更好支持经分建设和应用。,修订目标和思路,修订目标,建立经营分析系统核心元模型，规范数据处理过程的结构化描述 实现两级经营分析系统元数据互通，促进重点接口数据处理过程规范化 为经营分析系统基础技术模块提供支撑，扩充元数据服务接口 服务经营分析系统数据质量管理子系统，为源系统联动机制提供基础支撑,修订思路,以CWM为基础面向经营分析系统建设和管理需要进行元模型细化和扩展，针对关键元数据对象建立核心元模型，实现两级元数据互通 增强SQL脚本解析，提升数据处理逻辑过程的展现能力 建立维表库管理、接口管理机制，支撑数据质量的源系统协同机制 提供数据封装和数据地图访问服务接口，增强元数据对外服务能力,目 录,元数据管理模块在经营分析系统中的定位,本期修订内容,本期修改内容,本期新增内容,经营分析系统核心元模型 两级经分元数据互通 维表库管理 接口管理 数据地图展现 数据封装元数据 客户隐私信息元数据,元数据变更管理 数据源接口元数据 维度数据 辅助安全管理,元数据服务接口（二期） SQL脚本自动解析（二期）,二期建设内容,目 录,3.1 元数据获取层,元数据获取新增SQL解析二期内容建设 在原有SQL脚本自动解析一期建设基础上，规范数据处理元数据的结构化描述、细化描述粒度、丰富解析效果展现层次，对SQL解析中的关键问题提出处理方法要求： 数据处理过程元数据的生成 SQL脚本对象结构化描述 以ClassifierMap对象描述SQL脚本的数据转换处理逻辑 以RelationalOperator对象描述SELECT子句的关系代数操作 以FeatureMap对象细化描述SQL脚本的关系操作 数据处理过程日志规范要求 SQL脚本的上下文关系处理要求 多路径问题和信息丢失问题处理要求,二期建设：SQL脚本解析,日志规范要求细化,运行日志的输出形式： 日志文件 日志表,日志内容中要求包含： 提交到数据库执行的SQL脚本 创建数据库链接的相关参数 文件导入导出操作 不要求包含游标操作信息,二期建设：SQL脚本解析,脚本程序描述和 SQL片段描述,关系代数操作及其明细的描述,数据转换处理单元描述,脚本程序：TransformationTask SQL片段：TransformationMap,SELECT / COMBINATION / INSERTALL / MERGE / RENAME 投影操作/交并差操作/改名操作,二期建设：SQL脚本解析,SQL脚本上下文信息处理,多路径和信息丢失问题处理,要求能够处理如下上下文相关类型： 改变数据库连接 临时表的处理 命名空间的处理 SQL脚本循环执行,问题自动处理能力： 将脚本多次运行日志自动合并 对导入导出命令自动解析 export/import/unload/load 辅助人工处理能力： 游标处理，可提供告警功能 手工补充相关的元数据。,3.2 元数据存储层,元数据存储新增内容包括： 经营分析系统核心元模型 数据封装元数据 增强内容包括： 维度元数据的存储：对维度元数据的属性要求进行细化，支撑维表库管理应用 数据源接口元数据的存储：对接口元数据的属性要求进行细化，支撑接口管理应用,CWM作为数据仓库领域的元模型标准，在元数据的集中管理、元数据互操作和元数据交换方面发挥重要作用。但是CWM作为一个国际性、厂商无关、平台无关的规范，本身只提供一个公共的元模型框架，将数据仓库领域的公共特性纳入元模型中，而不追求对物理实现的精确定义。 经营分析系统核心元模型以CWM元模型为基础扩展而成，是面向两级经营分析系统元数据互通的实际需要对关键元数据对象进行精确定义的元模型规范。,新增：经营分析系统核心元模型,派生,新增：数据封装元数据,数据封装元数据主要包括数据封装服务开发生成的逻辑模型，以及逻辑模型与数据仓库/数据集市物理模型的映射关系。 数据封装元数据包括四类：逻辑模型实体、逻辑模型字段、映射关系组、映射关系,逻辑模型实体元模型,逻辑对象名称 逻辑对象描述,逻辑模型字段元模型,字段名称 字段描述 字段类型 字段长度 是否为PK 是否关联字段,关系组标识 关系标识 源对象 目标对象 关系类型 是否主关联,3.3 元数据功能层,元数据功能层新增内容包括： 基于元数据的多层级数据地图展现 元数据服务接口二期建设内容 增强内容包括： 元数据变更管理：增加大版本管理功能，支持批量元数据定版；支持版本差异分析；支持元数据生成修订记录功能,新增：数据地图展现,作为元模型规范化的延伸，统一图形展现方式，消除图形表达的语义理解差异。 解决图形展现缺乏层次控制、布局凌乱、难于看懂的现状。 图形展现包括： 作业层图形展现 SQL语句层的图形展现和布局,作业层展现,数据处理逻辑层展现,SQL语句层展现,数据处理逻辑层明细展现,数据处理逻辑层的图形展现 数据处理逻辑明细层的图形展现,二期建设：元数据对外服务接口,一期建设中，已实现元数据封装原语定义和基础技术能力建设 本期建设，重点增加元数据封装接口应用功能，包括： 数据封装元数据访问服务接口 读取物理模型元数据 写入数据封装元数据 数据地图访问服务接口 关系分析图形接口 包含分析图形接口,3.4 元数据应用层,元数据应用新增内容包括： 两级经分元数据互通 维表库管理 接口管理 元数据应用增强内容： 辅助安全管理,新增：两级经营分析系统元数据互通,通过实施两级经营分析系统的元数据互通，使各省经营分析系统数据处理过程对集团透明化，促进集团对各省营分析系统的数据处理过程的理解，进一步了解各省接口开发方案、新接口改造的实际进度并加强管理，有助于两级经营分析系统数据质量的整体提升。,数据仓库 数据处理过程 源系统接口 源系统维度,互通内容,互通元数据维护 互通元数据转换接口 校验结果处理,功能要求,XML文件 基于互通元数据接口标准,互通接口,新增：维表库管理,维表库管理是指基于元数据系统，对数据源系统维表库、各省经分系统之标准维表库和集团一经维表库分别进行管理，从而建立一套标准的维表库体系。实现标准维表库与源系统维表库之间的关联管理，旨在有效处理源系统维表库与标准维表库之间的维度数据统一，促进经营分析系统与源系统协同。,维表目录管理,维表登记管理,维表数据管理,维表关系管理,维表分类定义 目录调整,维表登记 维表结构定义 维表分类整理,维表数据基本维护管理 维表数据导入/导出,维表映射关系 维表映射 字段映射 数据映射 维表引用关系 接口引用 事实表引用,维表同步机制、维表变更日志管理、维表信息公告发布,新增：接口管理,省级经营分析系统与BOSS、CRM等系统和一级经营分析系统以数据接口形式进行大量数据交互。基于元数据进行接口管理，对于接口数据规格、数据内容以及接口管理过程进行规范管理，建立接口元数据维护机制，提高接口元数据质量，为源系统变更协同管理和两级经营系统元数据互通奠定基础。,接口管理范围,接口元数据获取 接口元数据管理、维护 查询分析 变更管理 对外服务接口,功能要求,增强：辅助安全管理,增加客户隐私信息元数据管理，支撑经营分析系统安全管理,提供客户隐私信息的基本配置和存储： 定义是否为隐私信息： 附加隐私标识 定义所属的隐私类别： 为个人客户隐私、集团客户隐私或集团客户成员隐私信息。 定义具体的隐私属性： 如，手机号码、地址、客户姓名等。,提供客户隐私信息服务接口： 获取隐私信息相关的技术实体： 输入：需要查询的隐私标识、隐私类别或隐私属性等参数； 输出：元数据实体，如数据库表名和字段名，以及相关技术元数据属性。 获取技术实体的隐私信息定义： 输入：技术元数据实体信息，如数据库表名； 输出：该实体的隐私标识、隐私类别和隐私属性等客户隐私信息定义信息。,目 录,附件一：CWM元数据模型结构,CWM模型是OMG组织定义的数据仓库和相关系统的国际元数据标准，CWM标准的目的在于使数据仓库和商业智能软件的元数据在分布异构的数据分析工具、数据仓库平台、元数据存储等系统之间进行。,CWM元模型可用于描述数据加工链路中各种实体的平台无关的公共特性，但是对于特定应用场合，CWM元模型可能会缺乏实际应用所必须的某些信息的描述能力，这时需要对CWM元模型进行扩展。CWM提供了两种扩展机制： 子类扩展机制 TaggedValue和Stereotype扩展机制,附件一：CWM元数据模型扩展机制,从核心包扩展而成的XML元模型,Stereotype类和TaggedValue类扩展机制,经营分析系统元模型主要包括四个层面： 基础层元模型 获取层元模型 数据层元模型 访问层元模型。,附件一： CWM和经分系统元模型的对应关系,附件一：经分核心元模型对CWM的扩展内容,从Transformation包的TransformationTask类派生出TransformationTask类和TransformationMap类，用于描述脚本程序和SQL脚本； 从Transformation包的Transformation类派生出ClassifierMap类，用于描述脚本程序或者SQL脚本中的转换处理逻辑； 表级数据处理逻辑到字段级数据处理逻辑的臃肿的映射关系，建立直接从ClassifierMap到FeatureMap的映射；