元大数据管理系统模块方案设计

目录1.现状分析 11.1现在的困境 21.2什么是元数据管理 22.目的分析 32.1建立完善的指标解释体系 32.2建立规范的元数据管理体系 32.3建立有效的数据稽核体系 43.功效概述 43.1元数据管理 43.1.1业务元数据 43.2.2技术元数据 53.3元数据分析 73.3.1血统分析 83.3.2影响分析 83.3.3重要性分析 83.3.4无关性分析 83.4数据稽核 93.4.1稽核规则管理 93.4.2稽核任务调度 93.4.3稽核成果分析 103.4.4数据质量评定 103.4.5数据问题管理 10元数据管理系统概述1.现状分析随着经营分析系统规模不停扩大，系统所积累数据量也越来越大，收集到的海量数据背后隐藏着大量贵重重要的信息，但也同时提高了系统的数据管理难度：首先难以对这些数据进行有效解释，缺少对业务流程执行的实时监控和管理；另首先各部门数据与数据整合的难度也不停加大，影响到了经营分析系统中的数据质量。如何对现有数据进行深层发掘，并揭示出埋藏在元数据中的趋势、因果关系、关联模式等核心信息？这是下一步深化经营分析系统应用的电信运行商需要解决的头等大事。构建BI，首先要确保的是数据质量。元数据管理解决的问题就是如何把业务系统中的数据分门别类地进行管理，并建立数据与数据之间的关系，为数据仓库的数据质量监控提供基础素材。 1.1现在的困境使用者(决策层、业务分析人员)：1)经营分析系统中存在有诸多报表，不同报表中存在某些相似的指标，这些指标往往不一致，给业务分析和决策工作造成诸多困惑，必须耗费很大的精力去检查核算。2)对于诸多指标，不清晰其具体含义，不清晰其反映的问题，不清晰其具体算法和来龙去脉。数据仓库项目开发维护者：1)不同报表中的同一指标不一致，必须耗费很大的精力去检查，现在基本上是通过手工检查表和存储过程的方式，效率较低。2)没有完善的开发、维护规范。例如，新增一张分析报表，开发人员根据业务人员的需求制作完毕之后，往往没有整顿完善对应的数据指标解释和元数据管理，造成后来检查困难。3)开发、维护规范的执行力较低，没有行之有效的管控手段。不严格按照规范执行，随着项目的发展和时间的推移，造成数据仓库项目的强健性和可维护性呈几何级数下降，给数据仓库的建设带来大量的重复工作。 1.2什么是元数据管理元数据最本质，最抽象的定义为：dataaboutdata(有关数据的数据)。而对于经营分析数据仓库而言，形象的定义为：元数据就是数据仓库的规范。这些规范涉及对多个指标的定义、解释；涉及对各表中数据的来龙去脉、数据的大小和格式的定义。元数据管理，就是要建立一套行之有效的规范以及该规范的管控体系，实现从管理到查询到综合分析的全方面管控，管理层次从接口到ETL解决、业务逻辑解决、成果呈现解决和指标分析的方方面面，构成数据仓库应用系统的核心和基础。做到开发者能严格恪守规范，维护者和使用者有规范可查，有力的保障数据仓库项目的强健性和可维护性。2.目的分析要走出现在的困境，有下面三个方面的问题急待解决： 2.1建立完善的指标解释体系满足顾客对业务和数据理解的需求，建立原则的公司内部知识传承的信息承载平台，建立业务分析知识库，实现知识共享。能够回答诸以下列问题：什么是出帐顾客数？在网顾客数和网上顾客数有何区别？什么是套餐的生命周期？竞争对手新发展顾客数是怎么得来的？这个数据还叫什么名字？………… 2.2建立规范的元数据管理体系让顾客能够清晰的理解数据仓库中数据流的来龙去脉，业务解决规则、发展状况等，提高系统的可维护性、适应性和集成性，支持数据仓库/集市的成长需求，减少因员工换岗造成的影响。具体来讲，重要是对数据仓库建设、运行和维护的规范的管理。能够回答诸以下列的问题：哪张表是从业务系统抽取过来的原始话单表？竞争对手新发展顾客事实表中的数据，是从哪些表汇总计算出来的？DW顾客下的P_XXX这个存储过程是谁写的，现在尚有用吗？我是新手，要生成套餐生命周期演化分析事实表，我该怎么做？表空间不够了，哪些表的数据能够删掉？………… 2.3建立有效的数据稽核体系增进数据仓库的数据质量建设，为提高整个系统的数据质量奠定坚实的基础。建立报警、监控机制，出现故障，能及时发现问题。提供整体系统运行的状况分析。能够回答诸以下列问题：今天的出帐顾客数过高，是怎么回事？数据集市层中的DM_XXX表中数据为空，什么因素？A报表中的全省ARPU值和B报表中的ARPU值为什么不同？…………3.功效概述 3.1元数据管理对数据仓库的层次构造、主题域划分，各层的多个对象，如表、存储过程、索引、数据链、函数和包等的管理。能够清晰的呈现各层次构造之间的数据流程，图形化呈现各对象之间的关系，呈现表中数据的来龙去脉。3.1.1业务元数据业务元数据涉及下列信息：使用者的业务术语所体现的数据模型、对象名和属性名；访问数据的原则和数据来源；系统所提供的分析办法及公式、报表信息。业务元数据管理除了管理上述信息外，还提供对业务元数据来源的管理和差别性对比功效，使顾客能够方便的查询、比较和追溯。涉及两个子模块，指标管理和指标解释接口。指标管理：重要实现对全部指标的维护功效，维护指标的基本信息、业务规则和技术算法等。能够呈现各个主题分析中的指标，以及指标间的区别等信息。指标解释接口：提供统一的接口，使顾客能够在经营分析系统或CRM系统中，点击任一指标名称，即可查看该指标的具体描述和解释阐明。3.2.2技术元数据技术元数据是存储有关数据仓库系统技术细节的数据，是用于开发和管理数据仓库的数据，重要涉及数据仓库构造的描述（各个主题的定义，星型模式或雪花型模式的描述定义等）、ODS层（操作数据存储ODS.OperationDataStorage)的公司数据模型描述（以描述关系表及其关联关系为形式）、对数据稽核规则的定义、数据集市定义描述与装载描述（涉及Cube的维度、层次、度量以及对应事实表、概要表的抽取规则）。系统除了维护技术员数据的基本信息外，更以图形的方式呈现和管理各技术元数据之间的关联关系和来源。技术元数据管理重要涉及下列几个功效模块：元数据查询：按核心字、分类、主题域名称等维度进行查询，呈现该元数据的基本信息，如业务描述、技术描述、计量单位、所属分类等信息。元数据维护：对元数据的基本信息进行维护，涉及增、删、改。元数据关系查询：呈现元数据之间的关系，如：按经营分析数据仓库的各个层次进行呈现；按元数据之间的映射关系呈现；按元数据的解决流程进行呈现等等。元数据关系管理：对元数据关系进行维护，涉及增加、删除和修改。如上图所示，鼠标右键点击某个节点，对该节点进行增、删、改操作。 3.3元数据分析血统分析、影响分析、表重要程度分析、表无关程度分析等等。通过上述分析，让顾客对整个数据仓库总体上有清晰的认识和理解，解决数据孤岛的问题。3.3.1血统分析数据血统－DataLineage，通过数据血统分析，顾客能够懂得数据何时更新、如何计算以及从何处而来，全部这些手段协助顾客追溯报表中数据产生的来源。这种进一步洞查数据来龙去脉的能力对于协助顾客更加信赖他们的信息来说，含有至关重要的作用。3.3.2影响分析影响分析关注的重点是数据的流向，提供端对端影响分析，使您能够看见源系统发生变化时，BI报表受到的影响，而因此能够轻松地解决BI环境中的变化。前端呈现专项分析模块目的元数据对象前端呈现专项分析模块目的元数据对象3.3.3重要性分析分析BI系统中，顾客最关心的分析主题、报表和指标，追溯这些分析主题、报表和指标涉及到的元数据，这对于BI系统和数据仓库开发团体含有重要的指导意义。分析各元数据对象之间的关联密集度，分析数据仓库中各层次的包、表等对象的重要程度，指导数据仓库开发和维护团体对重点元数据进行重点关注和质量监控。3.3.4无关性分析与重要性分析相反，随着数据仓库系统的规模不停扩大，业务需求的日益变化，会产生一定数量的无关数据、信息和报表，找出这些无关的内容，结合业务需求分析其产生的本源，从而为顾客简化工作负载，减少项目总拥有成本，为顾客提供可信赖的数据和分析能力。 3.4数据稽核根据预先配备的规则、算法和质量检查度量，对数据的精确性、合理性等多角度的检查，以及时发现问题，解决问题。对于稽核成果，进行统计分析，形成成果报告，为后来的数据仓库建设、实施和维护的改善打下坚实的基础。3.4.1稽核规则管理接口数据检查：对接口数据的过程进行稽核和校验，分为文献接口，DB-LINK接口，其它异构数据库接口。解决过程检查：对数据解决过程进行监控和稽核，分为JOB稽核，工作流稽核，其它解决方式稽核等。解决环境检查：对数据解决环境进行检查，针对不同的应用环境，重要分为数据库系统检查、主机系统检查、接口机检查、应用服务器检查。日志监控：在ETL自动运行的过程中可能出现多个各样的错误，例如ETL过程申请的资源超出硬件的物理限制（存储局限性或者排序空间局限性）。通过检测ETL过程的日志能够判断出该过程输出的目的表数据与否完整。提供选择日志监控的多个信息供选择，如：过程名、所属模块（营业数据、计费数据、维表数据等）、执行时间、完毕时间、执行时长、执行顾客、执行成果、预警等。维度检查：如：所属模块（营业数据、计费数据、维表数据等）、日期、表名、维度名称、纬度格式、纬度阐明、纬度关联编码表、各纬度统计分布状况、与否有空值、空值统计数、空值率、预警区间等指标。指标值检查：涉及数据量校验、单指标校验、交叉校验等。3.4.2稽核任务调度在设定数据稽核的模板后，能够对稽核任务实施自动化解决，也能够通过定制方式来完毕，能够定时调用或触发。由不同类型数据检查拟定。例如：前序数据（计费营帐数据），能够使用定时调度任务检查数据完整性，后序数据（DW层数据直到数据集市展示层的汇总数据）的调用能够通过日志统计触发开始，每个表统计完毕后如果日志检测执行对的，则进行进一步的数据稽核检测。3.4.3稽核成果分析