数据中心建设方案

企业数据中心系统平台技术方案建议书``图、数据中心构建思路图按照对数据中心的理解，完整的数据中心应该具备IT基础设施（主机、存储、网络）、企业级ETL平台、数据存储中心、数据共享服务、应用层、统一门户、数据管控平台。```系统功能框架分为企业级ETL平台、存储与计算中心、服务层、应用层、统一门户、负责企业数据中心数据采集、加工、汇总、分发的过程，完成企业级数据标准化、集中化，实现数据脉络化、关系化，实现统一的数据处理加工，包括：非实时数据处理和实时数据处理，提供数据抽取、数据转换、数据加载、数据汇总、数据分发、数据挖掘等能力。建立统一的数据中心数据模型，以及统一的数据存储与计算，具体提供关系数据库、分布式非关系数据库、分布式文件、分布式计算，实现统一的数据存储与计算。``通过数据服务标准化开放访问，帮助企业IT建设中，应用和数据分离，引入更多的应指标等数据查询API封装，实现与周边系统实时互动，体现数据价值，减少数据冗余，保证数据安全，保证数据的一致性。ESOP应用、VGOP应用、指标库、流量运营战略地图、掌上分析、自助业务分析、区域洞察、渠道运营、自助分析、客户标签库、实时营销、LTE互联网管控策略。提供统一域名分配、负载均衡、鉴权管理、统一管控平台接入、应用注册、应用发布、应用访问数据信息等功能，同时提供数据中心被应用访问的频次，被应用访问的数据范围，提供数据资产的评估，为应用上下线和数据开放提供依据。面向开发人员、运维人员实现数据、应用、资源的统一管控，包括：数据资产管控、开发管理、监控管理、调度管理、系统管理、安全管理。`````系统技术架构分为数据采集、计算存储服务、数据共享服务、平台管控。采用Hadoop采用Flume计算框架，实现文件和消息采集与解析；采用流式爬虫、中文分词、图片识别技术，实现互联网网页信息实时采集；采用FTP文件方式实现对数据文件的采集；采Yarn提供跨平台的资源管理，满足资源的统一调度与管理；采用Hadoop实现非实时ETL，支撑流数据处理与复杂事件处理；利旧DB2提供ST层数据的存储与计算，支持高并发的数据开放共享采用基于HTTP协议REST风格的OpenAPI完成同步处理与基于消息队开放而又简易的授权协议。数据共享服务部署在集群环境中把业务逻辑、数据、界面显示分离的方法组织代码，将业务逻辑聚集到一个部件里面，在改进和个性化定制界面及用户交互的同时，不需要重新编写业务逻辑。`````可满足基于Gn信令、LTE信令的实时处理。对外数据服务可以由不同种类的API来完成：1、针对诸如客户统一视图、客户标签库的数据探索查询服务：将数据加载到Spark的来查询数据）：将数据加载到Hbase中，通过API将数据共享出去；将数据加载到DB2数据库（利旧）中，通过API将数据共享出去；`````根据数据中心的建设需求，企业级的ETL平台实现统一的数据采集、转换、加载、处理以及统一调度、管控等功能。这里的ETL指的是广义的ETL，具备以下的特点：统一数据获取接入，支持B域数据、M域数据、O域数据或其他外部数据统一接入支持结构化和非结构化数据采集、加工；对非结构化数据要实现从非结构化到结构支持数据采集、转换、加载等关键,.数据处理过程，实现企业数据的标准。从周期上，支持批量的数据采集，实时的数据采集满足数据中心数据加工，处理以及对外提供数据分发、同步支持全过程的数据稽核。包括事前、事中、事后的稽核方式。以及灵活的稽核规则管理，算法管理全过程的可视化开发配置管理。通过可视化的开发配置，测试和部署上线。全过程元数据管理。重点要实现事前的元数据管理。管理的内容包括：支持数据模型、数据流程、转换规则、数据关系和转换映射规则。企业级的ETL平台产品DACP可以很好支持上述的关键功能特点。`````可满足基于Gn信令、LTE信令的实时处理。`````ST层数据模型设计按照层次，主题的数据模型设计的思路。系统根据模型设计会自动转成3.4.1分层规范依据数据仓库建模理论，结合实际经验，数据计算平台承载数据模型分为四层：接口层：ODS模型的数据结构与业务系统接口文件结构保持一致，接口层的数`````据在数据计算平台进行暂存。存储层：即明细数据层，是数据计算核心层数据模型之一，用于存放由清洗、转换层来的数据或者接口层直接来的数据，其设计目标是为后续的汇总数据层和信息子层提供数据基础。汇总层：即轻度汇总数据层，也是数据计算核心层数据模型之一，该层实现对主题内的数据做轻量汇总。设计目标是为应用层提供足够灵活、方便的基础数据，并保证从该层获取数据是性能最优。应用层：在汇总数据层之上，数据按照应用需求做数据聚合，生成相关应用所需数据的数据层。应用数据层是面向应用的，但是也不是每个应用都在应用数据层对应一个表，对应用要在数据应用层中进行整合。3.4.2表命名规范OMG标准化组织建议，采用5分段的命名规范：如下3.4.3字段命名规范建立字段的命名规范，并固化为domain类型，指导模型设计字段命名。当有变更，可```3.4.4模型版本管理``l通过数据服务标准化开放访问，帮助企业IT建设中，应用和数据分离，引入更多的应用开发商，促进应用的百花齐放和应用的专业性。l基于标准化接口，实现对标签、客户视图、指标等数据查询API封装，实现与周边系统实时互动，体现数据价值，减少数据冗余，保证数据安全，保证数据的一致l对于详单级数据，支持通过文件或授权的方式共享给周边系统。l通过统一的技术平台框架，制定企业数据标准体系规范，基础数据采集汇总，可以引入多家厂商或多租户进行标准化开发。要实现上述目标，需要解决的关键问题：3）开放什么内容。包含两部分，基础数据的集成开发的开放和应用访问层数据开放。4）开放的安全保障机制5）如何保证开放对象开发提交的结果的规范化、质量。6）开放平台运营的组织结构和流程制度。要满足建设目标的要求，数据服务开放的整个功能框架如下：`````4.2.1开放对象示例说明如下开放对象开放对象使用形式相关数据sql查询数据能力，租户可以在此基础上汇总加工自己私有的数据SQL，进行数据处理各层的开放授权给数据通过文件接口将数据分发给对端系统，满足其数据分析需求客户视图，汇总模型等手机经分通过在线同步API调用的方式获取数据开放API指标类数据实时营销客户端通过事件注册的方式监听主动通知监听客户端消息服务信令位置信息等4.2.2开放共享方式```4.3.1概述采用多租户的思路，将数据能力和数据平台数据处理能力按需、可控的进行开放，在保障数据安全性、数据可控性的前提下，通过标准化封装的数据操作，可视化开发工具开放给业务运营部门，由其自行进行数据操作开发。使用企业级数据中心提供统一开发平台来实现多租户数据开发，其功能结构如下图：``系统包括两部分：开发管控和技术平台。通过这两部分互相配合实现系统开发能力的开这种模式下需要解决的关键问题包括如下：如何进行资源控制，数据权限管理，跨系统之间的数据交互，自动调度运行，元数据管理。4.3.2角色功能系统管理员：对开发团队进行管理，数据权限和系统资源的分配、审批。1、设置开发团队使用资源和账号2、对开发团队提出的数据权限申请进行审批授权3、表的敏感级别和敏感字段。不同团队对同一数据安全级别可以不一样4、对开发团队上线进行审批。检查性能，开发规范的满足情况，调度申请周期是否合理5、对开发团队数据导出安全进行审计租户开发：使用统一的技术架构和开发工具，在可以使用的数据的基础，加工出私有2、新申请数据权限，如果需要新的数据，可以进行申请，由管理员审批后就可以使用3、数据加工开发，进行数据汇总、关联查询，数据导出等类型数据数据加工开发4、临时上线、正式上线。5、对其所开发的程序数据运行情况监控。4.3.3统一开发平台技术详解通过映射开发管理平台帐号及执行平台帐号，以租户的方式实现用户及用户组管理，以达到资源管控及数据权限控制的目的。如下图,在管控平台进行开发团队的管理和对应账号的设置，在数据平台完成对租户的`````每个开发团队根据需要指定其在hadoop或关系数据现账号的权限、资源的控制。在查询或运行某个数据处理任务时，用其对应的账号进行执行。从而实现对开发团队开发运行的任务资源、权限的控制。在管理平台新建租户的账号或数据权限变更时，管理平台根据配置参数，实时调用在管控平台统一对租户进行计算资源的分配，分配完的参数部署到hadoop或关系数据计算资源控制原理资源池跟系统的账号相关。一个系统账号只能属于一个资源池，YARN支持采用资源池方式对系统用户进行CPU，内存的运行控制。独占资源：最小分配的资源。系统确保此用户有最小的资源。共享资源：系统空闲时可以使用的最大资源如何设置租户的资源参数，是一个需要不断根据运行情况进行优化的过程。`````在DB29.5版本推出了工作负载管理WLM(参考分配给某个服务类的最小资源百分比。缺省值为0。），最少资源比例。在没有冲突的情况下，服务类可获得的资源可以超过该值设定的比例。缺省值100说明：hadoop存储控制采用的是操作系统的享可用空间。即一个目录大小分配出去之后，意味其就占有了这个空间。因此一般做法是由小到大慢慢分配空间。数据权限的控制包括：表级权限控制和字段级的权限控制：进行执行完成权限控制。注：在管理平台分配的是逻辑模板表，数据平台控制的是实际的表。因此有一个模块专门按模板表的权限规则转换为物理表的授权脚本执行。方式1：建立视图，过滤掉没有权限的字段，然后将视图授权给相关账号。实现字`````方式2：通过应用级的控制。通过开发人员编写的sql语句解析，分析其查询中所用到的字段，如果字段超出权限范围，则给出提示，不允许执行。开发人员可以查看到所有的数据字典。查看内容包括数据表名，中文名称，描述信息，存储位置、数据结构。通过调用基础平台的元数据实现数据字典查看。通过开发平台配置数据处理流程，可支持库内与库外、云平台与关系数据库的混搭```在界面上可以立即执行某个节点或整个处理流程，执行过程和日志信息会实时输出到前开发人员在界面上直接提交上线。包括临时上线和正式上线两种。临时上线需要开发人员填写生效的开始日期，结束日期，调度周期。正式上线，系统管理管理员会进行审批。审批的项目包括：程序名称，表名是否规范，字段名称和中文信息是否完整。程序上线后，调度平台就会根据程序数据依赖关系自动进行调度。如果是临时上线的只有调度运行在有效期内的程序才会被调度执行。程序开发人员可以申请延长有效期或申请固定上线。多租户调度使用平台提供的统一调度功能，实现过程如下：``依据输入表关系，根据数据关系实现正确调度依赖运行。对租户的临时程序调度时，只会调度在有效期的程序才会调度。开发人员开发好的SQL脚本，可以到多个数据平台上运行，系统需要进行正确选择投入到相应的数据平台运行。a)开发人员可以指定节点运行的数据库，如下图b)系统会对开发人员的编写的sql进行解析，获取其依赖的输入表和输出表。再跟元数据进行对比自动选择相应数据库。选择策略如下：`````应用层的所有业务应用具备与底层数据松耦合特性，通过接口层提供的各种数据接口，向业务人员或第三方厂商提供开放API服务。根据不同的应用场景，通过对相应的API进行选择和组合，从而快速生成所需要的业务应用，以满足对应用的快速开发、部署、上线的对于应用的开发可通过两种方式进行实现：1、数据中心平台内应用开发：通过数据中心提供的应用开发平台直接进行应用开发，开发平台提供高效的可视化开发界面，包括对各类API可以追根溯源，展现详细API元数据信息等。同时对应用设计、应用开发、应用测试、应用上线、应用下线进行全流程、全生命周期的开发管控。此类开发场景主要适用于不具备硬件资源的用户（如业务部门开发人员）进行应用开发。2、数据中心平台外应用开发：通过Http协议数据服务接口，直接调用数据中心服务层中的各类API服务，通过开发编写相应的计算过程形成对应的业务应发场景主要适用于具备硬件资源（如第三方厂商）的用户进行应用开发。本期从外部系统接入8类数据源，所有清单数据在企业数据中心进行基础汇总，提供数`````标签库应用：所有标签数据计算、存储在数据中心，标签结果数据在HIVE和HBASE分别存储一份数据，HIVE上存储的数据通过Spark的RDD对外提供“根据标签查用户群”API，HBASE上存储的数据对外提供“根据号码查标签信息”API。指标库：所有指标计算、存储在数据中心，结果数据存储在RDB，通过“KPI查询”掌上经分应用支撑：掌上经分需要的KPI由经分提供，改为由数据中心“KPI查询”实时营销支撑：将MC位置信令事件集成到数据中心，由数据中心提供消息事件给实LTE互联网管控策略（PCC）、自有业务分析平台、区域价值洞察：对于这些规划中的系统，建议采用多租户的方式，在企业数据中心完成数所需的数据源，统一由数据中心将DWD、DW层数据分发文件给各系统，由应用系统自行进行数据加工及展现。```企业数据中心统一门户的建设是为了降低系统使用人员访问数据中心的难度，提高系统的易用性，并且实现数据中心的资源有机整合和统筹管理。1.数据开放服务门户：对于数据开放服务提供开发者门户，含有数据服务授权申请、开发者帮助文档、服务注册、创建、注销等。2.管控平台门户：对整个数据中心管控平台使用者门户，系统管理、运维调度、质量3.应用使用门户：对于应用使用者的门户，支持多租户应用、第三方应用的集成统一统一门户功能框架如下图所示门户功能框架包括门户接入、门户功能两部分；通过功能适配到角色工作台形成不同的门户功能：包括角色工作台、认证管理、权限管理、用户管理、流程审批、数据开发、应用开发、数据授权、运维监控、多租户管理等界面。7.2.1功能框架元数据管理是需要将各系统的信息、设计工具信息、生产平台信息，进行收集管理，统一管理。提供一个视图，以帮助使用人员了解系统的数据分布、数据关系、业务规则、指标口径等。元数据包括：系统类元数据、技术类元数、管理类元数据。总体功能框架图``针对数据中心的要求，元数据管理需要具备的关键的特性如下：1）要求提供标准化的应用开发工具，满足在不同平台上的开发需求2）100%的ETL开发、数据模型开发、应用开发能基于开发工具实现3）95%以上的元数据能自动采集、解析与管理，元数据的范围包括但不局限于数据结构、数据词典、字段维度、程序映射逻辑、数据生命周期等4）多租户的统一元数据管理7.2.2基于元数据的应用开发工具提供统一的应用开发工具，完成高效应用的开发，并可以自动完成应用元数据的采集。提供诸如数据展示包括报表工具，仪表盘分析等工具如1、支持常见的各种报表样式2、支持常见各种分析图，同时支持图表组合分析3、支持各种数据源方式`````7.2.3基于元数据的数据开发工具采用元数据驱动(MDA)设计理念，去规划元数据对象的创建、运行、评估、维护各环节数据模型设计提供数据周期、数据表级字段级铭感设置、字段口径定义。数据流程设计设计程序输入表和输出表的元数据信息。程序开发根据设计的内容转换成开发内容。开发人员就可以在此基础上进行开发。提供各个接入平台统一封装函数，降低开发难度数据质量控制1.常规检查。包括及时性，运行状态，运行时长，处理记录数等进行常规检查。2.对程序日志进行稽核。包括单步的处理时长，记录数的波动等3.对程序的目标表启动检查。检查目标的统计指标值，关键字段维度、层次间数据的一致性进行检查提供程序界面测试功能对开发内容进行测试和调优，检查质量规范，性能，质量是否满足期望发布应用到正式运行环境开发人员程序的处理步骤信息。包括程序步骤编号，调用函数，执行脚本程序输入输出关系。输入模型，输出模型程序的字段映射规则。输入模型到输出模型的转换规则`````设计数据模型，设置数据存储周期，敏感级别，数据模型数据流设计，支持模型字段映射关系设计设计程序输入表和输出表.输入表可以是文件，也可以是远程数据库上的某个表。目标表可以是文件也可以是远程目标数据库上的表。对输入表和输出表，进行表结构的设计。包括表的基本信息，存储信息和表的关系。根据不同的存储类别，会有设计参数上的差异。根据表的关系和表模型信息，进行转换映射。映射规则包括合并，拆分，规则转换，函数转换等常见的操作`````统一封装的函数库，屏蔽底层差异性，通过类sql编写，或函数调度，实现跨平台统一开发。根据数据仓库处理过程抽象出5大类通用函数库，统一调用参数接口，开发人员针对不同不平台实现无差异的开发。如将某类数据文件加载到数据库中，开发人员只要指定数据文件路径和目标表。系统执行时如果是要入库到DB2调用DB2的命令，如果通过可视化的流程界面，拖拽方式实现对函数的编排，对每个节点函数编写参数，实现数据加工功能。降低开发难度。开发时候，对函数进行编排，填写节点函数参数。实现一个具体的数据处理过程`````开发的脚本中自动解析建立元数据：输入表和输出表的关系；脚本类的开发工具，集成了开发，测试，上线集成操作。同时将函数库，数据模型统一进行集成；7.2.4关键技术说明1、在开发过程中通过IDE工具产生结构化的元数据信息。```2、在上线时，对元数据内容进行稽核检查，保证元数据信息的完整性，合理性。通过统一的上线作为管理的控制点。每个团队提交要上线的内容，存到统一元数据库进行标准化上线时检查的内容：程序需要提交的内容：程序本身的信息和程序输出表的信息。``这些输出到同一的元数据中心，进行统一的标准化和规范化检查统一的标准与规范，统制定基本的规范和标准，不管哪个开发小组开发的内容必须满足这通过流程管理实现对数据处理过程的统一管控，并提供一系列工具实现数据处理过程可视化、可管控，它包括对系统资源、软件资源、业务应用、参与人员等各种资源统一管理，综合监控平台，随时重现大数据环境中各个组成部分相互依赖,为各级IT管理人员提供从资源规划、资源收集、性能分析、故障定位与处理、统计分析、知识沉淀与管理过程的支持7.3.1流程引擎流程管理集成自有轻量型流程引擎来完成各类流程快速配置开发。功能如下：在流程定义、执行、管理控制等阶段，业务和IT人员的高度一致流程运行，以及整体性能查看和监控可视化提供灵活的手段实现流程的修改和演进支持流程模式以及部门协同，支持流程中的附件添加和查看自带的业务规则和决策表支持分支选择，路由到特定用户、用户组、角色、投票规`````则、例外和事件处理、服务水平监控规则等2、流程仿真、优化和分析3、开发管控、版本控制4、流程评估和监控分析通过元数据获取作业输入表作为作业启动的前置条件1、通过数据流程设计来确定数据关系2、人工进行修改作业输入、输出3、支持手工设置前置作业作业任务资源占用类型评估采集程序的历史运行时长，处理记录数等关键指标，支持系统自动测算和人工指定，对程序的资源占用类型分为三类：1、高：运行时长特别长，处理记录数比较多2、中：处理记录数相对较小，处理步骤多，时间较长。3、低：运行时间很短的程序作业任务静态优先级按照应用的重要性，根据血缘分析，寻找路径上的所有处理任务。1、重要越高的应用，其路径上的节点的任务优先级越高。2、人工进行修改维护```7.5.1数据生命周期管理不管通过什么方式完成开发，上线必须保证数据的相关的信息完整性，合理性。由数据管理员负责对上线要素信息的检查。保证在上线时信息要素被正确保存，以作为后续使用。上线检查基本信息要素权限信息要素：表的基本信息检查表结构表存储信息设置系统规范性自动检测检查表的实际存储情况和规划存储周期情况进行对比，发现规划与实际的差距，查找原安全策略管理：对数据加密的密钥管理，敏感数据定义，账号权限，离线数据终端的注安全策略检测：对安全策略是否实施到位进行自动检测。如敏感信息是否有加密，账号安全审计监控：对数据所有的使用日志进行审计，是否涉及到敏感数据非法使用。检查文件空间，表空间等信息是否满足生产的要求。功能说明：对数据价值成本进行评估，对数据存储、处理、应用进行优化。评估算法：前台应用使用次数支持前台应用使用次数支持kpi，指标统计的个数分发给外部系统接口可外部应用调用次数存储成本计算成本开发成本运维成本管理成本分摊应用的点击次数平均分摊给应用链路上的所有表KPI应用次数平均分摊给KPI的统计表链路上的所有表(分发给外部表，平均分摊给分发接口表链路上的所有表)*加权系数(外部应用调用表次数平均分摊给应用表链路上的所有表)*加权系数表的大小*(存储扩容的投资总额/总空间大小)处理表数据总时长*(主机扩容的投资总额/所有程序的运行总时长)表的字段数*(每年新业务开发费用/表的总字段数维护费用/表的总数成本项目管理总成本/表的总数成本项目应用场景:从表的在数据使用过程中和数据应用中对表的重要性进行评估，输出表重要性级别。包括存储规则的配置示例如下：``存储周期的计算，计算表到期时间。如果到期了，则这个表可以进行删除或转储。通过对数据关系的分析，发现孤立表或无效表。根据表名判断此表大约含义，建表日期、状态日期，表内数据时间等判断此表最后更新```通过数据的使用日志，对孤立表和无效表进行判断是否有使用如果满足以上3点，就可以判断此表无使用和处理.就可以进行下线处理。系统中存在着大量的冗余的数据。比如从清单上的进行汇总的表就非常多，这些汇总表中有些存在相识性，这就造成了大量的冗余数据，这些大量的冗余数据，一方面给数据的精确性和可靠性将带来影响，同时也影响着数据库的性能。要解决这个问题有两个环节：发现冗余数据和冗余进行消除合并。输出冗余表和合并输入分析的起始表计算表的粒度层级数据关系的类别可以分为以下几种：系统根据以上的关系类别，通过相识表的发现分析，自动建立数据之间的关系。1、表满足存储评估的到期条件2、同时满足数据在各个已经同步到优化策略执行策略下线清理位清理或转储下线清理1、满足时效性分析发现的无效表清理人工确认转存高端设备或内存数性能优化1、发现高查询使用的表据人工确认冗余消除1、发现相似表或冗余表1、发现抽取过多的字段但没有使用数据合并人工确认人工确认冗余字段到优化抽取策略多系统协同生命周期管理：可以制定在不同的库不同存储策略,如最近数据和历史数据自动管理与手工管理：支持系统自动管理，自动清理，同时对一些重点的表进行手工审对满足下线的表的进行数据下线。为了安全起见，对重要的表、不确定的冗余表等，可以先预下线，再下线。将表的权限都收回，确保所有的使用者都无法使用此表。标识此表状态为：预下线状态。过了预下线期限后，就可以执行下线的操作了。如果此期间，有人提出需要此表，就可以进行回退，恢复权限配置、状态。对下线的表，删除表，同时需要清理数据、程序。系统根据元数据信息自动分析给出，此表的独有程序和输入表。这些表和程序就是要下根据这些表独有的程序和输入表，从后台调度系统停止移除相关的程序，清理的独有表7.5.2数据质量管理数据质量管理的总体目标：常态化、体系化、标准化、自动化的全面数据质量管理，以达到数据质量控制的全面性、可控性、可度量性、可迅速定位和有效解决。通过流程制度建设、质量评估体系建设、质量检测IT平台建设实现TDQM(TotalDataQualityManage)，即企业级全面数据质量管理。提供数据质量稽核规则统一配置，并支持对质量规则的定义和任意节点的附加。过程中所产生事件及信息形成告警信息，通过短信、彩信、邮件的形式进行发送。从上表格中可以看出在经分的日常生产中产生的问题大部分都可以上线前的严格控制来避免，这说明了数据质量的重要性。支持质量规则的增、删、改、查操作。支持定义元数据对象的质量规则，如接口质量规则，程序质量规则，数据模型质量规则，指标质量规则，报表质量规则。稽核对象模板配置是会对需要稽核对象的基本信息，包括稽核对象的基础实体配置，稽核所需要的数据实体，对象的稽核结果汇总及详细信息。支持将质量规则根据相关性附加到各个节点，分别进行不同类别的质量规则检查。``在点击编辑后编辑规则的详细配置，平台提供十多种的检查函数函数名称函数说明数组比较比较单列数组是否一样字符串比较如：是否通过SQL解析建立映射关系;检查是否存在没有与任何数据处理过程建立数据处理关系的数据实体跨库字符串比满足约定条件，得到预订的结果,注意：else没有条件时写成{}较非空检查选择某个参数，此参数不能为空数值比较选择数值进行比较，比较参数可以是sql语句，也可以是常量或变量跨库数值比较进行多库之间的数值比较值域检查判断某个值是否在指定范围之内数组属性对比取数组中某个时间的所有属性值跟指定时间的所有属性值进行对比,先要确保数组定义中包含时间字段和对比时间的数据数组维度波动取数组中某个时间的所有属性值跟指定时间的所有属性值进行对比,先要确保对比数组定义中包含时间字段和对比时间的数据数组分量与总总体波动与成员波动的允许范围量波动对比相关性比较相关性对比，取相关对象的指标值范围波动检查`````静态表属性变动检查静态表属性波动检查检查新增或减少的成员或当新增或减少的成员占比大于指定范围时告警检查成员自身的波动率范围按SQL语句返回检查结果，如果结果集为空则检查通过，否则不通过上线前检查在开发阶段定义好各元数据对象的质量规则，在上线时，调用检查规则对上线的指标进行检查是否满足质量的规则，在一开始规避一些常见的错误。源系统变更检查能够跟接口程序结合起来，当字段变更时，能够判断出对应接口的对应接口号和对应接口文件哪个字段发生了变更。```字段维值主要将一个表的某个字段的不同值的数量和值的大小与之前的快照进行对比，可发现值的数目或者值的大小的变化情况。检查逻辑上的合理性，如成为大客户时间必须晚于开户时间，状态在用的号码必须是唯对运行过程的对象设置质量规则，在运行过程中及时调用这些规则对运行结果第一时间进行稽核，以及时发现问题。发现问题后，及时展示监控到的当前告警信息，并将错误信息发送至告警集中管理。可以对告警进行定位分析、相似问题分析、转问题单或解除（误报的告警信息）。业务指标监控将指标的管理进行集中化、标准化、管理体系化和检查自动化。如提供如下形式：基本数值和规则检查、指标趋势波动分析、指标对比检查分析、成员占比变化异常分析、指标相关性检查分析、维度成员排名变化异常分析等。稽核结果展示根据稽核对象模板配置展示展现稽核结果：``支持针对一个有问题的指标，利用元数据的血缘分析寻找出指标处理路径上的程序、接口节点，在根据每个处理过程节点的质量监控检测,发现有问题的处理环节，以帮助快速定位，能帮助运维人员快速处理。1）支持质量知识库中知识条目的增、删、改、查操作。2）支持将生产系统运行过程产生的问题、人员报告数据质量问题、维护发现的问题、用户投诉报障的问题经过处理过程转到知识库，对问题的原因和解决方法进行分类，便于将来人员学习参考。3）支持按周期形成质量分析报告，