大数据治理管理平台解决方案

2023大数据治理管理平台解决方案目录CONTENTS背景与需求分析功能框架设计平台功能设计010302PARTONE01背景与需求分析背景与需求分析1.发展背景2.架构需求分析3.需求分析背景与需求分析1.发展背景2.架构需求分析3.需求分析

建立自身的统一技术栈：建立中心技术栈准入标准，一方面保障整体技术架构中组件的标准性，避免因为版本不一致和功能特性相近，增加不必要的运维成本，另外一方面，减少因为架构中采用组件的选型调整，增加不必要的集成开发工作。技术栈中的组件会持续补充完善，通过POC测试后，并经过专家委员会集体论证，且符合准入标准，才准技术组件进入到统一技术栈。开放架构平台本身具备模块化开放和集成能力，平台功能所对应的技术组件避免被某一家集成开发厂商捆绑，或者被某个单一组件产品捆绑。架构的先进性技术架构中的技术组件选型，从技术成熟度、性能、稳定性、持续研发升级、使用后业内评价、性、适配性等方面做出考量，为架构选型提供参考，保证整体架构中的组件的先进性。架构的高可用在长时间、多任务场景下的稳定运行。在计算机硬件、操作系统、存储系统及应用系统业务进程出现故障时能迅速响应并进行任务的切换；某一节点出现故障时，其他节点应能够自动分担故障节点的处理任务，保证服务持续可用。010302&日分享各个领域高质量专业的解决方案，内容包括某省市、乡村振兴、智慧城管、智慧园区、智慧公安、智慧水务（水利）、智慧林草、社会综合治理、智慧旅游、智慧工地、智慧环卫、智慧医院、智慧环保、智慧安监等领域，结合数字孪生、人工智能、物联网、大数据、云计算等技术，分享行业售前方案、设计方案、技术方案和项目信息等。日分享各个智慧领域国家和地方标准规范，国家和地方政策指导文件，让各个智慧方案有据可依，内容包括中的各个行业的政策和规范，内容在不断的收集和完善中。）会员可下载所有资料，并每日上新（注：所有资料均通过互联网等公开渠道获取，个人学习使用，请勿用于商业用途）。）会员可下载所有资料，并每日上新（注：所有资料均通过互联网等公开渠道获取，个人学习使用，请勿用于商业用途）。星球优惠券（扫第五个码）扫描69元价格优惠加入，1W+方案任意下载，资源不断的丰富完善中......找方标准信数据治理管理平台-需求分析1.发展背景2.架构需求分析3.需求分析

数据治理管理平台基于元模型驱动模式，构建一体化的数据资产管控，实现全流程、全生命全景式的“三全”治理，确保每一份数据资产皆可靠、可信、可用。

通过对数据、应用、系统综合管理，构建标准化、流程化、自动化、一体化的数据管理体系。PARTTWO02功能架构设计子平台关系定位1.子平台关系定位2.功能架构功能架构数据平台数据资源管理数据加工处理数据质量管理质量模型方案配置规则管理质检报告数据质检质量统计数据标准管理元数据管理分类管理数据元管理标准代码配置常用规则配置元数据自动获取元数据维护元数据扫描元数据检索元数据版本权限管理及查询元数据导入/导出元数据分析基础标签管理标签关系展现元数据管理数据资产资产目录资产地图资产总览资产报告实时数据管理流数据处理实时采集流数据计算模型管理流数据计算公共模型开发流数据引擎流数据计算结果接口开发流数据计算模型查询支持流媒体采集及转发管理数据集成管理异常数据分析数据建模配置集成方案管理数据来源统计数据架构管理数据架构定义业务架构管理存储架构管理数据异常管理异常对接管理人工处理管理异常处理统计分析异常问题列表实时数据质量管理系统处理管理数据质量定制化开发数据开发管理数据开发管理统一调度管理统一调度管理数据标准管理监控运维运维任务实时分析数据运维定制化开发运维概览监控告警统一流程管理平台运维定制化开发数据分级1.子平台关系定位2.功能架构PARTTWO03平台功能设计数据资源管理1.数据标准管理2.元数据管理3.数据分级分类管理4.数据资产管理通过对数据标准管理、落地实施机制、及数据标准管理平台维护三部分进行数据资源管理，制定数据标准管理制度和流程，明确数据标准管理组织和职责，以明确的组织、职责、流程设计。落地实施机制从规范推广、技术平台支撑两方面保障；数据标准平台维护主要包括建设数据标准技术平台，支撑数据标准日常管理工作两方面。支持数据元版本管理及版本之间的差异核对功能以及支持基于基础库、主题库的元数据快速创建标准数据元，并建立和相关元数据的关联关系数据元管理数据元删除数据元检索数据元停用数据元导入数据元修改数据源发布数据元新增支持代码的分类、标准代码项的新增、导入、导出功能，提供了标准代码维护的能力；标准代码配置新增导入导出可关联到国标、地标代码字典通过固定的值组成规则来规范数据源值的格式，例如身份证、电话号码、电子邮箱等格式。常用规则配置通用规则实际制定规则常用规则配置会针对公共数据的特性内置部分常用的规则，同时提供了规则的配置修改能力数据资源管理1.数据标准管理2.元数据管理3.数据分级分类管理4.数据资产管理通过对数据整合的层次结构、主题域划分，实现各层的各种对象，如表、存储过程、索引、数据链、函数和包等的管理。清晰的表示各层次结构之间的数据流程、各对象之间的关系，以及向外提供的各类数据服务的信息。元数据管理元数据管理包括元数据基础数据管理和元数据应用，由元数据自动获取、元数据检索、数据模型管理、元数据管理、血缘关系等功能组成等。元数据自动获取元数据维护元数据扫描元数据检索元数据版本权限管理及查询元数据的导入/导出配置自动获取策略和调度时间等，使元数据能够按预设的调度策略触发相应的元数据自动获取过程，满足元数据自动获取的时效性。包括元数据的定义、变更及版本管理，对主机信息、数据库信息、用户信息、数据对象信息、业务规则信息、加工逻辑等进行维护和管控。支持以手动或定时的方式扫描指定的数据库资源，并提取和解析相关的信息在比较扫描数据和原有数据的差异后自动将差异数据维护到指定的元数据目录。在元数据管理首页用户通过输入关键字后，系统采用全文检索的方式迅速查找和关键字匹配的权限范围内的元数据信息，并将信息返回给用户。用户能够通过展示的路径信息快速定位到元数据组织树上的节点。版本管理分为元数据对象版本管理与基线版本管理两种类型。元数据对象版本：对元数据的每次提交形成版本（上一版本形成历史版本），提供历史版本间，历史版本与当前版本对比功能；基线版本：对某一阶段产生的元数据对象形成数据集，提供不同阶段产生的数据集的版本比较。统一实现数据库的访问和操作管控，对用户进行角色权限、对象权限、数据权限等方面的管控和查询；统一实现数据库的访问和操作管控，对用户进行角色权限、对象权限、数据权限等方面的管控和查询；数据资源管理1.数据标准管理2.元数据管理3.数据分级分类管理4.数据资产管理通过对数据整合的层次结构、主题域划分，实现各层的各种对象，如表、存储过程、索引、数据链、函数和包等的管理。清晰的表示各层次结构之间的数据流程、各对象之间的关系，以及向外提供的各类数据服务的信息。元数据分析元数据分析算法包括以网状模式展示对象等血缘关系和以父子依赖关系展示对象等有向血缘关系。影响性分析重要性分析无关性分析●包括血统分析和影响分析两类，以便于掌握和追溯对象变更时的缘由和影响关系。●元数据对象和对象之间以连线方式表现出血缘分析的结果。●通过分析各元数据对象之间的关联密集度及数据资源平台中各层次的包、表等对象的重要程度，指导数据资源平台开发和维护团队对重点元数据进行重点关注和质量监控。●通过系统的规模不断扩大，业务需求的变化，会产生无关数据、信息和报表，这些无关的内容，结合业务需求分析其产生的根源，从而为用户简化工作负载，降低项目总拥有成本，为用户提供可信赖的数据和分析能力。数据资源管理1.数据标准管理2.元数据管理3.数据分级分类管理4.数据资产管理

在数据资源的分类管理中，平台按照数据资源的生命数据资源进行分层，即输入层、加工层和输出层。输入层是指数据从各个数据源抽取到大数据平台，输出层是指大数据平台数据输出到外部渠道或渠道，加工层指数据在大数据平台内进行加工处理的过程。基础标签管理在设置的基础标签进行呈现列表形式将所有的基础标签一一列出，并可以按照热度进行排序智能推荐形式是指根据最近时间段内的标签的访问频率、搜索频率等，以轮播的形式循环展现热门标签的功能。标签关系管理

通过标签将相关联的数据目录关联在动图中展现给用户，形成丰富数据盛筵的展示效果，做到通过一可以将某一条数据的关联数据、以及数据之间的关系全部展示出来的功能。&日分享各个领域高质量专业的解决方案，内容包括某省市、乡村振兴、智慧城管、智慧园区、智慧公安、智慧水务（水利）、智慧林草、社会综合治理、智慧旅游、智慧工地、智慧环卫、智慧医院、智慧环保、智慧安监等领域，结合数字孪生、人工智能、物联网、大数据、云计算等技术，分享行业售前方案、设计方案、技术方案和项目信息等。日分享各个智慧领域国家和地方标准规范，国家和地方政策指导文件，让各个智慧方案有据可依，内容包括中的各个行业的政策和规范，内容在不断的收集和完善中。）会员可下载所有资料，并每日上新（注：所有资料均通过互联网等公开渠道获取，个人学习使用，请勿用于商业用途）。）会员可下载所有资料，并每日上新（注：所有资料均通过互联网等公开渠道获取，个人学习使用，请勿用于商业用途）。星球优惠券（扫第五个码）扫描69元价格优惠加入，1W+方案任意下载，资源不断的丰富完善中......找方标准信数据资源管理1.数据标准管理2.元数据管理3.数据分级分类管理4.数据资产管理通过对数据资产的治理，让系统数据更加准确、一致、完整、安全，降低IT成本；针对数据资产应用使得系统数据的使用过程更为人性、便捷、智能，从而提升管理决策水平。关于数据资产运营是支持系统数据资产的分发、开发、交据嫁接的实现。从而促进数据资产的价值实现。数据资产资产管理主要是针对数据资产类目编制的过程梳理、明确职责等内容，同时也可以对数据表的元数据信息进行有效管理资产总览从数据规模、类目分布、热门访问等多个角度，对数据资源平台上的数据资产状况进行全景式展现。资产目录对平台元数据的有序组织，是记录数据体系的保障数据类目是目录信息与服务、保障与支撑所组成的一个整体针对资产的合理组织，需要对资产进行对应分类资产报告针对整体平台上的对应数据，提供定解其对应资产情况，对总体资产情况进行分析。资产地图通过元数据信息收集、数据血缘探查、数据权限申请授权等手段，帮助数据资源平台完成数据信息的收集和管理，解决数据资源平台数据开发者有哪些数据可用、到哪里可以找到数据的难题，并且提升数据资源的利用率。实时数据管理提供针对实时数据的元数据管理功能，包括：元数据采集、元数据存储、元数据运维、数据质量检查、元数据分析、权限管理、数据生命理、元数据服务。数据加工处理1.流数据处理2.数据集成管理3.数据架构管理4.数据异常管理5.数据开发管理6.统一调度管理7.数据运维管理1.实时采集2.流数据引擎3.流数据计算模型管理4.流数据计算公共模型开发流数据的处理过程：数据实时采集；数据实时计算；数据实时查询服务；支持的数据源类型可以分为以下四类：●网络协议数据源，包括Socket、JMS、HTTP、HTTPS等常见类型的网络协议。●本/异地文件数据源，包括目录扫描、文本文件，FTP，SDTP等数据。●分布式文件系统数据源，包括HDFS，HBase，Hive等数据。●关系型数据库数据源，包括DB2，Teradata，vertica等数据。提供数据融合，统计，分析的高速处理能力，对于实时性要求较高的数据计算提供支撑的功能提供对已设计完成的数据计算模型进行申请，注册，提交，执行，监控的统一管理的功能提供对于场景需求较多的数据模型可开发公共模型的功能，公共模型可以供其他用户调用，可重复使用的功能数据加工处理1.流数据处理2.数据集成管理3.数据架构管理4.数据异常管理5.数据开发管理6.统一调度管理7.数据运维管理5.流数据计算结果接口开发6.流数据计算模型查询7.支持流媒体采集及转发管理流数据的处理过程：数据实时采集；数据实时计算；数据实时查询服务；提供对流数据计算结果接口开发功能和计算结果数据可通过接口形式供可视化调用或其他应用的功能提供流数据计算模型查询功能，通过对流数据计算模型发布可以是其他用户查看计算模型逻辑，进行模型再利用，减少其他用户开发工作量的功能针对音频、视频等流媒体提供数据采集功能，同时配套流媒体数据存储和快速检索功能，同时需要采集对应流媒体设备的系统参数、通道参数、网络参数、外设设备参数、以及外设设备的地理位置等。数据加工处理1.流数据处理2.数据集成管理3.数据架构管理4.数据异常管理5.数据开发管理6.统一调度管理7.数据运维管理

主要在数据治理平台承担数据管道作用，通过数据集成现实不通业务数据的汇聚、数据中心基础库的清洗等流程，通过在线简单灵活的可视化页面针对不同的数据汇聚、清洗流程进行配置建立，平台直接对接调度底层的数据传输工具进行数据管道的打通；实现了数据集成建模与数据集成汇聚快速、高效流转的全过程。数据建模配置集成方案管理数据来源统计异常数据分析提供数据集成中数据单元集模型配置，数据模型即为数据集成中的数据单元集；统计集成模型中所有数据的来源方向，以及各库表、各字段的精确来源，并且提供基于领域的快速筛选；通过构建的数据模型实现多维度的数据汇聚、清洗等数据处理流程，解决了公共数据中大量的数据梳理处理工作；基于集成方案，反馈统计分析集成过程中不符合方案中各字段清洗规则的异常数据结果，同时支持多维度的问题分析以及排查；数据加工处理1.流数据处理2.数据集成管理3.数据架构管理4.数据异常管理5.数据开发管理6.统一调度管理7.数据运维管理

定义全企业的数据架构，包括数据的主题、层次，所涉及的部门、所用到的数据库类型。功能包括数据架构节点的增加，删除。业务架构管理存储架构管理从数据架构中选择适合团队的数据架构，并绑定到团队，以约束开发团队在开发过程中选择数据架构。在异构数据库的环境下，不同的数据库有不同的参数设置，为减少开发人员在模型开发过程中的操作，同时也保障模型在落地到物理环境的正确性，通过在存储架构中设置默认的参数配置来保障开发的准备性。绑定团队、约束团队数据加工处理1.流数据处理2.数据集成管理3.数据架构管理4.数据异常管理5.数据开发管理6.统一调度管理7.数据运维管理数据异常管理异常对接管理异常问题列表人工处理管理系统处理管理异常处理统计分析实时数据质量管理数据质量定制化开发异常对接管理开发可以对接数据交换总线、数据集成总线、数据服务总线系统中异常日志模块的功能。异常问题列表展示异常问题推送并归类整理异常问题定义规则忽略提醒人工处理管理指定人员分类授权针对异常问题所登记的台账信息系统处理管理子平台子平台子平台系统处理管理异常信息无需人工干预数据加工处理1.流数据处理2.数据集成管理3.数据架构管理4.数据异常管理5.数据开发管理6.统一调度管理7.数据运维管理数据异常管理异常对接管理异常问题列表人工处理管理系统处理管理异常处理统计分析实时数据质量管理数据质量定制化开发异常处理统计分析按照异常分类、处理情况、时间、等级等维度进行分类统计，以图表的形式展现便于管理人员汇总分析的功能。实时数据质量管理数据质量定制化开发定制质量监控的规则自定义扩展规则能力针对实时流数据需要提供数据质量管理功能，辅助数据质量管理人员快速定位问题的原因及处理方案。设置维护调度实时流管理功能优化…接口监控告警定期生成实时流数据的数据质量评估报告问题数据的检测规则问题数据的清洗回收的方式数据加工处理1.流数据处理2.数据集成管理3.数据架构管理4.数据异常管理5.数据开发管理6.统一调度管理7.数据运维管理

数据开发完成多种环境的全量与增量数据处理能力，简化开发过程。统一数据开发入口，支持可视化开发和原生态开发两种开发模式，实现原生态开发与可视化编排的互相转换，提升开发效率。数据加工处理1.流数据处理2.数据集成管理3.数据架构管理4.数据异常管理5.数据开发管理6.统一调度管理7.数据运维管理

以一个业务量生产过程为例。传统做法是通过接口通信表或时序依赖进行协同生产。在统一调度平台中以数据流作为驱动,通过控制中心进行作业命令下发，状态收集进行控制，达到各个异构系统，多个子系统的协同调度。统一调度管理流程设计与管理调度策略管控任务调度控制标准化控件……作业/任务管理作业/任务调度作业/任务执行采集转换加载调度监控数据加工处理1.流数据处理2.数据集成管理3.数据架构管理4.数据异常管理5.数据开发管理6.统一调度管理7.数据运维管理数据运维管理监控运维运维概览运维任务监控告警实时分析统一流程管理数据运维定制化开发平台运维定制化开发监控运维开发者维护者作业部署作业优先级数据监控运维指标数据情况任务运行情况监控异常情况告警日常运维数据统计运维概览任务完成情况任务运行情况任务执行时长排行调度任务数量趋势……运维任务1)提供任务运行状态监控告警2)提供单任务重跑、多任务重跑、kill、置成功、暂停等操作3)提供列表和DAG两种模式4)实现针对行、测试运行、手动运行任务查看任务运行状态5)实现针对任务进行重跑、停止、查看运行日志、查看节点代码、查看节点属性。监控告警自定义配置告警规则规则一规则二规则三规则……告警：任务失败数据加工处理1.流数据处理2.数据集成管理3.数据架构管理4.数据异常管理5.数据开发管理6.统一调度管理7.数据运维管理数据运维管理监控运维运维概览运维任务监控告警实时分析统一流程管理数据运维定制化开发平台运维定制化开发数据质量管理1.质量模型配置2.质量规则管理3.方案配置调度4.质检结果查看5.质检分析报告

数据质量管理主要包含对数据完整性、准确性、鲜活性、权威性的分析和管理，并对数据进行跟踪、处理和解决，实现对数据质量的全程管理，提高数据的质量。

能够提供规则配置、质量监控、问题处理等功能，及时发现并分析数据质量问题，不断改善数据的使用质量，从而提升数据的可用性，挖掘数据更大的价值。根据业务需要选择实体表和规则，方案与方案之间相互独立，互不干扰。通过执行模型下的质检方案，可以得到用户关心的数据质量分析结果，如问题数据明细信息、数据质量分析结果等。数据质量管理1.质量模型配置2.质量规则管理3.方案配置调度4.质检结果查看5.质检分析报告

系统支持多种规则类型，提供了全方位的视角来为用户解析数据质量。一套规则能在多套方案中复用，在保证多角度准确数据质量分析的前提下，大大减少了用户投入的精力与时间，为用户提供了一种灵活而全面的数据质量分析方式。系统包括以下质量规则：空值检查空值检查用于检查关键字段非空值域检查值域检查用于检查关键字段的取值范围，支持数值型、字符型、日期型字段检查规范检查规范检查用于检查指标值的格式是否规范，支持身份证、手机号码、邮箱、日期等多种数据类型的检测，支持自定义正则表达式逻辑检查逻辑检查用于检查指标之间是否满足一定的逻辑关系重复数据检查●重复数据检查用于检查表内是否有重复数据。●规则算法：groupby重复依据字段，count(1)>1的算重复及时性检查规则算法：算出上报时间字段的值，如果没写上报时间表达式，则最佳上报时间都是以下一期的第一天做为参照依据，再将上报时间与最佳上报时间做为比较，看是否在允最大天数范围内缺失记录检查规则算法：对检查表字段和比照字段进行groupby并求count，根据两个字段groupby的结果来outerjoin，count不相等或检查字段值和比照字段值有一个为空时，此行结果都算错引用完整性检查规则算法：实体表的检查字段关联distinct后的比照表的字段，关联后，如果比照字段为空，则检查字段的值非来源于比照表，则该规则对应结果为false数据质量管理1.质量模型配置2.质量规则管理3.方案配置调度4.质检结果查看5.质检分析报告

通过图形化界面配置多种质检规则组成可执行方案，依据执行规则管控