数据治理平台建设方案

数据治理平台建设方案随着大数据时代的来临以及信息技术的发在增长，并且数据正以多元结构(结构化与非结构化)趋势发展，如此海量的、多元结治理是将一个企业或政府部门的数据作为到处理应用的管理机制，以提高数据质量，数据治理的建设背景数据治理的建设目标数据治理的建设思路总结与展望什么是数据治理？按国际数据管理协会 (DAMA)的定义，数据治理是对数据资产的管理行使权力和控制的活动集合(规划、监控和执行)，数据治理职能指导其他数据数据治理是将数据转化为智慧，挖掘出价值，最终服务于人的重要途径。依托政务云平台，从原始数据中提炼出有用、有价值的识图谱，将数据高度聚合，深度关联。通过AI人工智能，将数据深度研判分析预测，从数据的可知、可用到数据的可测，形成智慧一、数据治理的建设背景1.1数据治理的现状(1)回顾政务的信息化建设发展历程，可以发现“烟囱化”现象严重，建设系统多，数(2)各单位机构自建系统没有统一数据标准，数据质量参差不齐(3)数据不可知：用户不知道有哪些数据，中有没有能解决自己所面临业务问题的关键数据，该到哪里寻找这些数据。数据不可控：指用户不知道汇聚了哪些数的是哪些数据，也不能便捷自助地拿到数(4)用户拥有着海量数据，但数据知识之间掘，数据的深层价值难以体现，没有形成知1.2数据治理势在必行要解决这些问题，数据治理势在必行。数据治理不单是一个方法、也不是一个功能、也不是一个工具，而是一整套体系。人员方案，通过考核机制、管控办法等制度章程予以约束和协调各部门在数据治理中外，还必须有实施流程和技术的支撑，比如政务云的资源设施及各单位数据接入流程制的有机体，不可分割。整个体系的重点、二、数据治理的建设目标(1)数据接入标准化：通过制定接口规范，数形式，同时数据对账清晰明了，对账不仅是源头有多少、进了多少做一个对比，另外一个层面是应该进多少，而进了多少的对(2)数据处理自动化：通过自动化对标、自动化作业等产品、工具，以机器算法代替人产力。(3)数据监控智能化：整个数据治理体系监控点很多，通过定义多种接口规范，实现运维监控的统一管理，短信、邮箱等多种提醒方式，及时发现并解决问题。(4)数据组织知识化：通过分析各部门共享数据集，提炼权威数据，形成主数据模型。通过人、车、地址等主题域建模，掌握各主题的内在关系，深度整合，形成以实体为单位的复杂的关系网络，就是知识图谱。(5)数据运行可视化：Etl工具、服务总线产各产品协作完成整个数据治理过程。(6)数据应用自助化：依托服务总线，建设统一的服务平台，服务大厅，通过服务权限三、数据治理的建设思路3.1形成数据治理体系大数据中心的建设需要通过数据治理体系(1)定标准：建立汇聚、服务、共享标准，(2)整数据：对数据汇聚、清洗整合，解决的是质量问题和系统之间数据资源的融合(3)管资源：创建资源账本，记录数据资源数量，数据来源，标准情况等。(5)建应用：数据治理如何体现成效，就是透过能用、好用、爱用的应用来体现。3.2构建数据治理架构数据中心、数据管理和数据服务。(1)数据中心根据规划分成三部分。数据中化、多媒体数据，例如目前个别地方政府部门已经建成“政务信息资源共享平台”，数据治理应该直接对接的是政务信息资源共享平台，数据中心分为三层架构缓冲库、基ETL工具、日志复制工具对数论和经验，比如哪些数据需要去重，哪些数需要业务积累和治理经验去完成的。(2)数据管理包括标准、模型、资产等。数数据视图和知识图谱、使使用者更直观、更简单的去使用数据治理后的成果。(3)数据服务通过服务大厅支撑服务的申请、发布及使用的流程，以及服务的运行监控。3.3构建数据中心架构数据中心是按照三层架构，包括缓冲区、基(1)源数据区，是数据中心汇聚的基础，包主体，也包括非结构化数据和流式数据。(2)数据缓冲区，是数据中心和各业务系统之间的隔离层，在对数据治理治理过程中避免对各业务系统业务办理产生影响。据建模、知识化的过程，其中模型主要包括主题域模型、主数据模型，以及将数据纵横图谱和标签库。(4)业务专题区涵盖了通用业务专题，比如公安行业的法人库、证照库，以及各单位特3.4数据梳理况，包括数据调研、数据整理和数据反馈。业务系统毕竟各单位是最熟悉和了解，系统的建设由来，现状等等，在此阶段提供一整(2)业务建模：数据治理不是各系统的杂乱种类，业务域的划分，实体之间的关系，主子表之间的关联等，这是一个建模的过程，包括了主数据模型、主题域模型和知识图(3)数据汇聚：通过系统注册组件将系统注库、数据标准化等一系列动作。(4)资源目录：对基础资源库的资源进行数据编目、归类，为共享和服务做好支撑。(5)数据服务：数据治理目标是提供数据服数据治理成果展示：对数据治理的标准、数据、服务、模型通过驾驶舱可视化展示。 (extract)、转置(transform)、加载(load)的端的过程。利用ETL工具，与数据治ETL产品含五大特点，可视化、集成化、管道化、集群化、模板化，同时支持多种数据类型，通过统一的运行和管理平台进行管L(1)可视化：模型设计可视化、抽取过程可(2)集成化：多数据源、统一管理调度、运(3)管道化：一次抽取、多次利用；(4)集群化：多引擎并发执行，故障转移、(5)模板化：提供预定义模版。数据治理的目标是提高数据的质量(准确性、及时性、完整性、唯一性、一致性，有效性)，确保数据的安全性(保密性、完整性及可用性)，实现数据资源在各组织机构部门的共享，推进数据资源的整合、服务和共享，从而提升企事业单位信息化水平，充得更好，发掘数据资产的商业价值，实现如下目标：对业务的支撑；降低经营风险、安全保障；对决策进行支持；满足风险控制和外部监管