大数据治理系统的应用与发展

大数据治理系统的应用与发展

1数据治理系统大数据时代的数据是一个被广泛视为重要资产的第三方。数据作为对真实世界的对象、事件和概念的被选择属性的抽象表示，由可明确定义的约定对其含义、采集与存储进行表达和理解数据治理系统作为大数据中心的核心基础支撑系统，旨在为数据仓库、数据服务平台、大数据基础平台以及实时共享交换平台，提供统一、便捷、高质量、价值最大化的数据资源。本研究从数据全生命周期的整体视角，通过统筹规划数据治理系统，在系统建设伊始就实现统一的数据高质量、高标准管理，有效避免后续为数据统一治理而带来的高昂改造成本，以实现数据资源互联互通和价值最大化。2基于大数据平台的数据管理系统的设计2.1数据共享，降低共享成本数据治理系统的目标是提高数据的质量（准确性和完整性），保证数据的安全性（保密性、完整性及可用性），实现数据资源在各组织机构部门的共享；推进信息资源的整合、对接和共享，提升组织的整体信息化水平，充分发挥信息化作用2.2数据管理体制数据治理系统所涉及的技术及功能主要包括数据标准管理、元数据管理、数据质量管理、血缘管理、影响分析、数据资产管理、数据目录管理、数据生命周期管理等，具体结构可见图1。2.2.1标准版本管理数据标准管理对数据进行全生命周期管控，支持数据标准的制定及审核。落地映射的标准数据进入系统，可供数据使用者对标准进行查询，同时提供标准版本管理。数据标准管理内容包含数据标准集成、数据标准映射、标准查询和标准版本管理。2.2.2数据检索的内容元数据是一种电子式目录，为了达到编制目录的目的，必须描述并收藏数据的内容或特色，进而达成协助数据检索的目的。元数据描述了数据属性的信息，用于支持如指示存储位置、历史数据、资源查找、文件记录等功能2.2.3质量控制的技术支撑数据质量管理是通过统一的数据标准来提升数据质量，为政务数据的质量管控提供技术支撑。借助数据标准和元数据工具体系，可以有效识别各类数据的质量问题；针对质量问题，通过血缘管理和影响分析，可以快速定位到责任人，具体数据质量管理流程如图2所示。2.2.4建立数据血缘分析功能数据血缘管理以目标对象为起点、目标分析为终点，按照引用关系逐层扩展。为了能清楚地了解数据加工过程和更完善地处理数据更新机制，需要建立数据血缘分析功能，以使用户清楚数据生成的来龙去脉，并实现在数据产生、加工融合、数据流通到最终消亡等数据处理过程中形成关联关系集合。2.2.5技术层面的影响影响分析，研究数据变更对业务逻辑、业务流程、数据标准以及平台技术层面的影响，提供为实现业务所写的程序代码等改变并输出评估报告，给数据更改方和受影响方等参考，帮助数据所有者判断是否必要进行数据的更改，以及提出受影响方需要做出的准备。2.2.6数据资产构成数据资产是能够为政府治理及社会服务产生价值的数据资源，而非所有的数据都构成数据资产。数据资产管理对数据资产进行分级分类，筛选出有效的数据资产。在资产权限管理的指导下，对内可进行共享和交换数据，对外可开放共享数据及提供API接口、供应用层访问，同时支持资产使用情况的调用统计。2.2.7支持不同目录平台的对接数据目录管理实现数据目录从创建、发布、维护到对接的动态规范管理。通过对采集的数据源及元数据按目录层级进行存储，可存储表数据、图片和视频等数据资源及元数据，支持数据服务平台和上层应用展示，方便用户快速查找数据资源，同时支持政务信息资源目录的编制以及与各级目录平台的对接。2.2.8动进行管理创建、初始存储、已经存储的信息数据生命周期管理，是对信息系统的数据在整个生命周期内的流动进行管理（创建、初始存储、过期删除等）。数据生命周期管理支持将所涉及过程自动化，根据指定的策略将数据组织成各个不同的层，并基于关键条件自动地将数据从一个层移动到另一个层。3高标准治理目标本文从数据全生命周期的整体视角，设计基于大数据平台的数据治理系统。该系统在建设之初就为实现统