数据治理管控平台建设方案_第1页
数据治理管控平台建设方案_第2页
数据治理管控平台建设方案_第3页
数据治理管控平台建设方案_第4页
数据治理管控平台建设方案_第5页
已阅读5页,还剩5页未读, 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

数据治理管控平台建设方案

目录

1.项目概述..........................................................2

2.建设目标..........................................................2

3.技术规格:........................................................3

3.1基本要求.....................................................3

3.2性能要求.....................................................3

4.技术要求...........................................................4

4.1.1企业级数据治理平台..........................................4

4.1.2数据标准管理系统............................................4

4.1.3数据字典对标管理系统........................................5

4.1.4数据质量管理系统............................................6

4.1.5数据资产管理平台............................................7

4.1.6数据架构设计软件............................................8

4.1.7平台运行硬件服务器..........................................9

1

1.项目概述

人工智能的训练和分析需要通过大量的数据运算实现,因此离不

开大数据和数据治理的支持,大数据持续进行数据采集、清洗、转换、

分类等操作完成数据积累,而数据治理则为大数据的呈现提供了更为

规范的数据管理模式。人工智能需要依赖大数据平台和技术来帮助完

成深度学习进化,但是更需要数据治理工具为人工智能提供可信、可

靠的干净数据基础完成训练和分析。

2.建设目标

完善数据管理,建设数据基础:“无治理、不分析”,没有高质

量的数据,就不会有可信的AT,数据治理是人工智能基础,通过实施

相应的数据治理策略,让用户数据管理和应用的环境,变得整洁而有

序。在数据收集、数据整合、数据预处理过程中,能够输出一致的、

完整的、准确的数据,这是人工智能的基础。

梳理数据标准,提升数据质量:数据治理在提升数据质量方面具

有重要作用。通过梳理数据标准、数据质量需求、定义数据质量检查

规则、制定数据质量改善方案、设计并实施数据标准管理工具、监控

数据质量管理操作程序和绩效等数据质量管理环节,用户可以获得干

净的、结构清晰的数据,为深度学习等人工智能技术提供可信的数据

输入。

打造数据合规,设立隐私保障:数据治理工具从技术层面设计了

保护隐私数据的诸多环节,提供数据模糊化、数据脱敏、数据加密,

可为企业个人数据保护奠定基础,从而实现人工智能应用的数据合规

2

性。

提高运营效率,建立技术支柱:数据模型可以定义数据的整理和

存储方式以及内部的数据关系,通过标准化的方式定义了数据元素和

关系,以便组织的数据可以互相关联。通过数据架构设计软件让组织

任何职员高效访问和使用内部标准,轻松理解数据模型的运营方式,

为人工智能的算法模型优化提供高效的维护手段。

3.技术规格:

3.1基本要求

平台采用基于3/S结构,兼容IE、chrome.火狐等浏览器主流版

本

架构基于平台化、组件化设计;

支持跨平台应用:采用Java语言开发,支持主流操作系统;

遵循软件开发安全规范,防范SQL注入和XSS攻击等,防范用户

帐号密码等敏感数据泄漏。

系统分析设计时,充分考虑应用和功能的安全性。对应用系统的

不同层面,如表现层、业务逻辑层、数据服务层等,采取软件技术安

全措施。同时,要考虑不同应用层面和身份认证和代理服务器等交互。

数据及数据接口标准化、可扩展。支持与学校统一身份认证系统、

大数据平台等信息化平台集成对接。

采用一定的加密算法对信息数据进行加密,提高信息内容的安全

性。

3.2性能要求

3

具有高稳定性、较强的容错能力,支持7*24的在线访问服务。

数据服务的平均访问等待时间不大于2秒。

4.技术要求

4.1.1企业级数据治理平台

4.1.1.1元数据采集

包括元模型管理、适配器管理、数据源配置、手动采集、元数

据采集任务管理、元数据采集日志管理等功能,支持多格式元数据采

集:数据库DB2、ORACLE、SQLServerMySQL.ETL数据处理过程中

的SQL脚本过程、存储过程等,可以自动获取元数据及关联关系;支

持与主流ETL工具进行自动抽取,支持主流BT工具的采集;支持元

数据获取适配器的扩展。

4.1.1.2元数据维护

包括元数据权限配置、元数据版本管理、元数据解析等功能,元

数据出现待定版本时,支持自动向相关人员发送相应提醒审批信息,

审核通过后,数据治理平台对元数据进行定版,自动生成版本号。

4.1.1.3元数据应用

包含元数据统计、元数据查询、血缘分析、影响分析、数据地图

等功能,支持查询展示各版木的元数据信息;支持中文、英文查询、

支持跨元数据查询;支持进行精确、模糊查询、多条件组合查询,能

够将元数据按照树结构的方式展示;支持导出元数据(格式excel)

等。

4.1.2数据标准管理系统

4

4.1.2.1数据标准制定

包含标准查询与检索、数据标准维护、数据标准发布等功能,支

持数据标准的查询和导出,可按多个筛选条件对标准进行查询,用户

可对标准选择全部导出或部分导出,导出格式为excel。数据标准需

求审批通过后,支持数据标准管理员的批量新增操作、修改操作、删

除操作。

4.1.2.2数据标准应用

包含标准映射、映射审核、映射查询、版本管理等功能,支持从

数据字典模块查询展示数据字典信息和前期已审核通过的字段级信

息、代码信息与数据标准的映射关系;支持数据字典中字段级信息、

代码信息与数据标准的自动模糊匹配,形成匹配结果;支持新增、修

改、删除数据字典中字段级信息、代码信息与数据标准的映射关系。

4.1.2.3数据标准分析

包括查询分析、系统对标情况分析、标准落地情况分析、数据标

准影响分析等功能,支持从系统视角,对正在对标的系统,展示当前

流程、对标进度;对已完成对标的系统,展示参与对标数量、对标结

果等统计结果。

4.1.3数据字典对标管理系统

4.1.3.1数据字典申报管理

包括数据字典补申报、数据字典审批、数据字典进度查询等功能,

支持数据字典申报模板下载、VBA插件下载、批量导入、新增、编辑、

删除等功能;支持数据字典对标申请选择对标范围、对标映射表下载、

5

批量上传对标结果。

4.1.3.2数据字典管理

支持对'业务系统、数据仓库、SMARTBI报表平台等数据字典的管

理,支持对业务系统增删改和导出权限的分配。

4.L3.3数据字典分析

包含差异分析、差异比对排除表管理、自动差异分析等功能,支

持各业务系统的生成版,测试版和发布版之间通过模式和版本时间进

行差异数据的对比,显示具体表新增,修改,删除以及字段的新增,

修改删除的差异信息。差异明细信息提供导出,生成DDL和差异补充

文档下载的功能。

4.1.4数据质量管理系统

4.1.4.1数据质量规则管理

包含质量规则模板管理、新建质量规则、规则查询与维护、规则

调度管理等功能,支持检核规则的通用模板配置;支持用户通过现有

函数自定义配置检核规则模板,规则设置简单易用,灵活性展现。

4.1.4.2数据质量问题管理

包含数据质量问题生成、数据质量问题分发、数据质量问题处理、

数据质量问题检索、质量问题追踪管理、质量问题解决方案管理等功

能,支持质量问题跟踪管理,定期自动向数据质量管理员推送最新状

态,可进行提交、处理和审批。

4.1.4.3数据质量分析报告

6

包括质量规则分析报告和系统质量分析报告,可根据数据质量规

则及分布情况,问题的权重,形成质量评估报告,并可通过时间序列

展现趋势。以及根据存量数据、质量问题的数量、质量问题的性质等,

统计各系统的数据质量情况,形成分系统、分部门的质量问题报告,

并可通过时间序列展现趋势。

4.1.5数据资产管理平台

4.1.5.1数据资产门户

包含资产概览、资产看板、数据资产搜索等功能,可展示数据资

产总量、每日数据资产增量、数据资产质量、数据资产分布情况等指

标,快速展示数据资产整体概况。

4.1.5.2数据资产管理

包含资产登记、资产盘点、盘点结果维护、资产打标任务等功能,

支持新增资产登记、编辑资产登记、批量删除,模板下载,导入,导

出功能。

4.1.5.3数据场景运营

包含数据安全、监管报送、特征目录等功能,对数据安全按资产

分类及相关标签体系进行统计、查询和展示。并对特征目录按资产分

类及相关标签体系进行统计、查询和展示。

4.1.5.4资产服务管理

包含API接口服务、外部数据看板、个人资产订阅等功能,支持

为数据资产的共享提供API接口服务,对外部数据按资产分类及相关

标签体系进行统计、查询和展示。分享用户的数据资产和接受别人分

7

享的数据资产。

4.1.6数据架构设计软件

4.1.6.1逻辑模型设计

包含主题域设计、实体设计、属性设计、子类型设计、关系设计、

键组设计,模型设计等工具。工具提供主题域的新增、修改、删除、

维护基础功能,同时提供主题域排序、层级调整的功能。提供实体新

增、删除、编辑、复制、粘贴、移动至其他主题域等基本功能;同时支

持设置实体背景色、字体、颜色、对齐、尺寸自适应、层级位置移动

等。

支持属性的新增、编辑、删除、排序、默认值、显示格式、数据类型

等信息的维护;同时支持背景色、顺序同步,属性移动。

4.1.6.2物理模型设计

包含索引设计、分区表设计、数据库类型切换、约束设计、DDL模

板管理、视图管理等工具,模型设计工具支持索引的新增、删除、修

改,索引字段的排序,支持分区和子分区多层级组合,不同数据库类

型支持不同的分区方式。在数据库类型设置功能中,可以对物理模型

所对应的数据库类型进行选择和切换,包括切换后数据类型对应关系

转换的功能。

4.1.6.2标准应用

包含下载标准分类、Excel标准应用、标准对象设置、标准应用、

标准化同步等工具,支持加载多个标准分类体系,不同模型文件选择

不同标准分类体系功能;模型设计工具支持加载本地Excel管理的标

8

准,进行标准的应用。标准化对象可以在模型、实体和属性级别进行

设置。

4.1.6.2逆向建模

包含数据库逆向、ERWin逆向、文件逆向、拆分主题域等工具,

数据库逆向功能支持直连源业务系统或数仓的数据库可以直接将数

据字典

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论