企业大数据治理平台建设解决方案

大数据治理平台解决方案 V 第19页项目编号：企业大数据治理平台建设方案项目编号：2022-XX-XX编制单位：XX市XX中心编制日期：二〇二二年二月目录1 对大数据管理与应用存在的主要问题 41.1 业务系统之间缺少统一标准 41.2 系统之间数据变更对应的影响分析困难 41.3 数据质量差，错误发现不及时 41.4 数据价值低 41.5 业务系统之间数据资产分散，共享性差 41.6 数据安全得不到保障 41.7 管理体系不完善，已有标准落实差 52 数据治理总体方案 62.1 数据治理框架 62.2 数据治理组织与角色 72.3 数据治理实施过程 72.4 方案核心应用价值 82.4.1 高效运营 82.4.2 解决数据质量问题 82.4.3 规范和共享 82.4.4 风险管理 82.4.5 数据流程管控 82.4.6 数据管理创新 83 治理平台建设方案 93.1 平台总体架构 93.2 平台功能架构 103.3 元数据管理 103.3.1 方案设计 103.3.2 功能设计 113.3.3 实施流程 113.3.4 功能展示 123.4 数据标准管理 143.4.1 数据标准分类 143.4.2 数据标准范围 143.4.3 标准制订流程 153.4.4 标准落地策略 153.4.5 平台功能设计 163.4.6 平台功能展示 163.5 集成开发管理 183.5.1 方案设计 183.5.2 功能设计 193.5.3 功能展示 193.5.4 特色能力 203.6 数据质量管理 223.6.1 质量问题原因分析 223.6.2 数据质量管理方案 233.6.3 平台功能设计 253.6.4 平台功能展示 253.7 数据资产管理 293.7.1 资产管理方案 293.7.2 资产管理流程 303.7.3 平台功能设计 303.7.4 平台功能展示 313.8 数据生命周期管理 333.8.1 平台功能设计 333.8.2 平台功能展示 333.9 数据治理大屏 364 类似成功案例介绍 374.1 禅城区大数据统筹局数据治理项目 374.1.1 项目概述 374.1.2 项目方案 374.1.3 项目价值 384.2 卫计委数据质量管控系统 394.2.1 项目概况 394.2.2 核心应用 394.3 某市智慧房管数据分析项目 404.3.1 业务需求 404.3.2 项目方案 404.3.3 项目特点 414.3.4 项目价值 414.4 某大型银行数据治理项目 424.4.1 项目现状分析 424.4.2 建设方案 424.4.3 建设成果 424.5 信用信息汇集系统 434.5.1 项目概述 434.5.2 项目方案 434.5.3 项目价值 434.6 其他相关案例展示 445 项目报价 46

项目需求分析业务系统之间缺少统一标准数据多样化缺少数据标准，对表字段的命名随意性强，定义混乱；同一英文字段名对应多个中文名，反之也存在着中文的一对多；同一业务元素对应多种数据类型和长度。系统之间数据变更对应的影响分析困难历史数据庞大复杂，表关系不清晰；表结构变更、系统改造时，对应造成的影响难于甚至无法评估；已然形成大量数据，系统悠久，找不到接口人，针对其应用困难。数据质量差，错误发现不及时数据质量低下，统计不准确，许多预期需求无法实现、造成决策失误；数据错误的发现不及时；数据处理过程中的问题未及时纠正，导致更多的后续错误。数据价值低数据表和模型繁多，价值未最大释放。业务系统之间数据资产分散，共享性差DB、数据模型、应用程序、数据标准、数据质量等信息分散；政务数据资产无法集中管理和展现，共享性差。数据安全得不到保障数据权限划分不清；敏感数据得不到监控；账号和权限无法追踪-非正常的访问行为无法捕捉。管理体系不完善，已有标准落实差标准管理体系不完善；管理角色分工不清晰；标准管理系统不完善，标准管理软件易用性差，落实效果差；出了问题再补漏，数据管理部门和生产部门相互推脱责任。

数据治理总体方案数据治理框架我司对大数据治理有深刻的认知与理解，并基于对大数据治理的认识构建了一整套大数据治理的思想方法体系，搭建了数据治理实施的框架。具体，我司的大数据治理框架如下：数据治理组织与角色数据治理实施过程方案核心应用价值高效运营高质量的数据有助于减低IT建设及运维成本，对各委办相关业务系统安全稳定运行及其重要。解决数据质量问题通过数据治理，及时发现、解决及监控数据问题，从根本上改善和解决系统的数据问题，保证数据的可用性、数据质量等。规范和共享数据治理能够消除数据的不一致性，建立规范的数据应用标准，实现数据广泛共享，并能够将数据作为组织的宝贵资产应用于业务、管理、战略决策中，发挥数据资产的商业价值。风险管理严密的数据安全制机，可以降低政务数据风险。数据流程管控通过数据治理可以将数据管理各环节打通，实现完整的数据管控流程。数据管理创新业务流程和资源配置的优化，可以提高业务管理能力。

治理平台建设方案平台总体架构我司大数据治理平台以元数据为基础，所有模块并不是串连，每个模块都可以单独或与其他模块组合使用。本平台建设方案可以为各类客户提供全面的数据治理解决方案，同时平台可在本地或云上使用。平台功能架构元数据管理方案设计功能设计面向对象：数据治理人员价值主张：理清数据字典，了解数据来龙去脉。功能特点：丰富的采集适配器、智能识别关系、丰富的元数据分析和检核主要功能。实施流程功能展示数据标准管理数据标准分类数据标准范围共享性高、使用频率高的字段需入标监管报送或发文涉及到的业务信息需入标结合数据使用情况，对于关键数据的字段尽量入标数据应用有使用需求的字段需入标与系统人员沟通其系统内重要信息来辅助入标判断考虑到后期标准信息在模型工具上使用需要一定的覆盖度，迭代新增入标字段标准制订流程数据标准工作主要包括制定、执行、维护三个过程。其中制定过程包括规划、调研和设计，执行过程包括映射和执行。具体数据标准制订流程如下：1. 在标准规划阶段，从实际情况出发，结合业界经验，确定数据标准范围，制定实施计划2. 在标准调研阶段，收集国家标准、现行标准、新系统需求标准以及行业通行标准，进行归纳整理3. 在标准设计阶段，进行具体数据标准的编写定义工作，形成数标版本，然后要通过权威部门的评审，达成一致。4. 在实施映射阶段，将确认的数据标准与业务系统（新建系统或原有系统）进行映射，以得知标准与现状的关系。5. 在标准执行阶段，针对实施映射阶段发现的问题进行修正，逐步提高数据质量，逐步使全部数据符合数据标准。6. 随着时间的推移，数据标准也可能有变化和更新。权威部门应该及时进行数据标准更新，使数据标准保持最新。标准落地策略平台功能设计价值主张：建立规范的数据标准，消除跨系统的非一致性功能特点：全过程覆盖面向对象：数据治理人员、业务人员平台功能展示集成开发管理方案设计通过数据集成管理为企业构建一个强大、高效、安全的数据处理工厂，支撑各类数据应用需求。功能设计价值主张：人人都是数仓工程师功能特点：面向数仓、组件丰富、混合处理、易上手面向对象：BI工程师、数据治理人员功能展示特色能力特色的数仓应用组件在数据处理组件的基础上，封装了部分数仓特色组件。计算分区设计区与运行区隔离，保障运行环境稳定同时，兼顾开发。发布机制，维持程序版本状态。数据脱敏平台支持常用脱敏算法：固定值替换，数据模糊化，数据裁切、分段替换、MD5处理、哈希处理、随机填充、偏移值加密等。数据质量管理质量问题原因分析数据质量问题是数据治理和商业智能的头号障碍，而数据质量问题产生的原因是多种多样的。主要的原因有：源系统业务人员录入不规范，且系统逻辑校核不严谨，导致大量低质量、空值数据。源系统设计有缺陷。跨表或跨系统有冗余字段但没有同步机制；逻辑设计问题导致特定情况下出现错误数据；关联性较强的流程设计缺乏有效衔接。历史数据迁移时操作不规范，导致数据不一致。系统升级改造，导致历史数据错乱。各源系统相同含义数据标准不一。数据增值过程中，每次加工转换产生了新的质量问题。数据质量管理方案质量管理范围我司数据治理平台支持数据汇聚、清洗与应用开发各个环节的数据质量检查和监控。质量管理流程我司构建了数据质量持续改进的质量管理流程：一、计划建立数据质量流程和规范，明确质量建设目标；明确质量管理组织和职责。二、执行建立质量规则，分系统进行数据质量规则的定义执行数据质量检查方案、出具数据质检报告数据分类处理：a.退回源系统b.数据总线完成数据清洗三、检查对处理后的数据进行再次质检，出具数据质量的报告对比处理前后效果，总结改进措施检查数据质量是否合格，分析不合格原因四、处理将改进措施落实责任部门，完成改进总结改进方式，准备下一个循环质量管理规则平台功能设计价值主张：让数据清澈如水功能特点：零编码、覆盖质量管理全过程面向对象：数据治理人员、业务人员平台功能展示数据资产管理资产管理方案资产管理流程平台功能设计价值主张：辅助数据资产盘点，提升数据价值功能特点：多种编目视图、一体化资源交换、可视化质量监控面向对象：实施工程师、业务人员平台功能展示数据生命周期管理平台功能设计价值主张：管理数据生老病死功能特点：灵活设计数据归档、销毁策略，保证系统数据存储效率面向对象：实施工程师、业务人员平台功能展示数据治理大屏

类似成功案例介绍禅城区大数据统筹局数据治理项目项目概述2014年3月，禅城区启动“一门式”改革，吹响了政务大数据改革的号角；2016年7月，禅城区数据统筹局正式挂牌成立，在佛山市禅城区大数据发展决策委员会的指导下，构建“一局、一中心、一公司”的组织体系，推进数统统筹发展的共享、共建、共用，实现“用数据决策、用数据监管、用数据创业”的数据统筹发展运行机制。禅城区大数据统筹局于2018年开展数据治理系统建设工作，通过构建模型、配置规则、人工智能识别等方法对禅城区数据进行数据核查、数据清洗、数据更新及数据修复，并输出数据分析报告，提出改进建议，为禅城区各个部门数据源提供数据标准规范及改进建议，为政府部门、事业单位、企业、市民等数据使用者提供更优质、更高效的数据支持。项目方案项目价值以治理自然人库数据为主，重点治理卫计、工商、流管三个部门的数据，为部门及数据应用提供高质量数据支撑。支持自助填表系统、教育无纸化两大应用，通过数据比对功能，返回比对结果，提供错误修改建议，提高填报成功率。

卫计委数据质量管控系统项目概况面向国家部委、三十二个省针对系统的数据质量问题进行分析，形成数据质量评估报告，在数据源头加强对数据质量的控制核心应用该项目实施的核心功能应用包括：质量规则、问题整改、质量报告、数据质量知识库。

某市智慧房管数据分析项目业务需求坚持城市化发展总体目标，以服务市场需求和供给两端为导向，充分运用大数据思维，加强各类房地产市场相关数据分析建立房地产市场预警预报机制，完善综合分析评价体系，为政府实现分类指导和精准施策提供决策参考项目方案项目特点“一体两翼”，以数据之体汇集多渠道数据，以市场监管服务与领导决策服务为两翼提供数据应用。项目价值数据资源整合：内部数据资源、外部数据扩展、空间地理信息房地产市场动态监测：土地供应、开发建设、市场销售辅助决策分析：市场现状、趋势预测、预警预报

某大型银行数据治理项目项目现状分析数据质量问题较大，无法满足监管要求。信息披露不及时，不准确。临时性的数据需求难以快速响应，需求管理流程冗长。缺少统一的客户视图，客户信息各系统不一致。缺少历史数据、明细数据的有效支撑，分析模型难以发挥出作用。难以获取准确的考核数据，利润贡献度不准确，精细化管理与考核难以落实。建设方案建设成果数据治理需贯穿数据管理的各个过程，通过数据治理平台，进行更加精细化、规范化的管理，从数据源到数据流转，再到数据分析的整个数据生命周期，从系统设计到系统上线，再到系统变更维护的整个系统管理环节，都要进行记录、跟踪、检查、核对。数据质量并非一蹴而就，在建设平台的同时培养业务人员对数据质量的重视也需要一点点的引导，通过绩效考核、培训、激励等手段。信用信息汇集系统项目概述构建以信用信息资源共享为基础的覆盖全社会的信用信息平台整合金融、工商、公安、税务等行业信用信息，实现信用信息全覆盖为建设重点行业信用系统，实现守信激励和失信惩戒提供有力的支撑数据全生命周期管理服务：数据调研、数据采集、数据处理、数据仓库、数据应用、信息交换。项目方案项