智慧城市大数据能力平台项目建设方案

建建设方案智慧城市大数据能力平台项目技术方案大数据能力平台技术方案第2页共205页目录 91.1项目建设背景及政策依据 91.1.1大数据能力平台已成为智慧XX市建设的必要基础 91.1.2建设大数据是构建XX市城市大脑的重要组成部分 91.1.3建设大数据能力平台是落实市级大数据发展政策要求 1.2项目建设需求分析 1.2.1全域数据汇聚，推动政务业务的数据协同 1.2.2多维数据分析，精准支撑社会服务与管理 1.2.3深入数据洞察，辅助社会治理与高效运行 1.2.4智能数据服务，促进产业经济与社会发展 1.3当前平台现状分析 1.3.1平台建设现状 1.3.2平台不足分析 2.1XX市大数据建设体系规划 2.2大数据平台定位与价值规划 2.3项目建设目标与内容规划 2.3.1项目建设目标 2.3.2项目建设内容 完善大数据能力平台建设 建设XX市政务数据资源中心 建设XX市大数据赋能应用 2.4总体项目解决方案规划 2.4.1平台建设方案规划 2.4.2数据资源中心建设规划 252.5项目总体实施方案规划 2.6大数据治理运营规划 技术方案大数据能力平台技术方案第3页共205页2.6.1治理体系与实施原则 2.6.2数据治理组织建设 2.6.3数据治理制度规范 2.6.4治理运营通用流图 2.6.5数据治理实施流程 2.6.6数据治理关键心法 3.1平台建设方案总体概述 3.1.1平台建设内容范围 3.1.2平台总体功能架构 3.1.3平台各部分架构关系 3.2数据治理平台建设方案 3.2.1数据治理概述 数据治理论述 数据治理流程 治理过程产出 3.2.2平台总体建设 建设方案架构 平台功能架构 数据治理开发流程 3.2.3数据标准管理 数据标准管理规范 数据元管理 标准代码配置 常用规则配置 3.2.4元数据管理 元数据管理内容 元数据管理分类 元数据管理组织 技术方案大数据能力平台技术方案第4页共205页元数据管理流程 元数据管理功能 元数据血缘分析 3.2.5数据质量管理 质量模型配置 质量规则管理 方案配置调度 质检结果查看 质检分析报告 3.2.6数据工厂管理 流数据处理 数据开发平台 3.2.7统一调度管理 3.2.8数据资产管理 数据资产注册管理 数据资产分类管理 数据资产目录管理 3.2.9数据智能分析 数据标签管理 数据血缘分析 数据探索工具 关联度分析 3.3Al能力平台建设方案 3.3.1Al能力平台概述 智能标注平台框架 标注流程 3.3.3Al能力平台之·自动化机器学习平台 产品架构 技术方案大数据能力平台技术方案第5页共205页数据处理逻辑 产品功能 产品优势 3.3.4Al能力平台之·开放平台 平台功能 3.4GIS基础平台建设方案 3.4.1总体建设方案 平台核心组件 核心引擎方案 资源网关方案 3.4.2平台管理方案 平台数据流向 3.4.3平台功能建设 核心功能模块 平台功能展示 3.4.4平台特点与价值 3.5数据可视化平台建设方案 3.5.1总体建设方案 平台定位 平台总体架构 平台技术架构 可视化流程 核心应用流程 与数据平台关系 大屏展示数据流 3.5.2平台功能建设 功能架构 功能组件 关键功能 第6页共205页功能展示 平台功能特性 3.6安全管理平台建设方案 3.6.1总体建设方案概述 总体安全保障方案 平台建设架构设计 3.6.2密码应用改造 设计目标及原则 密码方案总体架构 安全设计 密码技术方案 管理体系设计 运维体系设计 安全与合规性分析 3.6.3统一身份和权限管理 统一用户管理 统一认证服务 统一权限管理 统一审计管理 3.6.4统一的敏感数据发现 3.6.5统一的数据脱敏管理 3.6.6统一的分类分级管理 3.6.7统一的加密秘钥管理 3.6.8统一的安全审计分析 3.7统一运维平台建设方案 3.7.1总体建设方案 平台架构设计 3.7.2监控资源管理 3.7.3基础资源监测 技术方案大数据能力平台技术方案第7页共205页3.7.4应用服务监控 3.7.5数据质量监控 3.7.6监控告警管理 3.7.7日常巡检管理 3.7.8平台运维管理 3.8运营指挥大屏建设方案 3.8.1建设方案 3.8.2建设内容 应用设计 分析展示 3.8.3呈现效果 4.1中心总体定位设计 4.1.1总体设计 区域模型设计 4.1.2设计原则 4.1.3设计思路 4.1.4数仓设计 4.1.5数据安全 4.2建设XX市数据湖 4.2.1数据湖数据架构 4.2.2数据湖数据范围 4.3建设XX市基础库 4.3.1人口基础库建设 建设方案概述 数据整合方案 人口全息档案 人口关系图谱 人口全息视图 技术方案大数据能力平台技术方案第8页共205页人口信息统计 人口信息查询 4.3.2法人基础库建设 建设方案概述 数据整合方案 法人多维画像 法人统一视图 法人信息统计 4.3.3空间地理库建设 4.4建设XX市主题库 4.4.1主题库建设方法 主题库建设概述 主题库建设方法 4.4.2建设城市码主题库 4.4.3建设应急主题库 应急主题库概述 管理对象主题库 灾害事件主题库 5.1Al赋能数据治理 5.2Al赋能交通治理 5.3Al赋能路政治理 5.4Al赋能工地管理 5.5Al赋能城市安全 5.6Al赋能市场监管 5.7Al赋能智慧旅游 5.8Al赋能智慧农业 5.9Al赋能全民健康 第9页共205页1建设背景、需求与现状分析2021年伊始要加快推进国家规划已明确的重大工程和基础设施建设，其中要加快5G网络、数据中心等新型基础设施建设进度，“新基建”概念呼之欲出。“新基建”是服务于国家长远发展和“两个强国”建设战略需求，以技术、产业驱动，具备集约高效、经济适用、智能绿色、安全可靠的现代化基础设施体不断加快并完善5G基建、大数据中心、人工智能等领域的“新基建”建设布局。以“新基建”牵引，夯实经济社会高质量发展的“底座”和“基石”,对于引燃“十四五”产业动力新引擎、助力数字经济发展、构建智慧和谐社会具有重要意义。为了切实推动“新基建”产业发展，提升XX市“数字经济”的比重，结合国家对“互联网+政务服务”建设的指导方向和我省数字政府建设的工作需求，搭建XX市大数据能力平台是最终形成智慧XX市的城市大脑过程中承上启下的一步。政务大数据平台建设的必要性政务大数据平台建设的必要性智慧城市+智慧政府政务大数据通过建设XX市大数据平台都建设,为XX市经济发展、政务服务与社会治理进行全方面的赋能，全面推动政府数字化都转型，并为构建XX市城市大脑奠技术方案大数据能力平台技术方案第10页共205页通过大数据平台建设、推动政府数字化转型/社金治理/数擦服务开放/市场监管/社会数据协同/家观经济1.1.3建设大数据能力平台是落实市级大数据发展政策要求市级大数据局要以“无条件共享、按需求使用”为原则，加大所有市直属部完善人口、法人、空间地理、信用信息、电子证照、城市感知、行为事件等公共地市分结点，并通过省市两级数据共享交换平台的互联和数据资源目录对接来实促进公共数据有序开放与规范管理，围绕医疗卫生、教育文化、物流产业、社保就业、科技创新、信用服务、市场监管、地理空间信息等社会治理和民生服务重技术标准、信用体系、安全保护和保密审查等制度和机制。通过建设大数据能力平台，实现对数据资源的全流程全链路的整合和处理，包括在数据工厂内的数据开发、监控运维、数据地图服务、数据质量、资产管理、数据服务和安全等，实的全链路展示和全景监控，并实现对全市信息资源的管理。技术方案大数据能力平台技术方案第11页共205页保进数据联动协同形城绕一的踌部门、确地域。蹲露级的信息交换共享保进数据联动协同形城绕一的踌部门、确地域。蹲露级的信息交换共享社金构建数据支持体系逐步实现立体化。多层次。全方位的数据胺务体系有效支持电子改务公共服务数力撑开1.2项目建设需求分析理标准化体系，实现数据质量监控、数据运维、数据成本管理、血缘影响分析、数据权限控制等，对全市数据进行全生命周期管理，为各应用提供全量、标准、干净、智能的数据，推进数据的有序管理与共享交换。。加强数据分析与梳理，提升汇聚数据的关联效应，实现海量数据的质量自动稽核和安全管理，为数据应用提供可靠有效的基础支撑。建设包括政务服务、决策保障、跨域协作、经济调节、市场监管、社会治理、公共服务、环境保护等领域专项大数据分析与可视化展示应用。大数据“资源湖”可为各部门的决策分析提供数据基础，各部门无需自建大规模数据仓库，只需开发算法模型，基于“资源湖”加载算法，即可获取分析结果。大数据能力平台以数据为基础，以数据全链路加工流程为核心，提供数据汇聚、研发、治理、服务等多种功能，既可满足平台用户的数据需求，又能为上层应用提供各种行业解决方案。1.2.1全域数据汇聚，推动政务业务的数据协同形成统一的跨部门、跨地域、跨层级的信息交换共享机制，全面汇聚全市各类公共数据，逐步实现立体化、多层次、全方位的数据服务体系，有效支持电子政务公共服务能力提升。税务局税务局·度密格率核交期手偿油试然实装力冲估政务大数据平台t佳建委·质产评估人社杜保年器第产交票场每曲④数据上云技术方案大数据能力平台技术方案第12页共205页数据工厂提供一站式、标准化、可视化、透明化的智能大数据全生命周期云研发平台。数据工场赋予用户仅通过单一平台即可实现数据传输、数据计算、数监控运维、数据质量、数据地图、数据资产管理、数据服务。算法服务基于大数据开发的数据智能应用搭建提供一站式的算法/数据研发有效支持领导决策、政策研究以及资源投放。第13页共205页世保数通交渠数爆医疗教露金敏世重社合委题公共器务环保数爆公其安全分析障易生态环策分析研利宏观数据分析应用城市人口分析规划AP正分桥人能够将治理后的数据以业务化视角进行建模、查看、管理及使用，并提供业务衍生标签的自定义功能，为上层应用提供统一的标签数据目录和标签调用接口，支持沉淀回收上层应用制作的模型标签，实现高价值标签共享复用。画像分析可基于智能标签提供的标签体系进行多维度分析，按照业务需求圈单实体全方位个性化档案，通过可视化线索分析来实现对于目标群体的精准定位。感知、研判及传递，形成捕获一响应—处理的联动体系，支撑城市智慧运行。··消防接警·消防出警·事故跳段嫩派人手·泊途路线道路疏通·短信通知涉事区域人员·实时监控区域人流协同处置0·疏款建筑人群·检查应急选道·教护车资序河拨·急救保护资源调按N策地研判实时代递实时感知深入、多维、智能都数据洞察，可提供自助式数据挖掘工具，面向业务管理据诊断和分析能力，快速发现数据规律或异常，实现从数据到知识的提取，辅助业务决策。通过政务大平台数据开放应用，形成“公共数据服务社会应用、社会数据反哺公共数据”的良性循环促进机制。利用平台在政务服务领域全面融合各个数据源中数据，按业务主题分析对象进行数据整合，轻度汇总加工，计算各类算法标通过政务大平台数据开放应用，形成“公共数据服务社会应用，社会数据反哺公通过政务大平台数据开放应用，形成“公共数据服务社会应用，社会数据反哺公其数据”的良性循环促进机制8交测理库登课度名教通公并一社金数据相互保进个人缩形冲估个人征位教繁保险公司出行数需在本项目中需要按“自然人、法人组织、信用信息、行为事件、物联感知、技术方案大数据能力平台技术方案第15页共205页省级数据共享交换平台(大数据能力平台)省级数据共享交换平台(大数据能力平台)数据共享交换数据共享门户目录管理系统电子证照库数据共享交换系统大数据存储与计算荆楚云网络存储存储数据共享交换平台目前已建成资源目录体系、共享与交换体系。完成目录管理系统、共享门户网站、共享交换平台等3个系统。第16页共205页基于平台完成了大部分市直属单位以及各区县单位的数据接入及汇聚工作，并完成与省共享交换平台(大数据能力平台)对接工作。政务数据应用系统目前市电子证照库已归集市直、区县的证照目录，已完成归集的所有证照目市区义务教育阶段网上报名资质审核系统平台、省级政务服务网调用证照接口提供了多次次调用。数据湖与库缺乏统一规划，没有对数据仓库进行全域的整体规划与层级模型设计，容易形成数据沼泽，不利于数据的管理与利用。不高，数据应用开发效率低，数据资产。目前平台还不具备数据智能处理、可视化分析等能力，只能支持简单的数据应用场景，数据处理及应用能力还较为薄弱，数据应用创新动能不足。目前平台还未建立完善的安全保障体系与平台能力，数据授权、使用、审计的全生命周期管控存在短板，数据的安全防护有待提升。管理维护难度高成本大平台还未建设统一的运维能力与流程，题，影响平台正常使用。随着平台功能、设备、数据规模的高会导致无法及时发现、诊断及解决问大数据能力平台第17页共205页2项目整体建设规划方案按照《省人民政府关于推进数字政府建设的指导意见》(鄂政发(2019)4号)用的痛点，以云计算、大数据、物联网、区块链、人工智能等技术为支撑，以“统数据建设体系，用以全面指导整个XX市大数据的建设，包括大数据能力平台的建设、大数据管理制度、大数据的治理运营的流程与规范、大数据的应用与共享逐步实现数据能力规模发展逐步实现数据能力规模发展围绕智慧城市建设提供全链路服务整合数据能力数据治理管理赋能智慧运营数燃汇聚数据联动技术平台数据治理统一警控业务服务数据报务Al服务能力管理制度整合现有公共数据资源，布局行业数据引入，逐步形成城市数据枢纽。智能应用等数字孪生技术能力。促进大数据供给侧改革，围绕大数据各项能力开放，推动数据应用创新发展，激发数据价值。2.2大数据平台定位与价值规划XX市大数据能力平台的核心是汇聚全市各类公共数据，建立面向全市政务政身政身数据检素数据计算决策依据润察&建议荆州市政务大数据能力平台公共安全民生保周发展发属觅业盖政2.3项目建设目标与内容规划通过XX市大数据能力平台项目建设，以数字化、数据化、智能化、智慧化为实施路径，加快实现“平台通、数据通、信用通、业务通”,推动政府全方位、系统性变革和数字化转型，建立服务高效、治理精难，决策科学的新型政府运行按省、市两级加快推进智慧城市与数字政府的建设要求，结合当前大数据平第19页共205页工智能等技术为支撑，推进XX市大数据能力平台建设。为推动XX市的数字化转型，服务高效、治理精准，决策科学的新型政府运行模式，全面提升政府运行效能。推动公共数据完整归集，按需及时同步和更新公共数据，形成大数据枢纽，保证委办间政务协同。④驱动数据应用，进一步完善大数据基础完善基础、主题数据库建设，推动数据资源整合及数据分析应用。搭建统一流数据治理与处理中台，并完善数据共享服务与数据分析和可视化服务，提升数据共享与创新应用效能。构建统一数据开发与调度，增强数据管理能力建立统一数据运维和自有的建立完整的平台安全和数据安全管控体系，保障数据安全管控。本次数字XX市大数据能力平台建设项目，将以标准化数据仓库建设为理论基础，以数据中台建设为目标，围绕XX市智慧城市建设，实现全市政务数据、视频图像、物联感知、社会行业等全域数据的归集、清洗、加工，提升数据服务实现全方位的数据赋能。因此，本次XX市大数据能力平台建设项目的建设内容主要是要搭建统一的大数据能力平台；建立大数据资源中心，完成标准化数据仓库的建设；并构建基础及融合业务应用数据库，为全市的政务处理、经济发展、社会民生、城市管理等技术方案大数据能力平台技术方案第20页共205页在现有平台基础上，按照项目建设目标，完善整个XX市大数据平台能力与功能建设，让平台可以支撑整个XX市大数据管理与应用。具体建设内容包括：清洗、加工，支撑业务的数据应用需求。④建设AI能力平台等基础模型为主的通用AI引擎以及满足一网通办、一网统管、经济发展、城市规在海量数据中计算、分析和建模来挖掘出数据价值，输出统一的公共算法服务能力，统筹匹配各部门聚焦的业务需求，更高效的从数据中获取应用价值。建设GIS基础平台理数据资源的有序关联，完善地图更新和转换联动机制，支撑全市各部门对地图建设数据可视平台，提供基于拖拽的强大格式定义、可视化报表与图形息集成在各种看板设备上(PC、Pad、手机、大屏等)。在数据安全保障的大环境下，建设数据安全管理平台支撑提升全市数据资源在数据加密、脱敏、分级分类、防泄漏、安全审计分析和权限管理等数据安全防第21页共205页据能力平台的应用完成其密钥应用实施，最终达到实际的密钥安全应用需求，为大数据能力平台提供底层安全保障，并达到符合密钥应用安全性测评要求。建设统一运维管理平台，提供统一监控运维功能，保证整个XX市大数据能力平台的稳定与高效运行，并提升数据资源全生命周期的保障执行力和运维效率。建设可视化指挥大屏，基于全市公共数据归集基础，以XX市高质量发展实警洞察能力，辅助提升城市发展科学决策水平。制定市内公共数据汇聚的标准规范和管理制度，归集全市各政务单位的公共数据，形成全市的数据资源湖。经过对数据进行清洗、转换、融合、治理后，形成高质量的公共数据资源，构建形成XX市标准化数据仓库。构建全市公共数据的存储与计算空间，支撑各类数据资源的汇聚存储、处理计算与查询应用，并依据部门类别、数据源类别等提供资源隔离的多租户数据应用空间。建设、优化全市统一的基础人口综合库、法人综合库、空间地理库，支撑全市人口基础数据相关应用。电子身份证、应急管理等数据应用。基于全市的数据资源湖，利用经过治理后的数据，可以针对某一特领域的业会进行数据开放。并持续开展、深入XX市大数据的应用探索，围绕跨部门、跨技术方案大数据能力平台技术方案第22页共205页一步增强政府与社会、老百姓直接的双向互动、同步交流。针对交通卡口以及城市道路的视频数据及图像数据，对于交通事故、交通违路政治理险源、隐患、事故等数据相联动关联，实现对复杂场景的敏锐感知与精准掌控。采用智能化信息化管理的模式对施工现场的人员、设备、物资、安全、质量技术方案大数据能力平台技术方案第23页共205页建设全市市场监管大数据应用服务，通过提供基础监管数据库、精准市场日常监管、市场监管信息共享等关键数据指标服务，助力更新政府市场监管逻辑、消除信息不对称、增强监管合力、解决监管力量落差问题、降低市场监管成本。④智慧旅游据、旅游产业收入数据、旅游游客接待数据、游客分布分析数据、全市居民外出市场相关数据，构建农业综合信息服务、农业数据监测预警、农业环境监测等关动农业快速与高质量发展。全民健康建设全市集中、全面的市民健康大数据应用服务，通过汇聚全市医疗机构与个人健康相关数据，建设全市医疗数据共享、公众健康指数等关键指标数据服务，助力降低医疗成本，预测流行病的爆发，改善全市人民健康状况，提高整体生活质量。面向应急管理常态与非常态业务需求，按照不同事件专题应用的需求重新整合形成应急专题库。提供事件周边应急资源的分析功能，包括医院床位数、应急针对XX市大数据能力平台的建设，我们将基于主流的大数据技术框架对当前的XX市数据共享交换平台进行完善与扩建，为XX市构建一个强大的大数据管第24页共205页然后，利用数据平台的数据采集功能，将XX市各级政府单位的政务数据、省级下发的数据、城市管理相关的监控视频等物联数据、企业事业单位数据、省级下发的数据，互联网等数据汇聚起来，形成统一的XX市级大数据资源池。之后，在利用平台的数据治理与建模开发能力，将采集到的数据有效地进行分类整理与融合，构建人口库、法人库、城市码、智慧旅游、应急处置等数据应用服务，并利用统一门户将相关数据应用对外开放，向XX市各级单位等用户提供数据服务，实现对全市政务等数据的集中汇聚、统一管理与共享利用，为XX市智慧城市大脑的构建提供数据支撑。具体，本次项目的解决方案规划蓝图如下：数据应用与推送(自然人/法人)画像一次办好社会治理智暴城市业务目标数家源失联计算模型数据汇聚存健计算数据治理AI能力主专题库数据分析数据安全区谈码区谈码海德省类人是2.4.1平台建设方案规划我们将基于主流的大数据技术框架对当前的XX市数据共享交换平台进行完善与扩建，为XX市构建一个强大的大数据管理与应用平台。具体，对于本次XX市大数据能力平台的建设规划与架构设计如下：第25页共205页大数据能力平台省级数据共享交换平台(大数据能力平台)省级数据共享交换平台(大数据能力平台)+大数据基础支撑平台(底症)2.4.2数据资源中心建设规划通过汇聚全市内各单位公共数据形成市级数据湖，同时经过数据清洗、转换、融合、治理后高质量的公共数据资源库，并基于相关应用需求构建各类应用基础、主题、专题、标签等数据库，由此构建出层级清晰、功能区域划分合理的XX市大数据资源中心。具体，对于XX市大数据资源中心的建设规划如下：共享库(开放共享区)数据库(DWD层)数据湖(ODS贴源层)各类数据源数据安全保障牢抓住XX市大数据应用的痛点，以云计算、大数据、物联网、区块链、人工智能等技术为支撑，以“统筹规划、集约建设、共享共治”为原则加强XX市大数据顶层设计。具体，在本次项目中我们将按照“总体规划一步到赋能逐步升级”的原则，落实数据交换共享和协同应用需求，逐步提升XX市大数成果，逐步完善丰富XX市大数据资源池、运营平台、管理机制、运维支撑、组织保障体系和典型智慧应用的建设。具体，对于本次XX市大数据能力平台项目建设的实施方案规划如下：3术规范平台建设先行长期治理运营数据治理组织数据管理制度数据标准规范数据治理活动治理平台工具政务大数据治理运营支撑体系1+N运营模式#平台建设与治理运营团队相独立政务数据治理运营要运意工事数据治理运营以业务线划分利器力平台平台建设以功能线划分技术方案大数据能力平台技术方案第27页共205页者，负责组织内数据资产的开发和利用，通过数据推动组织业务的创新和发展。数据治理实施部数据治理实施部其他管理部门其他业务部门牵头业务部门T信息部门第28页共205页数据分析组数据分析组平台开发组运行维护组数据清洗组√整个数据治理团队的建设中可通过引入平台与治理运营供应商来共同组建，并可引入一个项目总集方负责日常运营工作；√建议需求、质量与安全管理工作由组织内部人员来负责。2.6.3数据治理制度规范数据治理相关的技术与管理流程规范规定了数据中心与业务部门，以及各系统之间的数据归集、数据模型设计、数据模型开发、数据资产体系框架构建、部署规范、数据安全运维管理以及数据共享的相关要求，指导整个组织展开大数据数据共享应用申请流程数据共享应用申请流程数据开发需求响应流程数掘共骨技术規范数据安全管理规范数据费产舊理规范数据质置要求世理规范数据模型开发捷术规慧数掘模型设计技术规慧数謂归集技木規楚技术方案大数据能力平台技术方案H细制有期√数据规范是指对政务核心数据进行有关存在性、完整性、质量及归档的H细制有期办法、流程、认责体系，并颁布相关规章制度。基础库基础库丰频情·D政务大数据资源中心-数据湖&数据库改府内部单位据用构社会组的仙通调用数据前置库共享库每制每期分有公事数据内部物联联网数据前置建通日覆数使机共业分期质量监控质量监控则业务场置运行检查教据质■规模板运行检查规范设计维度建操指标管理业务态标技术岛标数配采集液连接和数概应用发布使用通营数配氧目性护技术资产开发调度数探基数糖仓库第30页共205页2.6.6数据治理关键心法前置-定义数据治理与管理相关的技术、业务与管理标准及规范前置-定义数据治理与管理相关的技术、业务与管理标准及规范强需数据效振应用确政线标范数报质量元数概信息配技术标准执行腔制编制数据资产目录数据标准执行控制大数据能力平台第31页共205页3大数据能力平台建设方案在现有平台基础上，按照项目建设目标，完善整个XX市大数据平台能力与功能建设，让平台可以支撑整个XX市大数据管理与应用。具体建设内容包括：清洗、加工，支撑业务的数据应用需求。④建设AI能力平台等基础模型为主的通用AI引擎以及满足城市交通、路政治理、城市安全、市场监管、智慧旅游、智慧农业等智能场景应用所需的算法库，结合机器学习算法、深建设数据地理信息服务平台，依托市级空间地理底图和各类图层信息台，建④建设数据可视化平台建设数据可视平台，提供基于拖拽的强大格式定义、可视化报表与图形息集成在各种看板设备上(PC、Pad、手机、大屏等)。第32页共205页在数据加密、脱敏、分级分类、防泄漏、安全审计分析和权限管理等数据安全防据能力平台的应用完成其密钥应用实施，最终达到实际的密钥安全应用需求，为大数据能力平台提供底层安全保障，并达到符合密钥应用安全性测评要求。建设可视化指挥大屏，基于全市公共数据归集基础，以XX市高质量发展实XX市大数据能力平台的总体架构由支撑体系(标准规范支撑体系、管理运行维护支撑体系、安全支撑体系)、网络系统、信息资源平台软硬件系统环境、平台应用系统(数据支撑底座、数据交换平台、数据整理治理平台、数据目录管数据安全管理平台、统一运维管理平台、可视化运营指挥大屏),以及数据资源中心(数据湖、基础库、主题库、部门数据库、乡镇数据库、乡村振兴数据库)组成。具体，整个XX市大数据能力平台的功能架第33页共205页繁臣集事繁臣集事大数据能力平台技术方案统一通重平台高控基控管理维流程处理数据源表务教市区县)已有可模化辅断接口管理管理警理中认避服务安全度剂重文击自识期积测平省糖0引示图数配其南选女目录系统日录输目数据准管理数据发理台法计间服务案口字位005数据海数据具事统一度管理量赁理审计暨理物联/监控程殖教程幅大数露学台教理数庭警理主题库学习建安3.1.3平台各部分架构关系提供递用A能力引学支摔普能场景应用数指供统一地理相关应用服务，支挥地图需求报供教据编目服务，实现教案委源集中应用数缝可观化分析与属示支撑统一数据治理与紫控实现数据应用的开发提供教据交操就力实现数据采集与开放提供基础教据底座实现教据存储与计算构建全生命周期数据安全防护能力，提供统一数据与信意安全保障，保障平台安金数据安全子平台数据资源中心理口合子台貌统基入整鲁平深度数据分析展观提供全局态势司视运营指挥大屏化开发支挥程化展示台理用解3.2.1数据治理概述数据治理将分散、多样化的数据通过汇集、标准化、清洗等操作对数据的质量进行全面的提升和监控，形成全市大数据的管理和控制机制，并提供一站式数据治理体系，持续不断的挖掘和提升数据的应用价值。数据治理平台通过对数据第34页共205页全生命周期、端到端的全链路透明化管控，实现“数据模型标准化、数据关系脉络化、数据加工可视化、数据质量度量化”,实现数据资产的统一管理及全业务数据脉络不清晰的痛点问题。数据治理就是将数据转化为资产的手段和方法，采用的数据治理子系统和工人工训练和专家反馈不断优化数据理解和数据关联。数据治理子系统给围绕XX市大数据能力平台的应用建设目标，包含数据地图、数据质量、智能监控、数据据标准化、数据转换、数据关联、数据比对等方面服务。在数据打通过程中，同时做好数据质量管理，主要包括四个方面数据缺失补缺、数据重复去重、数据错误纠正、数据不可用补救。单位公共数据资源，形成XX市大数据资源池，同时经过数据清洗、转换、融合、治理后高质量的公共数据资源，形成XX市综合大数据能力平台。大数据治理方法论大数据治理方法论第一阶段上云汇集01数据管理开发整>规则引擎>数据开放>预警中心>AI开放主题数据为了无法计算的价值C〕网里云基础数据应用数据形成知识方法手段>安保监控大屏>全息画像南三阶段应用关系中心>数据资产大屏模型治理整合数端全息格家(Gisp)展现第一阶段：数据汇聚，融合管理第35页共205页从政务办公网、感知网、社会协同单位收集各类数据，形成大数据中心的数据基础，并对汇集的原始数据开展基于数据管理和业务视角的治理及应用工作。位全局服务XX市大数据创新应用的角度梳理大数据资产，构建数据资源目录和数据资产管理应用，达到数据资源的规范化和可视化；汇聚后的原始数据仍处于足数据资源平台下，数据开发者进行ETL开发、数据挖掘算法开发、数据主题库建设等需求；对数据融合处理的全过程通过质量管理工具进行管理监测，保障数行安全上的分类分级，确保数据使用合理、安全可控。基于业务应用视角，对汇聚的基础数据开展模型治理，通过数据清洗加工、基于业务背景及要求的处理加工、以及面向应用专题场景的开发，依次构建整合数据资源层、主题数据资源层、应用数据资源层，形成指标口径一致、统存统用的大数据资源层。第二阶段：基于数据，提炼抽象信息，形成知识因大数据涉及的来源广泛、数据采集背景及方法多样甚至特殊、复杂，导致因不同的汇集场景等因素，各个实体对象往往存在多个ID,需要对ID间关系做计算，通过IDMapping,建立ID和实体人/物间的关系，从而串联起实体人/物的属性/行为信息。基于业务需求引导和对数据资源信息的价值梳理，对数据进行进一步提炼加中心产品对用户及开发者开放。第三阶段：构建应用，服务业务起各类业务创新应用，如监控大屏、全息画像、预警中心等应用。通过数据服务平台，可以把数据和标签在线服务化提供给开发者和用户。技术方案大数据能力平台技术方案第36页共205页部门管理员部门管理员中心管理员(实施人员)构到前回库3梁蝶的世库元数据4标准比前回岸数站5生产库落标并数据桥接到前宣库6前二库质责检查前三库据维成治理岸8治理库逻辑质检数据治理平台会包含部分5大库数据标准，行标、部门标准等需由实施人员从客户处采集后录入系统2)同步数据结构据结构录入前置库3)元数据采集将数据结构采集入数据治理平台技术方案大数据能力平台技术方案第37页共205页4)标准化实施人员为采集来的元数据挂接数据标准，标准化其元数据格式属性、值域等5)落标及数据桥接部门管理员根据标准化的字段属性，将生产库数据桥接到前置库中心管理员对前置库数据进行质量检查及整改7)数据集成中心管理员将质检后数据集成到治理库8)逻辑质检中心管理员对治理库的数据根据业务需求进行逻辑层质量检查9)资源挂载部门管理人员对已完成数据治理的治理库数据进行资源挂载通过数据治理工作后，形成的数据治理成果物。技术方案大数据能力平台技术方案第38页共205页整改《集成实施指导书(含增量)》、《数据集成数据例》异常数据整改逻辑质检数据的加工处理以及加工处理过程数据标准、元数据和数据质量的管理。平台可以提供数据输入、数据加工、数据输出和贯穿数据处理各个过程的全流程、全生命周期的数据处理、数据治理和数据管控的一体化建设。数据治理平台覆盖了从标准、设计、采集、开发到使用，再到交付的全数据技术方案大数据能力平台技术方案第39页共205页开发、数据运营多种应用场景，并通过构建数据工厂，实现数据治理的标准化、数据治理平台数据治理平台数城治理管理观范标准(元数据、标准、质量、资产。目录)清洗数据生命结期管理排续废馈荆州市政务大散据资考中心数据安全置控数据消费者事业单位阳机沟企业数据生产者县次务数据物联数躯互联网数据建模批果集量共享教系升安入员教系升安入员行数聚分行所业务用户教院料学家教系低理员教据操作员管理医量级告管理元教整采集元教整性护服务审核服务监控订离审核元教置管理数察门户(Webn)数据共享数国解务数据管理基础平台数据用管端数据子集说重中心建楼设计算主库播件管端消患管理日老管理天数健省案管理大数题守修与计算学难织，用户、角色，权激管建技术方案大数据能力平台技术方案第40页共205页5-程序在线测试6-调度配置7-摆交审核井上线Python.jna.shel#1-数据探索源4-编铜模型应用程序2-模型定文②都本开发支持类型A定义、获取原则、管理要求等。包括设计基础类和分析类数据标准，制定数据对数据标准的理解，指导信息化建设中对数据标准的参照。数据标准管理体系主要包含数据标准管理、落地实施机制、及数据标准管理平台通过对数据标准管理、落地实施机制、及数据标准管理平台维护三部分责，以明确的组织、职责、流程设计。落地实施机制从规范推广、技术平台支撑④数据标准管理机制设计术部门和系统技术团队共同参与数据标准设计，建立企业级数据标准流程，制定第41页共205页设中对数据标准的参照。④数据标准分类规范数据标准是对数据的名称、含义、结构、取值等信息的统一定义，达成对数据的业务理解、技术实现的一致性。基于数据模型理论将数据标准延伸至5个分类，涵盖技术、业务多个视角。业务术语：从一致性、通用性等方面统一业务术语定义。数据项标准：用来描述实体的某种属性，包含数据项的名称、编号、别名、简述、数据项的长度、类型、数据项的取值范围。据可在不同系统中被使用而保持统一标准值。主数据标准：主数据编码是应用系统中的重要数据类型之一，通常用来描述业务操作的具体对象及其特征，注重唯一性，特征一致性，稳定性及有效性。一的识别标志(代码，名称，特征描述等),用以明确区分业务对象，业务范围和业务的具体细节特征一致性：主数据在不同系统中，均按统一标准出现稳定性：主数据相对稳定，本身属性不会随交易过程而被修改据不会丧失有效性兼顾通用性和个性化，个性化方面支持各使用部门个性化定制④数据标准设计规范以分析型应用建设和操作型应用集成为导向，两设计体系理要求，自上而下追溯数据源，聚焦数据标准范围。用共享的数据映射，删除冗余、非重点数据，精简数据标准建设范围。第42页共205页数据元管理数据元管理主要包括数据元新增、数据元导入、数据元发布、数据元修改、数据元删除、数据元停用、数据元检索等功能。同时支持数据元版本管理及版本之间的差异核对功能以及支持基于基础库、主题库的元数据快速创建标准数据元，并建立和相关元数据的关联关系。标准代码配置标准代码配置支持代码的分类、标准代码项的新增、导入、导出功能，提供了标准代码维护的能力；可关联到国标、地标代码字典，为数据的规范性提供了更加详细的描述，为后续的数据质量、数据标准等工作提供支撑。标准数据元具有唯一的编码(标准代码),按照实际的业务领域进行分类之后，可以形成带有业务领域特征的相关编码，比如“FR00001”代表法人相关的数据元标准代码。可关联到国标、地标代码字典常用规则配置数据元的值有部分需要满足固定格式的标准，治理过程中需要通过固定的值组成规则来规范数据源值的格式，例如身份证、电话号码、电子邮箱等格式。包括通用规则及各部门根据自身需求实际制定的规则，常用规则配置会针对公共数据的特性内置部分常用的规则，同时提供了规则的配置修改能力。第43页共205页存储过程、索引、数据链、函数和包等的管理。清晰的表示各层次结构之间的数据流程、各对象之间的关系，以及向外提供的各类数据服务的信息。元数据内容涉及到整个大数据资源平台的各个数据环节，包括数据采集、逐与各环节实现有效互动。按照元数据的定义分类，综合价值分析系统元数据管理分为业务元数据、技术元数据、管理元数据三类。其中：(1)业务元数据使用者的业务术语所表达的数据模型、对象名和属性名；a1系统所提供的分析方法及公式、报表信息；对业务元数据来源的管理和差异性对比；系统结构的描述(各个主题的定义，星型模式或雪花型模式的描述定义等);整合数据层的机构单位的数据模型描述(以描述关系表及其关联关系为形式);对数据稽核规则的定义、汇总数据层模型描述与装载描述(包括维度、层次、度量以及相应事实表、概要表的抽取规则);(3)管理元数据系统内部用户的数据处理操作规则，包括抽取、转换、加载、汇总等各类操作的用户权限、操作时间窗管理、异常处理规则等；外部访问用户(主要针对该系统对外提供的数据服务)的操作规则和方式，包括所提供的数据服务接口、数据访问方式、操作；技术方案大数据能力平台技术方案操作类型等相关信息。为了保障元数据管理目标的顺利达成，需要从组织架构层面建立专业的元数据管控组织予以保障，确保元数据管控要求得以落实、制度得以执行。求验收等项目阶段的元数据建立和校验，最后实现元数据的发布和运维管理。在这些阶段中，元数据管控组负责元数据信息的全生命周期流程的管理和监控。数据检索、数据模型管理、元数据管理、血缘关系等功能组成等。元数据属性检查描述合法性检查数据质量元数据手工录入外部文件导入业务指标维度数据数据源接口元数据数据封装元数据数据管理要求数据操作日志元数据维护元敌据查询指标一致性分析实体关联分析实体差异分析血缘分析影响分析数据地图分析使用情况统计元数据统计管理元数据元数据手工获取SQL脚本自动解析元数据白动获取元数据质量检查业务元数据格式文件导出自动获取管理实时AP1调用功能层存储层获取层访问层对元数据获取数据源以及这些数据源之间的关系进行集中登记管理，并形成自动获取数据源的全局视图，实现元数据自动获取数据信息技术方案大数据能力平台技术方案第45页共205页要实现元数据的自动获取，需要在集成的元数据平台中配置自动获取策略和调度时间等，使元数据能够按预设的调度策略触发相应的元数据自动获取过程，满足元数据自动获取的时效性。00:00到01:00之间触发数据资源平台元数据的自动获取过程，或者在数据处理程序更新后12小时内触发相应的映射关系元数据自动获取过程。数据对象信息、业务规则信息、加工逻辑等进行维护和管控。④元数据扫描支持以手动或定时的方式扫描指定的数据库资源，并提取和解析相关的信息在比较扫描数据和原有数据的差异后自动将差异数据维护到指定的元数据目录。在元数据管理首页用户通过输入关键字后，系统采用全文检索的方式迅速查找和关键字匹配的权限范围内的元数据信息，并将信息返回给用户。用户能够通过展示的路径信息快速定位到元数据组织树上的节点。版本管理分为元数据对象版本管理与基线版本管理两种类型。元数据对象版本：对元数据的每次提交形成版本(上一版本形成历史版本),提供历史版本间，历史版本与当前版本对比功能；数据集的版本比较④权限管理及查询统一实现数据库的访问和操作管控，对用户进行角色权限、对象权限、数据在系统层面实现元数据的导入/导出功能，以保证数据模型、数据对象能够灵活的迁移，支持模型间的检查和比对，以便于数据模型的维护和扩展。技术方案大数据能力平台技术方案第46页共205页血缘分析的数据资产节点元数据分析算法包括以网状模式展示对象等血缘关系和以父子依赖关系展表n过程表n过程表1过程3表2以父子依赖关系展示对象的有向血缘关系表1表1过程1过程3表2过程4表5过段n表3表4表6以网状模式展示对象的血缘关系技术方案大数据能力平台技术方案第47页共205页数据质量管理主要包含对数据完整性、准确性、鲜活性、权威性的分析和管能够提供规则配置、质量监控、问题处理等功能，及时发现并分析数据质量质星模型质星模型一套规则质检方案一质检方率二质检方案积底性实体装铝明基础单元数据质量规则是数据质量审核的逻辑校验标准，是数据质了用户投入的精力与时间，为用户提供了一种灵活而全面的数据质量分析方式。空值检查用于检查关键字段非空值域检查值域检查用于检查关键字段的取值范围，支持数值型、字符型、日期型字段检查技术方案大数据能力平台技术方案第48页共205页规范检查用于检查指标值的格式是否规范，支持身份证、手机号码、邮箱、日期等多种数据类型的检测，支持自定义正则表达式逻辑检查用于检查指标之间是否满足一定的逻辑关系重复数据检查重复数据检查用于检查表内是否有重复数据。及时性检查，用于检查数据的及时性，衡量数据抽取或数据上报是否及时。时间都是以下一期的第一天做为参照依据，再将上报时间与最佳上报时间做为比较，看是否在允许误差最大天数范围内记录缺失检查用于判断记录是否完整，是否缺少数据行。根据比照表字段检查目标字段是否缺少数据，检查实体表字段与比照字段的数据量、数值是否完全规则算法：对检查表字段和比照字段进行groupby并求count,根据两个字段groupby的结果来outerjoin,count不相等或检查字段值和比照字段值有一个为空时，此行结果都算错引用完整性检查用于判断实体表中的数据是否完全存在于比照表中。实体表检查字段中的数据必须全部存在于比照表的比照字段中。比照字段为空，则检查字段的值非来源于比照表，则该规则对应结果为false依据质量规则执行的实际治理需求，通过图形化界面配置多种质检规则组成可执行方案，依据执行规则管控平台自动执行质量规则检查。质量规则执行触发方式支持按固定时间周期(如月、周、日)、事件触发等执行方式，并且在控制技术方案大数据能力平台技术方案第49页共205页,心心,心心台可以查看质检方案执行历史，对数据质检全流程进行管控。规则维度分类说明规测非变大员混度小微要核5OL示州丰空约束否存在况ct*hemAJsbletwtereSed1aul要食义不唱确学报金又不研确史体牌一性约果个春户已景了两九gouptyfeid!fisd2fsd?heingceurtiP)t长遭的菜临决检核对象的长建能否南足长度的束。ct主理字段*gm核字段)tromAtieelnheeangh10有政性业安的来ect*homAabletwherefediretin(t:O有效性代污像城的索siect*fremAbablelwherefiedIrotin(sWktccdetsm代S统型的来ect*femADetwtere5edl<0构也半城大写更文号，1-始力数字质量规则执行触发方式支持按固定时间周期(如月、周、日)、事件触发等行机制。业务系统实施上线规范制定规范审核规范发布规范定稿统一规划业务规范置的规则提供问题详情、比对及整改重检的能力。结合实际可执行和可实现的原则，分析系统存在的数据质量问题：着重于在数据的定义基础上，利用数据的逻辑和业务规则度数据质量进行检测和分析。着重与在数据的分析和检测基础上，利用起结果对数据，特别是源数据的数据管理提出整改意见，重建数据质量的管理能力。具体系统方案如下：棉样定义库指样盖控指标度案林存销层检核继要ODS商称系级泽系统源系统层表示层准基于质检方案及质检结果，对每次质检的检查数、问题数、整改数等进行统计，形成统计图。支持按日、按月统计及柱状图、折线图。技术方案大数据能力平台技术方案第51页共205页柱状图折现图4L打人者44清钢摩人要低自进题件那入√平台提供数据处理各项能力的开发功能，提供包括数据采集、处理、装√平台具备执行标准的开源Hadoop接口调用能力，以及基于个性化Hadoop接口封装能力；基于平台扩展自主的数据处理功能√可视化程序开发可结合数据标准化体系，整体数据开发流程与标准化管控切实对接。第52页共205页平台支持对流数据的处理与管理，流数据的处理过程为数据实时采集-->数据实时计算->数据实时查询服务。主要应对海量数据进行高性能的实时数据采集处理，以实时、高效、低延迟为核心驱动点，具备毫秒级数据触发能力，实现秒级单位时间窗口的数据统计分析能力。需要支持的数据源类型可以分为以下四类：关系型数据库数据源，包括DB2,Teradata和标准化处理，以及满足海量物联网数据的入湖。时提取和分析来自各种分布式系统的信息，并分发到不同的应用中进行处理。同时，系统必须高效、可靠、可管理、可监控并且具有一定的对外开放能力。据计算提供支撑的功能的统一管理的功能开发提供对于场景需求较多的数据模型可开发公共模型的功能，公共模型可以供其他用户调用，可重复使用的功能④流数据计算结果接口开发开发提供对流数据计算结果接口开发功能和计算结果数据可通过接口形式供可视化调用或其他应用的功能技术方案大数据能力平台技术方案第53页共205页开发提供流数据计算模型查询功能，通过对流数据计算模型发布可以是其他用户查看计算模型逻辑，进行模型再利用，减少其他用户开发工作量的功能。数据开发完成多种环境的全量与增量数据处理能力，简化开发过程。统一数视化编排的互相转换，提升开发效率。④支持可视化开发控件设计交互事件响应控件显示控件设计源代码生成工具MiniGUI源代码支持原生态开发4liestriePrivteg(t;wt;)开发工具是用于配置中介流程、组件及适配器开发工具，它提供了完整的从设计、开发、配置到打包部署整个阶段的GUI(GraphicalUserInterface,图形用户界面)工具，帮助用户快速利用和充分发挥数据服务集成管理系统的服务平台支持对数据开发与管理任务的统一调度，包括流程设计与管理、调度策略管控、任务调度控制、标准化控件等功能模块，通过作业/任务管理、作业/任务调度、作业/任务执行实现对采集、转换、加载、调度、监控，从而形成统一的调度与管理。作业/任务再度度监控以一个业务量生产过程为例。传统做法是通过接口通信表或时序依赖进行协同生产。在统一调度平台中以数据流作为驱动，通过控制中心进行作业命令下发，状态收集进行控制，达到各个异构系统，多个子系统的协同调度。采集技术方案大数据能力平台技术方案第55页共205页卷卷考数积生产晓一用阳乙数限生产遭55####555确教置监控A+*化管控。主要包括数据资产注册管理、数据资产分类管理、数据资产查询、数据地图、数据资产分析、数据资产版本管理、数据资产变更管理、资产运行审计管理、资产统计分析，接口管理、数据质量等功能。平台提供数据源管理、数据资产注册管理、数据资产注册审核、生成数据库平台提供对数据源注册管理的功能，主要是对数据提供者所在数据库、数据库类型数据库版本数据库服务IP数据库服务端口大数据能力平台第56页共205页dt数据库表空间2)Hadoop库注册管理，主要负责Hive库基本信息、HDFS文件信息的注册配置，包含但不限于以下内容：④数据资产注册管理平台提供对数据资产注册管理的功能，主要包括对表、视图、序列、文件、1)业务系统信息收集与资产注册，包含但不限于以下内容：业务系统服务端口2)数据库信息采集与资产注册，包含但不限于以下内容：数据库类型数据库版本数据库SID数据库表空间3)表结构信息采集与资产注册，包含但不限于以下内容：表中文名称表结构定义表数据处理逻辑第57页共205页4)视图信息采集与资产注册，包含但不限于以下内容：视图中文名称业务信息描述视图结构定义5)字段信息采集与资产注册，包含但不限于以下内容：字段中文名称字段详细描述字段类型定义6)指标信息采集与资产注册，包含但不限于以下内容：指标中文名称指标统计周期7)报表信息采集与资产注册，包含但不限于以下内容：报表中文名称报表业务描述报表统计周期8)hadoop平台信息采集与资产注册，包含但不限于以下内容：Hadoop集群名称Hadoop集群描述edfHadoop集群主节点IPHadoop集群从节点IP9)hadoophive库表信息采集与资产注册，包含但不限于以下内容：Hive数据库服务IPHive数据库服务端口第58页共205页fHive表中文名称GDHive表业务描述信息ETL作业名称ETL作业业务描述信息接口文件业务描述信息接口文件路径接口内容与表字段映射关系12)OLAP信息采集与资产注册；13)webservice接口信息采集与资产注册，包含但不限于以下内容：webservice接口负责人名规范，可实现对数据资产的自动审核，主要包括对表/视图、文件等数据资产进行审核分析。当数据资产命名不符合规范时，平台会提示错误信息，并阻止资数据资产的完整和规范性。第59页共205页44DmeRX第度义丰班明NSERO第*考年参增*ma?etmewsimpie中A时的-文名科mTVE+68L814R1_D4E修*型*BCRTBCATMImit基度丰碎根度厘0m*0RP-AREANCOE,Pme4式神感比纳继W1RCATSHD#*平台可基于数据资产(表),通过在平台中指定生成表的数据库及表空间等信息后自动生成相应数据库的建表脚本并在数据库中生成数据表，如下图所示：√B用实体定义SHGRPDWA_GRP_PROD_INFO_FEE_@yMM@DB2查询从库中读取无好计高级设置MySQLDB2实体定义*X8&E7HiveOrade中文名称字段说明可为空字段名缺省值主键集团标识√GROUP_IDVARCHAR用户标识√USER_JDVARCHAR集团产品归类标识√GROUP_PROD_JTEMDBIGINT策划标识√OFFER_IDBIGINT策划实例标识√OFFER_INST_IDVARCHAR账单费用项编码√TEM_CODEBIGINT客户经理标识√MANAGER_DBIGINTceatetableSHGRP.DWA_GRP_PROD_INFO_FEE_201512(GROUP_IDVARCHAR(50),USER_IDVARCHAR(20).GROUP_PROD_ITEM_IDBIGINT,OFFERLIDBIGINT.OFFER_INST_IDVARCHAR(20)MANAGER_IDBIGINT,MANAGER_NAMEVARCHAR(200).M_GRP_DISTLIDINTEGER,SALE_MANAGER_IDBIGINT,SALE_NAMEVARCHAR(200),SALE_TYPESMALLNT,△测试建表大数据能力平台第60页共205页平台提供对数据资产的分类管理功能，在数据资产注册同时或注册■资产类型：数据表、文件、接口、指标、报表等■主题域：参与人、服务、资源、事件、市场监管、企业管理、公共。■存储周期：按年、按季度、按月、按周、按日等部渠道，加工层指数据在大数据平台内进行加工处理的过程。史户工具暂的2套4BxmTmeutmwesxWecert分类标签是分827011.20021.P:R#DDN0m它入分网usmw*xX*mTEX属#AAE种人接分网新技术方案大数据能力平台技术方案心心平台提供数据资产分类统计功能，可对各种标签属性的数据资产进行分类统计，资产目录是对平台元数据的有序组织，是记录数据体系的保障数据类目是目行搜索、展现以及权限申请。平台提供数据资产查询功能，主要分为通用查询和高级查询两种方式。元牌工具元牌工具盘1实体概制定毫10**入A不ScnPDaRcHPRCOWOJHroNUBH不AO入高H时度意雪射度通用查询功能用2)高级查询：根据指定数据资产属性信息的具体值对数据资产进行精确查询，包括数据资产名称、资产编码、资产分类标签等属性。第62页共205页大数据能力平台技术方案5《联据机器人都样》×w盘p实模时定火金统胞人海块以择智理(测来新高T24=吸雪射X0Yrhtohansn入mceslTwasse*AWece*1出产名任环帝加介月费8C0入C8H*道国重伤也人A费(不细涂后团内信的难入满触问表置维南们在入月界属产两区题人问观迁用为a*AA出的青码付涂他面心决人用表成世不内的感的理人离能问表属臣金务值商化科除处人工能月系(044第等·20140m52014-0M名-30140m120144主题减NP5AA111*:518量外器：学701120011.户构建数据血缘与数据关联度分析能力，支撑对所归集的数据进行全面、多维、深平台提供数据标签管理功能，可对已导入的数据资产标签进行增加、修改、删除以及分类标签的导入导出功能，满足数据资产业务属性随业务发生变化时数据资产标签能够灵活变化。技术方案大数据能力平台技术方案第63页共205页-0×实所工具后w*xXm*盘常等更火实体模前声克告金统胞人血共以基神管理测来萄saTmCO6夜型可电两第财RNd权单和学*X77W之日tNRT人88%CE程办E孔氧工r&状本：518量0器：2701中平台提供数据标签模板管理功能，可通过下载功能将标签模板导出为Excel文件格式，对数据标签进行编辑整理后批量导入到平台中，并提供对标签模版的实异工具实异工具时校率重火garmC0S度校是分8:279年中及导入导出功能*