大数据治理管理与运营体系数据治理运营实施方案

数据治理运营体系与原则大数据治理运营支撑体系数据治理组织数据标准规范治理平台工具数据治理活动数据管理制度大数据治理运营实施原则平台建设先行长期治理运营1+N运营模式(即统一数据平台支持多个治理运营组)数据治理运营以业务线划分平台建设以功能线划分平台建设与治理运营团队相独立政企数据治理运营构建一个能持续高效运转的政务数据治理运营体系始终以数据服务业务为目标，持续建设高价值的数据资产与服务数据治理运营总体流程数据准备准备资产编目数据采集规范设计开发调度质量监控数据仓库数据应用数据源数据湖数据仓库历史数据全量迁移源连接和目标连接迁移作业运行作业业务数据增量采集定义增量设置触发运行作业资产数据维护数据源维护数据仓库数据规范主题设计标准管理码表管理数据标准关系建模维度建模指标管理流程框架业务指标技术指标脚本开发批处理作业实时处理作业业务指标监控指标规则业务场景运行检查数据质量监控规则模板作业质量运行检查数据地图业务资产技术资产数据权限数据安全申请审核创建发布使用运营数据治理运营业务流程公安系统社保系统教育系统市监系统……委办系统各委办前置库大数据中心-数据湖&数据库ODS贴源层DWD基础库人口、法人、电子证照、空间地理主题库互联网+监管、城市管理、…专题库婚姻死亡、经侦、…共享库共享前置库数据归集清洗加工分发分发分发分发分发分发文件下发库表下发分发内部单位外部机构数据调用接口调用数据使用单位基于业务与管理规则，进行实施与管控数据治理运营·数据资源归集库表归集：数据源为前置库表信息附件归集：数据源中有照片数据或者pdf、word等非结构化数据API接口归集：数据通过接口获取，目前如健康云API接口调入，以10分钟的频率采集文件归集：数据源是不同的文件形式（CSV、excel、TXT、dat）流数据归集：数据源为实时流数据编制目录数据预处理（清洗、转换、标准化）文件接入服务接口接入库表接入实时流接入选择归集目录创建归集任务配置归集频率自动挂接资源编目归集预处理数据治理运营·基础库建设流程大数据管理中心委办局（供给）提出主题库建设需求开始明确责任需求清单三清单管理确认责任清单共享数据推送主题库应用/数据共享结束委办局（需求）沟通方案(三方)建主题库并分配资源主题库开发生成资源目录整理制作郎丰利1519数据治理运营·专题/主题应用开发与运营整合了大数据汇聚、整合、融合分析与应用运营能力，建立了垮多委办之间的协作机制，打造了一体化全流程主题/专题应用库建设体系，可快速实现从模型构建到模型的落地应用，为政府提供高效的基础/专题/主题库应用开发与运营服务。需求立项模型建构模型调优模型发布迭代数据服务分析报告模型应用说明政务服务社会服务+模型建构模型发布主/专题应用反馈数据汇聚应用发布模型构建数据分析参数调优数据预处理模型评估汇聚相关委办对应数据处理空值，属性值转换分析数据与需求相关性选择合适的算法进行建模调整数据模型参数基础/主/专题发布评估模型准确性，合理性数据治理运营·数据应用开发通过大数据平台基于用户信息及用户行为综合特征，知识图谱以及地理空间关联特征，进行融合汇聚和深度挖掘关联分析，形成多维标签体系，进而支撑从各类数据挖掘应用与开发，实现数据价值最大化。大数据标签汇聚与应用开发能力属性标签事件标签静态稳定标签短期时序事件和专题事件车辆属性：品牌、型号、出厂年份、行驶公里数。线路属性：线路起点、线路终点、时刻表、车辆数、班次。驾驶员属性：性别、年龄、驾龄、行驶证类别。车辆行驶情况：行驶时间，是否晚点。停靠情况：车辆进场时间，车辆出厂时间驾驶员驾驶情况：当天驾驶时长、上班时间违章事件：车辆违章、车辆事故。保养事件：保养记录、维修记录。专题事件：节假日、特定事件等关键事件。建立多层级实体模型，模型覆盖车辆、线路、驾驶员、停车场等实体。建立多维标签覆盖从静态属性到动态行为标签。从无到有，打造出一套连接线上线下的时间序列，满足应用要求。动态行为标签…………旨在建造更专业更精准的标签体系，为客户实现数据价值最大化，推动标签在企业在应用中发挥价值。除了数据监控、精准营销方面外，结合数据挖掘算法与主流的机器学习框架TensorFlow，在自然语言、图像识别、知识图谱等方面可以挖掘非结构化数据，形成高效、灵活的应用。算法设计建立模型数据整合业务分析应用开发数据治理建设中容易踩的几个”坑”取数据先行而不是编数据目录先行，导致后续对平台中数据的管理与使用失控元数据管理后置引发不一致(元数据和实体数据资源、设计和实现、文档和实现)灾难缺乏统一数据开发技术标准与规范，导致重复开发，总体开发成本大、效率低，问题多、隐患大采用以代码为主的数据应用开发方式，导致数据应用黑盒问题严重，问题定位困难，维护成本高前置业务的数据库表自行修改，导致数据汇聚失败或者引发后续数据质量问题缺乏权责明确、清晰的管理与约束手段导致业务单位提交数据不到位、不及时由供需部门直接对接，数据部门没有发挥出协同中心作用，导致业务单位要数据难，效率低、怨言大没有建立基于明确权责划定的多部门沟通与协调机制，导致反复沟通、信息不同步、整体工作效率低避坑指南·数据治理运营基本心法前置-定义数据治理与管理相关的技术、业务与管理标准及规范编制数据资产目录元数据信息配置数据质量标准定义数据开发技术标准数据上报提交规范与要求数据应用需求受理开发流程数据使用申请与使用规范综合运用技术、管理甚至行政手段，来保障这些规范的落地与执行强元数据前置控制数据标准执行控制技术标准执行控制智能化监控与告警明确数据中心职责目标范围强调数据治理各方权责配套管理、沟通与考核机制坚定的业务目标强力的组织领导强大的系统工具独立的运营团队高效的技术支撑避坑指南·构建数据治理运营服务能力数据汇聚对接实施服务企业数据治理运营服务能力专业数据治理运营团队完善治理运营服务流程丰富治理运营服务经验多样服务实施交付方式治理服务综合数据应用咨询服务系统平台运行维护服务数据模型设计开发服务业务数据开放运维服务数据清洗处理实施服务避坑指南·搭建数据治理运营团队数据治理工作离不开强有力的组织保障，政府必须构建专门的数据治理管理团队，由专门的数据治理管理团队成为组织大数据战略的制定者、推动者和实施者，负责组织内数据资产的开发和利用，通过数据推动组织业务的创新和发展。信息化领导小组数据治理管理领导小组IT信息部门牵头业务部门其他业务部门数据治理实施部其他管理部门数据对接组需求管理组数据质量管理组数据安全管控组数据归集组数据模型设计组基础模型开发组应用模型开发组运行维护组平台开发组数据分析组数据清洗组数据治理典型团队架构项目总集管理治理部门可以是实体部门，也可是业务和IT部联合组成的虚拟团队整个数据治理团队的建设中可通过引入平台与治理运营供应商来共同组建，并可引入一个项目总集方负责日常运营工作；建议需求、质量与安全管理工作由政府内部人员来负责。避坑指南·制定数据治理配套制度数据治理相关的技术与管理流程规范规定了数据中心与业务部门，以及各系统之间的数据归集、数据模型设计、数据模型开发、数据资产体系框架构建、部署规范、数据安全运维管理以及数据共享的相关要求，指导整个组织展开大数据的管理与应用。数据治理技术与管理流程规范总览数据归集技术规范数据模型设计技术规范数据模型开发技术规范数据资产管理规范数据安全管理规范数据共享技术规范数据开发需求响应流程数据共享应用申请流程数据质量要求管理规范数据规范是指对政务核心数据进行有关存在性、完整性、质量及归档的测量标准，为评估政务数据质量；数据治理需要管理和制度的有力支撑，需结合组织现状，制定对应管理办法、流程、认责体系，并颁布相关规章制度。数据运营案例·某市大数据资源中心建设与运营支撑参与了某市大数据资源中心、基础库、专题主题库的建设，主要负责委办数据对接、数据治理与应用开发的运营支撑工作。进入某市大数据资源中心数据运营项目；参与了多个委办数据对接抽取、数据清洗治理的运营支撑工作；参与了数据分析与应用开发工作，包括基础库、主题专题库的建设；目前已经完成了互联网+监管、城市管理等几个主题的迁移及改造相关工作；负责数据应用开发与共享的运营支撑工作，在疫情期间参与了随S码的开发与开放工作。市场监管城市管理公共安全社会治理主题库政务服务专题库宏观经济专题库经济运行监测宏观经济预测宏观经济指数市场主体发展人口和就业……民生幸福专题库人口迁移老龄化及养老公共安全政务服务城市综合体……市场运行专题库主体准入分析产业结构调整大众创业分析电子商务发展中小企业发展……人口库法人库电子证照库空间地理库基础库数据源四大库市级建设系统数据各市级委办数据各行政区数据某市大数据中心-数据湖&数据库数据共享开放平台数据开放清