一体化数据仓应用服务方案

一体化数据仓应用服务方案1项目背景一体化数据仓应用服务项目，按照“互联互通、以用促建、经济适用、共建共享”的原则，从数字化改革实际需求出发、从跨部门信息共享和业务协同的需求出发，充分利用公共数据平台服务能力，整合来自全县各部门自建应用系统数据，将数据来源、数据分析、数据应用有机的串联起来，推动与数据互联互通，形成集约化建设、平台化应用、一体化服务的协调发展新格局。2项目目标要求充分利用国家、省、市数据资源，按照“统筹建设、集约管理”、“汇集数据，加强管控”、“创新应用，发挥职能”、“安全规范，全面保障”的建设目标，充分利用、依托一体化智能化公共数据平台能力，打造自身个性化、特色化数据管理体系，建立配合数据目录、交换、清洗、共享、开放及安全全生命周期的服务能力，形成服务+平台的双轮驱动模式，为数字化改革、多跨场景应用创新提供有力的数据支撑。3项目服务内容序号服务内容详细说明和参数要求一、数据驾驶舱建设服务1指标梳理要求对数据资产、数据资源、考核指标进行科学合理的指标梳理分类，保障数字驾驶舱的实际使用效果。指标在梳理前要确保各个指标的名称、说明、计算方式、所属部门、负责人姓名、负责人联系方式、更新频率、指标维度等基础信息准确。2数字驾驶舱建设要求数据驾驶舱展现不同主题场景下的统计指标，本项目对数据资产、数据资源、考核指标等数据进行相关统计，通过各种图表包括不限于柱形图、环形图等，标识数据运行的关键指标，提供直观展示。3数字资源体系指标展示全面展示数据目录、数据归集（回流、本地）、数据治理、数据接口、数据调用、数据开放、专题库情况、数据供需满足情况、工单处理率等信息，用户为中心和各部门，主要用于展现数据资源总体情况。二、数仓管理建设1统一身份认证要求对接用户体系，为用户提供扫码功能，并且实现首次手机验证码安全验证，后续直接扫码登录。并为后续数据仓进行各用户权限划分提供支撑。2数据仓数据梳理要求根据省市数据回流规范和本地数据归集要求，依托数据仓存量数据，实现数据梳理分类展示，为部门用户提供数据仓数据查询、筛选、排序与问题提交等功能。提供查看和查询全省（省、市、县）数据目录功能，并能标识该目录的数据是否已经归集到县级数据仓，用户为部门和中心。提供专题库查看、查询功能，用户为中心和部门；提供“所见即所得”方式的专题库创建功能，用户为部门，用户创建专题库后，生成工单流转给中心处理；提供专题库数据申请使用功能，用户为部门，用户申请数据后，生成工单流转给中心处理。3应用支撑数据动态选择要求提供部门数据需求提交页面，允许部门人员从省市回流数据与本地归集数据中选择对应数据进行申请，形成数据库，并按照建设规范要求进行数据库建设，实现操作记录留痕。界面上提供反映问题数据功能，用户为部门，用户反映某数据有问题后，生成工单流转（部门用户反馈，部门数据专员审批）给中心审批处理。4县级数据归集梳理要求对本地数据进行归集（Excel导入或数据录入），对本地归集数据进行合法性筛选，并实现接口开发共享供第三方使用。5管理后台建设要求为大数据管理中心管理人员提供各部门所提交数据问题、数据申请查看模块，保障部门数据互通共享。当用户为部门，可以查看、查询、修改工单。当用户为中心，可以接收工单，反馈工单办理情况。三、数据治理服务1数据质量评分服务绩效评估要求根据数据质量规则管理要求，采用与数据质量评价指标框架一致的评分准则，从规范性、完整性、准确性、一致性、时效性、可访问性角度，计算各部门数据质量评价得分，为本县大数据发展管理中心对本县各部门进行数据治理绩效评分提供依据。质量报告要求根据数据质量模型评估结果，为大数据管理中心提供数据质量评估报告。质量报告内容需包含月数据质量趋势、问题数据量TOP20、数据质量问题数据分布、数据及时性情况、月数据规范性情况、月数据完整性情况等维度的分析表述。2数据问题反馈服务数据工单反馈要求协助本县各部门对问题数据工单进行后期的处理，提供数据问题整改过程中所遇到的问题咨询服务。并对工单整改情况进行统计和整改进度跟踪工作。数据问题上报服务要求协助本县各数据使用部门，对数据治理过程中所得出结果与数据使用过程中所发现的数据问题。在数据问题反馈系统中进行上报，并对所发现的数据问题进行汇总统计。包含数据问题工单填写、数据问题附件上传以及各部门所提供问题反馈工单规范性初步校核。3清洗规则更新服务要求结合本县实际情况对数据清洗规则进行不断迭代优化，根据业务要求细化清洗颗粒度，降低问题数据误判率，提高数据质量问题的识别率，提升数据治理质量效果。需包含通用清洗规则和业务规则更新。四、数据交换服务1交换需求梳理要求根据数据交换需求，协助大数据管理中心对现有数据进行梳理，明确所需交换的数据及来源。2交换任务配置要求基于所划分数据交换分空间，完成数据交换任务的配置，包括服务器管理配置、数据库管理添加、交换作业类型添加、通用配置添加及作业管理配置等工作，实现库表格式数据汇聚。3交换任务执行结果查看每日对数据交换任务执行结果进行监控，检查数据交换任务执行情况，及时处理异常的交换任务，对其进行整改，并重新执行任务。4问题处理服务解决交换过程中产生的技术问题，并对交换任务进行更新和维护。五、共享接口对接与开发服务1接口注册服务要求提供数据流类型接口注册服务，数据流接口指数据源在本县各部门的数据接口，由数据生产管理部门开发的数据接口。提供接口注册的人工服务，需包含接口基本信息填写、接口详细信息填写、出入参数填写。2接口申请服务要求根据本县各业务部门数据使用需求，协助各部门进行接口使用材料的准备。需包含接口使用申请填写讲解、初步判断接口使用申请是否合规，接口使用申请通过后的接口封装、接口配置等服务。3接口开发服务要求基于本县业务单位的应用场景需求，按照本县特色专题库数据完成接口开发工作。并在接口开发完成之后，为数据需求部门提供接口地址，在提供POST调用方式时提供明确的参数说明表，提供标准数据格式，对数据调用结果返回进行结果告知，对返回参数进行说明帮助需求部门更好的了解数据调用情况。需包含与用户对接接口建设、共享接口开发服务。六、数仓运维服务1调研实施服务数据资源需求调研要求根据要求与大数据管理中心实际需求，对本县各主要业务部门进行调研。并对调研表进行设计。协助填报部门对数据需求调研表进行填写，并按照标准规范对各部门填写完成的调研表进行整合。调研材料加工及确认要求将调研所获的材料进行深加工，并将梳理结果进行确认。根据盘查调研政务信息系统和信息资源状况，进行清单化、规范化、结构化的梳理，明确各部门拥有哪些信息资源，以及各信息资源管理方式、关联系统、分类方式等信息，初步形成各部门信息资源清单，并报送各部门进行核查确认。特色专题目录构建要求根据本县特色专题库建设情况，形成统一的特色应用专题目录。促使本县各部门业务人员使用专题库数据。2日常考核工作协助根据大数据管理部门日常对大数据管理中心工作要求，以及大数据管理中心日常工作要求。协助大数据管理中心完成与本项目服务内容相关的，数据管理方面临时性安排工作与考核工作。3专题库展示服务要求提供特色专题库展示能力，实现对本县特色专题库建设情况的统一展示。要求对专题库建设数量、包含库表数量、数据量、接口数量等指标进行可视化展示。七、特色专题库建设1专题梳理要求围绕本县创新应用，开展前期的专题梳理工作。分析本县创新应用场景，根据初步拟定的专题库建设方向，邀请相关职能部门开展线下或网络座谈会明确数据和应用的需求。2数据分析结合大数据管理中心的数据现状，以具体创新应用场景为切入点，OLP逻辑模型、行业经验模型为核心，面向业务进行相关建模。需包括数据筛查及数据建模两部分内容。3专题建库要求依据数据模型，从优质库获取数据资源，按照数据业务需求进行核查、比对、加工、清洗，形成可用的数据库资源。要求包含数据提取、数据同步、数据处理等服务。4专题库数据库建设本项目要求完成三个专题库建设，主要包括石雕溯源专题数据库、人才地图专题数据库、数智侨务专题数据库。八、驻场服务本项目要求中标供应商在服务期内提供1名驻场人员负责本项目建设的各项能力服务，并协助大数据管理中心完成与本项目相关的工作任务。4项目服务要求4.1数据驾驶舱建设服务4.1.1服务要求以全局视角对数据资产、数据资源、考核指标，进行多维度的可视化展示。需包括全局展示、重点流程展示，实现数据资源、数据价值、数据问题及数据生命流程一站式展示。4.1.2服务内容（1）指标梳理要求对数据资产、数据资源、考核指标进行科学合理的指标梳理分类，保障数字驾驶舱的实际使用效果。指标在梳理前要确保各个指标的名称、说明、计算方式、所属部门、负责人姓名、负责人联系方式、更新频率、指标维度等基础信息准确。（2）数字驾驶舱建设数据驾驶舱需展现不同主题场景下的统计指标，本项目对数据资产、数据资源、考核指标等数据进行相关统计，通过各种常见的图表（速度表、柱形图、环形图、预警雷达等）标识数据运行的关键指标，为用户提供直观展示。具体展示模块及内容要求如下：序号展示模块展示内容1数据统计（1）目录总量、数据项总数、归集总数、治理总数；（2）数据资源目录数量、核心业务数量、信息系统数量；（3）归集、清洗、优质、整改问题数据量；2数据标准模块需展示优质数据及问题数据数据量。3部门数据列表需展示部门名称、问题数据量、问题数据占比。4数据指标统计需展示公共数据平台核心业务数字化率、应用与业务匹配率、数据需求满足率。5数据整改情况需展示问题数据整改情况。6目录库表情况要求体现表中文名、英文名，并且需支持点击目录库表后的查看详情按钮展开新的界面，点击选择数据库并展示相应数据下的表情况（表情况包括：表中文名，表英文名及表数据量）。（3）数字资源体系指标展示全面展示数据目录、数据归集（回流、本地）、数据治理、数据接口、数据调用、数据开放、专题库情况、数据供需满足情况、工单处理率等信息，用户为中心和各部门，主要用于展现数据资源总体情况。4.1.3数仓管理建设要求（1）统一身份认证要求对接用户体系，为用户提供扫码功能，实现用户可以直接扫码登录。并为后续数据仓进行各用户权限划分提供支撑。（2）数据仓数据梳理要求根据省市数据回流规范和本地数据归集要求，依托数据仓存量数据，实现数据梳理分类展示，为部门用户提供数据仓数据查询、筛选、排序与问题提交等功能。提供查看和查询全省（省、市、县）数据目录功能，并能标识该目录的数据是否已经归集到县级数据仓，用户为部门和中心。提供专题库查看、查询功能，用户为中心和部门；提供“所见即所得”方式的专题库创建功能，用户为部门，用户创建专题库后，生成工单流转给中心处理；提供专题库数据申请使用功能，用户为部门，用户申请数据后，生成工单流转给中心处理。（3）应用支撑数据动态选择要求提供部门数据需求提交页面，允许部门人员从省市回流数据与本地归集数据中选择对应数据进行申请，形成数据库，并按照建设规范要求进行数据库建设，实现操作记录留痕。界面上提供反映问题数据功能，用户为部门，用户反映某数据有问题后，生成工单流转（部门用户反馈，部门数据专员审批）给中心审批处理。（4）县级数据归集梳理要求对本地数据进行归集（Excel导入或数据录入），对本地归集数据进行合法性筛选，并实现接口开发共享供第三方使用。（5）管理后台建设要求为大数据管理中心管理人员提供各部门所提交数据问题、数据申请查看模块，保障部门数据互通共享。当用户为部门，可以查看、查询、修改工单。当用户为中心，可以接收工单，反馈工单办理情况。4.2数据治理服务4.2.1服务要求依托数据治理平台，根据省、市对于数据治理相关考核要求，提供标准化、规范化的数据治理服务：根据实际需求对部门归集上报的数据进行规则配置（本项目要求数据清洗规则配置不低于29个）并进行数据清洗，区分优质数据及问题数据。优质数据推送至数据仓供部门使用。对于问题数据，要求中标供应商协助大数据管理中心根据实际情况进行问题数据工单反馈（本项目要求数据问题反馈工单量不低于870条），联系部门进行问题数据下载并整改，整改完成后重新上报，及时处理问题数据。4.2.2服务内容（1）数据质量评分服务要求基于层次分析法的质量管理定量评估方法，建立数据质量评估模型，对各单位数据质量进行评估，并出具质量评估报告。需包含：绩效评估、质量报告。（a）绩效评估要求根据数据质量规则管理要求，采用与数据质量评价指标框架一致的评分准则，从规范性、完整性、准确性、一致性、时效性、可访问性角度，计算各部门数据质量评价得分，为大数据发展管理中心对本县各部门进行数据治理绩效评分提供依据。（b）质量报告要求根据数据质量模型评估结果，为大数据管理中心提供数据质量评估报告。质量报告内容需包含月数据质量趋势、问题数据量TOP20、数据质量问题数据分布、数据及时性情况、月数据规范性情况、月数据完整性情况等维度的分析表述。（2）数据问题反馈服务为大数据管理中心提供数据问题反馈服务。协助大数据管理中心完善问题反馈机制，依托数据问题反馈系统，实现工单形式的问题处理、问题跟踪、问题评估，协助大数据管理中心完成问题数据的闭环管理。（a）数据工单反馈要求协助各部门对问题数据工单进行后期的处理，提供数据问题整改过程中所遇到的问题咨询服务。并对工单整改情况进行统计和整改进度跟踪工作。（b）数据问题上报服务要求协助各数据使用部门，对数据治理过程中所得出结果与数据使用过程中所发现的数据问题。在数据问题反馈系统中进行上报，并对所发现的数据问题进行汇总统计。包含数据问题工单填写、数据问题附件上传以及各部门所提供问题反馈工单规范性初步校核。（3）清洗规则更新服务要求结合实际情况对数据清洗规则进行不断迭代优化，根据业务要求细化清洗颗粒度，降低问题数据误判率，提高数据质量问题的识别率，提升数据治理质量效果。需包含通用清洗规则和业务规则更新。4.3数据交换服务4.3.1服务要求要求基于所划分数据交换分空间，为提供数据交换服务。根据数据归集需求，协助大数据管理中心完成数据交换所需的需求梳理、交换任务配置、交换任务执行结果查看、问题处理等工作。本项目要求完成交换作业类型不低于11个、交换任务通用配置模块及作业管理模块不低于178项、数据库服务器模块服务器配置不低于2个，数据库管理配置不低于13个。4.3.2服务内容（1）交换需求梳理要求根据数据交换需求，协助大数据管理中心对现有数据进行梳理，明确所需交换的数据及来源。（2）交换任务配置要求基于所划分数据交换分空间，完成数据交换任务的配置，包括服务器管理配置、数据库管理添加、交换作业类型添加、通用配置添加及作业管理配置等工作，实现库表格式数据汇聚。（3）交换任务执行结果查看要求每日对数据交换任务执行结果进行监控，检查数据交换任务执行情况，及时处理异常的交换任务，对其进行整改，并重新执行任务。（4）问题处理服务要求提供问题处理服务，解决交换过程中产生的技术问题，并对交换任务进行更新和维护。4.4共享接口对接与开发服务4.4.1服务要求要求熟悉公共数据平台，服务期内提供规范的数据共享服务。依托数据共享系统，为提供接口使用对接服务，根据各部门数据使用需求，为各业务部门提供接口注册、申请、访问的人工对接技术支持，使其相关业务能够顺利的开展。包括接口使用申请填写指导、判断接口使用申请合规性、接口封装、接口配置等服务内容。同时需协助大数据管理中心完成省、市对于数据共享相关的考核任务。4.4.2服务内容（1）接口注册服务要求提供数据流类型接口注册服务，数据流接口指数据源在各部门的数据接口，由数据生产管理部门开发的数据接口。提供接口注册的人工服务，需包含接口基本信息填写、接口详细信息填写、出入参数填写。（2）接口申请服务要求根据各业务部门数据使用需求，协助各部门进行接口使用材料的准备，需包括接口使用申请填写讲解、初步判断接口使用申请是否合规，接口使用申请通过后的接口封装、接口配置等服务。（3）接口开发服务要求基于业务单位的应用场景需求、按照特色专题库数据完成接口开发工作。在接口开发完成之后，为数据需求部门提供接口地址，在提供post调用方式时提供明确的参数说明表，提供标准数据格式，对数据调用结果返回进行结果告知，对返回参数进行说明帮助需求部门更好的了解数据调用情况。需包含以下几类接口建设：（a）与用户对接接口建设提供与用户体系对接接口建设，实现与统一用户、组织体系的对接，从而支撑通过2.0进行扫码认证登录。为各公共数据平台之间的权限互联互通提供支撑。（b）共享接口开发服务要求基于实际业务单位的应用场景，确定查询参数和返回结果，编写对应的SQL并生成接口，通过Http+Json的方式对外提供服务。要求根据业务部门提出的明确且具体的接口需求，将数据治理后产生的优质数据及专题库数据开发成共享接口，注册到数据共享系统上，本项目要求完成不少于100个共享接口开发。各业务部门可登录数据共享系统，根据其政务服务应用场景对接口进行申请、调用。同时，需通过接口日常使用的情况分析，将已有接口进行优化整合，提高数据共享效率。4.5数仓运维服务要求充分依托公共数据平台的编目、归集、治理、共享、开放和安全管理能力，提供数仓建设服务，承接市级下发数据，融合本地归集数据，实现公共数据的全生命周期管理，支撑市域数字化改革。4.5.1调研实施服务（1）数据资源需求调研根据要求与大数据管理中心实际需求，对各主要业务部门进行调研，要求对不少于8个业务部门进行数据资源需求调研。并在对各部门进行分批培训后，按照一对一讲解的形式，协助填报部门对数据需求调研表进行填写，并按照标准规范对各部门填写完成的调研表进行整合。（2）调研材料加工及确认要求将调研所获的材料进行深加工审核，并将梳理结果进行确认。根据盘查调研政务信息系统和信息资源状况，进行清单化、规范化、结构化的梳理，明确各部门拥有哪些信息资源，以及各信息资源管理方式、关联系统、分类方式等信息，初步形成各部门信息资源清单，并报送各部门进行核查确认。（3）特色专题目录构建要求根据特色专题库建设情况，形成统一的特色应用专题目录。促使各部门业务人员使用专题库数据。4.5.2日常考核工作协助根据大数据管理部门日常对大数据管理中心工作要求，以及大数据管理中心日常工作要求。协助大数据管理中心完成与本项目服务内容相关的数据管理方面临时性安排工作与考核工作。4.5.3专题库展示服务要求提供特色专题库展示能力，实现对特色专题库建设情况的统一展示。要求对专题库建设数量、包含库表数量、数据量、接口数量等指标进行可视化展示。4.6特色专题库建设要求充分依托市公共数据平台能力以及大数据服务能力，实现所需数据统一归集。同时，需对专题库数据资源进行分类分级管理，所有数据资源将纳入公共数据目录体系，按照公共数据编目范围、统一目录编制规范和元数据规范，做到一数一源、同步更新。同时，专题库建设要求充分依托市公共数据平台支撑能力和相关智能组件，完成专题库的数据整合和模型建设工作。整体流程需包含专题梳理、数据分析、专题建库三个环节。本项目要求完成三个专题库建设，主要包括石雕溯源专题数据库、人才地图专题数据库、数智侨务专题数据库。4.6.1专题梳理要求围绕创新应用，开展前期的专题梳理工作。分析创新应用场景，根据初步拟定的专题库建设方向，邀请相关职能部门开展线下或网络座谈会明确数据和应用的需求，本次专题梳理需对不少于23个业务部门进行需求调研，明确专题库建设需求。4.6.2数据分析结合大数据管理中心的数据现状，以具体创新应用场景为切入点，OLP逻辑模型、行业经验模型为核心，面向业务进行相关建模。需包括数据筛查及数据建模两部分内容。4.6.3专题建库要求依据数据模型，从优质库获取数据资源，按照数据业务需求进行核查、比对、加工、清洗，形成可用的数据库资源。要求包含数据提取、数据同步、数据处理等服务。4.6.4专题库数据库建设（1）石雕溯源专题数据库为解决石雕当前无数字化平台支撑，掌握石雕企业信息不全面、不对称，人才培育等政策帮扶不够精准有效，对精品石雕难以鉴定等问题，需依托一体化智能化公共数据平台构建石雕数字化应用专题库，记录石雕创作过程，便于石雕收藏家和广大消费者掌握石雕信息。石雕数字化应用专题库的构建需共享省市场监管全程电子化登记管理系统、省人事厅“最多跑一次”信息资源共享系统等相关数据，依托一体化智能化公共数据平台完成相关数据接口对接（省接口-职业技能证书信息查询、省接口-人口信息查询等，预计需对接10个数据接口）。石雕溯源数据预计需融合省市县目录50个（包括石雕文旅点位介绍信息、在采矿点信息、政策法规兑现信息、企业获奖信息、初中级专业技术职务任职资格证书信息、严重违法失信企业名单信息、市场主体信息、双公示即行政许可行政处罚信息等数据）。（2）人才地图专题数据库为帮助海内外人才回乡创新创业、当地企业精准引才，实现人才链产业链“补链强链”，建设了人才数据库、产业数据库。但缺少将两者联通的对接机制，对海内外人才信息掌握不充分等问题依然未