基于云计算的电子政务公平台顶层设计数据管理

安徽智圣网络与信息安全咨询服务中心2023年1月13日1基于云计算的电子政务公共平台数据管理技术江涛数据管理范畴与定义2数据管理技术目标31数据管理技术设计和内容提纲23数据产生于计算机出现之前：书本、地图、艺术等计算机出现以后，数据的内涵与表现形式都发生了巨大变化在存储介质层面，数据表现为各种能保存0，1两种状态的载体在逻辑层面，数据表现为组织与使用方式逻辑层面（数据管理）物理层面（存储介质：卡片，内存、磁盘、光盘、磁带）100001今天，我们讨论的主要是指逻辑层面，可称为数据管理“数据”简析——追根溯源4IDC研究表明：2013年中国产生的数据总量超过0.8ZB（相当于8亿TB），2倍于2012年，相当于2009年全球的数据总量。预计到2020年，中国产生的数据总量将是2013年的10倍，超过8.5ZB主要有两类情况：一类是原有数据种类量的增加（如业务应用等）另一类是过去我们没关心或没能力关心的数据（如Weblog，社交媒体，实时位置，智能设备、传感器计量等）数据管理最大的挑战是：海量管理能力，多类型，变化快，高可用性，低成本，高端可扩展性很多传统的技术已经难以应对！海量数据管理——时代的挑战5电子政务公共平台的挑战---数据管理6集中资源池的共享虚拟化、分时/区共享动态调配、弹性伸缩自动化、自服务低成本、标准化硬件云计算云数据管理技术标准化能力服务化提供快速化资源弹性化管理自动化管控集中化新工具--云数据管理7计算资源、存储数据应用/服务云接入数据仍然是云中心最重要的信息资产！新工具--云数据管理

电子政务公共平台数据管理技术是结合云计算、大数据的管理技术特征，同时规范公共平台数据管理核心要素，并兼顾、引导传统数据管理技术逐步转化为云数据管理技术。公共平台管理技术设计应涵盖数据全生命周期管理，包括数据采集管理、数据存储管理、数据服务等过程的管理。定义8数据管理范畴与定义2数据管理技术目标31数据管理技术设计和内容提纲9目标电子政务公共平台数据管理的建设，最终要形成信息资源的统一采集管理、统一存储管理、统一利用管理和基于平台和共享信息资源的应用系统管理，形成平台相应的技术和管理规范，保障政务信息资源的有效服务利用。电子政务公共平台数据管理将是对平台现有的数据采集、数据存储、数据服务全过程进行统一的数据管理、质量管控，并且通过标准的云平台技术下的交换共享服务模式，实现政务数据在公共云平台上的统一存储、统一维护和灵活服务，提升政务现有数据的安全存储和高效使用等能力，更加深入地进行数据挖掘等工作，为政府创造更多的价值。目标10数据据管管理理范范畴畴与与定定义义2数据据管管理理技技术术目目标标31数据据管管理理技技术术设设计计和和内内容容提纲纲11数据据管管理理总体体设设计计框框架架12三个环节四部分内容一、、数据据管管理理采采集集技技术术设设计计13数据据管管理理采采集集技技术术设设计计

电子政务云平台数据管理采集技术设计，是在指依照云平台管理和服务范围内政务信息用户的需求，从电子政务云平台或者接入云平台的有关信息源或载体内对各种形态的政务信息（包括政务业务应用、物联网、互联网等）发现、定位、采集、提取并加以聚合和集中的管理设计。数据采集集技术要要解决的的问题：：确定数据据源的范围（什么样样的数据据源为平平台合格格的数据据源）；；如何将数数据源变变成真正正的采集对象象（服务化化，自服服务）；；采集对象象的自描述（涵盖哪些些属性））；平台与采采集对象象的绑定定（采集集过程的的实现））；对采集过过程的监控与追追溯；对采集行行为及任任务完整整统计分析析；平台将上上述功能能的服务化，并为提供给给平台的使用用者。14数据管理采集集技术主要内内容15（1）采集对象管理数据源：

平台能管理的数据来源，涵盖在平台内外部署的所有应用系统，应包括政务业务应用、物联网应用、互联网应用和移动应用等。16采集对象：能自描述和自服务的所有数据源源称之为采集集对象。自描述是指它能提供供所属单位、数数据内容、数据关联、数据类型、更新频率、、访问方式等属性，并以服服务形式提供供给平台发现和定位；自服务是指它以服务务化方式提供供接入平台的的方式，以便便平台获取和收集数据。平台对采集对对象管理功能能：提供采集对象象的属性描述功能能，所有接入的的数据源需要要有唯一标识、所属单位、、数据内容、、数据类型、、更新频率、、访问方式、、通信机制等等；提供组织功能，可按用户的的组织机构、、业务应用等等不同方式进进行分类管理理；提供对采集对对象的查询/检索功能；提供生命周期期控制功能，包括采集对对象的注册、、发布、使用用授权、变更更、注销；支持数据源管管理模型的扩展能力，以便适应多多种新型的信信息存取方式式。（2）采集过程管管理平台对采集对对象的绑定：：通过绑定方式对数据提供者者和使用者进行关联和管管理，提供数据生产产方与使用方方一对一、一对对多、多对多多的绑定功能，，提供绑定生生成、绑定变变更、绑定解解除等。采集流程调调度：在采集过程程中，依照照数据提供周期及使用周期的不同，提提供不同频次的的数据采集集调度，包括：可可以根据不不同业务、、不同场景景，实时调度或或者指定在在某一天单单一调度，，也可以指指定在某年年、某月、、某日、某某小时、某某分来循环环调度。并行采集技技术：为提高采集效效率，通过多通道分时时复用数据据采集、多多通道同步步数据采集集、分布式式数据采集集等采集技术。。17状态监控：：监控采集过过程中的所有信信息，包括括提供供采采集集对对象象监监控控，，包包括括采采集集对对象象运运行行状状态态、、负负载载情情况况监监控控等。。18（3）采采集集监监控控管管理理任务务监监控控：：能实实时时了了解解供采采集集任务务执执行行情情况况，能实实时时了了解解任任务务执执行行时时间间、、采采集集数数据据量量、、采采集集数数据据大大小小、、空空间间使使用用情情况况、、内内存存使使用用情情况况等。。异常常监监控控：：针对对过过程程中中的的异常常情情况况，能提提供供异异常常情情况况预警警；包包括括采采集集任任务务执执行行失失败败、、采采集集节节点点状状态态异异常常、、网网络络情情况况异异常常等等；；对对采采集集异异常常情情况况可可以以进进行行采采集集任任务务追追溯溯。在数数据据采采集集过过程程中中，，采集集统统计计管管理理负负责责对对采集集过过程程和采采集集结果果的的统统计计，主主要要包包括括：：采集集任任务务运行行情情况况统计计；；采集集任务务资资源源使使用用情况况统统计计；采集集任任务务异常常事事件件统计计等等按按照照日报、周报、、月报、年报报、实时报方式统计；将各统计信息息以不同图表方式展示。19（4）采集统计管管理二、数据管理存储储技术设计20

在云计算电子政务公共平台环境下，针对数据的非确定性、分布异构性、海量、动态变化等特点，设计采用分布式数据管理技术对数据存储进行有效管理，为向用户提供高效的服务奠定基础。数据管理存储储技术设计存储技术要解解决的问题：：按不同用户的需求，确定定数据存储策略；对不同用户的数据，要实实现数据隔离或融合机制；对用户提供高高效管理的工具（配置、导入入、导出、安安全等）；云服务动态调调度策略和机制；为用户提供对对存储的有效监控；支持非结构化和半半结构化数据据的存储管理技技术；支持大数据存储与分析。21数据管理存储储技术主要内内容（1）存储管理平台云存储的的管理：通过集群、分分布式文件系系统和网格计计算等技术，，实现云存储储中多个存储设备备之间的协同同工作，使多个的存存储设备可以以对外提供同一种存储服服务，并提供更大大更强更好的的数据访问性性能；存储管理是实实现存储设备备向存储服务务的转变的核核心。22云存储管理要求：云计算系统能能为不同用户提供不同级别的数据存储策略。应提供可将将计算机文件件的存放划分为几几个等级，如单机级、、跨服务器级级、跨机柜级级以及跨数据据中心级。为为单个用户提供独立逻辑辑数据存储空间，必须保证各各用户之间的的数据不可见见性，确保多用户之间的数据隔离机制。（2）存储调度23存储调度策略略：在存储调度管管理过程中，，应提供根据不同任务需求求和调度模型情况下的云服服务动态调度度机制：可通过过相应应的权限和和优先先机制制进行服服务的的调度度处理理，以以平衡各各类应应用压压力，优化化资源源的应应用；提供让让用户户可以以按任任意的的时间间间隔（年、、月、、日、、时、、分））自动动调度度。（3）存储监控存储活动的运行状态监控：存储监控指在存储过程中对存储的所有活动进行监控和管理，包括存储状态监控、对基础软硬件进行状态监控和性能监控等。

分布式文件系统监控：

监控信息包括节点信息、文件/数据块分析、文件历史操作、数据块操作历史、文件/数据块排名等监控。24安全设设计应应考虑虑支持多多实例例并行行：任一实实例宕宕机不不会影影响应应用可可用性性，系系统自自动完完成运运行实实例与与数据据的恢复。（4）存储储备份份支持集中控控制云环境境多节点数数据并行备备份：应支持系统统提供错误误监控机制制，对于故故障采取自动迁移，采用多份备份来确保数据据的安全性性，系统达达到高可用用性。（3）数据服务务管理技术术设计

电子政务云平台应提供数据管理的服务技术，方便各部门用户管理、处理和共享所需的各种数据资源。设计针对服务生命周期不同阶段进行管理提供的服务。数据服务管理技术设计服务技术要要解决的问问题数据的使用用要以服务方式体现；要支持数据据服务的多样性，形成统一一访问方法法；要支持数据据服务灵活变更需求；对数据服务务要有有效监控手手段；平台要支持持多租户管理理；要有支撑数数据服务的的支撑技术。2627数据服务管管理技术主主要内容数据服务发布管理数据服务访问管理数据服务变更管理数据服务监控管理（4）数据目录录服务技术术设计

信息资源目录服务技术设计应按照《政务信息资源目录体系》系列标准进行目录的各项功能设计，并将功能按照公告平台规范要求将各功能进行服务化设计。数据目录服务技术设计目录编目目录注册目录发布目录查询目录维护（5）共享交换换管理技术术设计

共享交换服务设计，应在按照《政务信息资源交换体系》系列标准要求的功能基础上实现共享交换功能的服务化，并实现政务云平台内部应用系统间及政务云平台内部、外部应用系统间的交换服务。共享交换管理技术设计29共享交换管管理技术主主要内容30交换桥接前置交换交换传输交换管理（6）数据集成成服务技术术设计

数据集成服务设计，应提供面向多租户的ETL服务，即数据抽取（Extraction）、数据转换（Transformation）、数据加载（Loading）服务，同时提供用户自主使用的ETL开发配置和监控管理服务，帮助用户将批量异构的数据集成到统一的存储管理系统中，以便完成进一步的数据挖掘和分析。数据集成服务技术设计31数据集成服服务技术主主要内容32数据抽取服务数据转换服务数据加载服务ETL开发配置服务ETL监控管理服务对可支持常常见关系型型数据库、、非关系型型数据库、、文件等不不同类型的的数据源的的数据抽取取，必须支持主主流国产数数据库。支持全量抽抽取、增量量抽取、基基于日志的的抽取等抽取模式。具备扩展能能力，可以以非关系数数据库的抽抽取。（7）数据处理理服务技术术设计

主要指为满足电子政务应用需求而提供的对数据的多种技术处理手段。电子政务中常用的有：数据分析服务和数据展现服务等。数据处理服务技术设计33数据处理服服务技术主主要内容公共平台应应根据所管管理数据的的规模和实际际业务需求求提供大数据据特征的数据分析和预测分析服服务：（1）数据分析析服务34具有良好的的扩展性、容容错性和大大