《全空间数字孪生时空数据中台技术规范》

1全空间数字孪生时空数据中台技术规范本文件规定了全空间数字孪生时空数据中台的总体架构、接口设计、功能要求、性能要求、安全要求、运行和维护。本文件适用于全空间数字孪生时空数据中台（以下简称数据中台）的设计、开发与运行维护。2规范性引用文件下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件，仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。GB/T22239—2019信息安全技术网络安全等级保护基本要求GB/T28827.1信息技术服务运行维护第1部分：通用要求GB/T36626信息安全技术信息系统安全运维管理指南GB/T39786信息安全技术信息系统密码应用基本要求3术语和定义下列术语和定义适用于本文件。3.1时空数据中台spatiotemporaldataplatform以时空基准为核心，汇聚、治理、管理、服务全空间数字孪生多源异构数据，提供统一数据底座、标准服务接口、全生命周期数据能力的平台化支撑体系。3.2数据湖datalake支持结构化、半结构化、非结构化数据统一存储、按需计算、分层治理的海量数据存储与计算架构。4缩略语下列缩略语适用于本文件。API：应用程序编程接口（ApplicationProgrammingInterface）GIS：地理信息系统（GeographicInformationSystem）KPI：关键绩效指标（KeyPerformanceIndicator）SDK：软件开发工具包（SoftwareDevelopmentKit）5总体架构5.1一般规定数据中台的总体架构分为支撑层、数据资源层、服务层和应用层，如图1所示。2图1数据中台总体架构图5.2支撑层应按需配置操作系统、GIS平台软件、数据库、中间件、对象存储的软件环境，保证中台的建设需5.3数据资源层5.3.1应对接已有的基础地理信息时空数据库，完成已有成果的接入。同时汇聚来自生产作业平台汇交、历史数据补交以及临时成果汇交三方面的数据成果。5.3.2应基于“数据湖”架构来构建时空数据资源体系，包含汇集数据区和核心数据区。应对汇集数据区的数据进行按需进行提取、处理，按业务类型、数据范围等形式来构建各类核心数据库；同时对数据目录、元数据、数据模型、数据关系等进行统一存储与管理，实现时空数据的全生命周期管理。35.4服务层针对时空数据管理平台门户、时空大数据平台和其他业务应用对数据的需求，将数据抽取到核心数据区，发布为API接口服务、专题数据服务、空间服务、检索服务、可视化服务和目录服务等其他服务，为不同业务场景的搭建提供服务能力支撑。5.5平台层平台层分为管理平台和统一门户两部分：a)管理平台包括数据标准、数据汇聚、数据治理、资源管理、平台对接以及运维管理能力；b)统一门户包括门户首页、数据全景、资源地图、资源中心、场景应用等。6接口设计6.1外部接口外部接口设计按表1执行。表1外部接口时空数据管理平台提供数据目录访问时空数据管理平台将数据中台内部服务资源，在代理访问平台和网关的支持时空数据管理平台与第三方服务集成时空数据管理平台与行业应用系统服时空数据管理平台将数据中台内部服务资源，在代理访问平台和网关的支持6.2内部接口内部接口用于中台内部系统之间信息交互和协同处理所使用的功能接口，内部接口设计按表2执表2内部接口时空数据湖与时空数据管理平台调用时空数据湖为时空数据库管理软件提时空数据湖为时空数据门户软件提供时空数据管理平台与时空数据门户调用户权限系统为各子系统和应用模块日志系统通过各应用子系统集成日志时空数据湖与时空数据管理平台调用时空数据湖为时空数据库管理软件提47功能要求7.1数据建模7.1.1一般规定7.1.1.1应采用面向对象的统一数据模型对基础、业务和政务等数据进行整合，实现数据空间、属性、关系和元数据的一体化管理。应统一对象编码、统一数据字典，为各类业务应用提供规范、权威和高效的数据支撑。7.1.1.2数据建模模块由标准规范管理、数据模型管理和元数据管理模块，实现数据模型分类管理。7.1.2标准规范管理数据标准管理模块主要是对数据的标准化模型、数据关系模型（元模型）等进行管理。标准规范管理模块应支持对各类标准规范文件的管理，由标准目录、标准导入、标准查看、标准维护、标准查询、标准映射等子模块构成：a)标准目录：应提供数据标准目录，对标准文件进行分类组织，标准目录结构应支持编辑和修改，各个标准文件支持挂接到标准目录节点上，不同的用户对标准目录应有不同的操作权限；b)标准导入：通过标准导入功能把标准文件上传到平台中，上传标准文件的同时录入其元数据信息；c)标准查看：在标准目录中选择一项标准文件，支持在线打开查看标准内容：d)标准维护：支持标准文件的属性数据信息修改、失效标准的删除；e)标准映射：在创建数据模型时，支持挂接其所依赖的数据标准；数据入湖质检规则的设置支持对应相关的标准文件，作为质检依据。7.1.3数据模型管理数据模型管理模块用于数据模型的落地，提供数据模型创建、维护与展示的工具。数据模型管理从功能上细分，可以分为模型目录管理、模型创建、模型修改、模型删除和模型审批模块。a)模型目录管理：对各类数据模型进行分类组织，标准目录结构支持进行编辑和修改，各个标准模型支持挂接到标准目录节点上，不同的用户对标准目录有不同的操作权限：b)模型创建：支持在线创建、Excel文件导入方式，在数据模型创建过程中，可指定模型的元数据，包括以下数据模型名称、模型所属目录分类、模型存储类型以及存储位置、模型标签等基础信息；c)模型修改：在数据模型未上线之前支持对基础模型的字段结构、存储位置以及属性信息进行修改；若基础模型已上线，应支持修改其属性信息；d)模型删除：在数据模型未上线之前支持任意删除；e)模型审批：在模型创建过程中，支持根据用户角色权限，自动进行审批流程判断。7.1.4元数据管理元数据管理包括元数据查询浏览、元数据维护、元数据挂接、元数据统计和元数据编目输出模块。a)元数据查询浏览：支持按名称、关键词、责任人等进行元数据的查询，支持浏览详细的元数据信息以及依据权限访问关联的数据；b)元数据维护：支持元数据项的增、删、改；c)元数据挂接：支持将元数据挂接到对应的数据模型上，实现数据与元数据的独立关联；d)元数据统计：支持按责任人、共享类型、数据分类、格式等维度对元数据进行统计汇总；5e)元数据编目输出：支持对编目要素进行管理，按共享类型、开放方式、责任人等进行编目，按指定格式输出元数据目录等。7.2数据汇聚7.2.1数据源管理围绕数据源提供一系列管理功能：a)数据源列表管理：提供已注册的数据源列表，提供数据源查询检索功能，支持按数据源类型筛选列表，支持输入数据源名称模糊检索，列表应展示数据源名称、数据源类型、测试连接状态、更新人、更新时间等信息；b)数据源管理：提供对数据源的管理，包括查看数据源信息详情、连接状态、编辑、删除以及新增数据源等操作；c)数据预览：提供数据源下的数据列表分类查询展示，支持按照分区位置查询、按照存储位置查询等，以列表目录展示存储引擎下的数据信息。7.2.2数据资源汇聚数据资源汇聚包括结构化数据汇聚、非结构化数据汇聚：a)结构化资源汇聚：将各类结构化数据从数据源采集到数据存储层，包括定时汇聚和实时汇聚两种模式，支持查看任务基本信息、汇聚过程、调度信息、数据表、运行日志等；b)非结构化资源汇聚：针对各类非结构化数据，提供非结构化汇聚任务列表、任务目录等功能，支持对汇聚任务的详情查看、编辑、运行、上线、下线、删除、定时、定时管理等操作。7.3数据清洗与治理7.3.1数据清洗功能应支持数据处理模型。7.3.2合适转换功能应支持对汇集的各类数据资源进行统一的数据转换处理，包括空间数据坐标转换、GIS格式数据转换：a)空间坐标转换：提供统一的空间数据坐标转换与数据配准能力，识别不同来源数据的坐标体系，并将其整合至统一的坐标体系下；b)GIS数据格式转换：支持GIS矢量数据按属性自定义抽取并转换、支持栅格数自定义裁切并转换。7.3.3数据融合功能应支持将来自不同源、具有不同时空特性的数据，经过数据清洗整合到统一的数据仓库中，再读取数据仓库的各种数据源，采用适当的数据融合方法，如加权融合、模型融合、空间数据属性融合、图形融合等，将来自不同数据源的信息融合起来，提高数据的准确性和可靠性以便进行更深入地分析和应用的过程。7.4数据质量管理数据质量管理应从数据使用角度监控管理数据资源的质量，针对数据底板的数据质量管理，支持完备的数据质量管理与监控能力，保障数据的生命线，支持全局质量概况，快速定位与识别数据质量问题。数据质量管理包括资源质量概览、质检任务管理、检报告生成、质量总览模块：a)资源质量概览：支持以曲线图、柱状图、饼状图等可视化形式，展示数据治理平台中数据资源的总体质量情况、质检任务执行情况、质检规则利用情况、质检结果统计等内容；b)质检任务管理：支持对于已入库的数据资源，周期性或手动执行数据质检，数据质检依托质检任务来实现，包括质检任务的创建、维护、调度、管理等。c)质检报告生成：数据质量报告应包括两大部分6——数据质量综合情况：从整体角度统计当前时间周期内的数据质量检测情况；——数据质量详细情况：提供每项检测任务的详细统计信息，帮助管理员了解每项数据质量问题的具体信息。7.5资源管理资源管理中心应聚焦于数据底板数据资源的整体情况呈现，实现多层级的数据资源目录、资源分布、资源检索a)资源目录：支持通过梳理，形成资产目录的元数据台账，支持可视化配置、分级分类名称自定义、查询、查看等功能；b)资源分布：支持按存储位置等维度进行资源地图的呈现，以拓扑链路形式提供数据资源地图，支持点击父级节点查看上级资源数据，支持点击叶节、点查询数据资源子级内容；c)资源检索：对于数据资源提供常规搜索和地图检索功能，包括内容搜索以及搜索结果的内容查看；d)数据图谱：提供可视化的实体关系展示，包括实体类型的筛选、实体关系的显示、实体对象的查询、实体对象关联查询等操作，同时支持实体对象图谱展示。7.6服务中心7.6.1数据服务中心为数据中台提供统一服务发布入口，并对服务进行注册管理、服务管理、样式管理、数据分发等，提供服务的关键字检索、查询、修改、删除等操作，实现服务列表的动态管理、服务申请管理、服务的分类统计等功能。用户可根据具体的场景应用申请、使用对应的服务。7.6.2服务中心提供的数据分发功能，包含数据分发任务的创建、变更、启用控制以及删除等功能，并提供数据分发任务列表的关键字检索、查询、状态追溯等功能。7.7资源地图作为二三维一体化时空数据呈现窗口，应支持数据中台组织治理的空间数据、空间服务以及三维模型的叠加呈现，提供各类基础空间数据分析工具，支持基于数字孪生的业务对象空间信息、属性信息、关联信息等进行图数联动分析与展示，辅助组织实现时空数据的可视化与精细化管理。7.8运维管理运维管理中心为数据管理中台提供各类应用集中的运维管理，包含资源管理、任务运维、组织管理、系统管理等功能模块，进行系统集成，支持后续平台的扩展，满足更深层次的功能需求。7.9统一门户7.9.1资源门户首页应展示整个平台当前资源概况，包括模型、数据等资源以及业务对象、数据服务等指标统计情况等，帮助用户直观、快速了解平台整体资源概况。7.9.2门户首页还应提供数据全景、资源地图、资源中心、数据图谱、数据服务、数据分析等模块的功能简介以及快捷入口，帮助用户快速使用门户各项功能。8性能要求8.1性能设计8.1.1可通过Nginx集群负载均衡在连接高并发的情况下，实现高达50000个并发连接数的响应。8.1.2可采用Docker进行集群部署，实现管理操作的秒或毫秒级响应；在管理软件的支持下，实现集群节点的动态调整，并保证各个集群节点的环境一致性和性能的稳定性。78.1.3应根据服务的类型及其之间的关联程度，对服务进行细粒度的模块划分，构建微内核、轻量级服务引擎，以适应云平台的弹性云部署。8.1.4可通过高性能缓存服务器，使用直接缓存的方式，将用户频繁访问的来自平台数据中心的数据，通过内部的高速网络，采用redis内存服务器，拷贝到服务器的内存中进行存储和快速访问。8.1.5在传统地理空间信息框架数据管理的基础上，应扩展构建大立体、全覆盖、多时相的时空数据库。在要素级别上添加要素生命周期的管理，管理的时空数据内容上包括二维空间、三维空间（地上地下、室内室外）、动态、KPI统计、事件等，针对不同类型数据的特点，设计采用不同的数据引擎作为中间件进行管理和索引，并提供统一的元数据管理接口，提高数据管理和索引的效率。8.1.6在统一CAS认证、服务代理访问，以及服务器缓存系统的支持下，应构建分布式时空平台服务系统，通过统一的用户安全认证、异步日志服务系统，以及平台运行监控系统等，构建平台完善的安全运维系统。8.2稳定性数据中台稳定性要求如下：a)平均无故障工作时间不小于16000h；b)7d连续运行核心业务无故障。8.3可靠性数据中台可靠性要求如下：a)在达到设计负荷85％状态下仍可提供不间断的可靠服务，并保持运行稳定；b)在容量到达规定及超出规定的极限时，不应因崩溃、异常退出等原因而导致数据错误或丢失；c)应能保证数据实时的一致性和可用性；d)数据实现联机备份、联机恢复，恢复的数据保持其完整性和一致性；e)应能从数据记录中恢复最近的数据。8.4可拓展性数据中台可拓展性要求如下：a)应根据容量、存储要求、并发量等要求规划和部署服务器，当需要扩容时，应做到灵活扩展，平滑升级；b)应采用模块化部署结构，根据实际需要通过业务模块的增加来实现功能的扩张和扩容，为今后的升级、扩建留有余地；c)在容量与处理能力等设计时应留有冗余量，对外提供标准的开放接口，方便扩展其他深度应d)相关功能模块化，便于管理和集成。8.5易用性数据中台易用性要求如下：a)界面设计美观，元素排列遵循视觉规律，重要信息突出显示，图标简洁明了且表意准确，风格统一；b)用户交互简便、友好，简化操作流程，用户操作后应给予适当反馈，告知操作结果，按钮、菜单等交互元素的功能应直观，使用符合用户习惯的设计；c)通过适当的释义、背景信息和操作帮助，协助用户理解和使用系统的各项功能；d)规范化设计屏幕提示、输入和输出；8e)提供在线帮助。8.6兼容性数据中台兼容性要求如下：a)支持主流数据库；b)支持包括但不仅限于IOS、Android、Windows等主流操作系统；c)数据接口应基于标准的互联网协议。9安全要求9.1一般规定应根据等级保护定级情况，符合GB/T22239—2019相应等级的网络安全等级保护要求，以及GB/T39786相应等级的信息系统密码应用要求。9.2系统安全9.2.1物理环境应符合GB/T22239—2019中8.1.1的规定。9.2.2通信网络应符合GB/T22239—2019中8.1.2的规定。9.3数据安全数据安全应符合以下规定：a)制定数据分类分级规则、数据安全管理策略和隐私保护策略，根据数据分类和安全管理策略对存储数据和应用实行分级保护；b)数据交换时，防止高等级的安全数据信息向低等级的区域流动；c)支持多种数据容灾备份方式，关键数据存储采用高安全性的数据备份保护机制；d)数据传输采用数字证书对上传的所有数据进行签名与加密；e)与外部信息化系统进行数据共享时，采用数字证书对所有数据进行签名与加密；f)支持密钥管理功能，包括数字证书的申请、注册、获取、更新或销毁。10运行和维护10.1一般规定10.1.1运行维护应符合GB/T28827.1的规定。10.1.2宜按照GB/T36626的规定建立和运行系统安全运维管理体系。10.1.3应建立项目管理清单和档案，并针对运行情况进行评估。10.1.4应建立故障排除机制，包括故障诊断、定位、解决和恢复。应采取纠正和预防措施，以消除故障情况发生的原因，防止再次发生并进行记录存档。10.1.5应规定运行故障情况处理的有关职责和权限。10.1.6应定期进行性能评估和优化，提高响应速度和稳定性。10.1.7应加强安全防护，宜定期进行安全