省级遥感影像统筹云平台项目初步设计方案

PAGE19省级遥感影像统筹云平台项目初步设计方案编制单位：XX有限公司编制时间：XX目录1 平台建设目标 12 用户与需求分析 13 业务架构设计 23.1 影像统筹管理业务流程 23.2 影像数据分发业务流程 33.3 影像产品服务共享业务流程 53.4 影像在线分析业务流程 64 技术架构设计 74.1 逻辑框架 74.2 总体架构 84.3 关键技术路线 94.3.1 基于SOA设计平台框架 94.3.2 基于云存储的海量影像数据存储管理 104.3.3 基于ArcGIS的影像平台综合支撑 114.3.4 基于ESE的遥感影像在线分析处理与并行计算 154.3.5 云服务弹性调整技术 165 数据组织和存储设计 185.1 数据架构 185.2 数据存储 196 业务系统设计 206.1 影像数据管理系统 206.2 影像统筹管理系统 216.3 遥感影像共享服务平台 226.4 影像在线分析系统 236.5 平台运维管理系统 247 系统基础支撑环境设计 257.1 软硬件部署架构 257.1.1 国土专网环境 267.1.2 政务外网环境 267.2 软硬件配置 277.2.1 基础软件配置 277.2.2 硬件环境配置 29平台建设目标航空航天遥感影像是国家重要战略性资源，在xx省各政府部门、经济社会各领域中发挥着重要的基础支撑作用。本着“统一采购、节约资金”的原则，借助于云计算、云存储、大数据、人工智能等先进技术，改变当前影像存储方式落后、生产管理机制欠缺、应用手段单一等问题，建立一个集“统筹管理、数据管理、共享分发、应用支撑”为一体的全省遥感影像统筹云平台（以下简称平台），有效服务于新型城镇化建设、生态文明建设、地理国情常态化监测、“多规合一”、防灾减灾以及领导干部自然资源资产离任审计等工作。用户与需求分析从平台的业务群体着手，可以划分为五大类用户对象，分别为业务部门、统筹办、审批部门、数据中心以及数据生产单位。图STYLEREF1\s2SEQ图\*ARABIC\s11用户与需求分析（1）业务部门：即遥感影像数据的各个业务应用单位，包括xx省各厅局委办、以及其下属的业务处室、事业单位等。他们可以在平台中查询、申请所需的影像数据，使用在线的影像分析处理功能，以及提交平台中尚不具备的影像数据需求。（2）统筹办：即承担统筹工作的影像统筹单位，他们负责分析最终业务用户需求，制定影像数据采集计划，监控采集计划执行；对于待处理的影像数据，负责分发给数据生产单位，并监控生产进度。处理平台中的影像数据申领请求，对业务用户的需求进行统计分析。（3）审批部门：负责事项审批的行政单位。对统筹办制定的数据采集计划、数据生产计划，以及平台中的用户申领请求进行审批。（4）数据中心：影像数据的管理单位。负责影像数据的集中管理，执行数据采集任务，组织数据生产以及与生产单位之间进行数据互动。（5）数据生产单位：进行影像数据处理、生产更新。业务架构设计基于上述用户与业务需求，分析遥感影像统筹云平台的核心业务流程如下：影像统筹管理业务流程各业务部门登录影像统筹管理系统，提交业务需求；统筹办对业务需求进行审批，并根据业务需求制定影像采集计划；采集计划审批通过后将由数据中心统一进行原始数据采集，并将采集情况向统筹办汇报；统筹办进而制定数据生产计划，并将生产计划下发至数据中心；数据中心将生产所需数据准备好后下发至数据生产单位，数据生产单位根据生产计划进行数据生产，生产完成并通过质检后，数据生产单位将成果数据提交至数据中心，数据中心接在系统中记录接收信息并向统筹办汇报，统筹办通知业务部门进行成果领取。图STYLEREF1\s3SEQ图\*ARABIC\s11常规生产管理模式流程分析影像数据分发业务流程影像数据分发流程中，数据中心将不定期更新维护全省影像数据，并将影像元数据信息及快视图推送至影像数据共享服务平台；业务部门可以登录共享服务平台，进行影像库最新状况的查询与浏览，如有符合业务需求的数据，可在共享服务平台中将所需数据加入订单，并将订单提交统筹单位审核。影像统筹单位对用户订单进行审核，审核通过后将订购信息推送数据中心，数据中心接收订单从数据库中抽取用户所需数据，根据数据密级不同将以云盘下载或离线拷贝的方式向用户提供数据，“云盘下载”将直接在系统中提供下载链接，“离线拷贝”则在系统订单界面提醒用户进行数据接收。图STYLEREF1\s3SEQ图\*ARABIC\s12影像数据分发流程影像产品服务共享业务流程按照项目建设的总体技术要求，结合委办厅局部门实际的业务需求，影像统筹云平台将不定期的向政务外网上推送影像数据产品及服务以满足各部门影像应用需求，推送的数据产品主要包括原始影像数据服务、部分成果影像数据服务等，用户可以通过影像共享服务平台对影像服务资源进行申请，申请流程如下图所示：图STYLEREF1\s3SEQ图\*ARABIC\s13影像产品服务共享流程影像在线分析业务流程影像在线分析系统对接影像数据共享服务平台中所有共享的影像服务资源，用户可通过影像在线分析系统界面选择所需影像及运算模型，提交计算需求，在线分析系统将在服务器端对数据进行相应运算并将结果展示到浏览器中，用户可通过浏览器进行运算结果浏览及下载。图STYLEREF1\s3SEQ图\*ARABIC\s14影像在线分析业务流程技术架构设计逻辑框架遥感影像统筹云平台主要针对遥感影像数据统筹管理及应用的实际需求，为影像数据的业务化应用提供软件平台支撑。平台需具备影像数据生产业务流程统筹管理；多类型、多空间分辨率、多光谱分辨率、多时相遥感数据的综合管理；影像各类服务及数据的共享与分发；以及影像在线分析和遥感数据专题产品在线制作的能力。图STYLEREF1\s4SEQ图\*ARABIC\s11逻辑框架总体架构遥感影像统筹云平台以面向服务的体系架构和集群计算的基本思想进行技术体系的梳理和构建，形成开放的、可伸缩、可定制的体系架构。面向服务体系架构的组件化、互操作、模块化、可伸缩特点使其能更好的满足系统灵活性及扩展性要求。遥感影像统筹云平台的总体架构如下图所示：图STYLEREF1\s4SEQ图\*ARABIC\s12总体架构图遥感影像统筹云平台采用多层结构进行设计。在标准规范体系、安全保障体系、运行维护体系的约束下，系统在逻辑上主要划分为基础设施层、数据资源层、服务平台层和业务应用层。（1）基础设施层基础设施层主要指支撑系统运行的底层软硬件设备，包括服务器、存储设备、网络设施等必须的硬件环境和操作系统等软件。平台架构采用分布式统一存储架构，因此底层采用标准X86服务器，在此基础上搭建分布式对象存储系统，实现对存储资源的管理。（2）数据资源层数据资源包括各类影像原始数据和成果数据。影像数据基于对象存储构建管理资源池，统一由影像数据管理系统进行管理；生产任务管理系统由业务驱动进行数据的采购和生产，原始数据和成果数据经由数管系统提取及入库。（3）服务平台层在基础层和数据层的基础上，存储资源的运维管理将底层云存储资源以服务形式提供给用户使用，并对底层存储资源进行度量监控；数据资源层的数据通过平台服务引擎发布成影像服务，形成包含数据服务、功能服务、云存储服务等多种形式的服务，外网用户通过影像数据共享服务平台进行资源获取，内网用户则可以通过影像数据分发系统分发提取数据。（4）业务应用层业务应用层主要包括影像在线分析系统，以及为其他业务应用示范系统提供数据和服务支撑。关键技术路线基于SOA设计平台框架SOA是基于开放的Internet标准和协议、支持对应用程序或应用程序组件进行描述、发布、发现和使用的一种应用架构。SOA支持将可重用的数据应用作为应用服务或功能进行单独开发集成，并可以在需要时通过网络访问这些服务或功能。通过SOA，开发者可以对不同的服务或功能进行组合以完成一系列的业务逻辑与展现，最终可让用户像使用本地桌面业务组件一样方便地调用服务或功能等各种资源。“松耦合”的SOA是云的一个重要成分。基于SOA架构的平台能更好地适应云计算环境。基于云存储的海量影像数据存储管理由于卫星数据属于典型的空间非结构化数据，即全是以大文件的形式存在，从其归档、处理、发布等全生命周期环节将分别涉及对象、文件、块等存储形态的应用。同时卫星数据容量巨大并且增量也大，对存储系统有很高的扩展性要求以及高吞吐量以及可用性要求，因此针对影像数据资源的存储全部采用分布式存储架构，即构建统一的分布式块存储、分布式文件存储、分布式对象存储。分布式存储的硬件全部基于通用的x86架构的存储服务器，而非传统的专用硬件存储设备。在分布式统一存储架构基础上，采用云GIS存储技术，可以实现一站式数据存储、共享和检索，支持海量空间数据的预览，同时底层支持共6种主流底层存储平台。提供开放存储相关API接口，已集成、已开发，平台对底层环境和资源进行监控度量，具有高安全性和高扩展性。基于ArcGIS的影像平台综合支撑ArcGIS提供了一个综合的影像平台，从桌面端的高效数据管理，实时动态处理、OrthoMapping正射处理、StereoMap立体测图、ImageSpace图像空间分析、机器学习与图像分类、到Server端的影像服务发布，栅格大数据分析，再到轻量级的Web端、移动端应用构建，ArcGIS影像为各行业用户提供完整的影像解决方案。（1）可视化解译ArcGIS平台支持国内外主流航空、航天、地面传感器如光学卫星、雷达、激光雷达、大飞机、无人机等影像的动态处理以及可视化展示。GF系列、资源系列、WorldView系列、SPOT系列等卫星影像可以栅格产品的形式，通过拖动加载即可实现动态正射、融合成果展示。支持点云数据加载以及二维剖面、三维场景展示；支持多维科学数据集，如HDF、NetCDF、GRIB的管理、发布及符号化展示；支持航空影像数据如ADS40、Pictometry、UltraCam、Applanix、ISAT、MATCH-AT管理与动态处理；支持无人机影像的2D和3D产品快速生产。（2）大规模影像数据管理镶嵌数据集（MosaicDataset）是一种高效的“文件+数据库”结合的的管理海量栅格数据的影像新技术。它是一项由栅格数据集和栅格目录相结合的混合技术，采用与非托管的栅格目录相一致的方法管理栅格数据。因此，可以对数据集进行索引，并且可对集合执行查询。它的存储方式和栅格目录类似，在使用过程中和普通栅格数据集相同。镶嵌数据集用于管理和发布海量多分辨率，多传感器影像，对栅格数据提供了动态镶嵌和实时处理的功能。其最大优势是具有高级栅格查询功能及实时处理函数功能，并可用作提供影像服务的源。镶嵌数据集（MosaicDataset），提供了大规模影像的最佳组织和管理方式，并配以一套完善的影像更新和维护工具，简化并自动化了大规模影像的入库管理和更新维护。（3）专业级影像处理ArcGIS提供了一系列的影像处理与分析工具，支持模型设计与构建，支持实时动态处理与分布式栅格大数据分析，帮助用户深入挖掘影像信息。实时处理技术是ArcGIS平台应对大规模影像分析的特色方式之一。它是一种按需处理的技术，在实时获得影像处理结果的同时，不产生中间影像，从而有效节约大数据的处理时间与空间。ArcGISPro集成了100多个实时处理函数，如裁剪、掩膜、重分类、权重计算、色彩转换、融合、分割等，既可单独执行，也可以使用Python适配器函数进行自定义函数导入。在栅格函数编辑器中，还提供了函数链的创建、设计、编辑、保存功能。OrthoMapping提供了正射级产品生产能力，它将ArcGIS镶嵌数据集、摄影测量技术、区域网平差技术相结合，可基于重叠区、地面控制点、相机模型、DEM等进行平差计算并将平差结果应用，从而获得高精度的镶嵌正射影像。同时，OrthoMapping还支持基于立体像对（卫星）的点云、DSM生产，是国产卫星管理与底图处理的最佳工具。ArcGIS提供监督分类、非监督分类、交互式分类，支持基于光谱特征的影像分割，决策树分类、ISO非监督分类，以及最大似然、支持向量机等多种监督分类方案。在ArcGISPro中提供图像分类工作流，它将复杂的图像分类及分类后处理封装为向导式的流程，可基于像素及对象特征分类，适用于高分辨率航空、航天影像。在Pro2.1中，全新推出了深度学习相关工具，可无缝接入第三方深度学习训练模型进行图像分类。空间分析工具具备70多种空间分析能力，提供功能完备的工具集来浏览和分析空间数据，帮助用户找到解决空间问题的方法。常用的影像数据扩展组件包括：ArcGIS空间分析——为基于栅格的建模和分析提供强大的地理处理工具；ArcGIS3D分析——将栅格作为表层，并与其他3D数据同时工作；ArcGIS地理统计分析——包含用连续数据集生成曲面、分析和制图的高级统计工具；ArcScanforArcGIS——栅格到矢量转化，包括光栅编辑、捕捉、手动追踪以及批量矢量化；影像分析扩展，提供立体测图，高级图像分割和分类，图像空间分析以及自定义算法及模型构建等功能。（4）栅格大数据分析RasterAnalytics是ArcGIS平台影像分析能力的新增强，提供分布式、可伸缩的栅格\影像大数据处理能力。RasterAnalytics基于ArcGISEnterprise的基础环境、ArcGISImageServer分布式集群、ArcGISPro栅格函数编辑器的扩展能力、适用于Web传输的分布式存储格式—CRF，微软云、亚马逊云存储技术，为栅格大数据及专业模型的接入提供保障，促进大规模、多源、多时相影像数据的深入挖掘。目前RasterAnalytics共提供23个支持分布式的地理处理工具，使用GenerateRaster工具可以调用所有栅格函数及处理链。（5）影像服务发布ArcGIS平台提供多种影像发布类型选择，可以SOAPXML、REST、OGC的WMS、WCS等标准形式提供在线影像服务。ArcGISImageServer提供切片影像服务与动态影像服务以及分布式的栅格大数据分析能力（RasterAnalytics）。此外，将ArcGISImageServer与ENVIServerEngine相结合，还可以将更多的分析模型添加，提供更多在线影像分析服务。ArcGIS平台影像发布优势：影像快速发布；由原始数据直接动态生成镶嵌影像，而不需预处理；由原始数据提供多种影像产品；实现影像叠加，动态影像处理和时序变化；分布式的处理分析，有效复用资源，缩短数据处理时间。基于ESE的遥感影像在线分析处理与并行计算传统遥感应用模式中，一直以桌面遥感图像处理软件为主。一般的处理流程包含如下几个：首先下载或拷贝数据到本地，然后在桌面遥感软件中逐步完成预处理工作，最后基于遥感业务模型计算所需成果。这种应用模式相对来说，对于从业者的遥感技术要求较高，而且效率较慢，不方便成果的共享与分发。为了打破传统遥感应用模式，需要借助于主流的IT技术、互联网技术、企业级遥感技术等，将所需的预处理功能、遥感模型算法等以服务的方式进行提供，从而实现在线遥感图像处理能力。ENVIServicesEngine是由美国HarrisGeospatialSolutions公司研发的创新性企业级遥感服务器产品。通过ENVIServicesEngine可以组织、创建及发布先进的ENVI/IDL图像分析能力，能够将这些能力部署在任何现有的集群环境、企业级服务器或云平台中。用户可以通过各种终端（如桌面端、移动端、网页端等）按需获取并充分利用遥感图像提取的信息。ENVI是一个高级图像分析平台，它支持上百种不同的数据类型，包涵了两百多个图像分析功能，还可以通过IDL开发更多的遥感功能。基于ENVI/IDL可以快速构建专业的遥感业务化应用模型，降低开发风险，缩短开发周期。基于分布式计算环境，以web服务形式提供影像分析处理能力，供客户端在线、按需（on-line,on-demand）请求遥感分析服务，将极大提升遥感分析处理的便利性和效率，解决影像分析耗时长、使用复杂的问题。影像并行分析处理框架采用开源标准，与中间件无关的体系结构，可以将一个资源上部署的图像分析功能传递给多个平台，允许用户通过Internet在Web客户端或者移动客户端上进行大数据量的高级分析。云服务弹性调整技术遥感影像统筹云平台面向业务用户提供云端的各类影像服务。云环境中的影像服务，不同于传统的操作模式。在传统的模式中，一般只有一台或者几台服务器，通过远程登录，拷贝数据，操作服务器端的软件，完成服务的发布。而在云环境中，数据的处理、打包上传，以及在云平台中发布为服务，都需要做一系列的支持。用户可以在自己的PC端像传统的操作一样，整理数据、编辑修改、制图，在发布服务时，选择发布到指定的云环境中，经过身份验证以后，就可以使用云环境中的服务了。在云服务管理方面，不仅能够对已有的服务进行监控，终止宕掉的进程，回收闲置的资源（计算资源和存储资源），而且还能够及时发现和管理新开启虚拟机中的GIS服务。另一个方面需要考虑云之间服务共享（云间共享），要为异构云之间GIS服务的共享应用提供支撑，为云之间的综合应用提供基础。基于网状集群结构管理GIS服务，是实现云GIS服务弹性调整的关键技术，结构如下图所示：用户请求发送到WebServer（Adapter），WebServer根据Cluster中各个GISServer的运行状态，动态的分发请求，接收请求消息的GISServer机器完成相应的处理任务。当WebServer或者所有的GISServer都处于繁忙状态时，云GIS平台自动管理系统会开启新的虚拟机，加载预定义的模板镜像，增加新的节点，以响应当前的用户请求，提升处理能力。随着访问用户数下降，更多的GISServer服务器处理闲置状态，云平台自动管理系统根据设定的资源回收机制，动态的关闭虚拟机，释放资源，减少能耗。云GIS服务弹性调整过程中，根据用户访问情况，以及各个时段GISServer节点的运行情况，提供了一些GIS服务统计分析功能，辅助云GIS服务的日常维护，为云环境的资源配置和计费提供依据。数据组织和存储设计数据架构图STYLEREF1\s5SEQ图\*ARABIC\s11数据流转数据采用分布式统一对象存储，由影像数据管理系统作为统一的数据管理工具。数据的全生命周期流程为：（1）数据采集生产入库业务部门提出业务需求，由业务需求制定规划形成数据需求，通过购买或采集获得原始影像数据，统一由服务器盘阵接收存储，通过入库进入原始数据库；根据业务部门需求结合原始数据情况，制定数据生产任务，原始影像数据同任务一同下发进行数据生产，生产完成后通过质检的数据成为成果数据，通过入库进入成果数据库；（2）数据分发应用（内网）原始数据和成果数据经服务引擎进行发布，形成统一的服务目录对内网用户提供服务，用户可以浏览、申请、下载数据。（3）数据发布分发应用（外网）针对外网用户，需要对成果数据进行脱密，形成脱密数据库后发布服务，提供数据的分发、分析和支撑业务应用。数据存储针对多源、多类型影像数据，结合应用需要，采用统一的数据模型，制定明确的标准规范对数据进行组织和存储，实现整个影像统筹云平台的数据集成。整个平台资源存储构建于统一的存储资源池之上，分为三大存储区：原始数据存储区（冷区）、成果数据应用区（热区）和系统支撑区。具体存储的技术架构如下：图STYLEREF1\s5SEQ图\*ARABIC\s12数据存储架构图中绿色部分即原始数据存储区，按基于目录的统一的数据组织方式，支持影像数据的统一编目，实现数据的快速查询、预览和分发。蓝色部分是成果数据应用区，实现文件+数据库的方式管理，建立元数据库，支撑前端动态处理和分析的需要。紫色部分为系统支撑区，用于部署平台基础软件、业务系统和应用。业务系统设计基于底层统一的计算、存储环境，在ArcGIS和ENVI基础平台之上架构云平台核心业务系统。从业务逻辑上，可以划分为以下五个子系统，分别是影像数据管理系统、影像统筹管理系统、遥感影像共享服务平台、影像在线分析系统以及平台运维管理系统。影像数据管理系统影像数据管理系统用于全省影像数据的综合管理，实现无人机原始影像、卫星原始影像、成果影像数据、DEM数据、影像控制点数据等的统一管理和维护。影像数据管理系统采用C/S架构，由数据录入、数据处理、查询浏览、数据提取、数据统计、历史数据管理、元数据管理、系统管理等模块构成。影像统筹管理系统影像统筹管理系统用于统筹管理和影像生产任务管理，实现业务需求申报、影像需求审批、影像采集规划制定与审批、生产任务下发、生产流程监控、成果汇交、成果下发的全生命周期统筹与监控。该系统基于B/S架构实现，由系统登录、项目受理、采集任务管理、数据生产管理、成果汇交与下发、统计分析、提醒督办等模块构成。遥感影像共享服务平台遥感影像共享服务平台是业务用户访问平台的入口，也是平台各类影像数据资源、服务资源以及分析功能的唯一出口。根据用户的不同需求，最终以影像服务、影像数据、快视图、文字报告、表格、多媒体等多种形式展示影像产品，实现面向厅属单位、其他委办局的产品发布，并以在线、网盘下载、多媒体、光盘等多种方式将产品提供给最终用户。基于分布式对象云存储，提供影像大数据存储、管理、以及数据的共享分发服务。实现跨行业、跨处室、跨部门的数据互通共享，为整合跨部门应用和数据共享提供支持。影像在线分析系统影像数据在线分析系统以影像服务为数据源，借助于平台中提供的图像分析功能和自定义功能模型，完成影像在线处理。此外，该系统还可以基于遥感影像变化监测相关算法和模型提供在线的影像分析服务，供浏览器端进行调用。如水资源变化监测、土地覆盖动态变化监测、建筑物专题动态监测、城市绿地专题动态监测、城市热岛效应监测等。平台运维管理系统运维管理系统主要是提供给平台管理员使用，是进行平台日常运维的功能入口。管理员可以监控、管理、维护平台的资源池分区、影像资源及资源目录，从而保证各个组织内的用户能够正常的使用云端的云存储服务，管理员还可以对组织进行管理和资源配置。系统基础支撑环境设计软硬件运行环境是遥感影像统筹云平台的基础支撑与运行平台，是维护系统正常、稳定、安全可靠运行的重要保障。具体组成如下图所示：软硬件部署架构遥感影像统筹云平台搭建在国土涉密专网与政务外网两套网络环境中，需要针对不同网络环境对系统运行支撑环境进行设计。国土专网环境国土专网是xx省自然资源厅内部局域网，与外界物理隔离。影像统筹云平台采用统一存储，部署在国土专网中。平台在专网分为数据存储、任务管理、运维管理、数据分发四个区域，每个区域都建有相应的备份机制。数据存储区主要部署影像数据库及数据管理系统，用于影像数据的统一管理；任务管理区部署影像统筹管理系统及系统相关数据库，用于管理影像采集、生产等业务流程的管理；运维管理区部署平台运维管理系统及系统相关数据库，用于平台存储资源的运营维护；数据分发区部署影像数据分发系统及影像元数据服务发布库，用于专网环境下数据申领及分发。体部署架构如下图所示：政务外网环境政务外网是xx省各级政府单位使用的专用网络，与互联网逻辑隔离。影像统筹云平台在政务外网中为各级省政府单位提供服务，平台将通过云GIS管理软件与xx省政务云进行对接，政务外网所有GIS资源将由云GIS管理软件进行统一交付，所交付的GIS资源分为影像服务发布区和门户中心两大块。影像服务发布区部署有ArcgisImageServer服务器与ENVI服务器用于支撑影像数据服务发布与影像在线分析功能服务发布；门户中心部署有影像共享服务平台门户和影像在线分析系统，用于支撑影像服务共享及影像在线分析入口；其部署架构如下图所示：软硬件配置基础软件配置云平台所需的基础支撑软件如下：序号软件名称软件描述数量1捷泰天域云GIS平台存储系统V3.0基于对象存储，提供海量的各类GIS空间数据及其他非结构化数据的存储、共享、分发、高效管理与检索服务。12捷泰天域云GIS管理系统企业版V3.0为用户提供GIS资源池化、GIS计算资源快速交付、多租户组织用户管理、权限管理、审批流程管理和资源类别自定义的能力。它的功能包括GIS资源池管理、云GIS站点快速交付与监控管理、组织管理、用户管理、资源统计、审批流程管理、资源分类自定义功能。并提供了自服务门户系统，不仅让用户能够按需的申请、使用云GIS资源服务，同时能