山东国土数据中心GIS云平台初设方案.doc

1 总体设计ArcGIS私有云平台基于目前主流的虚拟化平台和云计算管理软件建设GIS私有云平台。基础设施服务层通过采用VMware的虚拟化技术ESXi，将底层的物理资源，例如：CPU、内存、存储、网络，抽象为云环境中可动态调整的资源池，包括：计算资源池、存储资源池和网络资源池，资源池的环境通过VMware的管理套件vCloud Director进行运维、管理。ArcGIS云环境软件包包括ArcGIS Server、ArcGIS 云管理套件和Portal for ArcGIS门户软件。ArcGIS Server将空间信息数据和功能以Web服务的方式提供给客户端进行访问。ArcGIS云管理套件基于vCloud Director提供的API和ArcGIS Server Admin API实现对基础设施环境中ArcGIS实例的监控、维护，并结合ArcGIS的流程实现对ArcGIS Server站点的智能化管理。ArcGIS私有云管理套件由两个子系统组成：云端自服务门户子系统、云端运维管理子系统。云端自服务门户子系统，主要面向业务部门用户，以自服务的方式申请/取消、性能监控、资源调整、资源度量等功能；云端运维管理子系统，主要面向数据中心的运维管理人员，实现对数据中心云环境中ArcGIS资源实例的监控管理等。Portal for ArcGIS是一个基于私有云环境下的空间信息分享平台，用于组织机构内部的相关人员实现空间信息的共享、高效利用和协同工作。Portal for ArcGIS同时也是一个空间信息应用开发的支撑平台，为用户提供了丰富的地图服务、功能服务以及强大的APIs，支持创建多种多样的Web应用。2 GIS云基础设施2.1 总体架构为构建一个云的基础设施，需要足够的硬件支撑环境，以及IAAS层综合解决方案，综合目前的市面上流通的各种主流的解决方案，在基础设施层采用了VMware的基础设施云管理套件vCloud Director。借助 vCloud Director，可以将数据中心的基础架构资源整合成虚拟数据中心资源池，包括计算资源池、存储资源池、网络资源池。但这样的一个云基础设施环境，是一个业务无关性的环境，构建的是一个纯IT的运行框架，无法针对GIS的应用场景和需求做相应的定制管理，当然也无法满足复杂的过国土业务应用需求。为解决这个需求，需要构建GIS云的基础设施， ArcGIS私有云管管理套件构建与vCloud Director平台之上,通过vCloud Director提供的REST API，根据用户业务的实际需求来调用、消费底层IAAS层资源。ArcGIS私有云管理套件由两个子系统组成：云端自服务门户子系统、云端运维管理子系统。云端自服务门户子系统，主要面向业务部门用户，以自服务的方式申请/取消、性能监控、资源调整、资源度量等功能；云端运维管理子系统，主要面向数据中心的运维管理人员，实现对数据中心云环境中ArcGIS资源实例的监控管理等。ArcGIS私有云管理套件的总体架构如图：图：私有云管理套件总体架构图物理层环境，主要包括物理服务器、存储、网络。基础设施云环境，通过采用VMware的虚拟化技术ESXi，将底层的物理资源，例如：CPU、内存、存储、网络，抽象为云环境中可动态调整的资源池，包括：计算资源池、存储资源池和网络资源池，资源池的环境通过VMware的管理套件vCloud Director进行运维、管理。ArcGIS云环境，基于vCloud Director提供的API和ArcGIS Server Admin API实现对基础设施环境中，ArcGIS实例的监控、维护，并结合ArcGIS的流程实现对ArcGIS Server站点的智能化管理。管理人员与用户通过云端运维管理子系统、云端自服务子系统实现对ArcGIS Server站点资源的具体操作。2.2 功能架构2.2.1 功能总体架构ArcGIS私有云管理套件从功能上可以划分为三个子系统：基础设施辅助运维子系统、云GIS平台运维管理子系统、业务运营管理子系统。其功能总体架构如下图所示：图：ArcGIS私有云管理套件功能总体架构2.2.2 云端自服务子系统云端自服务子系统，是业务应用部门使用地理信息云平台资源服务的入口，用户通过云端自服务子系统能够方便的查询权限内的数据服务和功能服务的接口，并通过资源申请模块申请相应资源服务的使用权限。同时，对于有发布地图服务需求的用户，可以通过系统直接在线发布地图服务，并对所发布的地图服务进行访问权限控制。此外，用户可以通过平台提供的API定制自已的应用系统，并托管到云端。资源服务门户子系统通过建立单点登录系统为用户提供统一的信息资源认证访问入口，建立统一的、基于角色的和个性化的信息访问、集成平台。2.2.3 云端运维管理子系统资源运营门户子系统是管理人员运维地理信息云环境的功能入口，管理人员通过资源门户子系统可以监控、管理、维护云端的所有资源，包括物理服务器、虚拟主机以及地理信息服务资源等，从而保证行业应用部门的用户能够正常的使用云端的资源服务。资源运营门户子系统与资源服务门户子系统一样，都是通过建立单点登录系统为用户提供统一的信息资源认证访问入口，建立统一的、基于角色的和个性化的信息访问、集成平台。2.3 运行环境VMware vCloud Director5.1环境是安装部署ArcGIS私有云管理套件（v1.7）的基本前提，用户在安装管理套件前应当首先完成vCloud Director5.1环境的搭建。2.3.1 硬件运行环境根据VMware vCloud Director5.1的安装部署要求，建议用户的硬件运行环境至少为三台机架/刀片服务器：服务器1、服务器2、服务器3。其中，服务器1安装部署了vCloud Director5.1的控制组件，以及ArcGIS私有云管理套件的产品组件；服务器2、服务器3注册到vCloud Director5.1中，运行所有的ArcGIS实例，用于支持ArcGIS私有云管理套件的运行。服务器的推荐配置参数如下所示：服务器类型86刀片服务器CPU82.4GHZ内存64G存储2TB表：服务器推荐配置参数2.3.2 网络运行环境ArcGIS私有云管理套件的安装部署需要一个指定的网络环境，该环境中配置有可用的DNS服务器，确保在部署前网络环境可用。备注：下面将以示例的形式给出各个安装环境的网络配置参数均为示例，只具有参考意义，请根据用户的实际网络情况进行调整。1) 网络环境分为内网、外网两部分。为了保证云端资源的安全性，除了GIS服务管理环境中的反向代理Nginx位于外网，用于处理业务用户的服务请求外，其余所有服务器均位于内网环境。其中，外网为vCloud Director的外部网络，负责ArcGIS云环境与外部网络的链接；而内网为组织vDC网络，负责ArcGIS云环境中各实例之间的通信。2) 内网环境建立DNS域。在内网环境中建立DNS域主要是用于构建ArcGIS Server集群。实例名称网络设置主机名IP地址子网掩码网关DNS ServervCenter Servercloudcentererver154vCloud Directorclouddirector2540vSheildManagersheildmanager3540NginxArcPCPortal4ArcGISCloudarcgiscloud554ArcGISTemplatewebadaptor/gisserver/sde7/18/1954DNS S0540NAS S1540表：虚拟机实例的网络配置2.3.3 软件运行环境ArcGIS私有云管理套件的安装部署软件环境要求为：u 每一台物理服务器安装的操作系统均为VMware ESXi 5.1；u 安装部署VMware vCloud Director5.1基础设施云环境管理套件；2.4 功能设计2.4.1 云端自服务子系统云端自服务子系统，是面向业务应用部门或各委办局的用户，以自服务的方式向用户提供云GIS资源服务，对于用户而言，只需要按需申请、使用GIS资源即可，无需关心GIS资源的状态维护和管理。 基础设施辅助运维管理模块用户虽然无需对底层的基础设施资源进行管理，但用户仍然有必要对自己占用的资源使用状态进行统计分析，以便了解各业务系统运行所使用基础设施资源的情况和规律，可以用于指导用户的系统建设。因此，基础设施辅助运维管理模块应当向用户提供了站点资源统计和度量的功能。.1 站点资源统计站点资源统计功能，能够对用户当前所使用ArcGIS Server站点资源的情况进行统计，包括用户当前已创建的站点个数、剩余可创建的站点个数、以及创建的各站点中GIS计算节点的个数等信息。.2 站点资源度量站点资源度量功能，能够对用户创建站点所使用的基础设施资源情况进行统计分析，包括总体资源的使用情况，以及单个站点的资源使用情况。用户可针对任意的时间段，进行统计分析，由此可以掌握此类应用使用资源的规律。 GIS平台运维管理模块GIS平台运维管理模块，主要负责为用户提供管理、使用云GIS资源的功能，目前系统提供的云GIS资源服务以ArcGIS Server站点资源为主，因此此模块的功能主要包括ArcGIS Server站点资源监控功能、站点资源管理功能。.1 站点资源监控站点资源监控功能，主要实现对ArcGIS Server站点、GIS计算节点等GIS资源的实时监控。用户可以通过该功能，查看其账户下的所有站点资源、GIS计算节点的运行状态：l 站点的状态可以分为，正常、停止、创建中、停止中、启动中、删除中。l GIS计算节点的状态可以分为，正常、停止、创建中、停止中、启动中、删除中。同时用户可以查看站点的平均CPU使用率、GIS计算节点的CPU使用率等。系统为用户提供站点资源列表，系统默认监控第一个正常状态的站点，用户可以选择其他任意的站点进行监控。能够监控到的指标包括：l 站点CPU使用率，包括最高CPU使用率上限、最低CPU使用率下限、站点平均CPU使用率。l GIS计算节点的CPU使用率，通过单击某个GIS计算节点，可以监控此VM的CPU使用率变化。.2 站点资源管理站点资源管理功能，为用户提供ArcGIS Server站点管理的操作，例如：添加/删除站点，添加/删除GIS计算节点，设置站点调整策略。调整策略，用户通过设置策略，来手动或自动地对物理资源的调整。在智能模式下，后台根据策略，自动的对节点增删。当CPU使用率超过CPU使用率上限，并且持续时间大于CPU上限持续时间时，会自动的增加节点；当CPU使用率小于CPU使用率下限，并且持续时间大于CPU下限持续时间时，会自动的删除节点。从而不仅保证了资源的有限利用，而且保证了服务响应时间。在手动模式下，当用户需要时，自己来手动的调整。增加站点，输入站点名称、站点用户名、站点密码、最高CPU使用率上限、最低CPU使用率下限以及所持续的时间，选择镜像模板，最后点击确定。站点用户名、站点密码，将来用户将使用这个用户名和密码来使用和管理ArcGIS Server。用户有一个站点上限配额，最多能同时拥有这么多站点。除非原有的站点被删除，才可以继续创建新站点。删除站点，只有站点处于正常或者停止的状态，才可以被删除。站点处于创建中、删除中、停止中、启动中，无法删除或者再次被删除。停止站点，只有站点处于正常的站点，才可以被停止。站点处于创建中、删除中、停止中、启动中，停止，无法停止或者再次被停止。启动站点，只有站点处于停止的站点，才可以被启动。站点处于创建中、删除中、停止中、启动中、正常，无法启动或者再次启动。增加节点，自动或手动的增加站点节点。智能模式下，智能增加节点，无需手动增加。手动模式下，用户根据需要，手动增加站点。删除节点，自动或手动的增加删除节点。智能模式下，智能删除节点，无需手动删除。手动模式下，用户根据需要，手动删除站点。 业务运营管理模块业务运营管理模块，主要为用户提供用户注册、参数设置和日志管理等功能。用户注册用户注册功能，为用户提供账户注册功能。用户可以云端自服务子系统的登陆门户中，点击注册，进入用户注册页面。通过输入用户名、真实名字、部门、密码、确认密码、邮箱信息，注册使用的账号。注册成功之后，需要等待管理员审核通过后，方可通过注册账号登陆系统，申请云GIS资源服务进行使用。参数设置参数设置功能，对用户基本的信息提供修改，包括：密码和邮箱信息的更改与其他用户信息的显示。同时，可以显示出用户的其他相关信息包括当前站点数、最大站点数、站点节点默认最大值、站点节点默认最小值、注册时间、最后登录时间，这些信息为只读。日志管理日志管理功能，能够对用户（在人工模式下）或系统（在智能模式下）对GIS资源实例的操作与用户信息进行严格的日志记录，以保证云GIS平台操作访问的安全性。2.4.2 云端运维管理子系统云端运维管理子系统，是面向数据中心的管理人员，管理人员通过资源门户子系统可以监控、管理、维护云端的所有资源，包括物理服务器、虚拟主机以及地理信息服务资源等，从而保证行业应用部门的用户能够正常的使用云端的资源服务。 基础设施辅助运维管理模块基础设施服务运维管理模块，为管理人员提供了对底层基础设施资源进行管理的功能。ArcGIS私有云管理套件是架构在VMware vCloud Director5.1之上的，专注于管理云环境中GIS资源实例的套件，因此建议用户对底层基础设施资源的运维管理依旧采用vCloud Director，基础设施辅助运维管理模块只提供最基本的或是与ArcGIS相关的管理功能。.1 系统初始化系统初始化功能，为运营管理人员提供在现有云环境中，自动化进行部署、配置ArcGIS资源实例的功能。当管理人员第一次登陆云端运维管理子系统时，自动进入云GIS环境的初始化向导，引导管理人员对ArcGIS云环境进行初始化设置。云GIS环境的初始化应当分为三步：许可授权，镜像模板选择，参数设置。l 许可授权通过许可授权功能，云端运维管理子系统可以对用户云环境中ArcGIS Server的许可数量进行控制，只允许用户创建一定数量的ArcGIS资源实例，如果用户因为业务扩张，需要更多的ArcGIS资源实力，则需要向Esri公司购买拥有更多ArcGIS资源实例的许可文件。l 镜像模板设置。通过镜像模板设置功能，管理人员将对目前云环境中事先已部署好的ArcGIS镜像模板进行初始化的配置，按ArcGIS Server的产品架构，镜像模板应当至少包括两个角色：WebAaptor、GIS Server。同时，可以根据用户不同的应用场景：切图、动态服务发布、GP服务发布等，配置不同配置的镜像模板，例如：高密度计算型、高并发型、高可用型等。l 参数设置。通过参数设置功能，管理人员可以对云端运维管理子系统运行时所需要的系统参数进行设置。这些参数包括ArcGIS Server站点监控参数、默认参数、网络环境参数等。1) 站点监控参数：监视间隔时间、最大CPU值、最大CPU持续时间、最小CPU、最小CPU持续时间。2) 站点默认参数：调整模式、公共存储、虚拟机前缀、站点最大值、节点最大值、节点最小值。3) 网络环境参数：选择组织VDC当中可用的网络。.2 资源监控资源监控功能，负责为管理人员提供基础设施云环境中ArcGIS站点资源的运行状况，以及注册用户的当前状态。对于ArcGIS站点资源，状态信息主要包括：正常、异常、未使用等；对于注册用户，状态主要包括：使用、停用等。同时，资源监控功能为管理人员提供资源信息报警的功能，在报警区域能够对发生异常的资源，列出报警信息，通知运维管理人员。例如，站点资源紧张、更新许可等信息。.3 资源度量资源度量功能，为运营管理人员提供基础设施资源的统计分析功能。对资源的统计分析可以从两个状态进行统计：当前状态、历史状态。当前状态：主要对云环境中当前的资源使用情况进行统计分析，包括当前运行的ArcGIS站点个数、用户个数等。历史状态：主要针对某一特定的时间段，将用户个数、站点个数变化，以同时间轴的多条变化曲线显示。可滑动下侧的滑动条，显示某一段时间的资源利用情况。.4 镜像管理镜像管理功能，为运营管理人员提供ArcGIS产品镜像的管理工能，包括：镜像的创建、属性修改、镜像删除等功能。 GIS平台运维管理模块GIS平台运维管理模块，主要负责为运营管理人员提供云GIS资源的监控、管理功能。目前系统提供的云GIS资源服务以ArcGIS Server站点资源为主，因此模块的功能主要包括ArcGIS Server站点资源管理功能。.1 站点资源管理作为云GIS环境的管理者，运维管理人员负责对运行在当前云环境中的ArcGIS Server站点进行监控、管理。对站点的监控功能主要用以了解用户业务系统对云端资源的占用情况进行了解，可以监控到站点的平均CPU使用率，以及所有的VM的CPU使用率。对于站点的管理功能，不涉及站点的新建删除操作，而是对站点的资源配额（即：GIS节点个数）进行管理。具体的，站点配额使每一个站点都有一个配额限制，当站点的GIS节点等于最大值时，将无法再继续增节点；当GIS节点等于最小值，无法再继续删除节点。同时，站点资源管理应当提供对站点资源的检索机制，可以通过站点的名称、用户等信息对站点资源进行查询、管理。 业务运营管理模块业务运营管理模块，主要为运维管理人员提供用户管理、日志管理、参数设置和系统信息等功能。.1 用户管理用户管理功能，以列表的形式，为运营管理人员提供用户管理的功能。包括用户注册审批、用户属性查看、资源配额、账户管理等功能。用户注册审批，当新注册的用户，需要经过管理员审核才可以使用。如不予通过，可以直接删除此账户。停用账户，对于正常的账户，可以通过此功能停用账户。启用账户，对于停用的账户，可以通过此功能启用账户。删除账户，管理员删除选择的账户。更改配额，管理员可以针对每一个用户设置其资源配额，当用户创建的站点资源等于这个配额限制时，此用户将不能再继续创建新的站点资源。.2 日志管理日志管理功能，能够对用户（在人工模式下）或系统（在智能模式下）对GIS资源实例的操作与用户信息进行严格的日志记录，以保证云GIS平台操作访问的安全性。根据操作对象的不同，日志信息分为四种类型：用户信息、警告信息、错误信息。.3 参数设置参数设置功能，为运营管理人员提供各类系统参数的修改，包括：网络环境参数、站点默认参数、站点调整策略参数、许可信息等。网络环境参数：参数主要包括组织者vDC的可用网络参数。站点默认参数：参数主要包括虚拟机名称前缀、公共存储路径、站点节点最大值、站点节点最小值、用户拥有站点个数。站点调整策略参数：参数主要包括监控频率、调整模式、平均CPU上限以及持续时间、平均CPU下限以及持续时间。调整模式包括：手动模式和智能模式。手动模式下，运维人员可以根据GIS服务监控模块反馈的监控信息，通过基础设施资源管理模块以人工干预的方式，手动的完成对ArcGIS资源实例的添加操作；智能模式下，ArcGIS管理系统可以根据运营人员设定的资源调整策略，由系统主动监控资源状态信息，并自动实现ArcGIS资源实例的弹性调整，无须管理人员参与。系统默认资源调整模式为自动模式。许可信息：用于更新ArcGIS私有云管理套件的许可信息。.4 系统信息系统信息，显示ArcGIS私有云管理套件相关的后台服务运行的状态信息，以及系统的版本信息。3 GIS云门户3.1 云门户概述Portal for ArcGIS是一个综合性的ArcGIS云门户，是一个转载GIS内容的资源库。它集地图、程序、群组、服务以及资源于一身。用户无需安装ArcGIS软件，只需web浏览器就可以使用它的所有功能。Portal for ArcGIS使信息共享交流更加方便，包括的功能如下： 查找组织内部共享的GIS资源； 拥有个人空间存储、组织自己的资源； 创建、保存、共享在线地图和web应用程序； 通过创建和参与群组的方式进行业务协同； 云门户按需定制，风格灵活。3.2 云门户组成Portal for ArcGIS 由6部分组成：3.2.1 Web站点使用portal网站，组织内的成员可以搜索、使用并分享地图和应用等一系列资源。网站包括一个搜索界面和一个列举推荐内容的资源库，同时还供了两个viewer应用：Map Viewer使用Map viewer可以制作的地图，并添加、结合GIS服务。用户能够保存自己的地图，并将它共享给其他使用Map viewer的人。保存地图时会收到一个ID号，通过这个ID，可以在组织的web应用中使用这些地图。Explorer OnlineExplorer Online是一个地理浏览器，其功能要超过map viewer。使用Explorer Online能够创建地理“放映幻灯片”，来展示地图、说明特定的应用特色。这两款Viewer应用的设计是为了满足业务部门快捷的使用Web制图和进行汇报演示使用。3.2.2 共享服务Sharing services是一款后台软件，用来管理portal中的items、服务、web地图、群组和其他功能。Sharing services对外保留REAT-ful接口，允许开发人员上传、下载数据、向web地图嵌入其他应用等等。3.2.3 身份存储Portal用户需要登录来核实是否被授权访问网站内容。Identity store包含组织内所有注册过portal的用户信息。Identity store是模块化的，可以与组织内其他现有的identity stores进行集成。3.2.4 管理工具Portal网站包括管理工具，对用户、群组和内容资源进行管理。只有具有管理员权限的成员可以在登录网站后看到该管理页面。普通用户看不到，甚至都不知道有这个管理工具。3.2.5 Web应用通过将Web地图应用专题应用程序模版的方式可以搭建Web应用。用户通过自己扩展应用专题模版的方式，可以完成特定功能应用的快速搭建。3.2.6 Web Mapping APIsPortal使开发人员能够通过Esri的web mapping APIs（JavaScript、Flex和Silverlight）创建、共享web地图应用和代码示例。Esri 的Web Mapping APIs可以通过互联网访问或下载。3.3 云门户功能特色3.3.1 在线制图作为Mashup技术在GIS方面的典型应用，用户可在云门户上上搜索、发布、叠加各类专题地图，特别是在Portal门户的Map Viewer上还可以完成地图的绘制、符号化工作。Portal for ArcGIS的Web制图中，可以使用组织内部已有的底图资源，并添加自己的业务数据来完成专题图制作。业务数据可以来自文件或者web，其中，文件格式有Shapefile（压缩成ZIP格式）、CSV或者Txt文件、GPX数据文件（GPX），web则可以是ArcGIS Server Web服务、OGC网络服务（WMS）、KML、CSV等类型。制图功能则包括重命名图层、设置图层透明、可见范围、进行属性过滤、要素编辑、叠加次序、显示图例、设置符号、配置弹出窗口等。3.3.2 托管服务托管服务分为以下两种方式： Web托管要素服务通过Web浏览器的方式，从本地选择文件（必须为CSV 文件或压缩为 .zip 文件的 shapefile（内含 .shp、.shx、.dbf 和 .prj 文件）。CSV 文件需要包含经纬度或地址信息，CSV 文件必须符合格式要求，并另存为 .csv）的方式直接托管为要素服务。 ArcMap托管要素和切片地图服务使用ArcGIS桌面工具可以连接到云门户。通过用户认证登陆的方式，具有发布权限的用户可以直接将服务托管到ArcGIS云当中，并使用门户进行服务的管理。托管的要素服务可以在云门户的Map Viewer中进行编辑，同时还可以在云端切片发布成切片服务。3.3.3 应用快速搭建 应用模版通过Web地图+应用模版的方式，可以快速搭建符合特定用户要求，具有指定功能的专题应用。Web地图和应用模版的无缝集成，特定业务场景下应用的快速搭建，为快速事件响应，突发事件处理奠定了坚实的技术基础。 AppCentralAppCentral是Portal for ArcGIS 云门户的一个重要组成部分，目前还处于内测期。AppCentral的思想是通过组装地图、功能组件、UI布局和风格的方式来轻松的在线搭建应用。基于这样的思想，所有的功能组件都是独立的，并且所有Portal的用户都可以将他们自己的功能组件上传到Portal云门户以方便自己搭建应用或提供给别的用户使用。AppCentral目前提供四种类型的应用搭建：Flex应用、Andriod应用、IOS应用、HTML应用。用户可以通过配置图标、底图图层、操作图层、添加功能组件、选区界面风格的方式在线完成应用搭建。4 GIS云平台方案特点及优势4.1 GIS云平台基础优势l 灵活的动态可伸缩性GIS云平台为用户提供的服务是弹性的服务，这是由云计算平台本身的能力提供的，开发者不需要考虑。在传统的GIS开发模式下，为了满足用户对海量数据的处理需求，或是满足海量用户的并发请求，往往对GIS系统的编程模型和算法提出了更高的要求，增加了开发者的技术难度。而在GIS私有云计算平台上，由于平台提供的服务本身就是弹性的，能够根据用户的具体需求动态的调整云端占用的资源，来满足系统的性能需求，因此对于开发者而言就不需要为了追求高的性能而做编程模型和算法的改变。l 降低GIS技术服务门槛GIS云平台提供了简单、易用的，标准化的高级编程接口，屏蔽了底层实现的GIS技术细节，使得开发人员不需要具有与GIS相关的专业背景，普通的IT开发人员就可以实现高级的GIS功能。在传统的GIS开发模式下，GIS系统的开发是一项非常复杂的工作，不仅要求